L'interaction tactile multi-points co-localisée procure un fort sentiment de contrôle direct mais introduit des problèmes d'occultation, de précision et de fatigue. Ces problèmes sont exacerbés sur les écrans de grandes dimensions, qui supportent la manipulation de grandes quantités de données, souvent en collaboration avec d'autres utilisateurs. Pour résoudre ces problèmes, cette thèse s'intéresse à l'introduction d'indirections dans l'interaction multi-points sur grands écrans. Nos travaux portent sur l'étude des facteurs qui influencent la précision dans les tâches de sélection sans prévisualisation du contact. Les résultats de deux expériences contrôlées ont ainsi permis d'estimer la précision attendue selon les caractéristiques des périphériques d'entrée et de sortie et des conditions d'utilisation. Sur la base de ces connaissances, nos travaux portent également sur le développement de nouvelles techniques d'interaction pour écrans de grandes dimensions. Nous avons d'abord proposé une technique permettant d'interagir indirectement avec une tablette tactile, en introduisant la gestion de plusieurs curseurs contrôlés relativement. Nous avons ensuite conçu une interaction reposant sur la création de plusieurs périphériques virtuels qui supportent une interaction à la fois directe et indirecte tout en permettant de réorganiser les éléments d'une interface. Parallèlement à cela, nous avons transformé un écran mural de 6*2,4m en une surface tactile multi-points afin de pouvoir tester les techniques et scénarios discutés dans ces travaux. / Co-localized multi-touch interaction affords a high feeling of directness but introduces problems of occlusion, precision and fatigue. These problems are even more acute with large displays, supporting the interaction with large data sets, often in collaboration with other users. To solve these problems this thesis focuses on the introduction of indirections in multi-touch interaction on large displays. We first study factors impacting accuracy in selection tasks without contact preview. Results of two controlled experiments allowed to estimate the expected accuracy depending on input and output device characteristics and input conditions. Based on this knowledge, we developed new interaction techniques for large displays. We first introduced a technique to interact indirectly using a tactile tablet by introducing the control of several cursors using a relative mapping. Then we proposed an interaction technique based on the creation of multiple soft-devices that supports both direct and indirect interaction and allows to re-arrange the interface of legacy applications. In order to design, test and evaluate these techniques, we turned a back projected wall display (6*2,4m) into an interactive multi-touch surface.

De nos jours, nous vivons dans un monde d'interactions. Nous sommes entourés d'appareils électroniques susceptibles de compliquer ces interactions. De plus, les utilisateurs sont dorénavant mobiles et évoluent dans des environnements changeant. Vis-à-vis de la collaboration, ces conditions peuvent inhiber la productivité. Ce projet de thèse vise à proposer des méthodes pour la conception d'interfaces utilisateur capables de tenir compte du contexte à travers l'utilisation d'interfaces adaptatives. La contribution principale de cette thèse consiste en un cadre de référence dirigé par les modèles pour la conception et l'exécution d'interfaces utilisateur adaptatives supportant des mécanismes de coordination (i.e. flux de travaux, conscience de groupe). La proposition se présente sous deux aspects : Un cadre méthodologique pour l'aide è la conception d'interfaces supportant la coordination. Il consiste essentiellement en l'emploi de méthodes de modélisation d'exigences métier via un processus itératif ; Un cadre technologique qui repose sur l'ingénierie basée sur les modèles pour permettre la génération et l'exécution d'interfaces utilisateur adaptatives. Il se base sur une architecture orientée widgets pour le support de la conscience de groupe afin de promouvoir la coordination / Nowadays, we live in a world of interactions. We are surrounded by electronic devices which tend to complexify user interactions. Moreover, users are now mobile and evolve in ever changing environments. Regarding collaboration, these conditions may inhibit productivity. This PhD aims to propose design methods for user interfaces able to consider the context through the use of adaptive user interfaces. The main contribution of this thesis consists in a model-driven reference framework for the design and the execution of adaptive user interfaces supporting coordination mecanisms (i.e. workflow, group awareness). The proposition is composed of these two facets: A methodologic framework to assist in the design of user interfaces supporting coordination. It consists in the use of iterative modelisation methods for requirements engineering; A technological framework which relies on model-based engineering to allow the generation and execution of adaptive user interfaces. It makes use of widget-based architecture to support group awareness in order to promote coordination

Οι τεχνολογίες πολλαπλής αφής παρουσιάζουν μεγάλο ερευνητικό και τεχνολογικό ενδιαφέρον στον τομέα της αλληλεπίδρασης ανθρώπου-υπολογιστή από τις προηγούμενες κιόλας δεκαετίες. Το κόστος όμως τέτοιων συστημάτων καθιστούσε απαγορευτική τη χρήση τους εκτός έξω από το χώρο ερευνητικών εργαστηρίων. Οι εξελίξεις στον τομέα αυτό είναι ραγδαίες με αποτέλεσμα πλέον τα συστήματα αυτά να καθίστανται προσιτά και ιδιαίτερα ελκυστικά, προσφέροντας έτσι τη δυνατότητα ευρύτερης αποδοχής τους. Η διπλωματική αυτή εργασία, που εκπονήθηκε στο Εργαστήριο της Ερευνητικής Ομάδας Αλληλεπίδρασης Ανθρώπου Υπολογιστή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών του Πανεπιστημίου Πατρών, υπό την επίβλεψη του Καθ. Νικόλαου Αβούρη, περιγράφει σε πρώτο στάδιο τη μελέτη και αξιολόγηση των τεχνολογιών αφής και ιδιαίτερα των οπτικών καθώς αυτές επιτρέπουν την κατασκευή συστημάτων μεγάλων διαστάσεων. Έπειτα από επιλογή της καταλληλότερης τεχνολογίας με βάση τις προαπαιτούμενες προδιαγραφές παρουσιάζεται η κατασκευή ενός λειτουργικού συστήματος πολλαπλής αφής με χρήση της τεχνικής ‘Diffused Illumination’. Η αναγνώριση των σημείων αφής επετεύχθη με χρήση του προγράμματος ανοιχτού λογισμικού CommunityCoreVision (CCV). Στόχος της κατασκευής είναι η αξιολόγηση του ίδιου του συστήματος καθώς και η έρευνα και η αξιολόγηση νέων τρόπων αλληλεπίδρασης με το σύστημα αυτό. Η αξιολόγηση πραγματοποιήθηκε μέσω πειραματικής διαδικασίας που κατέδειξε την αποτελεσματικότητα του συστήματος στη διαχείριση αντικειμένων σε σχέση με έναν επιτραπέζιο υπολογιστή. Η εφαρμογή του πειράματος αναπτύχθηκε με τη γλώσσα Python και το Kivy. Η διαδικασία αυτή οδήγησε στην απόκτηση πρακτικών και θεωρητικών γνώσεων σε μεγάλο μέρος του γνωστικού φάσματος του τομέα της κατασκευής ολοκληρωμένων συστημάτων. / When interacting with a regular desktop computer, indirect devices such as a mouse or keyboard are used to control the computer. Results of the interaction are displayed on a monitor. Current operating systems are restricted to one pointing device. With the introduction of multi-touch, a new form of human computer interaction is introduced. Multi-touch combines display technology with sensors which are capable of tracking multiple points of input. The idea is that this would allow users to interact with the computer in a natural way. Furthermore, unlike interaction on a desktop computer, multi-touch allows multiple users to interact with the same devices at the same time. Due to recent innovations multi-touch technology has become affordable. For this project an optical based multi-touch device has been designed and constructed at the Human Computer Interaction group of the Electrical and Computer Engineering department of the University of Patras. To perform multi-touch point tracking we used CommunityCoreVision (CCV), a free open source multi-touch framework. To demonstrate the possibilities of multi-touch input technology the system was tested with existing applications, which are controlled by gestures. Multi-touch systems are often stand-alone systems that do not have external input devices attached, however, such devices can be used to support difficult task such as writing. In order to simplify common tasks, a gesture recognition engine has been evaluated along with a multi-touch mouse driver compatible with Windows 7 that supports TUIO messages. Through an experiment designed with the Python based Kivy framework, we evaluate how multi-touch input performs on a specific object manipulation task compared to conventional mouse input.