Mit dem Aufkommen natürlicher Benutzerschnittstellen zum Erreichen einer möglichst intuitiven Interaktion mit Computern wird auch über die Bedeutung der Gestaltungsaspekte LOOK und FEEL der darzustellenden Benutzeroberflächen neu verhandelt. Dies bedeutet für den Entwurf und die Entwicklung neuer Anwendungen, die bisherigen Vorgehensmodelle, Werkzeuge und Interaktionen zu überdenken und hinsichtlich der neuen Herausforderungen zu überprüfen. Als Leitmotiv der vorliegenden Arbeit dient der Ansatz: Ähnliches wird durch Ähnliches entwickelt, der sich am Beispielfall der Multi-Touch-Technologie konkret mit dem Forschungsraum der natürlichen Benutzerschnittstellen auseinandersetzt. Anhand der drei aufeinander aufbauenden Aspekte Modell, Werkzeug und Interaktion wird die besondere Stellung des FEELs betont und diskutiert. Die Arbeit konzentriert sich dabei besonders auf die Phase des Prototypings, in der neue Ideen entworfen und später (weiter-) entwickelt werden. Die Arbeit nähert sich dabei dem Thema schrittweise an, vom Abstrakten hin zum Konkreten. Hierzu wird zunächst ein neu entwickeltes Vorgehensmodell vorgestellt, um auf die Besonderheiten des FEELs im Entwicklungsprozess natürlicher Benutzerschnittstellen eingehen zu können. Das Modell verbindet Ansätze agiler und klassischer Modelle, wobei die Iteration und die Entwicklung von Prototypen eine besondere Stellung einnehmen. Ausgehend vom neu vorgestellten Modell werden zwei Einsatzbereiche abgeleitet, die entsprechend des Leitmotivs der Arbeit mit zu konzipierenden Multi-Touch-Werkzeugen besetzt werden. Dabei wird besonderer Wert darauf gelegt, den Entwickler in die Rolle des Nutzers zu versetzen, indem die beiden Aktivitäten Umsetzung und Evaluation am selben Gerät stattfinden und fließend ineinander übergehen. Während das für den Entwurf erstellte Konzept TIQUID die Nachbildung von Verhalten und Abhängigkeiten mittels gestengesteuerter Animation ermöglicht, stellt das Konzept LIQUID dem Entwickler eine visuelle Programmiersprache zur Umsetzung des FEELs zur Verfügung. Die Bewertungen der beiden Werkzeuge erfolgte durch drei unabhängige Anwendungstests, welche die Einordnung im Entwicklungsprozess, den Vergleich mit alternativen Werkzeugen sowie die bevorzugte Interaktionsart untersuchten. Die Resultate der Evaluationen zeigen, dass die vorab gesteckten Zielstellungen einer einfachen Verwendung, der schnellen und umgehenden Darstellung des FEELs sowie die gute Bedienbarkeit mittels der Multi-Touch-Eingabe erfüllt und übertroffen werden konnten. Den Abschluss der Arbeit bildet die konkrete Auseinandersetzung mit der Multi-Touch-Interaktion, die für Entwickler und Nutzer die Schnittstelle zum FEEL der Anwendung ist. Die bisher auf die mittels Berührung beschränkte Interaktion mit dem Multi-Touch-Gerät wird im letzten Abschnitt der Arbeit mit Hilfe eines neuartigen Ansatzes um einen räumlichen Aspekt erweitert. Aus dieser Position heraus ergeben sich weitere Sichtweisen, die einen neuen Aspekt zum Verständnis von nutzerorientierten Aktivitäten beitragen. Diese, anhand einer technischen Umsetzung erprobte Vision neuer Interaktionskonzepte dient als Ansporn und Ausgangspunkt zur zukünftigen Erweiterung des zuvor entwickelten Vorgehensmodells und der konzipierten Werkzeuge. Der mit dieser Arbeit erreichte Stand bietet einen gesicherten Ausgangspunkt für die weitere Untersuchung des Fachgebietes natürlicher Benutzerschnittstellen. Neben zahlreichen Ansätzen, die zur vertiefenden Erforschung motivieren, bietet die Arbeit mit den sehr konkreten Umsetzungen TIQUID und LIQUID sowie der Erweiterung des Interaktionsraumes Schnittstellen an, um die erzielten Forschungsergebnisse in die Praxis zu übertragen. Eine fortführende Untersuchung des Forschungsraumes mit Hilfe alternativer Ansätze ist dabei ebenso denkbar wie der Einsatz einer zu Multi-Touch alternativen Eingabetechnologie.

Cette thèse souhaite fournir des outils pour qu’un utilisateur puisse contribuer activement à la sécurité de son usage d’un système informatique. Les activités de sensibilités différentes d’un utilisateur nécessitent tout d’abord d’être cloisonnées dans des domaines dédiés, par un contrôle d’accès s’ajustant aux besoins de l’utilisateur. Afin de conserver ce cloisonnement, celui-ci doit être en mesure d’identifier de manière fiable les domaines avec lesquels il interagit, à partir de l’interface de sa machine. Dans une première partie, nous proposons un nouveau mécanisme de cloisonnement qui peut s’adapter de manière transparente aux changements d’activité de l’utilisateur, sans altérer le fonctionnement des contrôles d’accès existants, ni dégrader la sécurité du système. Nous en décrivons une première implémentation, nommée StemJail, basée sur les espaces de noms de Linux. Nous améliorons ce cloisonnement en proposant un nouveau module de sécurité Linux, baptisé Landlock, utilisable sans nécessiter de privilèges. Dans un second temps, nous identifions et modélisons les propriétés de sécurité d’une interface homme-machine (IHM) nécessaires à la compréhension fiable et sûre du système par l’utilisateur. En particulier, il s’agit d’établir un lien entre les entités avec lesquelles l’utilisateur pense communiquer, et celles avec lesquelles il communique vraiment. Cette modélisation permet d’évaluer l’impact de la compromission de certains composants d’IHM et d’aider à l’évaluation d’une architecture donnée. / This thesis aims to provide end users with tools enhancing the security of the system they use. First, user activities of different sensitivities require to be confined in dedicated domains by an access control fitting the user’s needs. Next, in order to maintain this confinement, users must be able to reliably identify the domains they interact with, from their machine’s interface. In the first part, we present a new confinement mechanism that seamlessly adapts to user activity changes, without altering the behavior of existing access controls nor degrading the security of the system. We also describe a first implementation named StemJail, based on Linux namespaces. We improve this confinement tool by creating a new Linux security module named Landlock which can be used without requiring privileges. In a second step, we identify and model the security properties a human-computer interface (HCI) requires for the reliable and secure understanding of the system by the user. Precisely, the goal is to establish a link between the entities with which the users think they communicate, and those with which they actually communicate. This model enables to evaluate the impact of HCI components jeopardization and helps assessing a given architecture.

Many usability features designed in software applications are not procedurally intuitive for software users. A good example of software usability involves tabular sorting in a spreadsheet. Single-column sorting, activated with a mouse click to a column header or toolbar button, often produces rearranged listings that reduce cognitive organization beyond the sorted column. Multi-column sorting, generated through menu-driven processes, provides derived organization, however, locating feature options through menu-based systems can be confusing. A means to overcome this confusion is prioritized selection of database arrays issued to columnar displays for the purpose of intact transposition of data. This is a unique process designed as a user-centric tabular multi-column sorting interface. Designed within this experimental software application is a "trickle down" logic perceived as a navigation rule. The design offers logic associated with decision choices as used to pursue a software solution. The solution in this instance is a compiled resultant of separate and distinct columnar data sorting. The design was initially implemented in a software application housing thousands of examination scores. Observations of the design concept's effectiveness in practice led to further investigation through this master's thesis. To validate the research design, research participants were introduced to an example of traditional database sort/selection with practice examples. These users were also provided sorting exercises to reinforce the discussed concepts--both experimental and traditional. Finally, a survey questionnaire allowed them to provide feedback about the different task methods for sorting as well as the experience of using these dissimilar methods. The hypothesis was not validated through the research survey. Consideration of observations of the design in a production environment for four years, however, provided impetus to suggest further research of the design concept.

Current studies done using a learning test for children have problems as they only make evaluations of Physically and Neurologically Impaired (PNI) children who can succeed in the test and can be considered as a PASS/FAIL test. This pilot study takes a holistic view of cognitive testing of PNI children using a user-test-device triad model and provides a framework using non-PNI children and adults as controls. Comparisons using adapted off-the-shelf novel interfaces to the computer, in particular, an Electroencephalograph (EEG) head-set, an eye-tracker and a head-tracker and a common mouse were carried out. In addition, two novel multi-modal technologies were developed based on the use of brain-waves and eye-tracking as well as head-tracking technologies to support the study. The devices were used on three tests with increasing cognitive complexity. A self-developed measure based on success streaks (consecutive outcomes) was introduced to improve evaluations of PNI children. A theoretical model regarding a fit of ability to devices was initially setup and finally modified to fit the view of the empirical model that emerged from the outcomes of the study. Results suggest that while multi-modal technologies can address weaknesses of the individual component modes, a compromise is made between the user’s ability for multi-tasking between the modes and the benefits of a multi-modal device but the sample size is very small. Results also show children failing a test with a mouse but passing it subsequently when direct communication is used suggesting that a device can affect a test for children who are of a developing age. This study provides a framework for a more meaningful conversation between educational psychologists as well as other professionals and PNI parents because it provides more discrimination of outcomes in cognitive tests for PNI children. The framework provides a vehicle that addresses scientifically the concerns of parents and schools.

The AEGIS Cruiser Air-Defense Simulation is a program that models the operations of a Combat Information Center (CIC) team performing the ADC duties in a battle group using Multi-Agent System (MAS) technology implemented in the Java programming language. Set in the Arabian Gulf region, the simulation is a top-view, dynamic, graphics-driven software implementation that provides a picture of the CIC team grappling with a challenging, complex problem. Conceived primarily as a system to assist ships, waterfront training teams, and battle group staffs in ADC training and doctrine formulation, the simulation was designed to gain insight and understanding into the numerous factors (skills, experience, fatigue, aircraft numbers, weather, etc.) that influence the performance of the overall CIC team and watchstanders. The program explores the team's performance under abnormal or high intensity/stress situations by simulating their mental processes, decision-making aspects, communications patterns, and cognitive attributes. Everything in the scenario is logged, which allows for the reconstruction of interesting events (i.e. watchstander mistakes, chain-of-error analysis) for use in post-scenario training as well as the creation of new, more focused themes for actual CIC team scenarios. The simulation also tracks various watchstander and CIC team performance metrics for review by the user. / Lieutenant, United States Navy

Traffic is a complex environment in which many actors take part; several new technologies bring promises of reducing this complexity. However, cyclists—a particularly vulnerable road user group—have so far been somewhat put aside in these new developments, among them being Cooperative Intelligent Traffic Systems (C-ITS) and their aspects of human–computer interaction. This master’s thesis of industrial design engineering presents five multimodal collision warning signals for cyclists—future ones in these supposed C-ITS—using a novel application of bone conduction headphones (BCH) via sensations of both sound and touch. The thesis project was conducted as a complementary subset of the larger research project ‘V2Cyclist’ orchestrated by RISE Interactive. V2Cyclist set out to adapt the wireless V2X-protocol for cyclists by developing a physical prototype in the form of a bicycle helmet and corresponding human–computer interface. A significant part of the theoretical framework for this thesis was multiple resource theory: tasks in a different modality can be performed more effectively than in one already taxed attentively. Literature on human factors was also applied, particularly with regards to the perception of sound; evidence suggests that humans evolved a perceptual bias for threatening and ‘looming’ sounds that appear to encroach our peripersonal space; ethological findings point toward the association with low-frequency sounds to largeness. Sound design techniques usually applied to more artistic ends, such as synthesis and mixing, were repurposed for the novel, audiotactile context of this thesis. The thesis process was rooted in design thinking and consisted of four stages: context immersion, ideation, concept development, and lastly evaluation; converging and diverging the novel design space of using BCH in an audiotactile, i.e. bimodal way. The divergent approach generated a wide range of ideas. The later convergent approach did not result in one, definite design as further evaluation is required but also due to unknowns in terms of future hardware and network constraints. Given the plurality and diversity of cyclists, it may well follow that there is no optimal collision warning design in the singular. Hence, a range of five different solutions is presented. Each of the five multimodal collision warnings presents a different approach to conveying a sense of danger and urgency. Some warning signals are static in type, while others are more dynamic. Given the presumed rarity of collision warnings, multiple design techniques and rationales were applied separately, as well as in combination, to create different warning stimuli that signaled high urgency in an intuitive way. Namely, the use of: conventions in design and culture; explicitness in the form of speech; visceral appeal via threatening and animalistic timbres; dynamic and procedurally generated feedback; multimodal salience; crossmodal evocation of ‘roughness;’ size-sound symbolism to imply largeness; and innately activating characteristics of looming sounds. / Trafiken är en komplex miljö med många deltagare; diverse ny teknik gör anspråk på att underlätta denna komplexitet. Men, cyklister—en särskilt utsatt grupp av trafikanter—har hittills hamnat i skymundan för sådana utvecklingar. Vidare, aspekten av användbara gränssnitt för cyklister inom sådana uppkopplade och samverkande trafiksystem (C-ITS) har utforskats desto mindre. Det här examensarbetet inom Teknisk design presenterar fem multimodala kollisionsvarningar avsedda för cyklister—framtida sådana i dessa C-ITS—genom en ny och bimodal användning av benledande hörlurar via både ljud och vibrationer. Examensarbetet genomfördes i koppling till forskningsprojektet V2Cyclist, orkestrerat av RISE Interactive, vars projektmål var att anpassa det trådlösa kommunikationsprotokollet V2X för cyklister via en fysisk prototyp i form av en cykelhjälm och parallellt utveckla ett tillhörande användargränssnitt. En viktig del av det teoretiska ramverket för det här examensarbetet grundar sig på multiple resource theory: uppgifter kan utföras mer effektivt i en annan modalitet än i en som redan är belastad med uppmärksamhet. Mänskliga faktorer och teori om vår uppfattning användes; bevis pekar på att människor har evolutionärt utvecklat en bias för hotande ljud som upplevs inkräkta på vårt närmsta personliga revir; etologiska rön visar på en koppling mellan lågfrekventa ljud och ‘storhet.’ Tekniker inom ljuddesign vanligtvis använda till mer artistiska ändamål, såsom syntes och mixning, användes här till godo för att utforska den nya och bimodala designrymden. Processen för arbetet grundade sig i design thinking och bestod av fyra faser: kontextfördjupning, idégenerering, konceptutveckling, och utvärdering. En ny och tidigare outforskad designrymd beståendes av en bimodal, ljudtaktil användning av benledande hörlurar divergerades och konvergerades. Ett initialt utforskande angreppssätt gav upphov till en bred mängd av idéer. Ett senare renodlande angreppssätt gick, dock, inte hela vägen till endast en optimal lösning, då vidare utvärdering krävs men också på grund av okända teknologiska begränsningar. Dessutom, givet cyklisters stora mångfald, kan det möjligtvis följa att det inte finns någon enskild design av den optimala kollisionsvarningen. Ett spann på fem olika lösningar presenteras därmed. Fem koncept för multimodala kollisionsvarningar presenteras där varje variant uttrycker fara och kritiskhet på olika sätt. Vissa är statiska i typ, medan andra verkar mer kontinuerligt och dynamiskt. Det antogs att kollisionsvarningar sker sällan. Olika designtekniker och motiveringar har använts, ibland i kombination med varandra, för att skapa kollisionsvarningar vars avsikter omedelbart förstås: normer inom design och kultur gällande ljud; uttalad kommunikation i form av tal; anspråk på människors biologiska intuition via hotfulla och djurliknande klangfärger; dynamisk och procedurellt genererad feedback; multimodal effektfullhet; korsmodal känsla av grova texturer; size-sound symbolism för att antyda ‘storhet;’ samt de naturligt aktiverande egenskaperna hos looming sounds.

L’activité de chantier se caractérise par un mode de production in situ. Dès lors, nombreux sont les dysfonctionnements qui peuvent apparaître. La coordination du chantier repose sur un mélange subtil entre interactions implicites et explicites, où l’organisation prend de multiples configurations (hiérarchique, adhocratique ou transversale), et où la qualité du processus collectif repose sur l’autonomie et le sens des responsabilités de chacun des intervenants. Nous faisons l’hypothèse qu’un tel contexte est largement fondé sur la notion de confiance, car celle-ci a la capacité de réduire la perception du risque et de permettre l’action dans un environnement incertain. En conséquence, nous suggérons un rapprochement entre les outils d’assistance à la coordination et la notion de confiance, et nous proposons une nouvelle approche du pilotage de l’activité collective à partir de la représentation de la confiance. Ce travail de doctorat se structure autour de la notion de « confiance dans le bon déroulement de l’activité ». Notre méthode consiste d’abord en l’identification des divers critères de confiance, consolidés par une étude de terrain. Puis, nous établissons un modèle mathématique destiné à évaluer cette confiance à partir des informations issues d’un contexte de coopération. Sur base de ces éléments, s’en suit la proposition d’un prototype dénommé Bat’iTrust. La navigation au sein de ce prototype est guidée par un tableau de bord centré sur le concept de confiance. Enfin, la validation de cette proposition repose sur des enquêtes et une phase d’expérimentation qui nous ont permis de confronter nos résultats à des sujets expérimentaux représentatifs du domaine / The building construction is an “on-site” production activity. Therefore numerous dysfunctions can appear during the activity. The coordination of building construction depends on a subtle combination between explicit vs. implicit interactions, where organization takes various forms (i.e. hierarchic, adhocratic and transversal). Quality of the collective process is thus largely dependent on autonomy capability and responsibility sharing of each of the involved actors. Our hypothesis is that such a collective context is mainly based on the notion of trust. Indeed trust has the capability to reduce the perception of risk and to enable action in uncertain environments. Consequently, we suggest applying trust notion to the issue of design of cooperation support tools, towards a new vision of collective activity management based on trust representation. This Ph.D. research introduces the notion of “trust in the good progress of the activity”. Our methodology consists firstly in identifying the various trust criterions that we validate through a terrain survey. Secondly we establish a mathematical model aiming at evaluating trust level based on cooperation context information. Then the proposition suggests a prototype tool, called Bat’iTrust. User-navigation inside the prototype is guided by a dashboard view centred on the trust concept. Finally the validation is assessed through both surveys and an experimentation stage. These ones allow us to confront our results to experimenters subjects representative of the construction domain