Les terminaux mobiles offrent à ce jour des performances de plus en plus élevées (CPU, résolution de l’écran, capteurs optiques, etc.) Cela rehausse la qualité vidéo des services média, que ce soit pour le visionnage de contenu vidéo (streaming, TV, etc.) ou pour des applications interactives telles que le jeu vidéo. Mais cette évolution concernant l'image n'est pas ou peu suivie par l'intégration de systèmes de restitution audio de haute qualité dans ce type de terminal. Or, parallèlement à ces évolutions concernant l'image, des solutions de son spatialisé sur casque, à travers notamment la technique de restitution binaurale basée sur l'utilisation de filtres HRTF (Head Related Transfer Functions) voient le jour.Dans ce travail de thèse, nous nous proposons d’évaluer l’intérêt que peut présenter le son binaural lorsqu'il est utilisé sur une application mobile audiovisuelle. Une partie de notre travail a consisté à déterminer les différents sens que l’on pouvait donner au terme « application mobile audiovisuelle » et parmi ces sens ceux qui d’une part étaient pertinents et d’autre part pouvaient donner lieu à une évaluation comparative avec ou sans son binaural.Le couplage entre son binaural et visuel sur mobile occasionne en premier lieu une question d’ordre perceptive : comment peut-on organiser spatialement une scène virtuelle dont le son peut se déployer tout autour de l’utilisateur, et dont le visuel est restreint à un si petit écran ? La première partie de cette thèse est consacrée à cette question. Nous menons une expérience visant à étudier le découplage spatial possible entre un son binaural et un visuel rendus sur smartphone. Cette expérience révèle une forte tolérance de l’être humain face aux dégradations spatiales pouvant survenir entre les deux modalités. En particulier, l’absence d’individualisation des HRTF, ainsi qu’un très grand découplage en élévation ne semblent pas affecter la perception. Par ailleurs, les sujets semblent envisager la scène « comme si » ils y étaient eux-mêmes directement projetés, à la place de la caméra, et cela indépendamment de leur propre distance à l’écran. Tous ces résultats suggèrent la possibilité d’une association entre son binaural et visuel sur mobile dans des conditions d’utilisation proches du grand public.Dans la seconde partie de la thèse, nous tentons de répondre à la question de l’apport du binaural en déployant une expérience « hors les murs », dans un contexte plausible d’utilisation grand public. Trente sujets jouent dans leur vie quotidienne à un jeu vidéo de type Infinite Runner, développé pour l’occasion en deux versions, une avec du son binaural, et l’autre avec du son monophonique. L’expérience dure cinq semaines, à raison de deux sessions par jour. Ce protocole procède de la méthode dite "Experience Sampling Method", sur l’état de l’art de laquelle nous nous sommes appuyés. Nous calculons à chaque session des notes d’immersion, de mémorisation et de performance, et nous comparons les notes obtenues entre les deux versions sonores. Les résultats indiquent une immersion significativement meilleure pour le binaural. La mémorisation et la performance ne sont en revanche pas soumises à un effet statistiquement significatif du rendu sonore. Au-delà des résultats, cette expérience nous permet de discuter de la question de la validité des données en fonction de la méthode de déploiement, en confrontant notamment bien-fondé théorique et faisabilité pratique. / In recent years, smartphone and tablet global performances have been increased significantly (CPU, screen resolution, webcams, etc.). This can be particularly observed with video quality of mobile media services, such as video streaming applications, or interactive applications (e.g., video games). However, these evolutions barely go with the integration of high quality sound restitution systems. Beside these evolutions though, new technologies related to spatialized sound on headphones have been developed, namely the binaural restitution model, using HRTF (Head Related Transfer Functions) filters.In this thesis, we assess the potential contribution of the binaural technology to enhance the quality of experience of an audiovisual mobile application. A part of our work has been dedicated to define what is an “audiovisual mobile application”, what kind of application could be fruitfully experienced with a binaural sound, and among those applications which one could lead to a comparative experiment with and without binaural.In a first place, the coupling of a binaural sound with a mobile-rendered visual tackles a question related to perception: how to spatially arrange a virtual scene whose sound can be spread all around the user, while its visual is limited to a very small space? We propose an experiment in these conditions to study how far a sound and a visual can be moved apart without breaking their perceptual fusion. The results reveal a strong tolerance of subjects to spatial discrepancies between the two modalities. Notably, the absence or presence of individualization for the HRTF filters, and a large separation in elevation between sound and visual don’t seem to affect the perception. Besides, subjects consider the virtual scene as if they were projected inside, at the camera’s position, no matter what distance to the phone they sit. All these results suggest that an association between a binaural sound and a visual on a smartphone could be used by the general public.In the second part, we address the main question of the thesis, i.e., the contribution of binaural, and we conduct an experiment in a realistic context of use. Thirty subjects play an Infinite Runner video game in their daily lives. The game was developed for the occasion in two versions, a monophonic one and a binaural one. The experiment lasts five weeks, at a rate of two sessions per day, which relates to a protocol known as the “Experience Sampling Method”. We collect at each session notes of immersion, memorization and performance, and compare the notes between the monophonic sessions and the binaural ones. Results indicate a significantly better immersion in the binaural sessions. No effect of sound rendering was found for memorization and performance. Beyond the contribution of the binaural, we discuss about the protocol, the validity of the collected data, and oppose theoretical considerations to practical feasibility.

Reconnu comme l’une des principales causes d’invalidité, le traumatisme crânio-cérébral (TCC) est une condition chronique pouvant occasionner des déficits physiques, cognitifs, émotionnels et comportementaux. Ces déficits interfèrent avec la capacité de la personne à s’engager dans ses activités quotidiennes, incluant des activités complexes comme la préparation de repas. Afin de soutenir cette population lors de la préparation de repas, une technologie d’assistance à la cognition (TAC) nommée Cognitive Orthosis for coOKing (COOK) a été développée en partenariat avec une résidence alternative pour des personnes ayant des incapacités graves à la suite d’un TCC. Suivant l’installation de COOK, trois résidents ont été en mesure de préparer des repas de façon sécuritaire et autonome. Toutefois, rien n’est connu sur la façon avec laquelle COOK pourrait répondre aux besoins des personnes ayant eu un TCC et vivant dans la communauté, ni comment cette technologie pourrait offrir de l’assistance personnalisée, minimale et contextualisée pour soutenir cette population. Cette thèse vise donc à développer des connaissances pour soutenir le développement d’une version bonifiée de COOK qui correspondrait aux besoins variés de ces utilisateurs, en répondant à trois objectifs : 1) définir les besoins d’assistance verbale des personnes ayant eu un TCC modéré à grave afin d’améliorer les capacités de personnalisation de COOK; 2) évaluer son utilisabilité et expérience utilisateur en laboratoire et en milieu réel; et 3) identifier les facilitateurs et obstacles pouvant influencer l’implantation de COOK auprès de personnes ayant eu un TCC et vivant dans la communauté. Suivant une démarche de conception centrée sur l’utilisateur, quatre études ont été réalisées : (1) une étude mixte avec transformation des données et analyse d’enregistrements vidéo pour documenter l’assistance verbale offerte à 45 participants ayant un TCC lors de la préparation d’un repas; (2) une étude d’utilisabilité mixte pendant laquelle 10 participants ayant un TCC ont testé COOK en laboratoire; (3) une étude mixte à sujet unique pour évaluer l’utilisabilité de COOK au domicile d’une personne ayant eu un TCC grave; et (4) une étude qualitative descriptive impliquant des personnes ayant eu un TCC, des personnes proches aidantes et des intervenants, pour explorer leurs perceptions quant aux facilitateurs et obstacles à l’implantation de COOK dans leur milieu respectif. La première étude a permis d’identifier neuf types d’assistance cognitive et un type d’assistance motivationnelle, et de documenter les difficultés pour lesquelles les ergothérapeutes offraient de l’assistance. Des enjeux d’utilisabilité ont ensuite été documentés pendant les essais en laboratoire (étude 2) et en milieu réel (étude 3), particulièrement au niveau du système de sécurité autonome. Plusieurs besoins de bonifications technologiques ont aussi été identifiés par les participants (études 2, 3 et 4). Enfin, la quatrième étude a identifié divers facilitateurs (p.ex. les fonctionnalités disponibles dans COOK) et obstacles (p.ex. la logistique entourant l’installation, l’apprentissage et le soutien) à l’implantation de TAC comme COOK pour soutenir les personnes vivant dans la communauté avec un TCC grave. Ultimement, ces connaissances cliniques pourront soutenir le développement continu et l’implantation de TAC comme COOK pour qu’elles répondent aux besoins d’une plus grande population. / Defined as one of the main causes of disability, traumatic brain injury (TBI) is a chronic condition that can cause physical, cognitive, emotional, and behavioral deficits. These deficits may interfere with the person's ability to engage in daily activities, including complex activities such as meal preparation. To support this population during meal preparation, an assistive technology for cognition (ATC) called Cognitive Orthosis for coOKing (COOK) was recently developed in collaboration with an alternative residence for people with severe TBI. Following the installation of COOK, three residents were able to prepare meals safely and independently within their home. However, little is known about how COOK could meet the needs of people with TBI living in the community, or how it could provide personalized, minimal and contextualised assistance to support this population. This thesis aimed to develop a knowledge base to support the development of an improved version of COOK that would meet the varied needs of this new population, by meeting three objectives: 1) define the verbal assistance needs of people with moderate to severe TBI to enhance COOK's customization possibilities; 2) evaluate the usability and user experience of COOK in a laboratory setting and in a real-world environment; and 3) identify the facilitators and obstacles that may influence the implementation of COOK within the homes of people with TBI and in clinical settings. Integrated in a user-centered design process, four studies were conducted: (1) a study using conversion mixed design and video data analysis to document the verbal assistance provided to 45 participants with TBI during a meal preparation task; (2) a usability mixed-methods study during which 10 participants with TBI tested COOK in a laboratory setting; (3) a mixed-methods single-case study to assess the usability of COOK with a man with severe TBI living in the community; and (4) a qualitative descriptive study involving people with TBI, caregivers and healthcare professionals, to explore their perceptions of the facilitators and obstacles to the potential implementation of COOK in their respective settings. The first study identified nine types of cognitive assistance and one type of motivational assistance that were provided by occupational therapists to support people with TBI, and documented the difficulties for which these assistances were provided. Several usability issues were also documented when testing COOK in a laboratory setting (study 2) and in a real-world environment (study 3), particularly with the self-monitoring security system. Modification needs were also identified by the participants (studies 2, 3, and 4) to improve COOK. Finally, the fourth study highlighted many facilitators (e.g., the functionalities available in COOK) and obstacles (e.g., the logistics surrounding installation, learning and support of COOK) to consider before implementing ATCs like COOK. Ultimately, this knowledge base will support the continued development and the implementations of ATCs such as COOK to meets the needs of a larger population.