Depuis 50 ans, une évolution permanente de l’interaction homme-machine a permis qu’aujourd’hui, nous tendions vers des systèmes temps réel proposant une interaction simple et intuitive à l’utilisateur et s’adaptant automatiquement à l’activité observée et interprétée. L’utilisateur peut dorénavant interagir avec un système informatique, volontairement ou de manière non consciente, par le biais de plusieurs modalités, comme il ferait dans la vie courante. Actuellement, les systèmes les plus développés sont ceux permettant à l’utilisateur d’interagir par le biais de gestuelles, qu’elles soient explicites ou implicites. Ces systèmes sont intégrés de plus en plus dans notre environnement, la plupart du temps invisibles pour nous, et s’adaptent en fonction d’un scénario qui définit les objectifs que nous devons atteindre.Plusieurs domaines d’application sont le cadre du développement de tels systèmes, comme celui du jeu vidéo ou encore de la surveillance vidéo. Nous proposons, dans ces travaux de thèse, l’architecture d’un système interactif, sur lequel s’exécute une application scénarisée de type jeu vidéo. L’interactivité est alimentée par les gestuelles du corps d’un unique utilisateur, en temps réel et de manière non invasive. Le système réagit également à divers événements prenant place au sein de la scène réelle, qui sont dus au dynamisme de cette dernière et dont l’utilisateur n’est pas directement responsable (changement d’éclairage, présence de spectateurs, etc.). L’utilisateur est immergé au sein d’un environnement virtuel qui traduit la réponse interactive du système. Ce dernier répond également, en temps réel, à l’activité observée et interprétée, de manière adaptative, adaptant à la fois sa réponse interactive et son fonctionnement global.Nos travaux se basent sur l’hypothèse que l’activité observée au sein de la scène est caractérisée par le contexte d’interaction qui l’englobe. Notre système reconnaît ainsi l’activité en modélisant le contexte d’interaction au sein duquel elle prend place. Notre contribution principale se traduit donc par l’introduction de la notion de contexte au sein des processus interactif et adaptatif. La modélisation du contexte d’interaction que nous proposons nous a servi de base pour celle du scénario d’une application. La gestion et l’analyse de ce contexte au cours de l’interactivité permettent au système d’interpréter l’activité observée et de paramétrer les différents mécanismes adaptatifs qui en découlent. L’activité est capturée et codifiée par un système étendu, adopté en accord avec le cadre industriel de cette thèse (convention CIFRE avec la société XD Productions). Initialement dédié à la capture, invasive et en milieu contrôlé, des mouvements de l’utilisateur, nos travaux ont permis l’augmentation du processus vers une capture plus générale de l’activité globale,de manière non invasive et en environnement dynamique. Enfin, nous avons développé une application immergeant l’utilisateur au sein d’une simulation virtuelle d’entrainement au tennis. Par le biais d’études de cas extraites de ce scénario, nous avons implémenté les processus interactif et adaptatif prenant place entre le système et l’utilisateur. L’adaptativité du système, supportée par le scénario de l’application, est concrétisée par la mise en place de mécanismes spécifiques à tous les niveaux de l’architecture, en fonction de l’activité observée et interprétée. Nous mettons en évidence un ensemble de boucles logicielles, appelées « boucles vertueuses », générées par l’accumulation des effets d’adaptation du système et améliorant en permanence l’interactivité. Les perspectives à ces travaux de thèse concernent la normalisation et la gestion haut niveau de notre modèle de contexte, la complexification de notre scénario et l’amélioration de notre système de capture dans le cadre de nouvelles applications scénarisées. / For 50 years, human-computer interaction has evolved permanently. Nowadays, real-time systems offer the user simple and intuitive interaction and adapt automatically to the observed and interpreted activity. From now on, the user can interact with computer systems, voluntarily or unconsciously, by several modalities, as he would do it in his everyday life.Currently, the most developed systems are the ones allowing the user to interact by his explicit or implicit body language. These systems are more and more integrated in our environment, are invisible, and adapt according to the scenario that defines the objectives the user has to achieve. Several application fields are the development frameworks of such systems, like video games or video surveillance. We define in this work the architecture of an interactive system, upon which runs a scripted application such as a video game. The interactivity is fed by an only user body language, in real-time and without markers. The system reacts as well to various events taking place within the real scene. These events aredue to the scene dynamism for which the user is not directly responsible (illumination changes, spectators, etc.).The user is immersed within a virtual environment that renders the system interactive response. The system responds adaptively as well, in real-time, to the observed and interpreted activity, adapting at the same time its interactive response and its global functioning. Our work is based on the following hypothesis: the activity, observed within the scene, is characterized by the interaction context that includes it. Thus, our system recognizes the activity by modelling the interaction context within which it takes place. Our main contribution is then the introduction of the notion of context within the interactive and adaptive processes. We use our interaction context modelling to model the application scenario. The context management and analysis during the interactivity allow the system to interpret the observed activity and to configure the different adaptive mechanisms which follow it. The activity is captured and codified by an extended system, chosen according to our work industrial framework (Industrial Convention of Formation by Research – CIFRE – with XDProductions). Initially dedicated to the invasive capture of the user movements in a controlled environment, our work enhances the process towards the general capture of the global activity, without markers and within an uncontrolled environment. Finally, we have developed an application immersing the user within a virtual simulation of tennis training. Thanks to different case studies extracted from this scenario, we have implemented the interactive and adaptive processes taking place between the system and the user. The system adaptivity, supported by the application scenario, is materialized by the implementation of specific mechanisms at every level of the architecture, according to the observed and interpreted activity. We have brought to light a set of software loops, called virtuous loops, generated by the accumulation of the system adaptation effects and improving the interactivity permanently. Our work perspectives concern the formalization and the high-level management of our context model, the complexity of our scenario and the improvement of our capture systemwithin the framework of new scripted applications.

Human motion analysis (HMA) can play a crucial role in sports and healthcare by providing unique insights on movement mechanics in the form of objective measurements and quantitative data. Traditional, state of the art, marker-based techniques, despite their accuracy, come with financial and logistical barriers, and are restricted to laboratory settings. Markerless systems offer much improved affordability and portability, and can potentially be used outside of laboratories. However, these advantages come with a significant cost in accuracy. This thesis attempts to address the challenge of democratizing HMA by leveraging recent advances in smartphone technology and machine learning.\newline\newlineThis thesis evaluates two modalities of performing markerless HMA: Single smartphone using Apple Arkit, and multiple smartphone setup using OpenCap, and compares both to a state of the art multiple-camera marker-based system from Vicon. Additionally, this thesis presents and evaluates two approaches to improving the single smartphone modality: Employing a Gaussian Process Model (GPR), and a Long-short-term-memory (LSTM) neural network to refine the single smartphone data to align with the marker-based result. Specific movements were recorded simultaneously with all three modalities on 13 subjects to build a dataset. From this, GPR and LSTM models were trained and applied to refine the single camera modality data. Lower limb joint angles, and joint centers were evaluated across the different modalities, and analyzed for potential use in real-world applications. While the findings of this thesis are promising, as both the GPR and LSTM models improve the accuracy of Apple Arkit, and OpenCap providing accurate and consistent results. It is important to acknowledge limitations regarding demographic diversity and how real-world environmental factors may influence its application. This thesis contributes to the efforts in narrowing the gap between marker-based HMA methods, and more accessible solutions. / Rörelseanalys av människokroppen (HMA) kan spela en betydelsefull roll i både idrott och hälso- och sjukvården. Genom objektiv och kvantitativ data ger den unik insikt i mekaniken bakom rörelser. Traditionella, toppmoderna, markör-baserade tekniker är mycket precisa, men medför finansiella och logistikbaserade barriärer, och finns endast tillgängliga i laboratorier. Markör-fria system erbjuder mycket bättre pris, portabilitet och kan potentiellt användas utanför laboratorier. Dessa fördelar går dock hand i hand med en betydande minskning av nogrannhet. Denna avhandling försöker ta itu med utmaningen att demokratisera HMA genom att utnyttja de senaste framstegen inom smartphoneteknik och maskininlärning. Denna avhandling utvärderar två sätt att utföra markör-fri HMA: Genom att använda en smartphone som kör Apple Arkit, och en uppsättning med flera smartphones som kör OpenCap. Båda modaliteter jämförs med ett markör-baserat system som använder flera kameror, från Vicon. Dessutom presenteras och utvärderas två metoder för att förbättra modaliteten med endast en smartphone: Användning av en Gaussisk Process modell för Regression (GPR) och ett Long-short-term-memory (LSTM) neuronnät för att förbättra data från en smartphone modalititeten, så att det bättre överenstämmer med det markör-baserade resultatet. Specifika rörelser spelades in samtidigt med alla tre modaliteter på 13 försökspersoner för att bygga upp ett dataset. Utifrån detta tränades GPR- och LSTM-modeller och användas för att förbättra data från en kamera modaliteten (Apple Arkit). Ledvinklar och ledcentra för de nedre extremiteterna utvärderades i de olika modaliteterna och analyserades för potentiell använding i verkliga tillämpningar. Även om resultaten av denna avhandling är lovande, då både GPR- och LSTM-modellerna förbättrar nogrannheten hos Apple Arkit, och OpenCap ger korrekta och konsekventa resultat, så är det viktigt att erkänna begränsningarna när det gäller demografisk mångfald och hur miljöfaktorer i verkligheten kan påverka tillämpningen.