Les pilotes d'avion sont constamment confrontés à des situations où ils doivent traiter des quantités importantes de données en très peu de temps, ce qui peut conduire à des erreurs. Nous avons créé un système de détection des écarts capable d'auditer le cockpit en temps réel pour détecter les actions qui ont été incorrectement ajoutées, omises ou qui n'ont pas été effectuées dans le bon ordre. Ce modèle évalue les écarts en se basant sur les données hiérarchiques des tâches trouvées dans le modèle de référence ontologique pour les procédures de pilotage, qui contient des procédures de référence basées sur la connaissance et rassemblées par des experts dans le domaine. Les actions des pilotes sont comparées aux séquences de référence de l'ontologie à l'aide de l'algorithme Needleman-Wunsch pour l'alignement global, ainsi que d'un réseau LSTM siamois. Une API pouvant être étendue à plusieurs simulateurs aérospatiaux, ainsi qu'un Runner, ont été créés pour permettre au Deviation Framework de se connecter au simulateur XPlane afin de surveiller le système en temps réel. Des données créées synthétiquement et contenant des mutations de séquences ont été analysées à des fins de test. Les résultats montrent que ce cadre est capable de détecter les erreurs ajoutées, omises et hors séquence. En outre, les capacités des réseaux siamois sont exploitées pour comprendre la relation de certaines anomalies de la chaîne de séquence afin qu'elles puissent être correctement ignorées (comme certaines tâches qui peuvent être exécutées dans le désordre par rapport à la séquence de référence). Les environnements de simulation enregistrant les données à une fréquence de 10 Hz, une valeur de 0.1 seconde constitue notre référence en temps réel. Ces évaluations de déviation peuvent être exécutées plus rapidement que notre contrainte de 0,1 seconde et ont été réalisées en 0,0179 seconde pour une séquence de décollage contenant 23 actions, ce qui est nettement plus performant que les modèles suivants de l'état de l'art. Les résultats de l'évaluation suggèrent que l'approche proposée pourrait être appliquée dans le domaine de l'aviation pour aider à détecter les erreurs avant qu'elles ne causent des dommages. \\En outre, nous avons formé un modèle d'apprentissage automatique pour reconnaître les signaux de pré-erreur dans le cortex cingulaire antérieur (CCA) à l'aide des données de test Flanker de l'ensemble de données COG-BCI, qui peuvent ensuite être utilisées pour détecter les états de pré-erreur chez les pilotes d'avion. Divers modèles d'apprentissage automatique ont été appliqués à l'ensemble de données, notamment des machines à vecteurs de support (SVM), des forêts aléatoires, un double modèle de réseau neuronal convolutif (CNN) et un modèle Transformer. Au-delà des conclusions typiques de l'étude, notre objectif s'étend à l'évaluation de l'applicabilité du modèle dans un domaine secondaire, à savoir l'évaluation du pouvoir discriminant des classificateurs pendant les procédures de décollage pour les pilotes d'avion. Les résultats de l'analyse de l'ensemble de données FLANKER ont révélé la supériorité du modèle transformateur, avec des réductions notables des faux négatifs et un score final macro moyen F1 de 0,610, et un score final macro moyen F1 de 0,578 sur les données pilotes. Comme nous prévoyons une augmentation des performances du classificateur avec davantage de données d'entraînement et des bandes d'interrogation étendues, cette étude jette les bases d'une recherche plus poussée sur la prédiction des états erronés et les modèles d'optimisation de l'apprentissage automatique pour les ICB et les applications du monde réel. / Aircraft pilots are constantly undergoing situations where they must process significant amounts of data in very small periods of time, which may lead to mistakes. We have created a deviation detection system that is capable of auditing the cockpit in real time to detect actions that have been incorrectly added, omitted, or done out of sequence. This model assesses deviations based on hierarchical task data found in the Ontological Reference Model for Piloting Procedures, which contains knowledge-based reference procedures assembled by experts in the domain. Pilot actions are compared to ontology reference sequences using the Needleman-Wunsch algorithm for global alignment, as well as a Siamese LSTM network. An API that can be expanded to several Aerospace Simulators, as well as a Runner, was created to enable the Deviation Framework to connect to the XPlane simulator for real-time system monitoring. Synthetically created data containing sequence mutations were analyzed for testing. The results show that this framework is capable of detecting added, omitted, and out of sequence errors. Furthermore, the capabilities of Siamese networks are leveraged to understand the relation of certain sequence chain anomalies so that they can correctly be ignored (such as certain tasks that can be performed out of order from the reference sequence). With simulation environments recording data at a frequency of 10Hz, a value of 0.1 seconds is our real-time benchmark. These deviation assessments are capable of being run faster than our 0.1 second requirement and have been clocked at 0.0179 seconds for one Takeoff sequence containing 23 actions - significantly outperforming the next state of the art models. The evaluation results suggest that the proposed approach could be applied in aviation settings to help catch errors before harm is done. \\Moreover, we have trained a machine learning model to recognize pre-error signals in the anterior cingulate cortex (ACC) using Flanker test data from the COG-BCI dataset, which can be subsequently employed to detect pre-error states in aviation pilots. Various machine learning models were applied to the dataset, including Support Vector Machines (SVM), Random Forests, double Convolutional Neural Network (CNN) model, and a Transformer model. Moving beyond typical study conclusions, our objective extends to assessing model applicability in a secondary domain —evaluating the classifiers' discriminative power during takeoff procedures for aviation pilots. Results from the analysis of the FLANKER dataset revealed the superiority of the transformer model, with notable reductions in false negatives and a final macro averaged F1 score of 0.610, and a final macro averaged F1 of 0.578 on the Pilot data. As we anticipate increases in classifier performance with more training data and extended polling bands, this study lays the groundwork for further research in erroneous state prediction and machine learning optimization models for BCI and real-world applications.

Une des plus importantes lacunes des outils actuels de mise en scène est que la collaboration en temps réel est très difficile à réaliser. En fait, les metteurs en scène doivent actuellement être situés au même endroit pour collaborer, ce qui n'est pas toujours possible. Les logiciels actuels de mise en scène ne permettent généralement pas la collaboration en temps réel. De plus, ces systèmes sont souvent très dispendieux et complexes d'utilisation. Une solution plus adaptée combinant des concepts de réalité virtuelle, technologie réseaux et vision numérique a ainsi été spécifiquement développée pour combler ces lacunes. Ce mémoire présente l'application de réalité virtuelle permettant la mise en scène collaborative résultant de nos travaux de recherche. Les défis les plus importants étaient d'assurer une synchronisation en temps réel entre une scène réelle et une scène virtuelle partagée et de minimiser les coûts tout en offrant un système multi-plates-formes et convivial. / One of the more important limitations of actual tools for performing arts design is that collaboration between designers is hard to achieve. In fact, designers must actually be co-located to collaborate in the design of a show, something that is not always possible. Actual software tools for performing arts design do not generally provide real-time collaboration and are not really convenient for collaborative work. In addition, these Systems are often expensive and complex to operate. A more adapted solution combining concepts from virtual reality, network technology, and computer vision has then been specifically developed to solve these issues. This master thesis presents the virtual reality application for supporting distributed collaborative production of theater shows resulting from our research. Challenges were to ensure real-time synchronization between a real and a shared virtual scene and to keep System cost as low as possible while offering platform independence and user-friendliness.

La pléthysmographie pénienne est reconnue comme la méthode la plus rigoureuse pour l’évaluation des intérêts sexuels. Cet instrument pourrait cependant bénéficier d’amélioration au niveau de sa validité écologique et de sa vulnérabilité aux tentatives de falsification. Cet outil est également confronté aux contraintes éthiques et légales liées à la présentation de stimuli produits à partir de modèle humain pour susciter l’excitation sexuelle. La présente thèse doctorale propose de pallier aux lacunes de la procédure pléthysmographique en la combinant à des stimuli générés par ordinateur présentés en immersion virtuelle et à la vidéo-oculographie. Dans le cadre d’une première étude empirique, il s’agit de déterminer si l’usage de stimuli générés par ordinateur présentés en immersion virtuelle est préférable à la modalité auditive actuellement utilisée. Les réponses érectiles d’agresseurs sexuels d’enfants et d’hommes sans paraphilie connue sont enregistrées et la capacité des deux modalités à produire des profils d’excitation sexuels et des indices de déviance propres aux intérêts sexuels est comparée. Dans le cadre d’une seconde étude expérimentale, les mouvements oculaires sont analysés afin de détecter les tentatives de contrôle volontaire de la réponse érectile lors d’une procédure d’évaluation pléthysmographique. Les réponses érectiles et les mouvements oculaires d’hommes sans dossier judiciaire sont enregistrés lors du visionnement de stimuli sous trois différentes conditions, dont une tâche de suppression de la réponse érectile. Dans l’ensemble, les résultats démontrent que les stimuli générés par ordinateur présentés en immersion virtuelle génèrent des profils d’excitation sexuelle ainsi que des indices de déviance ayant une précision de classification et de discrimination significativement supérieure à la modalité auditive. D’autre part, les résultats soulignent la capacité des mouvements oculaires à identifier une signature oculaire propre à l’utilisation d’une stratégie cognitive d’inhibition de la réponse érectile qui se caractérise notamment par la mise à l’écart du contenu sexuel et le ralentissement global du processus d’exploration visuel. Ce projet de recherche souligne les avantages inhérents à la présentation en immersion virtuelle de stimuli générés par ordinateur ainsi qu’à l’étude des mouvements oculaires lors de l’évaluation pléthysmographique et vient appuyer l’implantation progressive de cette modalité dans les milieux d’évaluations cliniques. / Penile plethysmography is considered to be the most rigorous method for sexual interest assessment. The instrument could however benefit from improvements in terms of its ecological validity and vulnerability to faking attempts. This tool also faces ethical and legal constraints related to the presentation of stimuli depicting human subjects to entice sexual arousal. This doctoral thesis seeks to address penile plethysmography’s shortcomings by combining it with computer-generated stimuli presented in virtual immersion as well as eye-tracking devices. A first empirical study was conducted to determine whether the presentation of computer-generated stimuli in virtual immersion is preferable to the auditory modality currently being used. Erectile responses from child molesters and men without sexual deviances were recorded and the ability of both modalities to generate sexual arousal profiles and deviance differentials indicative of sexual interests were compared. In a second experimental study, eye-movements were explored in an attempt to identify the presence of cognitive strategies responsible for erectile inhibition during the plethysmographic procedure. Erectile responses and eye-movements of men without criminal records were recorded when viewing stimuli under three different conditions, including an erectile inhibition task. Overall, results show that the presentation of computer-generated stimuli in virtual immersion generates sexual arousal profiles and deviance differentials, which allow significantly higher classification accuracy and discriminant performance than the auditory modality. Results also highlight the possibility, through eye-movement analyses, to identify an ocular signature specific to the use of cognitive strategies for erectile inhibition, which is characterized by a partial avoidance of the sexual content and a general deceleration of the visual exploration process. This project exposes the benefits inherent to the presentation of computer-generated stimuli in virtual immersion and the use of eye-tracking devices for penile plethysmography assessments and supports the progressive implementation of this modality in clinical settings.

Le système perceptif d’un chirurgien doit s’adapter aux contraintes multisensorielles liées à la chirurgie guidée par l’image. Trois expériences sont conçues pour explorer ces contraintes visuelles et haptiques pour l’apprentissage guidé par l’image. Les résultats montrent que les sujets sont plus rapides et plus précis avec une vision directe. La stéréoscopie 3D n’améliore pas les performances des débutants complets. En réalité virtuelle, la variation de la longueur, largeur, position et complexité de l'objet affecte les performances motrices. La force de préhension appliquée sur un système robotique chirurgical dépend de l'expérience de l'utilisateur. En conclusion, le temps et la précision sont importants, mais la précision doit rester une priorité pour un apprenti. L'homogénéité des groupes d'étude est important pour la recherche sur la formation chirurgicale. Les résultats ont un impact direct sur le suivi des compétences individuelles pour les applications guidées par l'image. / Perceptual system of a surgeon must adapt to conditions of multisensorial constrains regard to planning, control, and execution of the image-guided surgical operations. Three experimental setups are designed to explore these visual and haptic constraints in the image-guided training. Results show that subjects are faster and more precise with direct vision compared to image guidance. Stereoscopic 3D viewing does not represent a performance advantage for complete beginners. In virtual reality, variation in object length, width, position, and complexity affect the motor performance. Applied grip force on a surgical robot system depends on the user experience level. In conclusion, both time and precision matter critically, but trainee gets as precise as possible before getting faster should be a priority. Study group homogeneity and background play key role in surgical training research. The findings have direct implications for individual skill monitoring for image-guided applications.

\noindent(\large\bf Mots clés spécifiques)~: (\em objet actif, phénomène, milieu-prévision, milieu-expérimentation, aisthesis, praxis, poiesis, prédiction, action, adaptation, entité énactive, modélisation énactive, hypothèse énactive.)<br />\vspace(5mm)<br /><br />\centerline(\LARGE\bf Résumé)<br />\vspace(5mm)<br /><br />Cette thèse s'inscrit dans le cadre de la modélisation des phénomènes naturels<br />pour une instrumentation en un système de réalité virtuelle. Elle fournit les<br />prémices d'une méthodologie de modélisation des systèmes complexes en vue de leur simulation, dite modélisation énactive.<br />La thèse que nous défendons porte sur trois idées principales :<br />\begin(enumerate)<br />\item la modélisation traduit une praxis humaine.<br />\item les phénomènes sont modélisés en tant qu'entités autonomes.<br />\item les interactions entre les entités passent par un milieu qui est créé et fa\c conné par les entités elles-mêmes.<br />\end(enumerate)<br /><br />Premièrement, la modélisation est une activité humaine qui traduit implicitement et doit traduire explicitement une cause finale à la modélisation. Les phénomènes modélisés sont les affordances d'un utilisateur du modèle.<br /><br />Deuxièmement, l'autonomisation des modèles, consistant à donner au modèle du phénomène naturel<br />des capacités de perception, d'action et d'adaptation, est une solution pragmatique efficace<br />pour la modélisation d'un système complexe où de nombreux modèles doivent interagir de multiples fa\c cons.<br /><br />Troisièmement, en déléguant aux modèles la fabrication du milieu dont ils ont besoin pour déterminer leurs interactions,<br />nous pouvons simuler dans un même environnement virtuel des modèles liés à des échelles phénoménologiques<br />très différentes les unes des autres, sans passer par un maillage apriori de l'espace-temps,<br />tout en respectant, par exemple, les lois de conservations en physique.<br /><br />Ces hypothèses conceptuelles sont traduites en un modèle formel pragmatique, dans lequel nous formalisons<br />des notions d'objet actifs, d'entité autonome et d'organisation énactive. La formalisation fournit une méthode de modélisation<br />des phénomènes naturels et d'instrumentation de ces modèles permettant au concepteur de simuler en réalité virtuelle<br />le système multi-modèles à tout moment de la création.<br /><br />Nous appliquons ces idées pour réaliser une animation interactive de la surface de la mer.<br />Le système de réalité virtuelle générant les états de mer doit pouvoir<br />être utilisable par des marins et être crédible aux yeux des océanographes.<br />Le modèle obtenu se nomme IPAS (Interactive Phenomenological Animation of the Sea)<br />et permet l'animation d'un plan d'eau de plusieurs kilomètres carrés.<br />IPAS intègre, d'une part les notions marines<br />de groupe de vagues, de déferlement, de vent synoptique de vent local, de courant et de bathymétrie,<br />d'autre part les notions physiques de conservation de l'action, de stress du vent, de réfraction des vagues de gravités<br />lors des interactions vagues/déferlements/vents/courants/bathymétrie.<br />Les simulations ont lieu en temps réel et ne néces\-sitent aucun pré-calcul.<br /><br />Cette thèse sur la manière de simuler des phénomènes naturels, ouvre de nombreuses perspectives à venir.<br />On pourra, par exemple,<br />\begin(enumerate)<br />\item utiliser le modèle de mer IPAS pour la réalisation d'un environnement virtuel dédié à la sécurité civile (maritime) ou à la pratique de la compétition en voile,<br />\item consolider la validité océanographique d'IPAS et enrichir le modèle en réalisant des expériences virtuelles d'évolution d'états de mer et les comparer avec des résultats théoriques ou expérimentaux,<br />\item prouver son équivalence formelle avec les méthodes numériques classiques de résolution des systèmes d'équations différentielles,<br /> lorsque les entités sont des interactions entre des volumes élémentaires<br /> devant respecter les mêmes lois physiques que celles ayant permis d'établir les équations.<br />\item utiliser la méthode de modélisation pour d'autres phénomènes que la surface de la mer (hydrologie, météorologie, sismologie, biochimie, biologie, pédagogie, sociologie, économie)<br />\end(enumerate)

La réalité virtuelle ouvre une fenêtre, voulue transparente, sur un monde virtuel dans lequel sont plongés des participants. Conçus d'abord comme uniquement visuels, les mondes virtuels sont maintenant aussi sonores, grâce aux technologies récentes de rendu sonore spatialisé. Le système innovant proposé et étudié ici se compose de larges panneaux de structure sandwich, servant d'écrans, au revers desquels sont collés des excitateurs électrodynamiques qui les mettent en vibration, créant ainsi un champ acoustique autour des auditeurs. Le rendu visuel 3D est généré par stéréoscopie passive adaptative et le rendu sonore spatialisé par holophonie. L'utilisation d'un panneau comme source sonore étendue pour l'holophonie suppose la compréhension de son comportement vibro-acoustique. L'estimation des non-linéarités dans les systèmes vibrants est abordée à partir d'une méthode proposée par A. Farina en 2000 : cette méthode est justifiée sur le plan théorique et son applicabilité est étendue (séparation des sources de non-linéarité). Une méthode d'estimation des modules d'élasticité et des facteurs d'amortissement pertinents pour la propagation dans le panneau sandwich des ondes de flexion et de cisaillement est aussi développée. Le système est caractérisé expérimentalement grâce à ces deux outils. La perception spatiale, par les modalités audio, visuelle et audio-visuelle, du monde virtuel synthétisé par le dispositif est ensuite abordée. Il est montré que les participants fusionnent avec succès les flux auditif et visuel qui leur sont présentés et perçoivent les rendus auditif et visuel de façon spatialement cohérente. Les caractéristiques de leur perception spatiale de l'espace virtuel sont analysées en fonction des modalités mises en jeu et comparées avec les données de la littérature. Le concept d'ancrage du monde virtuel au dispositif réel qui le crée est en outre proposé : la distance entre le sujet et le panneau semble en effet jouer un rôle pivot dans la loi de compression des distances perçues. Enfin, deux applications de réalité virtuelle basées sur ce système illustrent les nombreuses possibilités offertes par cette nouvelle interface "homme-machine".

Ces travaux visent à fournir un système de scénarisation d'environnements virtuels assurant à la fois la liberté d'action de l'utilisateur, l'ampleur, le caractère dynamique et l'efficacité du contrôle exercé sur le scénario, la cohérence des comportements présentés et l'adaptabilité du système. Nous proposons SELDON, un modèle basé sur le contrôle centralisé et indirect d'une simulation émergente. Le contenu scénaristique y est représenté par des modèles du domaine et de l'activité dans les langages DOMAIN-DL et ACTIVITY-DL. L'environnement est peuplé de personnages virtuels autonomes et l'utilisateur y est libre de ses actions. La scénarisation est réalisée en deux étapes : des objectifs dynamiques sont déterminés à partir de l'activité de l'utilisateur, puis un scénario est généré en fonction de ces objectifs et exécuté au travers d'ajustements sur la simulation. Le moteur DIRECTOR permet de générer et de réaliser ce scénario. DIRECTOR utilise les modèles qui sous-tendent la simulation pour prédire son évolution, et guide cette évolution au travers d'un ensemble d'ajustements indirects, qui influencent les réactions des systèmes techniques et les prises de décision des personnages. Il utilise un moteur de planification pour générer des scénarios composés d'étapes de prédiction, dont il suit la réalisation dans la simulation, et d'ajustements, qu'il déclenche. Les objectifs scénaristiques pris en compte sont à la fois dynamiques, au travers de situations prescrites et proscrites et de contraintes sur les propriétés globales du scénario, et statiques, sous la forme d'espaces de scénario représentés en CAUSALITY-DL.

La conception concourante de produits matériels centrée sur l'homme est basée sur une collaboration entre le concepteur mécanicien, l'ergonome et le designer industriel. Cette collaboration souvent difficile peut être facilitée par l'utilisation d'objets intermédiaires de conception, tels que la Réalité Virtuelle (RV). Néanmoins, bien que largement utilisée dans l'industrie, la RV souffre d'un déficit d'acceptation de la part des concepteurs de produits. Dans le cadre de ces travaux, nous proposons d'utiliser la RV sous la forme d'outils immersifs d'assistance à la convergence multidisciplinaire développés selon une démarche anthropocentrée en fonction des besoins spécifiques à chaque projet de conception de produits. Afin d'optimiser les délais de développement, nous proposons une méthodologie de conception d'applications immersive dédiée : la méthodologie ASAP(As Soon As Possible). Une première série expérimentale a été conduite dans le cadre de contrats industriels d'études et de recherche afin de valider la faisabilité de la méthodologie et l'efficacité des outils développés.Une deuxième série expérimentale a été effectuée sur plus de 50 sujets dans le cadre de projets, cette fois, pédagogiques qui ont nécessité le développement de 12 applications. Elle a permis de valider quantitativement l'influence des outils immersifs sur l'efficacité perçue des phases de convergence interdisciplinaires ainsi que l'influence de l'approche proposée sur l'acceptation de la RV par les concepteurs de produits. Ces travaux de thèse présentent une première approche qui, selon nous, permettra à terme, de faire évoluer l'usage de la RV vers une intégration plus forte au sein des processus de conception de produits avec, par exemple, une plus large utilisation des applications immersives de modélisation 3D, réelles sources d'innovation.

La pléthysmographie pénienne est reconnue comme la méthode la plus rigoureuse pour l’évaluation des intérêts sexuels. Cet instrument pourrait cependant bénéficier d’amélioration au niveau de sa validité écologique et de sa vulnérabilité aux tentatives de falsification. Cet outil est également confronté aux contraintes éthiques et légales liées à la présentation de stimuli produits à partir de modèle humain pour susciter l’excitation sexuelle. La présente thèse doctorale propose de pallier aux lacunes de la procédure pléthysmographique en la combinant à des stimuli générés par ordinateur présentés en immersion virtuelle et à la vidéo-oculographie. Dans le cadre d’une première étude empirique, il s’agit de déterminer si l’usage de stimuli générés par ordinateur présentés en immersion virtuelle est préférable à la modalité auditive actuellement utilisée. Les réponses érectiles d’agresseurs sexuels d’enfants et d’hommes sans paraphilie connue sont enregistrées et la capacité des deux modalités à produire des profils d’excitation sexuels et des indices de déviance propres aux intérêts sexuels est comparée. Dans le cadre d’une seconde étude expérimentale, les mouvements oculaires sont analysés afin de détecter les tentatives de contrôle volontaire de la réponse érectile lors d’une procédure d’évaluation pléthysmographique. Les réponses érectiles et les mouvements oculaires d’hommes sans dossier judiciaire sont enregistrés lors du visionnement de stimuli sous trois différentes conditions, dont une tâche de suppression de la réponse érectile. Dans l’ensemble, les résultats démontrent que les stimuli générés par ordinateur présentés en immersion virtuelle génèrent des profils d’excitation sexuelle ainsi que des indices de déviance ayant une précision de classification et de discrimination significativement supérieure à la modalité auditive. D’autre part, les résultats soulignent la capacité des mouvements oculaires à identifier une signature oculaire propre à l’utilisation d’une stratégie cognitive d’inhibition de la réponse érectile qui se caractérise notamment par la mise à l’écart du contenu sexuel et le ralentissement global du processus d’exploration visuel. Ce projet de recherche souligne les avantages inhérents à la présentation en immersion virtuelle de stimuli générés par ordinateur ainsi qu’à l’étude des mouvements oculaires lors de l’évaluation pléthysmographique et vient appuyer l’implantation progressive de cette modalité dans les milieux d’évaluations cliniques. / Penile plethysmography is considered to be the most rigorous method for sexual interest assessment. The instrument could however benefit from improvements in terms of its ecological validity and vulnerability to faking attempts. This tool also faces ethical and legal constraints related to the presentation of stimuli depicting human subjects to entice sexual arousal. This doctoral thesis seeks to address penile plethysmography’s shortcomings by combining it with computer-generated stimuli presented in virtual immersion as well as eye-tracking devices. A first empirical study was conducted to determine whether the presentation of computer-generated stimuli in virtual immersion is preferable to the auditory modality currently being used. Erectile responses from child molesters and men without sexual deviances were recorded and the ability of both modalities to generate sexual arousal profiles and deviance differentials indicative of sexual interests were compared. In a second experimental study, eye-movements were explored in an attempt to identify the presence of cognitive strategies responsible for erectile inhibition during the plethysmographic procedure. Erectile responses and eye-movements of men without criminal records were recorded when viewing stimuli under three different conditions, including an erectile inhibition task. Overall, results show that the presentation of computer-generated stimuli in virtual immersion generates sexual arousal profiles and deviance differentials, which allow significantly higher classification accuracy and discriminant performance than the auditory modality. Results also highlight the possibility, through eye-movement analyses, to identify an ocular signature specific to the use of cognitive strategies for erectile inhibition, which is characterized by a partial avoidance of the sexual content and a general deceleration of the visual exploration process. This project exposes the benefits inherent to the presentation of computer-generated stimuli in virtual immersion and the use of eye-tracking devices for penile plethysmography assessments and supports the progressive implementation of this modality in clinical settings.

Cette thèse vise à détecter et améliorer l’état cognitif de l’apprenant. Cet état est défini par la capacité d’acquérir de nouvelles connaissances et de les stocker dans la mémoire. Nous nous sommes essentiellement intéressés à améliorer le raisonnement des apprenants, et ceci dans trois environnements : environnement purement cognitif Logique, jeu sérieux LewiSpace et jeu sérieux intelligent Inertia. La détection de cet état se fait essentiellement par des mesures physiologiques (en particulier les électroencéphalogrammes) afin d’avoir une idée sur les interactions des apprenants et l’évolution de leurs états mentaux. L’amélioration des performances des apprenants et de leur raisonnement est une clé pour la réussite de l’apprentissage. Dans une première partie, nous présentons l’implémentation de l’environnement cognitif logique. Nous décrivons des statistiques faites sur cet environnement. Nous avons collecté durant une étude expérimentale les données sur l’engagement, la charge cognitive et la distraction. Ces trois mesures se sont montrées efficaces pour la classification et la prédiction des performances des apprenants. Dans une deuxième partie, nous décrivons le jeu Lewispace pour l’apprentissage des diagrammes de Lewis. Nous avons mené une étude expérimentale et collecté les données des électroencéphalogrammes, des émotions et des traceurs de regard. Nous avons montré qu’il est possible de prédire le besoin d’aide dans cet environnement grâce à ces mesures physiologiques et des algorithmes d’apprentissage machine. Dans une troisième partie, nous clôturons la thèse en présentant des stratégies d’aide intégrées dans un jeu virtuel Inertia (jeu de physique). Cette dernière s’adapte selon deux mesures extraites des électroencéphalogrammes (l’engagement et la frustration). Nous avons montré que ce jeu permet d’augmenter le taux de réussite dans ses missions, la performance globale et par conséquent améliorer l’état cognitif de l’apprenant. / This thesis aims at detecting and enhancing the cognitive state of a learner. This state is measured by the ability to acquire new knowledge and store it in memory. Focusing on three types of environments to enhance reasoning: environment Logic, serious game LewiSpace and intelligent serious game Inertia. Physiological measures (in particular the electroencephalograms) have been taken in order to measure learners’ engagement and mental states. Improving learners’ reasoning is key for successful learning process. In a first part, we present the implementation of logic environment. We present statistics on this environment, with data collected during an experimental study. Three types of data: engagement, workload and distraction, these measures were effective and can predict and classify learner’s performance. In a second part, we describe the LewiSpace game, aimed at teaching Lewis diagrams. We conducted an experimental study and collected data from electroencephalograms, emotions and eye-tracking software. Combined with machine learning algorithms, it is possible to anticipate a learner’s need for help using these data. In a third part, we finish by presenting some assistance strategies in a virtual reality game called Inertia (to teach Physics). The latter adapts according to two measures extracted from electroencephalograms (frustration and engagement). Based on our study, we were able to enhance the learner’s success rate on game missions, by improving its cognitive state.