Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Ce travail doctoral questionne le processus d’intégration des informations visuelles et gravito-inertielles à l’origine de comportements perceptivo-moteurs. Pour cela, nous avons manipulé l’orientation dans le plan sagittal d’une scène visuelle, du corps ou du vecteur gravito-inertiel, grâce à la rotation de cette scène ou du corps et par centrifugation. Nous avons mesuré les conséquences de ces modifications sur la capacité à localiser le corps ou une cible par le biais d’un mouvement de pointage manuel. Au cours de 3 expérimentations, nous avons manipulé un ensemble de facteurs associés au contexte de présentation des stimulations visuelles et gravito-inertielles (e.g., dynamique de rotation : rapide vs. lente), à la combinaison de ces stimulations (i.e., congruence vs. incongruence spatiale), au mode de réponse spatiale (i.e., tâche de détection de l’inclinaison, pointage discret ou continu) et aux caractéristiques individuelles (i.e., style perceptif). De façon générale, les études réalisées montrent que les règles de pondération sensorielle dépendent de l’interaction entre ces différents facteurs. Nous avons pu ainsi déterminer 2 grands types d’effets sur la pondération sensorielle : i) La non congruence spatiale entre les stimulations entraine une dominance relative des informations gravito-inertielles quelles que soient la tâche ou les caractéristiques de la scène visuelle ; ii) Par contraste, lorsque ces stimulations sont congruentes, les règles de pondération sensorielle dépendent de la tâche (i.e., perceptive vs. sensorimotrice). / This dissertation investigates the integration process of visual and gravitoinertial cues at the origin of perceptual-motor skills. To that aim, we manipulated sagittal orientation of a visual scene, the body and the gravitoinertial vector by means of scene and body rotations, as well as centrifugation. Self-orientation perception and target localization were analyzed during these modifications. In 3 experiments we modulated several factors associated with i) the presentation of visual and gravitoinertial stimulations (e.g., rotation dynamics: fast vs. slow), ii) the combination of these stimulations (i.e., spatial congruence vs. non-congruence), iii) the task (i.e., self-tilt detection, continuous and discrete arm pointing movements), iv) individual characteristics (i.e., perceptive style). Overall, we show that sensory integration rules depend on these interacting factors. Two global effects were revealed on sensory weighting: i) spatial non-congruence between stimulations induces relative gravitoinertial dominance, whatever the task or visual scene properties; ii) by contrast, spatial congruence between stimulations could be associated to sensory weighting rules which are task dependent (i.e., perceptive vs. sensorimotor).

La perception du mouvement propre met en jeu différents systèmes sensoriels (principalement visuel, vestibulaire et somatosensoriel). Ces informations sont traitées par le système nerveux central pour élaborer une représentation tridimensionnelle des mouvements de la tête et du corps dans l'espace, permettant ainsi des fonctions comme l'orientation spatiale, la perception des distances (distances relatives et distances parcourues), le maintien de l'équilibre et de la posture. La perception au niveau du récepteur périphérique ne reflète que très rarement la sensation consciente du mouvement. L'étude de la perception du mouvement doit donc s'intéresser aux interactions entre les différentes modalités sensorielles, plus qu'à l'étude de chaque canal sensoriel séparément. Les signaux provenant des différents systèmes sensoriels peuvent ne pas congruer, générant des situations d'illusions et de conflits sensoriels étudiées par l'ergonomie cognitive.

Dans cette thèse, nous avons étudié d’une manière structurée et détaillée la sémantique des verbes gnat’ et gonjat’. Pour cela, nous avons tout d’abord formalisé leur potentiel sémantique qui comprend les composants de leur valeur de base et ce qu’ils génèrent dans des situations nouvelles, dans des cotextes particuliers. Pour chaque valeur sémantique, nous avons présenté un schéma sémantique, un schéma actantiel en précisant les rôles sémantiques, la nature des actants et leur réalisation syntaxique, ainsi que des illustrations d’emploi dans des cotextes des plus représentatifs, des synonymes, la famille morphologique. Les valeurs plus ou moins communes à gnat’ et à gonjat’ ont été étudiées ensemble, ce qui nous a permis de mettre en évidence leurs similitudes et différences. Puis, nous avons traité la question de la catégorie grammaticale des verbes de mouvement. Après avoir exposé les propriétés traditionnellement attribuées aux corrélats déterminé / indéterminé et les particularités qui sont générées dans l’emploi de chacun de ces corrélats, nous avons analysé la corrélation déterminé / indéterminé en général, et en particulier, entre gnat’ et gonjat’. Faisant partie de la catégorie grammaticale des verbes de mouvement, gnat’ et gonjat’ s’opposent sur le plan grammatical en tant que déterminé vs indéterminé et leurs caractéristiques grammaticales induisent quelques différences sémantiques. Ainsi, la plupart des différences observées entre gnat’ et gonjat’ ne sont pas en fait pas d’ordre lexical, mais résultent des différences grammaticales du déterminé gnat’ et de l’indéterminé gonjat’. Dans la partie consacrée à la dérivation morphologique, nous avons eu pour objectif d’examiner les effets de la préverbation et les modifications de sens que la préverbation entraîne pour ces verbes. Nous avons étudié les préverbés formés sur la base de gnat’ / gonjat’ à valeur spatiale en les regroupant en fonction de l’orientation spatiale : à partir du point de départ, vers le point d’arrivée, les deux en même temps ou en rapport avec un repère. Une attention minutieuse a été accordée aux différences sémantiques et aspectuelles de certains préverbés partageant les mêmes valeurs spatiales. L’étude des préverbés combinés aux préverbes à valeur non spatiale a été organisée en fonction de la morphologie de l’aspect : les préverbés hors couple et les couples de verbes. Quelques particularités ont été observées. Pour que l’étude sémantique soit complète, nous y avons inclus la question des phrasèmes comportant ces verbes. Puis, nous avons analysé le parallélisme qui existe entre gnat’ / gonjat’ simples et préverbés et le verbe dit de position sidet’ : les valeurs que ces verbes ont en commun et aussi, les limites de leur corrélation, Enfin, en partant directement des situations linguistiques concrètes avec gnat’ / gonjat’ simples et préverbés nous avons exposé un certain nombre de mécanismes qui aboutissent à un effet expressif. / In this thesis, we have studied the semantics of the verbs gnat’ and gonjat’ in a structured and extensive way. To achieve this, we began by structuring their semantic potential, which includes their basic value and what it produces in new situations, in specific cotexts. For each semantic value, we have presented a semantic schema, mapping the semantic roles of the actants, their nature and their syntactic development, together with examples of usage in the most representative cotexts, the synonyms, the morphological family. The more or less common values of gnat’ and gonjat’ have been studied together, so that we could bring their similarities and differences to light. Then, we dealt with the question of the grammatical category of the verbs of motion. Having presented the usually attributed properties of the correlate determined / indetermined and the particularities that emerge in the usage of each of these correlates, we have focused on the determined / indetermined correlation in general and between gnat’ and gonjat’ in particular. While belonging to the same grammatical category of the verbs of motion, both gnat’ and gonjat’ are opposed on a grammatical level, as determined and indetermined, and their grammatical characteristics lead to some semantical differences. Hence, most of the observed differences between gnat’ and gonjat’ are not of a lexical type; they are rather the result of the semantical differences between the determined gnat’ and the indetermined gonjat’. In the part of our thesis dedicated to morphological derivation, our goal was to study the impacts of verbal prefixation and the change of meaning as a result of the prefixation for these verbs. We have studied prefixed verbs based on gnat’ / gonjat’ with spatial meanings, clustering them depending on their spatial orientation: from the starting point, to the point of arrival, both at the same time or in relation to a landmark. A particular focus has been placed on the semantical and aspectual differences of some verbs with prefixes that share the same spatial values. The analysis of verbs with spatial prefixes was done according to the morphology of the aspect: the verbs with prefixes outside aspectual pairs and the pair of verbs. Some particularities have been observed. For the semantic study to be complete, we have added the question of the phrasemes using these verbs. Then, we studied the similarity between gnat’ and gonjat’ in their simple and prefixed forms and the verb of position sidet’: what those verbs have in common but also the limits of their similarities. Finally, we have taken concrete linguistic situations involving gnat’ and gonjat’ in their simple and prefixed forms in order to outline a number of mechanisms leading to an expressive result.

Des études soutiennent que l’entraînement cognitif est une méthode efficace pour ralentirle déclin cognitif chez les personnes âgées. Les jeux sérieux basés sur la réalité virtuelle(RV) ont trouvé une application dans ce domaine en raison du haut niveau d’immersionet d’interactivité offert par les environnements virtuels (EV). Ce projet implémente unjeu d’orientation 3D en réalité virtuelle entièrement immersif avec un système pour guiderl’utilisateur en temps réel. Le jeu d’orientation 3D est utilisé comme exercice pour entraînerles capacités cognitives des utilisateurs. Les effets immédiats du jeu d’orientation sur lescapacités de mémoire et d’attention ont été étudiés sur quinze personnes âgées présentant undéclin cognitif subjectif (DCS). Il a été observé que bien qu’il n’y ait pas eu d’améliorationsignificative des résultats pour les exercices d’attention, les participants ont obtenu demeilleurs résultats aux exercices de mémoire spécifiques après avoir joué au jeu d’orientation. Le manque de succès dans la réalisation de l’objectif requis peut parfois augmenter lesémotions négatives chez les êtres humains, et plus particulièrement chez les personnes quisouffrent de déclin cognitif. C’est pourquoi le jeu a été équipé d’un système de guidageavec indices de localisation en temps réel pour contrôler les émotions négatives et aiderles participants à accomplir leurs tâches. Le système de guidage est basé sur des règleslogiques; chaque indice est délivré si une condition spécifique est remplie. Le changement desémotions des participants a montré que les indices sont efficaces pour réduire la frustration,étant donné qu’ils sont facilement compréhensibles et conçus pour donner un retour positif. La dernière partie du projet se concentre sur le système de guidage et met en oeuvre unmoyen pour l’activer entièrement selon les émotions d’une personne. Le problème consisteà identifier l’état des émotions qui devraient déclencher l’activation du système de guidage.Ce problème prend la forme d’un processus de décision markovien (PDM), qui peut êtrerésolu via l’apprentissage par renforcement (AR). Le réseau profond Q (RPQ) avec relectured’expérience (ER), qui est l’un des algorithmes d’apprentissage par renforcement les plusavancés pour la prédiction d’actions dans un espace d’action discret, a été utilisé dans cecontexte. L’algorithme a été formé sur des données d’émotions simulées, et testé sur les données de quinze personnes âgées acquises lors d’expériences menées dans la première partiedu projet. On observe que la méthode basée sur l’AR est plus performante que la méthodebasée sur les règles pour identifier l’état mental d’une personne afin de lui fournir des indices. / Studies support cognitive training as an efficient method to slow the cognitive declinein older adults. Virtual reality (VR) based serious games have found application in thisfield due to the high level of immersion and interactivity offered by virtual environments(VE). This project implements a fully immersive 3D virtual reality orientation game with areal-time guidance system to be used as an exercise for cognitive training. The immediateaftereffects of playing the orientation game on memory and attention abilities were studiedon fifteen older adults with subjective cognitive decline (SCD). It was observed that whilethere was no significant improvement in attention exercises, the participants performedbetter in specific memory exercises after playing the orientation game. Sometimes lack of success in achieving the required objective may increase the negativeemotions in humans and more so in people who suffer from cognitive decline. Hence, thegame was equipped with a real-time guidance system with location hints to control negativeemotions and help participants to complete the tasks. The guidance system is based onlogical rules; each hint is delivered if a specific condition is met. Change in emotions ofparticipants showed that hints are effective in reducing frustration, given that the hints areeasily comprehensible and designed to give positive feedback. The final part of the project focuses on the guidance system and implements a way toactivate it entirely based on a person’s emotions. The problem calls for identifying the stateof the emotions that should trigger the guidance system’s activation. This problem takes theform of a Markov decision process (MDP), which can be solved by setting it in a reinforcementlearning framework. Deep Q-Learning network (DQN) with experience replay (ER),which is one of the state-of-the-art reinforcement learning algorithms for predicting actionsin discrete action space, was used in this context. The algorithm was trained on simulateddata of emotions and tested on the data of fifteen older adults acquired in experimentsconducted in the first part of the project. It is observed that the RL based method performsbetter than the rule-based method in identifying the mental state of a person to provide hints.