The human gaze is pivotal in motion planning and control. Gaze is typically directed at visual target sites prior to physical interactions with them. This proactive gaze (PEG) behavior has been observed in a multitude of physical situations. However, PEG has not been examined in virtual reality (VR). Identification of PEG in VR could be helpful for digital human modeling applications and human-robot interactions. In this study we asked 10 participants to perform a pick-and-place (PAP) task in VR while we were tracking gaze behavior. Our results indicate that PEG also occurs in VR. Furthermore, the action to reach directly towards the PAP object or walk to it before reaching, results in different gaze strategies. Relocating before a reach is associated with gaze to additional sites, such as the floor and the table upon which the object was placed. / Den mänskliga blicken är avgörande för planering och kontroll av rörelse. Blicken riktas vanligtvis mot visuella mål före interaktion med dessa. Denna proaktiva blick (eng. ’proactive gaze’; PEG) har observerats i många olika slags fysiska situationer. Dock har inte PEG undersökts i virtual reality (VR). Identifiering av PEG i VR skulle kunna vara användbart för applikationer med digital mänsklig modellering och människo-robotinteraktioner. I denna studie instruerade vi 10 försöksdeltagare att utföra en s.k. pick-and-place-uppgift (PAP) i en VR-miljö medan vi registrerade deltagarnas blick. Våra resultat indikerar att PEG också förekommer i VR. Vidare leder handlingen att direkt sträcka sig efter objektet till ett annorlunda blickbeteende jämfört med att först förflytta sig innan man sträcker sig efter PAP-objektet. Vid förflyttning innan man sträcker sig efter objektet fästs blicken på ytterligare områden såsom golvet och bordet som objektet placerats på.

More than two hundred years ago David Hume together with his fellow philosopher Adam Smith posited, that ethical behaviour arises from so called: "moral sense". In the other words, they share the same idea, that passions are principle evoking and guiding human behaviour. Hume claim: "Reason is, and ought only to be the slave of the passions" (…). It is possible that this statement - among others - woke up from the 'dogmatic dream' one of the greatest philosophers of all time - Immanuel Kant, who propose, - contrary to Hume - that reason but not necessary passions can determinate human actions. In the question of what rule the passions in ethics have, it seems to be helpful to use the knowledge which follows from recent science. During this thesis we will use methods such as: comparison, analysis and synthesis. Main aim of this thesis will be to deal with the following question: what relationship can be observed between empathy, "moral sense" and ethical behaviour in perspective of recent science. This enquiry will therefore try to deal with the old question: what the the relationship between reason, passions and ethical behaviour is.

<p></p><p>A large body of literature suggests that cognitive abilities are important determinants for training and job performance, including flight performance. The associations between measures of ability tests and job performance have been the focus of many empirical studies, resulting in an overall conclusion that general mental ability, <i>g</i>, is the main source of prediction, while other narrower abilities have limited power for predicting job performance. Despite the attention given to cognitive ability-flight performance relationships, their associations have not been fully understood at the broad construct level, and most extant literature focused on the relations at the observed scores level. Thus, the present dissertation study was designed to contribute to the progression of this understanding by examining the relations between cognitive abilities and flight training performance, using data from four U.S. Air Force (USAF) pilot samples. For comparison, one navigator and one air battle manager sample were also analyzed. The data were obtained from correlation matrices of prior investigations and analyzed via structural equation modeling (SEM) procedures. </p> <p> Four studies are reported in the thesis: (1) preliminary study, (2) primary validation study, (3) cross-validation study, and (4) cross-occupation validation study. The preliminary study assessed the test battery used in the subsequent predictive studies. The primary validation study introduced a bifactor predictive SEM model for testing the influence of cognitive abilities in predicting pilot performance. The cross-validation study assessed the consistency of the predictive model suggested in the primary validation study, using three additional pilots’ samples. The cross-occupation validation study compared the predictive model using data from three aviation-related occupations (flying, navigation, air battle management). Ability factors were extracted from scores of pilot applicants on the Air Force Officer Qualifying Test (AFOQT), the USAF officers’ primary selection test battery, whereas the flight performance scores were obtained from pilot records during the flight training program.</p> <p> In addition to the <i>g</i> factor, <i>verbal ability, quantitative ability, spatial ability, perceptual speed ability, and aviation-related acquired knowledge </i>are the six latent cognitive ability factors investigated in the reported studies. Pilot performance measures were modeled either as observed or latent variables covering ratings of academic and hands-on flying performance in different phases of the training program. The studies of this thesis established that (1) general ability contributes substantially to the prediction models; however, it is not the only important predictor, (2) aviation-related acquired knowledge is the most robust predictor of pilot performance among the abilities examined, with a role even exceeding that of <i>g</i>, (3) perceptual speed predicted pilot performance uniquely in several occasions, while verbal, spatial, and quantitative abilities demonstrated trivial incremental validity for hands-on pilot performance beyond that provided by the <i>g</i> measure, and (4) the relative importance of cognitive abilities tends to vary across aviation occupations.</p><br><p></p>

We introduce a novel integration of real-time, predictive eye-gaze tracking models into a multimodal dialogue system tailored for remote health assessments. This system is designed to be highly accessible requiring only a conventional webcam for video input along with minimal cursor interaction and utilizes engaging gaze-based tasks that can be performed directly in a web browser. We have crafted dynamic subsystems that capture high-quality data efficiently and maintain quality through instances of user attrition and incomplete calls. Additionally, these subsystems are designed with the foresight to allow for future re-analysis using improved predictive models, as well as enable the creation and training of new eye-gaze tracking datasets. As we explored gaze patterns for various user-performed tasks, we developed generalizable eye-gaze metrics that capture and reflect the distinct gaze trends among different cohorts. And through testing various feature extraction and classification methods, we have found promising results that have enabled us to effectively classify individuals with Mild Neurocognitive Disorder (MiNCD) / Mild Cognitive Impairment (MCI) in a crowdsourced pilot study (N = 35) with an average accuracy of 0.94 (f1 = 0.83). Although just the beginning, this work represents the first step towards establishing predictive eye-gaze tracking as an accessible and important modality for healthcare applications moving forward, with the potential to significantly impact remote screening and monitoring of neurocognitive health.

La problématique de l'apprentissage de comportements sur un robot autonome soulève de nombreuses questions liées au contrôle moteur, à l'encodage du comportement, aux stratégies comportementales et à la sélection de l'action. Utiliser une approche développementale présente un intérêt tout particulier dans le cadre de la robotique autonome. Le comportement du robot repose sur des mécanismes de bas niveau dont les interactions permettent de faire émerger des comportements plus complexes. Le robot ne possède pas d'informations a priori sur ses caractéristiques physiques ou sur l'environnement, il doit apprendre sa propre dynamique sensori-motrice. J'ai débuté ma thèse par l'étude d'un modèle d'imitation bas niveau. Du point de vue du développement, l'imitation est présente dès la naissance et accompagne, sous de multiples formes, le développement du jeune enfant. Elle présente une fonction d'apprentissage et se révèle alors être un atout en terme de temps d'acquisition de comportements, ainsi qu'une fonction de communication participant à l'amorce et au maintien d'interactions non verbales et naturelles. De plus, même s'il n'y a pas de réelle intention d'imiter, l'observation d'un autre agent permet d'extraire suffisamment d'informations pour être capable de reproduire la tâche. Mon travail a donc dans un premier temps consisté à appliquer et tester un modèle développemental qui permet l'émergence de comportements d'imitation de bas niveau sur un robot autonome. Ce modèle est construit comme un homéostat qui tend à équilibrer par l'action ses informations perceptives frustres (détection du mouvement, détection de couleur, informations sur les angles des articulations d'un bras de robot). Ainsi, lorsqu'un humain bouge sa main dans le champ visuel du robot, l'ambigüité de la perception de ce dernier lui fait confondre la main de l'humain avec l'extrémité de son bras. De l'erreur qui en résulte émerge un comportement d'imitation immédiate des gestes de l'humain par action de l'homéostat. Bien sûr, un tel modèle implique que le robot soit capable d'associer au préalable les positions visuelles de son effecteur avec les informations proprioceptives de ses moteurs. Grace au comportement d'imitation, le robot réalise des mouvements qu'il peut ensuite apprendre pour construire des comportements plus complexes. Comment alors passer d'un simple mouvement à un geste plus complexe pouvant impliquer un objet ou un lieu ? Je propose une architecture qui permet à un robot d'apprendre un comportement sous forme de séquences temporelles complexes (avec répétition d'éléments) de mouvements. Deux modèles différents permettant l'apprentissage de séquences ont été développés et testés. Le premier apprend en ligne le timing de séquences temporelles simples. Ce modèle ne permettant pas d'apprendre des séquences complexes, le second modèle testé repose sur les propriétés d'un réservoir de dynamiques, il apprend en ligne des séquences complexes. A l'issue de ces travaux, une architecture apprenant le timing d'une séquence complexe a été proposée. Les tests en simulation et sur robot ont montré la nécessité d'ajouter un mécanisme de resynchronisation permettant de retrouver les bons états cachés pour permettre d'amorcer une séquence complexe par un état intermédiaire. Dans un troisième temps, mes travaux ont consisté à étudier comment deux stratégies sensorimotrices peuvent cohabiter dans le cadre d'une tâche de navigation. La première stratégie encode le comportement à partir d'informations spatiales alors que la seconde utilise des informations temporelles. Les deux architectures ont été testées indépendamment sur une même tâche. Ces deux stratégies ont ensuite été fusionnées et exécutées en parallèle. La fusion des réponses délivrées par les deux stratégies a été réalisée avec l'utilisation de champs de neurones dynamiques. Un mécanisme de "chunking" représentant l'état instantané du robot (le lieu courant avec l'action courante) permet de resynchroniser les dynamiques des séquences temporelles. En parallèle, un certain nombre de problème de programmation et de conception des réseaux de neurones sont apparus. En effet, nos réseaux peuvent compter plusieurs centaines de milliers de neurones. Il devient alors difficile de les exécuter sur une seule unité de calcul. Comment concevoir des architectures neuronales avec des contraintes de répartition de calcul, de communications réseau et de temps réel ? Une autre partie de mon travail a consisté à apporter des outils permettant la modélisation, la communication et l'exécution en temps réel d'architecture distribuées. Pour finir, dans le cadre du projet européen Feelix Growing, j'ai également participé à l'intégration de mes travaux avec ceux du laboratoire LASA de l'EPFL pour l'apprentissage de comportements complexes mêlant la navigation, le geste et l'objet. En conclusion, cette thèse m'a permis de développer à la fois de nouveaux modèles pour l'apprentissage de comportements - dans le temps et dans l'espace, de nouveaux outils pour maîtriser des réseaux de neurones de très grande taille et de discuter à travers les limitations du système actuel, les éléments importants pour un système de sélection de l'action.

Cette thèse concerne l'ingénierie des systèmes complexes à partir d'une dynamique souhaitée. En particulier, nous nous intéressons aux populations d'oscillateurs et aux réseaux de régulation génétique. Dans une première partie, nous nous fondons sur une hypothèse, introduite en neurosciences, qui souligne le rôle de la synchronisation neuronale dans le traitement de l'information cognitive. Nous proposons de l'utiliser sur un plan plus large pour étudier le traitement de l'information par des populations d'oscillateurs. Nous discutons des isochrons de quelques oscillateurs classés selon leurs symétries dans l'espace des états. Cela nous permet d'avoir un critère qualitatif pour choisir un oscillateur. Par la suite, nous définissons des procédures d'impression, de lecture et de réorganisation de l'information sur une population d'oscillateurs. En perspective, nous proposons un système à couches d'oscillateurs de Wilson-Cowan. Ce système juxtapose convenablement synchronisation et désynchronisation à travers l'utilisation de deux formes de couplage: un couplage continu et un couplage par pulsation. Nous finissons en proposant une application de ce système: la détection de contours dans une image. En deuxième partie, nous proposons d'utiliser une approche par contraintes pour identifier des réseaux de régulation génétique à partir de connaissances partielles sur leur dynamique et leur structure. Le formalisme que nous utilisons est connu sous le nom de réseaux d'automates booléens à seuil ou réseaux Hopfield-semblables. Nous appliquons cette méthode, afin de déterminer le réseau de régulation de la morphogenèse florale d'Arabidopsis thaliana. Nous montrons l'absence d'unicité des solutions dans l'ensemble des modèles valides (ici, 532 modèles). Nous montrons le potentiel de cette approche dans la détermination et la classification de modèles de réseaux de régulation génétique. L'ensemble de ces travaux mène à un certain nombre d'applications, en particulier dans le développement de nouvelles méthodes de stockage de l'information et dans le design de systèmes de calcul non conventionnel.

Ce travail est une étude expérimentale de la durée vocalique. Il s'articule sur les aspects phonétiques et phonologiques de la durée vocalique en civili, une langue africaine parlée au Gabon et dans quelques pays voisins. Cette étude apporte un nouvel aperçu au sujet du phénomène d'allongement vocalique et évalue les implications de cet aperçu pour la standardisation de l'orthographe de la langue étudiée. L'étude est construite sur six chapitres. Le chapitre premier présente les objectifs spécifiques de l'étude, leur argumentation et la délimitation de la problématique de recherche. L'impact potentiel de l'étude, l'approche méthodologique adoptée ainsi que la situation socio-linguistique du civili font aussi l'objet d'un traitement adéquat dans le chapitre premier. Le chapitre 2 aborde les questions entourant la durée vocalique en civili en vue d'une circonscription nette de la problématique. Celle-ci est énoncée dans sa nature comme se posant tout autant sur le plan descriptif que sur le plan orthographique. Dans le chapitre 2 également, les données et les analyses des études précédentes liées au phénomène d'allongement vocalique sont évaluées. Le chapitre montre ensuite l'importance de l'utilisation aussi bien des données acoustiques que des données perceptuelles dans l'étude de la durée vocalique en civili. Le chapitre 3 se focalise sur la nature physique de la durée de la voyelle en civili. Il fait un rapport sur les analyses acoustiques et les mesures de durée vocalique effectuées sur des mots sélectionnés à partir d'un corpus spécifique. Le chapitre vise à montrer que la durée naturelle est l'une des caractéristiques acoustiques liées aux voyelles et que celle-ci devrait être aussi prise en compte dans les diverses analyses phonologiques. Le chapitre 4 est consacré à la nature auditive de la durée vocalique en civili. Il présente une expérience perceptuelle conduite sur des locuteurs natifs de la langue. Le but de cette expérience était de déterminer la durée perçue des voyelles. Ce chapitre contient des données expérimentales obtenues et leur analyse qui s'en est suivie. Le chapitre 5 présente l'apport des données expérimentales dans la description phonologique de la durée vocalique du civili. Ce chapitre re-explore aussi les analyses phonologiques des études précédentes ainsi que celle de la présente étude qui intègre données (expérimentales) phonétiques et analyses phonologiques. Le chapitre 6 tire la conclusion générale de cette étude sur la durée vocalique en civili en transcrivant les conclusions acoustiques, perceptuelles que phonologiques. Ce chapitre établit aussi des recommandations pour la standardisation de l'orthographe du civili en ce qui concerne son système vocalique. Puis, il met en relief les implications de cette étude pour la théorie phonologique et les technologies du langage humain. Enfin, ce chapitre fournit des suggestions pour des recherches futures, y compris la recherche sur d'autres langues gabonaises.

Electroencephalographic data recorded on the human scalp can be modeled as a linear mixture of underlying dipolar source generators. The characterization of such generators is the aim of several families of signal processing methods. In this HDR we consider in several details three of such families, namely 1) EEG distributed inverse solutions, 2) diagonalization methods, including spatial filtering and blind source separation and 3) Riemannian geometry. We highlight our contributions in each of this family, we describe algorithms reporting all necessary information to make purposeful use of these methods and we give numerous examples with real data pertaining to our published studies. Traditionally only the single-subject scenario is considered; here we consider in addition the extension of some methods to the simultaneous multi-subject recording scenario. This HDR can be seen as an handbook for EEG source analysis. It will be particularly useful to students and other colleagues approaching the field.

La communication parlée est par essence multimodale. Le signal acoustique véhicule la modalité auditive, et l'image la modalité visuelle et gestuelle (déformations du visage). Le signal de parole est en effet la conséquence des déformations du conduit vocal sous l'effet du mouvement de la mâchoire, des lèvres, de la langue, etc.. pour moduler le signal d'excitation produit par les cordes vocales ou les turbulences aérodynamiques. Ces déformations sont visibles au niveau du visage (lèvres, joues, mâchoire) grâce à la coordination des différents muscles orofaciaux et de la déformation de la peau induite par ces derniers. La modalité visuelle permet de fournir des informations complémentaires au signal acoustique, et elle devient indispensable dans le cas où le signal acoustique est dégradé, comme c'est le cas chez les malentendants, ou en milieu bruité. D'autres modalités peuvent être liées à la parole, comme les mouvements des sourcils et les différents gestes qui expriment l'émotion. Cette dernière modalité suprasegmentale peut, comme la modalité visuelle, compléter le message acoustique ou acoustique-visuel. Cet exposé présentera les travaux que je mène sur la parole multimodale. Ce caractère multimodal de la communication parlée est traité de deux façons différentes : (1) étudier les deux composantes articulatoire et acoustique de la parole. En effet, je m'intéresse à la caractérisation articulatoire des sons et à l'étude du lien entre l'espace articulatoire et l'espace acoustique. En particulier, je m'intéresse à la récupération de l'évolution temporelle du conduit vocal à partir du signal acoustique (aussi appelée inversion acoustique-articulatoire) et à l'étude de la caractérisation articulatoire de la parole par l'analyse de corpus de données articulatoires. (2) étudier les deux composantes acoustique et visuelle. Dans ce cadre, je m'intéresse à l'effet de la déformation du conduit vocal sur l'apparence du visage qui véhicule le message visuel. La synthèse acoustique-visuelle est un cadre qui permet d'étudier cet aspect. De plus, l'étude de l'intelligibilité audiovisuelle permet de mieux comprendre les mécanismes de la communication audiovisuelle, mais également d'évaluer le système de synthèse acoustique-visuelle. Enfin, je présenterai mon programme de recherche qui porte sur la parole multimodale expressive que je propose d'étudier globalement, c.-à-d. en considérant les composantes articulaire, acoustique et visuelle ainsi que l'expressivité intrinsèque de celles-ci, simultanément. Je propose en particulier d'aborder la modélisation de la dynamique articulatoire et faciale de la parole pour produire de la parole combinée avec les expressions faciales.

Ce mémoire est l'occasion de présenter nos travaux à l'Université Claude Bernard Lyon 1. Il est composé de trois parties, la première visant à proposer une thématisation originale des liens entre activité et inscriptions numériques de l'activité sous la forme de structures informationnelles, les deux suivants étant consacrés à nos thématiques principales de recherche qui sont, d'une part la lecture active audiovisuelle et les systèmes d'interprétation, et d'autre part les systèmes à base de traces modélisées. Le premier chapitre est consacré à l'exploration des liens entre l'activité informatiquement médiée et les représentations qui y sont impliquées. Une première étude critique décrit la notion d'inscription de connaissances proposée par B. Bachimont au sein d'une théorie du support pour permettre de penser la rencontre ou l'expérience qu'une conscience fait des dispositifs technologiques et des inscriptions. Cette proposition vise à thématiser la numéricité des inscriptions et nous intéresse donc à ce titre, mais elle se révèle à notre sens insuffisante pour penser un individu actif engagé dans un processus de manipulation d'inscriptions. Une seconde étude est alors consacrée aux liens entre action, activité et inscriptions dans les théories dites " post-cognitivistes " de la cognition. Les inscriptions soutiennent l'activité et la sous-tendent tout à la fois, et nous nous intéresserons particulièrement aux inscriptions dans leur perception et leur manipulation par un être humain suivant la théorie instrumentale. Cependant, les inscriptions en tant qu'elles peuvent être numériques ne sont que peu thématisées. Notre dernière étude est orientée autour de la proposition de penser la notion de structure informationnelle et les instruments associés comme permettant d'articuler le monde numérique à l'activité humaine et l'activité humaine au monde numérique. Une structure informationnelle est une inscription numérique en acte, objectivable, mais non obligatoirement canonique, c'est-à-dire manipulée explicitement par le système. Cette proposition permet de penser le côté humain de l'activité instrumentée tout en conservant le calcul et les représentations associées comme préoccupation informatique. Nous présentons également la notion d'espace informationnel qu'un utilisateur énacte, et les directions de recherche ouvertes par nos propositions. Le deuxième chapitre est principalement consacré à la présentation de nos travaux sur les systèmes de lecture active audiovisuelle. Nous proposons d'abord une étude rapide sur le cadre général des technologies intellectuelles comme soutenant le travail intellectuel, l'activité ouverte d'interprétation et de manipulation d'inscriptions de connaissances personnelles. De telles inscriptions et réinscriptions se font au sein de ce que nous proposons d'appeler des systèmes d'interprétation qui offrent aux utilisateurs la possibilité de manipuler consciemment des structures informationnelles de toutes sortes, par exemple sous la forme de données, de schémas ou de feuilles de style et de formulaires, et de partager celles-ci comme réifications de pratiques. La lecture active audiovisuelle est une activité intellectuelle qui s'effectue dans un système d'interprétation permettant de construire des hypervidéos à partir d'annotations. Nous présentons alors nos travaux autour du projet Advene (Annotate Digital Video, Exchange on the NEt), notamment les modèles associés, l'outil générique Advene pour l'annotation et la construction d'hypervidéos, ainsi que quelques applications de lecture active associées à l'analyse des interactions et la critique filmique. Nous pouvons alors tirer un bilan des presque dix ans de ce projet et proposer quelques directions pour la suite. Le troisième et dernier chapitre présente essentiellement nos travaux sur les traces numériques. Nous définissons d'abord la notion de trace en général comme inscription permettant de viser le passé au cours d'une interprétation et présentons comment les traces d'activité médiées sont largement utilisées au sein de systèmes variés allant de l'analyse à la réflexivité. Nous considérons que l'enjeu est de manipuler des traces numérique explicites définies comme " inscriptions canoniques temporellement orientées " dans des systèmes d'interprétation orientés trace. Nous pouvons alors présenter la notion de trace modélisée comme un certain type de trace explicite, ainsi que nos travaux dans ce cadre depuis plus de dix ans : l'approche Musette, le cadre général des systèmes de base de traces modélisées (SBTm) ainsi que la formalisation des traces et des transformations pour construire des systèmes de gestion de bases de traces (SGBT). Différents travaux applicatifs sont ensuite présentés qui permettent d'illustrer les différentes utilisations des traces modélisées dans des contextes applicatifs variés, visant notamment le support à l'awareness, à la remémoration, à la réflexivité, à la redocumentation et au partage, ou encore à la reprise d'activité.