L'étude des interactions précoces est complexe mais essentielle à la compréhension de la psychopathologie de la petite enfance. La négligence émotionnelle est une forme courante mais discrète de maltraitance. Elle correspond à une défaillance chronique de la part du parent à offrir à l'enfant, au sein de leur relation, un environnement affectif suffisamment bon pour son développement. Notre recherche explore les interactions précoces mère-enfant de ces situations de négligence émotionnelle par une approche transdisciplinaire à travers deux dimensions : la synchronie et la mentalisation réflexive maternelle. La synchronie est une caractéristique dyadique et temporelle de l'interaction qui traduit la fluidité et la qualité d'un échange par une adaptation dynamique et réciproque des comportements et états émotionnels des partenaires interactifs. Elle constitue un signal social en soi, facteur de qualité de l'interaction. La mentalisation réflexive, traduction du terme Insightfulness (Oppenheim, 2001), évoque la capacité du parent à prendre le point de vue de l'enfant et à comprendre, de façon empathique, les motivations sous-jacentes à ses comportements. Les objectifs de cette recherche sont (1) d'analyser la dynamique comportementale des interactions précoces en élaborant une méthodologie d'analyse computationnelle et (2) d'évaluer l'influence des capacités maternelles de mentalisation réflexive et notamment de leur dynamique intrapsychique, sur la dynamique interactive, dans les situations de négligence émotionnelle. Des mères et leur enfant de 13 à 38 mois, appartenant au groupe en situation de négligence émotionnelle (N=10) et au groupe contrôle sans trouble des interactions (N=9), sont filmés au cours d'un jeu interactif libre. Les vidéos font l'objet d'une double évaluation clinique et computationnelle. La première permet d'obtenir une évaluation clinique globale de la qualité de l'interaction par le Coding Interactive Behavior (Feldman et Keren 1998; Viaux 2014). La seconde, par les techniques de traitement du signal social, offre l'accès à une micro-analyse computationnelle des mouvements des partenaires et de leurs échanges dyadiques. Dans un second temps, 14 mères (n=7 mères en situation de négligence et n=7 mères sans trouble des interactions) ont visionné des extraits de la vidéo de leurs interactions, au cours d'un entretien semi-structuré, l'Insightfulness Assessment (Oppenheim et Koren-Karie, 2001) afin d'évaluer leurs capacités de mentalisation réflexive. Une analyse additionnelle des verbatim a permis d'accéder à des éléments de la dynamique intrapsychique. Les résultats mettent en évidence de nombreuses corrélations significatives les dimensions du CIB (notamment la sensibilité, l'intrusivité maternelle et la réciprocité dyadique) et la micro-analyse automatique (à travers l'activité du corps de la mère). Par ailleurs, les situations de négligence émotionnelle présentent des difficultés de mentalisation empathique. Les entretiens sont caractérisés par des représentations appauvries de leur enfant et des difficultés d'élaboration autour des affects et de la relation mère enfant. La dynamique intrapsychique, influencée par les problématiques inconscientes, s'associe en partie à la dynamique interactive comportementale. Il apparaît que la compréhension de la qualité de l'interaction peut passer par une observation sur une échelle de temps réduite de la dynamique interactive. Par ailleurs, un entretien avec support vidéo étaye l'élaboration de la mère et favorise une mise en mouvement intrapsychique, pouvant constituer ainsi un levier thérapeutique. / Studying early interaction is complex but essential for understanding psychopathology during infancy. Emotional Neglect is a common but insidious form of child maltreatment. It refers to parental failure to give children an emotional environment that allows adequate psychological, cognitive and physical development. We explore mother-infant interaction in these situations following a transdisciplinary approach which consider Synchrony and Insightfulness. Synchrony is a dynamic and reciprocal adaptation of the temporal structure of behaviour and shared affect between interactive partners. It is regarded as a social signal per se. Insightfulness involves the parents' ability to see things from the child point of view and to empathically think about and consider the motives underlying their childrens' behaviour. The aims of this research are (A) to report a novel method to assess features of interactive behavioral dynamics and (B) to assess/underline the impact of Insighfulness, in particular its dynamics, on interactive behavioral dynamics in case/situations of severe emotional neglect. Mothers and children aged from 13 to 38 months (10 in situation of severe emotional neglect and 10 controls) are video recorded during free play. Features of social signal extract by our automatic computational method are compared to qualitative interaction assessment by using the Coding Interactive Behaviour in its French version (Feldman et Keren 1998; Viaux 2014). Secondly, 14 mothers (7 in situation of emotional neglect and 7 without interaction problem) are interviewed during a video-feedback session by using the Insightfulness Assessment (Oppenheim, Koren-Karie, 2001) to assess Insightfulness. An additional qualitative verbatim analysis was performed to explore intrapsychic dynamics. Self-administered questionnaires (BITSEA and Care Support) are proposed to mothers. Results show that individual and synchrony motion features perfectly correlates CIB composite scores trough maternal sensitivity, intrusivity and dyadic reciprocity. Furthermore, pathological mothers are mostly categorised as non-Insighful. Interviews are characterized by poor representations and a lack of elaboration. Intrapsychic dynamics is partly associated with interactive behavioral dynamics. We conclude that computational method might be promising for future studies. It opens an observation window to understand early interactions by changing the time scale. Moreover, interview with a video support seems to underpin maternal elaboration and enhance an intrapsychic movement.

L'objectif de la thèse consiste à étudier les indices sociaux échangés lors d'interactions naturelles. Cette étude a deux principaux défis. Le premier défi réside dans la sélection des indices sociaux. Il y a des centaines de milliers de signaux sociaux. Il est important de savoir quels signaux sociaux sont essentiels pour comprendre l'interaction sociale. Le deuxième défi concerne la modélisation de l'interaction sociale. Pendant la thèse, nous nous concentrons sur ces deux défis et réalisons 3 applications: la reconnaissance des rôles, la prédiction de la personnalité et l'estimation de la cohésion. Dans l'application de la reconnaissance de rôle, nous proposons une nouvelle approche en combinant un modèle d'apprentissage automatique génératif et discriminatif. Par rapport aux approches conventionnelles, la nouvelle approche a non seulement la capacité de traiter des données de séries temporelles et de modéliser la synchronie des signaux sociaux, mais aussi une forte capacité de discrimination.Dans l'application de la prédiction de la personnalité, nous proposons une nouvelle catégorisation des caractéristiques, qui divise les signaux sociaux en trois groupes, les caractéristiques intra-personnelles, les caractéristiques dyadiques et les caractéristiques de One_VS_All. Cette catégorisation aide à comprendre la relation entre les traits de personnalité / impressions sociales et les catégories d'indices sociaux.La dernière application, appelée estimation de la cohésion, prédit la cohésion entre les participants aux réunions. Nous recueillons des annotations de la cohésion des réunions dans une base de données publique et estimons la cohésion avec un ensemble de caractéristiques abondantes. / The goal of this Ph.D. work is to study the social cues exchanged during natural interaction. This study has 2 main challenges. The first challenge lies in the selection of social cues. There are hundreds of thousands social cues. It's important to find out which social signals are essential to understand social interaction. The second challenge concerns the modelling of social interaction. During the Ph.D. work, we focus on these two challenge and realize 3 applications: role recognition, personality prediction and cohesion estimation.In the application of role recognition, we propose a new approach by combining a generative and a discriminative machine learning model. Compared to conventional approaches, the new approach has not only the ability to process time-series data and model the synchrony of social signals, but also a strong capacity in discrimination.In the application of personality prediction, we propose a new feature categorization, which divides the social signals into 3 groups, Intra-Personal features, Dyadic features, and One_VS_All features. This categorization helps to understand the relation between personality traits/social impressions and the categories of social cues.The last application, named cohesion estimation, predicts the cohesion between the participants in small scale meetings. We collect annotations of cohesion of meetings in a public database and estimate the cohesion with an abundant feature set.

Le but de cette thèse est de proposer des méthodes d'étude et des modèles pour l'analyse des signaux sociaux dans un contexte d'interaction en exploitant à la fois des techniques issues du traitement du signal et de la reconnaissance des formes.Tout d'abord, une méthode non supervisée permettant de mesurer l'imitation entre deux partenaires en termes de délai et de degré est proposée en étudiant uniquement des données gestuelles. Dans un premier temps, des points d'intérêts spatio-temporels sont détectés afin de sélectionner les régions les plus importantes des vidéos. Ils sont ensuite décrits à l'aide d'histogrammes pour permettre la construction de modèles sac-de-mots dans lesquels l'information spatiale est réintroduite. Le degré d'imitation et le délai entre les partenaires sont alors estimés de manière continue grâce à une corrélation-croisée entre les deux modèles sac-de-mots.La deuxième partie de cette thèse porte sur l'extraction automatique d'indices permettant de caractériser des interactions de groupe. Après avoir regroupé tous les indices couramment employés dans la littérature, nous avons proposé l'utilisation d'une factorisation en matrice non négative. En plus d'extraire les indices les plus pertinents, celle-ci a permis de regrouper automatiquement et de manière non supervisée des meetings en 3 classes correspondant aux trois types de leadership tels que définis par les psychologues.Enfin, la dernière partie se focalise sur l'extraction non supervisée d'indices permettant de caractériser des groupes. La pertinence de ces indices, par rapport à des indices ad-hoc provenant de l'état de l'art, est ensuite validée dans une tâche de reconnaissance des rôles. / In a social interaction, we adapt our behavior to our interlocutors. Studying and understanding the underlying mecanisms of this adaptation is the center of Social Signal Processing. The goal of this thesis is to propose methods of study and models for the analysis of social signals in the context of interaction, by exploiting both social processing and pattern recognition techniques. First, an unsupervised method allowing the measurement of imitation between two partners in terms of delay and degree is proposed, only using gestual data. Spatio-temporal interest point are first detected in order to select the most important regions of videos. Then they are described by histograms in order to construct bag-of-words models in which spatial information is reintroduced. Imitation degree and delay between partners are estimated in a continuous way thanks to cross-correlation between the two bag-of-words models. The second part of this thesis focus on the automatic extraction of features permitting to characterizing group interactions. After regrouping all features commonly used in literature, we proposed the utilization of non-negative factorization. More than only extracting the most pertinent features, it also allowed to automatically regroup, and in an unsupervised manner, meetings in three classes corresponding to three types of leadership defined by psychologists. Finally, the last part focus on unsupervised extraction of features permitting to characterize groups. The relevance of these features, compared to ad-hoc features from state of the art, is then validated in a role recognition task.

Évaluer un comportement humain c’est évaluer tous les marqueurs traduisant ce comportement (gestes, paroles interactions, etc.). L’observation par un humain de certains marqueurs tels que les expressions faciales, la prosodie ou encore la linguistique, nécessite une formation spécialisée. Pour faciliter l’évaluation du comportement, des échelles indiquant les observations à mener et les conclusions à faire sont employées. Ainsi, automatiser l’évaluation du comportement revient à automatiser l’analyse d’un environnement par le biais de plusieurs capteurs, puis analyser les signaux obtenus afin d’en extraire les marqueurs permettant la déduction du comportement observé. Suite à la variabilité des observations de l’humain lors d’analyses trop spécifiques, de plus en plus d’études emploient ces systèmes automatiques d’observation et d’évaluation du comportement. L’objectif est d’assister l’analyse et l’évaluation humaine en exploitant des systèmes automatiques capables d’extraire des informations difficilement observables pour l’humain. En conséquence, la collaboration entre l’humain et les systèmes informatiques permet d’analyser plus d’éléments du comportement de manière fiable et objective. Cette thèse propose une approche de l’analyse du comportement s’appuyant sur la collaboration entre l’humain et un système automatique. Nous avons mis en place une plate-forme électronique et informatique composée d’un robot mobile et d’un système ambiant afin d’évaluer le comportement humain. Cette plate-forme se définie comme étant : — Modulaire à l’ajout ou le retrait de capteurs : L’ajout et la suppression de capteurs est faisable sans qu’un système ne soit impacté autrement que sur ses performances à reconnaître précisément les comportements; — Accessible à la lecture des données enregistrées : L’utilisation d’ontologies, en tant que base de données sémantiques et logiques, rend la plate-forme utilisable et accessible aux personnes non familiarisées aux systèmes informatiques complexes; — Robuste aux ambiguïtés : Chaque système de la plate-forme (ambiant ou robot) est indépendant et a sa propre représentation de l’environnement. Cependant, ils collaborent entre eux pour répondre aux incohérences ou aux manques d’informations durant l’accomplissement d’une tâche. A partir de la plate-forme présentée précédemment, nous analysons et mesurons la qualité de l’interaction entre un patient et un soignant lors d’une prise de sang réalisée en conditions habituelles. Pour cela, nous utilisons deux méthodes de renseignement des échelles : par un observateur présent lors du soin et par une étude de l’enregistrement vidéo réalisé durant le soin par la plate-forme. Nous émettons l’hypothèse que la présence d’un système automatique d’aide au diagnostic lors de l’analyse des vidéos enregistrées limite la complexité de l’évaluation du comportement et améliore l’objectivité de l’analyse. / To evaluate a human behavior is equivalent to evaluate all the markers translating this behavior (gestures, lyrics interactions, etc.). The observation by a human of certain markers such as facial expressions, prosody or linguistics, requires specialized training. To facilitate the assessment of behavior, scales indicating the observations to be made and the conclusions to be made are used. Thus, automating the evaluation of the behavior amounts to automate the analysis of an environment by means of several sensors, then analyzing the signals obtained in order to extract the markers allowing the deduction of the observed behavior. Due to the variability of human observations in overly specific analyzes, more and more studies are using thes automatic observation and behavioral evaluation systems. The objective is to assist human analysis and evaluation by exploiting automatic systems capable of extracting information that is difficult to observe for humans. As a result, the collaboration between the human and the computer systems makes it possible to analyze more elements of the behavior in a reliable and objective way. This thesis proposes an approach of behavior analysis based on the collaboration between humans and an automatic system. We set up an electronic and computer platform consisting of a mobile robot and an ambient system to evaluate human behavior. This platform is defined as: — Modular to the addition or removal of sensors: The addition and removal of sensors is feasible without a system is impacted otherwise than its performance to accurately recognize behaviors; — Accessible to Reading Recorded Data: The use of ontologies, as a semantic and logical database, makes the platform usable and accessible to people unfamiliar With complex computer systems; — Robust to ambiguities: every platform system (ambient or robot) is independent and has its own representation of the environment. However, they collaborate With each Other to respond to inconsistencies or lack of information during the performance of a task.