Ce travail regroupe une série d'études de psychophysique explorant les mécanismes de l'adaptation visuomotrice à une altération des distances apparentes, lors d'une exposition à court terme dans l'espace de préhension. L'altération des distances apparentes a été réalisée par modification de la vergence à l'aide de prismes à bases externes. La manipulation des retours visuels a permis de mettre en évidence trois niveaux d'adaptation : 1) la modification des distances perçues liée à l'augmentation de la vergence tonique induite par une convergence soutenue (potentiation musculaire extra-oculaire) ; 2) la recalibration du signal de distance dérivé de la vergence par les signaux proprioceptivo-moteurs du membre exposé et 3) la réorganisation des commandes motrices du membre exposé. Aucune adaptation proprioceptive du membre exposé n'a été retrouvée. La nature des composantes adaptatives à une altération des distances apparentes diffère de celle classiquement décrite pour l'altération de la direction visuelle impliquant essentiellement des composantes proprioceptive et motrice. La contribution des composantes sensorielles est déterminée par la précision respective de la localisation spatiale fondée sur la vision et sur la proprioception, qui diffère en latéral et en profondeur. D'autre part, les aspects géométriques de la perception des distances fondée sur la vergence ont été explorés par comparaison de l'adaptation visuelle aux prismes à bases externes et au téléstéréoscope. Dans les deux cas, l'adaptation visuelle a consisté en un effet consécutif ne dépendant pas de la distance d'observation, contrairement aux résultats prédits sur la base du signal de vergence.

Depuis les vingt dernières années, l'industrie a développé plusieurs produits commerciaux dotés de capacités auditives et visuelles. La grand majorité de ces produits est composée d'un caméscope et d'un microphone embarqué (téléphones portables, tablettes, etc). D'autres, comme la Kinect, sont équipés de capteurs de profondeur et/ou de petits réseaux de microphones. On trouve également des téléphones portables dotés d'un système de vision stéréo. En même temps, plusieurs systèmes orientés recherche sont apparus (par exemple, le robot humanoïde NAO). Du fait que ces systèmes sont compacts, leurs capteurs sont positionnés près les uns des autres. En conséquence, ils ne peuvent pas capturer la scène complète, mais qu'un point de vue très particulier de l'interaction sociale en cours. On appelle cela "Analyse Égocentrique de Scènes Audio-Visuelles''.Cette thèse contribue à cette thématique de plusieurs façons. D'abord, en fournissant une base de données publique qui cible des applications comme la reconnaissance d'actions et de gestes, localisation et suivi d'interlocuteurs, analyse du tour de parole, localisation de sources auditives, etc. Cette base a été utilisé en dedans et en dehors de cette thèse. Nous avons aussi travaillé le problème de la détection d'événements audio-visuels. Nous avons montré comme la confiance en une des modalités (issue de la vision en l'occurrence), peut être modélisée pour biaiser la méthode, en donnant lieu à un algorithme d'espérance-maximisation visuellement supervisé. Ensuite, nous avons modifié l'approche pour cibler la détection audio-visuelle d'interlocuteurs en utilisant le robot humanoïde NAO. En parallèle aux travaux en détection audio-visuelle d'interlocuteurs, nous avons développé une nouvelle approche pour la reconnaissance audio-visuelle de commandes. Nous avons évalué la qualité de plusieurs indices et classeurs, et confirmé que l'utilisation des données auditives et visuelles favorise la reconnaissance, en comparaison aux méthodes qui n'utilisent que l'audio ou que la vidéo. Plus tard, nous avons cherché la meilleure méthode pour des ensembles d'entraînement minuscules (5-10 observations par catégorie). Il s'agit d'un problème intéressant, car les systèmes réels ont besoin de s'adapter très rapidement et d'apprendre de nouvelles commandes. Ces systèmes doivent être opérationnels avec très peu d'échantillons pour l'usage publique. Pour finir, nous avons contribué au champ de la localisation de sources sonores, dans le cas particulier des réseaux coplanaires de microphones. C'est une problématique importante, car la géométrie du réseau est arbitraire et inconnue. En conséquence, cela ouvre la voie pour travailler avec des réseaux de microphones dynamiques, qui peuvent adapter leur géométrie pour mieux répondre à certaines tâches. De plus, la conception des produits commerciaux peut être contrainte de façon que les réseaux linéaires ou circulaires ne sont pas bien adaptés. / Along the past two decades, the industry has developed several commercial products with audio-visual sensing capabilities. Most of them consists on a videocamera with an embedded microphone (mobile phones, tablets, etc). Other, such as Kinect, include depth sensors and/or small microphone arrays. Also, there are some mobile phones equipped with a stereo camera pair. At the same time, many research-oriented systems became available (e.g., humanoid robots such as NAO). Since all these systems are small in volume, their sensors are close to each other. Therefore, they are not able to capture de global scene, but one point of view of the ongoing social interplay. We refer to this as "Egocentric Audio-Visual Scene Analysis''.This thesis contributes to this field in several aspects. Firstly, by providing a publicly available data set targeting applications such as action/gesture recognition, speaker localization, tracking and diarisation, sound source localization, dialogue modelling, etc. This work has been used later on inside and outside the thesis. We also investigated the problem of AV event detection. We showed how the trust on one of the modalities (visual to be precise) can be modeled and used to bias the method, leading to a visually-supervised EM algorithm (ViSEM). Afterwards we modified the approach to target audio-visual speaker detection yielding to an on-line method working in the humanoid robot NAO. In parallel to the work on audio-visual speaker detection, we developed a new approach for audio-visual command recognition. We explored different features and classifiers and confirmed that the use of audio-visual data increases the performance when compared to auditory-only and to video-only classifiers. Later, we sought for the best method using tiny training sets (5-10 samples per class). This is interesting because real systems need to adapt and learn new commands from the user. Such systems need to be operational with a few examples for the general public usage. Finally, we contributed to the field of sound source localization, in the particular case of non-coplanar microphone arrays. This is interesting because the geometry of the microphone can be any. Consequently, this opens the door to dynamic microphone arrays that would adapt their geometry to fit some particular tasks. Also, because the design of commercial systems may be subject to certain constraints for which circular or linear arrays are not suited.

Pour pouvoir restituer des informations qui correspondent aux besoins de l'utilisateur, les mécanismes d'adaptation doivent disposer de métadonnées sur celui-ci telles que ses caractéristiques personnelles, ses préférences générales, ses centres d'intérêt. De ce fait, le profil utilisateur construit à partir de celles-ci devient central dans tout système basé sur la personnalisation. Dans cette thèse, nous nous focalisons sur l'approche qui consiste à s'appuyer sur le réseau social de l'utilisateur pour enrichir le profil de cet utilisateur, les métadonnées explicites étant complétées par les informations issues de notre processus d'analyse. Nous appelons les techniques ou processus associés à cette approche " profilage social ". Le terme " profil social " désigne un profil construit à l'aide du réseau social de l'utilisateur. Un profil social contient les métadonnées traduisant les intérêts de l'utilisateur extraits à partir des informations partagées par les individus de son réseau social. Les intérêts de l'utilisateur évoluant au fil du temps dans la vie réelle, il en est de même pour ceux extraits depuis son réseau social : pertinents à un moment donné, ils peuvent ne plus être significatifs ultérieurement. Partant de ce constat, les principales informations que nous souhaitons étudier pour détecter un changement de centres d'intérêt ne sont pas ciblées sur l'utilisateur lui-même mais sur les éléments de son réseau social (liens entre les membres, informations qui circulent entre eux) : l'évolution du profil social de l'utilisateur est donc liée à l'évolution de son réseau social. Nous proposons une démarche générique de profilage social efficace permettant de construire un profil social représentatif de l'utilisateur prenant en compte différents types de réseaux ainsi que leurs caractéristiques évolutives. Pour prendre en compte l'évolution des intérêts dans le profil social, nous avons proposé d'améliorer l'efficacité des processus de construction du profil social existants en intégrant la prise en compte de l'évolution du réseau social de l'utilisateur. Nous proposons d'intégrer un facteur temporel dans ces processus (approche basée sur des individus et approche basée sur les communautés). La solution permet de privilégier les intérêts provenant d'informations significatives et à jour. Il s'agit donc d'intégrer une mesure temporelle dans l'étape d'extraction et pondération des intérêts. Cette mesure est calculée d'une part, à partir de la pertinence temporelle des informations utilisées pour extraire cet intérêt et d'autre part, à partir de la pertinence temporelle de l'individu qui partage ces informations. Nous mettons en œuvre la méthode proposée au travers d'expérimentations dans deux réseaux sociaux différents : DBLP, un réseau de publications scientifiques et Twitter, un réseau de micro-blogs. Les résultats de ces expérimentations nous ont permis de montrer l'efficacité de la méthode temporelle proposée par rapport aux processus de construction du profil social qui ne prennent pas en compte des critères temporels. En étudiant les résultats en fonction des techniques de pondération des intérêts ou fonctions temporelles utilisées, nous constatons que la fonction temporelle et la technique utilisées donnant les meilleurs résultats varient selon l'approche de construction du profil social choisie, selon la taille et la densité du réseau étudié mais aussi selon sur le type de réseau. La problématique abordée dans cette thèse est relativement nouvelle dans le contexte des systèmes de personnalisation de l'information et ouvre de nombreuses perspectives : évaluation du profil social dans un système de recommandation par exemple, application de la méthode proposée dans d'autres types de réseaux sociaux, application de techniques de mise à jour du profil, conception d'une plateforme de construction du profil social selon les caractéristiques du réseau. / User profiling is essential for personalization systems (e.g. personalized information retrieval systems, recommendation systems) to identify user information (preference, interests...), in order to propose relevant content based on his/her specific needs and requirements. Many works have shown that user's social neighbors can be a meaningful source to infer his/her interests. Besides, sociology works have shown that the user is better described by people around him/her, especially the people that are directly connected to him/her (his egocentric network). In this work, the term "social profiling" is considered as the interest extraction approach that consists in extracting user interests from information of his/her social neighbors. The user's profile built within this approach is called "social profile". As user behaviors evolve over time, it is necessary to take into consideration the evolution of user interests in user profiling process. In the case of social profile, user interests are extracted from the information shared by his/her social neighbors. Hence, the evolution of extracted interests is related to the evolution of information shared on user social network and to the evolution of relationships between the user and his/her social neighbors. This issue becomes particularly important in the Online Social Networks (OSNs) context where user behavior changes quickly. For a user, the relationships and information in his/her social network can evolve and become obsolete for him/her overtime. Two users creating a relationship are not required to know each other in real life. Thus, the relationship persistence is not always maintained in this case. Social events or viral marketing (buzz) are also factors that enhance online social content sharing. In this work, we propose a generic approach that considers the evolution in user's social network in the social profiling process and can be applied in different types of social network. To handle this, we propose to apply a time-aware method into existing social profile building process (individual based and community based approaches). This strategy aims at weighting user's interests in the social profile based on their temporal score. The temporal score of an interest is computed by combining the temporal score of information used to extract the interests (computed by considering their freshness) with the temporal of individuals who share the information in the network (computed by considering the freshness of the interaction with the user). The technique and temporal function used to compute the temporal score are customizable. Thus, we can find out the most appropriate technique or temporal function depending on the types or characteristics of the adopted social network. The experiments conducted on DBLP and Twitter showed that the so-called time-aware social profiling process applying our proposed time-aware method outperforms the existing time-agnostic social profiling process. We also found that the most appropriate technique, temporal function and social profiling approach vary depending on the network characteristics (size, density) and to the social network type. Our approach opens many opportunities for future studies in social information filtering and many application domains as well as on the Web (e.g. evolution of social profile in personalization of search engines, recommender systems in e-commerce,). Our long-term perspective consists in the proposal of a generic platform that extracts the information and builds the user social profile based on the type and the specific characteristics of the underlying social network. Such a platform would be parameterized by the characteristics of the targeted social network using a machine learning approach.

De nombreuses situations modifient les coordinations sensorimotrices (e.g., croissance, pathologie, interfaces optiques ou mécaniques). Le système nerveux doit alors s’adapter afin de préserver la précision de ses interactions avec l’environnement. Si l’adaptation visuomotrice à une altération de la direction visuelle par prismes latéraux a été largement étudiée, les mécanismes de l’adaptation visuomotrice à une altération des distances apparentes sont en revanche peu connus. Ce travail regroupe une série d’études de psychophysique explorant les mécanismes de l’adaptation visuomotrice à une altération des distances apparentes, lors d’une exposition à court terme dans l’espace de préhension. L’altération des distances apparentes a été réalisée par modification de la vergence à l’aide de prismes à bases externes. La manipulation des retours visuels a permis de mettre en évidence trois niveaux d’adaptation. Le premier niveau concerne la modification des distances perçues liée à l’augmentation de la vergence tonique. Cette modification résulte de la potentiation musculaire extra-oculaire (EMP) induite par une convergence soutenue. Le second niveau implique la recalibration du signal altéré de distance dérivé de la vergence par les signaux proprioceptivo-moteurs du membre supérieur exposé. Le troisième niveau résulte d’une réorganisation des commandes motrices du membre exposé. Aucune adaptation proprioceptive du membre exposé n’a été retrouvée. La nature des composantes adaptatives à une altération des distances apparentes diffère de celle classiquement décrite pour l’altération de la direction visuelle impliquant essentiellement des composantes proprioceptive et motrice. La contribution des composantes adaptatives sensorielles est déterminée par la précision respective de la localisation spatiale fondée sur la vision et sur la proprioception, qui diffère en latéral et en profondeur. D’autre part, les aspects géométriques de la perception des distances fondée sur la vergence ont été explorés par comparaison de l’adaptation visuelle aux prismes à bases externes (augmentant la demande en vergence d’un angle constant pour toutes les distances de fixation) et au téléstéréoscope (multipliant la demande en vergence pour toutes les distances de fixation). Quel que soit le dispositif optique utilisé, l’adaptation visuelle a consisté en un effet consécutif ne dépendant pas de la distance d’observation, contrairement aux résultats prédits sur la base du signal de vergence. / There are numerous situations in which sensorimotor coordination is altered (e.g., growth, pathology, optical or mechanical interfaces). In such situations, the nervous system must adapt so that the organism continues to interact successfully with the environment. While visuomotor adaptation to visual direction alteration by lateral prisms has been widely studied, the mechanisms underlying visuomotor adaptation to alteration of apparent distance remain poorly known. We performed a series of psychophysical studies to explore the various components of adaptation to alteration of apparent distance. Base-out prisms were used to alter apparent distance by modifying vergence demand. By manipulating visual feedback, we were able to demonstrate three adaptation levels. The first level corresponds to changes in perceived distance related to tonic vergence. These changes result from eye muscle potentiation (EMP) induced by sustained vergence. The second level involves a recalibration of the altered distance signal derived from vergence by limb proprioceptive-motor signals. The third level results from a reorganization of motor commands of the upper limb used. No limb proprioceptive component was identified. The nature of adaptive components to apparent distance alteration differs from that described for visual direction alteration, which involves essentially proprioceptive and motor components. This difference can be attributed to differences in accuracy between proprioception and vision for localization in depth or in lateral directions. The geometrical aspects of distance perception based on vergence were also explored by comparing visual adaptation to base-out prisms (introducing an offset in vergence demand) and to a telestereoscope (multiplying vergence demand for all fixation distances). Regardless of which optic device was used, the recalibration of the relationship between the vergence signal and perceived distance consisted in a constant bias over distances.

De nombreuses situations modifient les coordinations sensorimotrices (e.g., croissance, pathologie, interfaces optiques ou mécaniques). Le système nerveux doit alors s'adapter afin de préserver la précision de ses interactions avec l'environnement. Si l'adaptation visuomotrice à une altération de la direction visuelle par prismes latéraux a été largement étudiée, les mécanismes de l'adaptation visuomotrice à une altération des distances apparentes sont en revanche peu connus. Ce travail regroupe une série d'études de psychophysique explorant les mécanismes de l'adaptation visuomotrice à une altération des distances apparentes, lors d'une exposition à court terme dans l'espace de préhension. L'altération des distances apparentes a été réalisée par modification de la vergence à l'aide de prismes à bases externes. La manipulation des retours visuels a permis de mettre en évidence trois niveaux d'adaptation. Le premier niveau concerne la modification des distances perçues liée à l'augmentation de la vergence tonique. Cette modification résulte de la potentiation musculaire extra-oculaire (EMP) induite par une convergence soutenue. Le second niveau implique la recalibration du signal altéré de distance dérivé de la vergence par les signaux proprioceptivo-moteurs du membre supérieur exposé. Le troisième niveau résulte d'une réorganisation des commandes motrices du membre exposé. Aucune adaptation proprioceptive du membre exposé n'a été retrouvée. La nature des composantes adaptatives à une altération des distances apparentes diffère de celle classiquement décrite pour l'altération de la direction visuelle impliquant essentiellement des composantes proprioceptive et motrice. La contribution des composantes adaptatives sensorielles est déterminée par la précision respective de la localisation spatiale fondée sur la vision et sur la proprioception, qui diffère en latéral et en profondeur. D'autre part, les aspects géométriques de la perception des distances fondée sur la vergence ont été explorés par comparaison de l'adaptation visuelle aux prismes à bases externes (augmentant la demande en vergence d'un angle constant pour toutes les distances de fixation) et au téléstéréoscope (multipliant la demande en vergence pour toutes les distances de fixation). Quel que soit le dispositif optique utilisé, l'adaptation visuelle a consisté en un effet consécutif ne dépendant pas de la distance d'observation, contrairement aux résultats prédits sur la base du signal de vergence.

En dialogue humain-humain et humain-système, le terrain commun (constitué des informations que les locuteurs ont conscience de partager ; Clark & Marshall, 1981) sert de base à la production de références adaptées au partenaire (Isaacs & Clark, 1987 ; Powers et al., 2005). La production des références appartenant au terrain commun dépend de leur accessibilité en mémoire pour chaque partenaire : plus une référence est accessible, plus elle est susceptible d'être produite (Horton & Gerrig, 2005a, 2005b). En ce sens, la production de références appartenant au terrain commun fait l'objet d'un biais égocentrique, étant donné qu'elle reflète principalement l'état mental du partenaire produisant les références (Barr & Keysar, 2002 ; Keysar, 1997). L'objectif de la thèse est de montrer que l'accessibilité en mémoire des références du terrain commun influence non seulement l'adaptation à autrui, mais aussi la réutilisation des références, c'est-à-dire la production de références après leur intégration au terrain commun par les partenaires. Cinq expériences ont été réalisées en vue de caractériser la réutilisation des références en dialogue humain-humain et humain-système. Il s'agit également d'isoler les facteurs linguistiques et non-linguistiques susceptibles d'influencer l'accessibilité en mémoire des références appartenant au terrain commun. Les résultats ont confirmé que la réutilisation pendant le dialogue fait l'objet d'un biais égocentrique. La production par soi et par autrui au moment où les références sont intégrées au terrain commun constitue un déterminant important du niveau d'accessibilité de ces références. Par ailleurs, le niveau d'accessibilité des références varie au long de l'interaction. Sur la base de ces résultats, un nouveau modèle théorique est développé en vue de rendre compte du dialogue de manière dynamique. Les implications pour le dialogue humain-humain et humain-système sont discutées. / In human-human and human-system dialogue, the common ground (which includes the knowledge that the dialogue partners are aware of sharing; Clark & Marshall, 1981) serves as a basis for the production of partner-adapted references (Isaacs & Clark, 1987; Powers et al., 2005). The production of references which belong to the common ground is guided by their accessibility in memory from each speaker's point of view: the more accessible a reference, the more likely it is to be produced (Horton & Gerrig, 2005a, 2005b). In this sense, the production of references which belong to the common ground is subject to an egocentric bias, as it mainly reflects the state of mind of the speaking producing the references (Barr & Keysar, 2002; Keysar, 1997). The purpose of this thesis is to show that the accessibility in memory of the references which belong to the common ground guides not only partner-adaptation, but also reference reuse, that is, reference production after these references have been grounded by the speakers. Five experiments were conducted in order to characterize reference reuse in human-human and human-system dialogue. The aim was also to identify the linguistic and nonlinguistic factors which are likely to influence the accessibility in memory of the references which belong to the common ground. The results confirmed that reuse during dialogue is subject to an egocentric bias. Self- and partner-production at the time of reference grounding constitutes an important determinant of reference subsequent accessibility. What's more, reference accessibility varies throughout the interaction. On the basis of these results, a new theoretical model is developed in order to account for dialogue in a dynamic fashion. Implications for human-human and human-system dialogue are then discussed.