Le récepteur aux hydrocarbures aromatiques (AhR) est un facteur de transcription de la famille bHLH/PAS, activé par différents ligands exogènes dont les hydrocarbures aromatiques polycycliques ou halogénés (dioxines). A ce titre, il est décrit historiquement comme un récepteur de xénobiotiques dont le principal rôle est l'élimination de ces composés via la régulation des enzymes du métabolisme des xénobiotiques. Toutefois, des études récentes menées à l'aide de modèles souris invalidées pour le AhR, suggèrent indirectement que cette protéine régule des fonctions endogènes, notamment dans le système nerveux de mammifères dans lequel aucun rôle du AhR n'a jusqu'à présent été démontré. Nous avons donc utilisé le modèle de souris C57BL/6J AhR-/- pour mener à la fois des études comportementales et mécanistiques afin de déterminer ce rôle. Tout d'abord, nous avons identifié un défaut oculomoteur chez les souris AhR-/-, caractérisé par des mouvements spontanés horizontaux. En étudiant l'ensemble des circuits neurosensoriels potentiellement impliqués dans ce nystagmus pendulaire, nous avons montré que son origine est liée à des déficits du système visuo-moteur. De plus, en caractérisant et comparant les profils d'expression génique des cervelets de souris AhR+/+ et AhR-/- traitées ou non par de la 2,3,7,8 TétraChloroDibenzo-p-Dioxine (TCDD), nous avons montré que ce polluant, ligand du AhR, perturbait les fonctions endogènes du récepteur. Cet effet de " perturbation endogène " a été retrouvé dans un autre organe et est associé à une toxicité (fibrose hépatique). Cette étude a permis d'identifier de nouvelles fonctions physiologiques du AhR dans le système nerveux des souris, de caractériser un nouveau modèle animal de nystagmus pendulaire et ouvre de nouvelles perspectives de travail en neurotoxicologie.

Ces dernières années la diffusion vidéo "de salon" a connu trois transitions majeures : la compression vidéo aévolué de la norme MPEG2 à la norme h.264, les écrans à tube cathodique ont disparu du marché des téléviseurs quiest actuellement dominé par les écrans à cristaux liquides (LCD) et pour nir le format haute-définition (1280x720pixels ou 1920x1080) supplante de plus en plus le format SD (576x720). Ces évolutions ont modifié l'importancedes différents types de défauts de compression pour la perception de la qualité d'une vidéo. Les défauts majeursde compression vidéo sont désormais le ou et les défauts temporels. Le terme défaut temporel regroupe ici lavariation temporelle de défauts spatiaux comme l'effet de bloc et des défauts spécifiquement temporels comme lebruit de moustique.Nous nous sommes tout d'abord focalisés sur la correction du bruit de moustique. Le correcteur que nousproposons, le TVIF, est adapté aux trois caractéristiques de ce défaut : faible amplitude par rapport au contenulocal, proximité des contours et variation temporelle. Nous avons évalué l'efficacité de notre correcteur avec desmétriques objectives mais, celles-ci ne permettant pas de conclure sur les performances de notre ltre, nousavons organisé une expérience subjective de qualité. Les données recueillies lors de cette expérience indiquentque les observateurs perçoivent notre filtre comme une amélioration et que la version spatio-temporelle de notrecorrecteur est préférée à sa version spatiale. Reboucler sur les évaluations objectives nous permet de conclure queles métriques objectives ne mesurent pas adéquatement la correction du bruit de moustique, ni l'apport de lacorrection spatio-temporelle par rapport à la correction spatiale.Nous avons ensuite organisé une expérience couplant évaluation de qualité (globale et temporelle) et enregistrementsdes positions oculaires des observateurs. Cette expérience nous permet de spécifier plusieurs pointsutiles pour réaliser une métrique objective de qualité temporelle. Par exemple, le défaut le plus gênant pour laperception de la qualité globale est la variation d'effet de bloc, qui doit donc être la priorité d'une métrique dequalité temporelle. L'analyse des mouvements oculaires des observateurs en tâche libre, tâche de qualité globaleet tâche de qualité temporelle montre, entre autres, que la qualité de la vidéo diffusée n'a pas d'influence visiblesur les endroits regardés par les participants mais influence fortement la durée des fixations.

Les applications vidéo rencontrent un franc succes dans les nouveaux réseaux de communication. Leur utilisation dans des contextes de plus en plus difficiles : réseaux de paquets non fiables (internet), diffusion vers des récepteurs mobiles via des canaux sans fil, ont requis le développement de nouvelles solutions plus efficaces et mieux adaptées. Les travaux de cette thèse sont une tentative de réponse à ces besoins. Les solutions qui ont été développées peuvent être regroupées en deux ensembles : des solutions issues de travaux nouveaux développés dans un contexte d'utilisation ordinaire et des solutions issues de l'amélioration et l'optimisation de travaux existants développés pour des contextes extrêmes.Le canal de Bernoulli a représenté pour nous le cadre de travail pour le développement des nouvelles solutions. Ainsi pour les applications de diffusion vidéo, nous avons ciblé la protection inégale et avons développé un mécanisme à protection inégale des données vidéo (DA-UEP). Ce mécanisme se situe à proximité de la source vidéo et adapte le niveau de protection des données à leur degré d'importance. Son originalité réside dans sa manière d'intégrer la particularité d'interdépendances des données vidéo dans le générateur de la protection inégale. Dans un travail d'approfondissement et d'exploration, nous avons combiné la protection inégale des couches hautes produite par DA-UEP avec de la protection inégale de la couche physique produite par de la modulation hiérarchique. L'optimisation de ce système a permis d'obtenir des gains significatifs et a validé le bien fondé de cette piste de recherche. Pour les communications vidéo interactives, nous avons évalué les performances du mécanisme Tetrys pour les communications vidéo. Ce mécanisme de codage à la volée avec intégration des acquittements a permis d'obtenir des résultats à la hauteur de ceux obtenus par la protection inégale dans un cadre de diffusion. Ces résultats ont aussi permis de mettre en avant tout le potentiel de ce mécanisme.Pour les canaux satellites mobiles, nous nous sommes intéressés à la diffusion vidéo vers des récepteurs mobiles. Dans ce cadre, nous avons évalué des mécanismes tels que les codes correcteurs d'erreurs, les entrelaceurs de la couche physique et de la couche liaison et les codes à effacement de niveau intermédiaire. Nous avons travaillé sur un canal réaliste en prenant en compte les contraintes pratiques telles que les temps de zapping et la vitesse de déplacement des récepteurs. Nous avons révélé les relations qui existent entre vitesse de déplacement, étalement spatial et qualité de réception. Ainsi, nous avons pu mettre en évidence les combinaisons de mécanismes qui permettent d'obtenir les meilleurs résultats en termes de fiabilité et de temps de zapping dans ce contexte particulier.

Cette thèse explore l'utilisation des modèles bayésiens dans les IA de jeux vidéo multi-joueurs, particulièrement l'IA des jeux de stratégie en temps réel (STR). Les jeux vidéo se situent entre la robotique et la simulation totale, car les autres joueurs ne sont pas simulés, et l'IA n'a pas de contrôle sur la simulation. Les jeux de STR demandent simultanément d'effectuer des actions reactives (contrôle d'unités) et de prendre des décisions stratégiques (technologiques, économiques) et tactiques (spatiales, temporelles). Nous avons utilisé la modélisation bayésienne comme une alternative à la logique (booléenne), étant capable de travailler avec des informations incomplètes, et donc incertaines. En effet, la spécification incomplète des comportement "scriptés", ou la spécification incomplète des états possibles dans la recherche de plans, demandent une solution qui peut gérer cette incertitude. L'apprentissage artificiel aide à réduire la complexité de spécifier de tels modèles. Nous montrons que la programmation bayésienne peut intégrer toutes sortes de sources d'incertitudes (états cachés, intentions, stochasticité) par la réalisation d'un joueur de StarCraft complètement robotique. Les distributions de probabilité sont un moyen de transporter, sans perte, l'information que l'on a et qui peut représenter au choix: des contraintes, une connaissance partielle, une estimation de l'espace des états et l'incomplétude du modèle lui-même. Dans la première partie de cette thèse, nous détaillons les solutions actuelles aux problèmes qui se posent lors de la réalisation d'une IA de jeu multi-joueur, en donnant un aperçu des caractéristiques calculatoires et cognitives complexes des principaux types de jeux. En partant de ce constat, nous résumons les catégories transversales de problèmes, et nous introduisons comment elles peuvent être résolues par la modélisation bayésienne. Nous expliquons alors comment construire un programme bayésien en partant de connaissances et d'observations du domaine à travers un exemple simple de jeu de rôle. Dans la deuxième partie de la thèse, nous détaillons l'application de cette approche à l'IA de STR, ainsi que les modèles auxquels nous sommes parvenus. Pour le comportement réactif (micro-management), nous présentons un controleur multi-agent décentralisé et temps réel inspiré de la fusion sensori-motrice. Ensuite, nous accomplissons les adaptation dynamiques de nos stratégies et tactiques à celles de l'adversaire en le modélisant à l'aide de l'apprentissage artificiel (supervisé et non supervisé) depuis des traces de joueurs de haut niveau. Ces modèles probabilistes de joueurs peuvent être utilisés à la fois pour la prédiction des décisions/actions de l'adversaire, mais aussi à nous-même pour la prise de décision si on substitue les entrées par les notres. Enfin, nous expliquons l'architecture de notre joueur robotique de StarCraft, et nous précisions quelques détails techniques d'implémentation. Au delà des modèles et de leurs implémentations, il y a trois contributions principales: la reconnaissance de plan et la modélisation de l'adversaire par apprentissage artificiel, en tirant partie de la structure du jeu, la prise de décision multi-échelles en présence d'informations incertaines, et l'intégration des modèles bayésiens au contrôle temps réel d'un joueur artificiel.

Le monde du protocole de transport a fortement évolué depuis la création de l'internet. On retrouve désormais une grande diversité de liens avec des caractéristiques hétérogènes en termes de débit, taux de pertes et délais. Plus récemment, le caractère ubiquitaire des périphériques sans fil a permis d'envisager un nouveau mode de transfert prenant en compte la mobilité des utilisateurs pour propager l'information dans le réseau. Ce paradigme de communication rompt définitivement avec les hypothèses de conceptions des protocoles de transport classique. Les applications qui utilisent l'internet ont également évolué. Les réseaux best effort sont maintenant utilisés pour transporter des flux à contrainte de délai tels que la voix sur IP et la vidéo conférence. Cependant, malgré ces changements importants, le principe de fiabilité utilisé n'a guère évolué et se base toujours sur des retransmissions. C'est dans ce contexte que s'inscrit cette thèse qui vise à fournir une brique de fiabilité novatrice pour le support de tout type d'application sur les réseaux best effort et les challenged neworks qui font de plus en plus partie du paysage de l'internet. A cette fin, nous proposons un mécanisme de codage dénommé Tetrys. Ce code est sans rendement et ses symboles de redondance sont générés à la volée. Il permet à la fois une fiabilité totale et un délai de reconstruction quasi-optimal. Après une étude détaillée de ses propriétés, nous illustrons la généricité de ce mécanisme. Nous verrons que ses caractéristiques mènent à des contributions aussi bien sur le transport de flux de vidéo-conférence que sur le support du streaming dans les DTN ou encore la fiabilisation des handovers. De manière plus prospective, cette thèse reconsidère les hypothèses initiales du contrôle de congestion. Tetrys est utilisé comme code optimal dans le cas de réseaux dit "anarchiques" (i.e. caractérisés par une absence totale de contrôle de congestion). Nous montrons que le concept de réseau anarchi que est une alternative viable au contrôle de congestion et qu'il le remplace mÆeme avantageusement.

Dans un contexte fortement concurrentiel, l'un des principaux enjeux pour les opérateurs et les fournisseurs de services de visiophonie est de garantir aux utilisateurs une qualité d'expérience (QoE) optimale. Il existe un fort besoin d'une mesure qui reflète la satisfaction et la perception des utilisateurs de ces services. La qualité audiovisuelle d'un appel vidéo doit être contrôlée pour répondre à deux besoins principaux. Le premier concerne la planification de nouvelles technologies en cours de développement. Le second est axé sur le contrôle des communications existantes en évaluant la qualité des services offerts. Aujourd'hui, deux approches sont utilisées pour évaluer la qualité audiovisuelle : les tests subjectifs en collectant des notes données par des participants sur des échelles de qualité, après visualisation et écoute de séquences audiovisuelles et les métriques objectives basées sur des algorithmes automatiques d'évaluation de la qualité d'un signal audio, vidéo ou audiovisuel. Concernant les services de téléphonie, des décennies de recherche, de standardisation et d'exploitation des réseaux ont permis aux opérateurs de maîtriser les outils de diagnostic et de déterminer les métriques représentatives de la qualité vocale. Cependant, les méthodes de mesure de la qualité audiovisuelle des services conversationnels ne sont pas encore matures et peu exploitées par les opérateurs de télécommunication. Le présent travail est centré sur la recherche de métriques représentatives de la perception de la qualité des nux associés aux services de visiophonie et de visioconférence. Ces métriques objectives sont calculées à partir du signal audio et vidéo. Des tests subjectifs sont menés afin de collecter le jugement des utilisateurs du service sur la qualité perçue en fonction de différents niveaux de dégradations. Nous avons étudié l'impact des conditions réseau (perte de paquet, gigue et désynchronisation) sur la QoE d'un appel vidéo. Le principe général est ensuite d'établir une corrélation forte entre les métriques objectives sélectionnées et la qualité perçue telle qu'elle est exprimée par les utilisateurs. Les résultats ont montré que les nouvelles métriques de qualité globale audiovisuelle qui prennent en compte l'aspect temporel de la vidéo sont plus performantes que les métriques basées qualité d'images. D'autre part l'utilisation d'une approche machine learning représente une solution pour générer un modèle de prédiction de la qualité globale à partir des métriques de dégradation (flou, pixellisation, gel d'images, ... ) / In a highly competitive environment, one of the key challenges for operators and providers of video telephony services is to ensure the highest quality of experience (QoE). There is a strong need for a measure that reflects users satisfaction and perception of these services. The audio-visual quality of a video call must be controlled to meet two main needs. The first concerns the planning of new technologies under development. The second is focused on the control of existing communications by assessing the quality of the services offered and evaluating them. Two approaches are used to evaluate audio-visual quality: subjective tests by collecting scores given by participants on quality scales, after viewing and listening to audiovisual sequences and objective metrics based on automatic audio/ video or audiovisual quality evaluation algorithms. Concerning telephony services, decades of research, standardization work and network exploitation, have allowed operators to master the automatic monitoring tools and to determine the representative metrics of voice quality. However, the metrics for measuring the audiovisual quality of a conversational services are not yet mature and not exploited by telecommunication operators. The present work focuses on finding representative metrics of the perception of the video telephony anc videoconferencing services quality. These objective metrics are calculated from the audio and video signals. Subjective tests are conducted to collect the judgment of service users on the perceived quality according to different levels of degradation. We studied the impact of network conditions (packet loss, jitter and desynchronization) on the QoE of a video call. The general principle is then to establish a correlation between the selected objective metrics and the perceived quality as expressed by the users. The results showed that new metric of overall audiovisual quality that take into account the temporal aspect of video are more powerful than image quality based metrics. On the other hand, the use of a machine learning approach represents a solution to generat a global quality prediction model from the degradation metrics (blur, pixelization, image freezing, ... )

Ces dernières années la diffusion vidéo "de salon" a connu trois transitions majeures : la compression vidéo aévolué de la norme MPEG2 à la norme h.264, les écrans à tube cathodique ont disparu du marché des téléviseurs quiest actuellement dominé par les écrans à cristaux liquides (LCD) et pour nir le format haute-définition (1280x720pixels ou 1920x1080) supplante de plus en plus le format SD (576x720). Ces évolutions ont modifié l'importancedes différents types de défauts de compression pour la perception de la qualité d'une vidéo. Les défauts majeursde compression vidéo sont désormais le ou et les défauts temporels. Le terme défaut temporel regroupe ici lavariation temporelle de défauts spatiaux comme l'effet de bloc et des défauts spécifiquement temporels comme lebruit de moustique.Nous nous sommes tout d'abord focalisés sur la correction du bruit de moustique. Le correcteur que nousproposons, le TVIF, est adapté aux trois caractéristiques de ce défaut : faible amplitude par rapport au contenulocal, proximité des contours et variation temporelle. Nous avons évalué l'efficacité de notre correcteur avec desmétriques objectives mais, celles-ci ne permettant pas de conclure sur les performances de notre ltre, nousavons organisé une expérience subjective de qualité. Les données recueillies lors de cette expérience indiquentque les observateurs perçoivent notre filtre comme une amélioration et que la version spatio-temporelle de notrecorrecteur est préférée à sa version spatiale. Reboucler sur les évaluations objectives nous permet de conclure queles métriques objectives ne mesurent pas adéquatement la correction du bruit de moustique, ni l'apport de lacorrection spatio-temporelle par rapport à la correction spatiale.Nous avons ensuite organisé une expérience couplant évaluation de qualité (globale et temporelle) et enregistrementsdes positions oculaires des observateurs. Cette expérience nous permet de spécifier plusieurs pointsutiles pour réaliser une métrique objective de qualité temporelle. Par exemple, le défaut le plus gênant pour laperception de la qualité globale est la variation d'effet de bloc, qui doit donc être la priorité d'une métrique dequalité temporelle. L'analyse des mouvements oculaires des observateurs en tâche libre, tâche de qualité globaleet tâche de qualité temporelle montre, entre autres, que la qualité de la vidéo diffusée n'a pas d'influence visiblesur les endroits regardés par les participants mais influence fortement la durée des fixations. / Home video has gone through three major transitions within the past years: from the MPEG2 videocompression norm to the h.264 one, from cathode ray tube screens to liquid crystal display screens andfrom standard definition (576x720) to High-Definition (1280x720 or 1920x1080). Those changes havemodified the importance of each type of compression artifacts for quality assessment, relatively to oneanother. The two main compression artifacts are currently blur and temporal defects, including under thisterm temporal variations of spatial defects and artifacts specifically temporal such as mosquito noise.We first focused on filtering mosquito noise and presented the TVIF, a corrector adapted to this noise:small amplitude compared to the nearest edge, proximity to edges and variation through time. We firsttried to use objective quality metrics to assess the performance of our corrector. As it proved to beinconclusive, we set up a subjective experiment which showed that observers perceived our corrector asan enhancement and that they preferred the spatio-temporal correction to the spatial one. Going backover objective evaluations with the subjective ones showed that the metrics we used correctly assessneither the correction nor the gain in quality of the spatio-temporal correction over the spatial one.We then set up an experiment combining quality evaluation (both global and temporal) and recordings ofeye movements. The aim of this experiment is to specify some key points for designing an objectivetemporal quality metric. One example is that observers found that temporal variations of blocking effectare the most annoying defect global quality and, as such, should be the main focus of a temporal qualitymetric. Analysis of eye-movements of observers during free task, global quality task and temporal qualitytask shows, among other things, that quality has no visible influence on the places observers watch buthighly influences the duration of fixations. The evolutions over time of all the oculomotor parameters(saccades speed, fixation locations and durations) are similar for the three tasks during the first 1 or 2seconds of the videos and that the differences between tasks appear later on. It seems that the task toassess video quality plays a role afterwards on the deployment of visual attention.

Un développement rapide et une densification du trafic aérien ont conduit à l'introduction de nouvelles opérations d'approches et d'atterrissage utilisant des trajectoires plus flexibles et des minimas plus exigeants. La plupart des opérations de navigation aérienne sont actuellement réalisées grâce au GNSS, augmenté par les systèmes GBAS, SBAS et ABAS qui permettent d'atteindre des opérations d'approches de précision (pour GBAS et SBAS). Cependant ces systèmes nécessitent la mise en place d'un réseau de station de référence relativement couteux et des diffusions constantes de messages aux utilisateurs de l'espace aérien. Afin de surmonter ces contraintes, le système ABAS intègre à bord des informations fournies par les systèmes de navigation inertielle (INS) ainsi améliorant les performances de navigation. Dans cette logique, les avions commerciaux actuels utilisent une solution de couplage des deux systèmes appelée hybridation GPS/baro-INS. Cette solution permet d'atteindre des niveaux de performance en termes de précision, intégrité, disponibilité et continuité supérieurs aux deux systèmes pris séparément. Malheureusement, les niveaux d'exigences requis par les opérations de précision ou les atterrissages automatiques ne peuvent pas encore être totalement couverts par les solutions d'hybridation actuelles. L'idée principale de cette thèse a été d'étendre le processus d'hybridation en incluant d'autres capteurs ou systèmes actuellement disponibles ou non à bord et d'évaluer les niveaux de performance atteints par cette solution de filtre d'hybridation global. L'objectif ciblé est de pouvoir fournir la plupart des paramètres de navigations pour les opérations les plus critiques avec le niveau de performance requis par les exigences OACI. Les opérations ciblées pendant l'étude étaient les approches de précision (en particulier les approches CAT III) et le roulage sur la piste. L'étude des systèmes vidéo a fait l'objet d'une attention particulière pendant la thèse. La navigation basée sur la vidéo est une solution autonome de navigation de plus en plus utilisée de nos jours axée sur des capteurs qui mesurent le mouvement du véhicule et observent l'environnement. Que cela soit pour compenser la perte ou la dégradation d'un des systèmes de navigation ou pour améliorer la solution existante, les intérêts de l'utilisation de la vidéo sont nombreux. / The quick development of air traffic has led to the improvement of approach and landing operations by using flexible flight paths and by decreasing the minima required to perform these operations. Most of the aircraft operations are supported by the GNSS augmented with GBAS, SBAS and ABAS. SBAS or GBAS allow supporting navigation operations down to precision approaches. However, these augmentations do require an expensive network of reference receivers and real-time broadcast to the airborne user. To overcome, the ABAS system integrates on-board information provided by an INS so as to enhance the performance of the navigation system. In that scheme, INS is coupled with a GPS receiver in a GPS/baro-INS hybridization solution that is already performed on current commercial aircraft. This solution allows reaching better performance in terms of accuracy, integrity, availability and continuity than the two separated solutions. However the most stringent requirements for precision approaches or automatic landings cannot be fulfilled with the current hybridization. The main idea of this PhD study is then to extend the hybridization process by including other sensors already available on commercial aircraft or not and, to assess the performance reached by a global hybridization architecture. It aims at providing most of the navigation parameters in all operations with the required level of performance. The operations targeted by this hybridization are precision approaches, with a particular focus on CAT III precision approach and roll out on the runway. The study of video sensor has been particularly focused on in the thesis. Indeed video based navigation is a complete autonomous navigation opportunity only based on sensors that provide information from the dynamic of the vehicle and from the observation of the scenery. Moreover, from a possible compensation of any loss or degradation of a navigation system to the improvement of the navigation solution during the most critical operations, the interests of video are numerous.

Depuis quelques années, un intérêt grandissant pour les interactions homme-robot (HRI), avec pour but de développer des robots pouvant interagir (ou plus généralement communiquer) avec des personnes de manière naturelle. Cela requiert aux robots d'avoir la capacité non seulement de comprendre une conversation et signaux non verbaux associés à la communication (e.g. le regard et les expressions du visage), mais aussi la capacité de comprendre les dynamiques des interactions sociales, e.g. détecter et identifier les personnes présentes, où sont-elles, les suivre au cours de la conversation, savoir qui est le locuteur, à qui parle t-il, mais aussi qui regarde qui, etc. Tout cela nécessite aux robots d’avoir des capacités de perception multimodales pour détecter et intégrer de manière significative les informations provenant de leurs multiples canaux sensoriels. Dans cette thèse, nous nous concentrons sur les entrées sensorielles audio-visuelles du robot composées de microphones (multiples) et de caméras vidéo. Dans cette thèse nous nous concentrons sur trois tâches associés à la perception des robots, à savoir : (P1) localisation de plusieurs locuteurs, (P2) localisation et suivi de plusieurs personnes, et (P3) journalisation de locuteur. La majorité des travaux existants sur le traitement du signal et de la vision par ordinateur abordent ces problèmes en utilisant uniquement soit des signaux audio ou des informations visuelles. Cependant, dans cette thèse, nous prévoyons de les aborder à travers la fusion des informations audio et visuelles recueillies par deux microphones et une caméra vidéo. Notre objectif est d'exploiter la nature complémentaire des modalités auditive et visuelle dans l'espoir d'améliorer de manière significatives la robustesse et la performance par rapport aux systèmes utilisant une seule modalité. De plus, les trois problèmes sont abordés en considérant des scénarios d'interaction Homme-Robot difficiles comme, par exemple, un robot engagé dans une interaction avec un nombre variable de participants, qui peuvent parler en même temps et qui peuvent se déplacer autour de la scène et tourner la tête / faire face aux autres participants plutôt qu’au robot. / In recent years, there has been a growing interest in human-robot interaction (HRI), with the aim to enable robots to naturally interact and communicate with humans. Natural interaction implies that robots not only need to understand speech and non-verbal communication cues such as body gesture, gaze, or facial expressions, but they also need to understand the dynamics of the social interplay, e.g., find people in the environment, distinguish between different people, track them through the physical space, parse their actions and activity, estimate their engagement, identify who is speaking, who speaks to whom, etc. All these necessitate the robots to have multimodal perception skills to meaningfully detect and integrate information from their multiple sensory channels. In this thesis, we focus on the robot's audio-visual sensory inputs consisting of the (multiple) microphones and video cameras. Among the different addressable perception tasks, in this thesis we explore three, namely; (P1) multiple speakers localization, (P2) multiple-person location tracking, and (P3) speaker diarization. The majority of existing works in signal processing and computer vision address these problems by utilizing audio signals alone, or visual information only. However, in this thesis, we plan to address them via fusion of the audio and visual information gathered by two microphones and one video camera. Our goal is to exploit the complimentary nature of the audio and visual modalities with a hope of attaining significant improvements on robustness and performance over systems that use a single modality. Moreover, the three problems are addressed considering challenging HRI scenarios such as, eg a robot engaged in a multi-party interaction with varying number of participants, which may speak at the same time as well as may move around the scene and turn their heads/faces towards the other participants rather than facing the robot.

La previz on-set est une étape de prévisualisation qui a lieu directement pendant la phase de tournage d’un film à effets spéciaux. Cette proposition de prévisualisation consiste à montrer au réalisateur une vue assemblée du plan final en temps réel. Le travail présenté dans cette thèse s’intéresse à une étape spécifique de la prévisualisation : le compositing. Cette étape consiste à mélanger plusieurs sources d’images pour composer un plan unique et cohérent. Dans notre cas, il s’agit de mélanger une image de synthèse avec une image issue de la caméra présente sur le plateau de tournage. Les effets spéciaux numériques sont ainsi ajoutés à la prise de vue réelle. L’objectif de cette thèse consiste donc à proposer un système permettant l’ajustement automatique du mélange entre les deux images. La méthode proposée nécessite la mesure de la géométrie de la scène filmée. Pour cette raison, un capteur de profondeur est ajouté à la caméra de tournage. Les données sont relayées à l’ordinateur qui exécute un algorithme permettant de fusionner les données du capteur de profondeur et de la caméra de tournage. Par le biais d’un démonstrateur matériel, nous avons formalisé une solution intégrée dans un moteur de jeux vidéo. Les expérimentations menées montrent dans un premier temps des résultats encourageants pour le compositing en temps réel. Nous avons observé une amélioration des résultats suite à l’introduction de la méthode de segmentation conjointe. La principale force de ce travail réside dans la mise en place du démonstrateur qui nous a permis d’obtenir des algorithmes efficaces dans le domaine de la previz on-set. / Previz on-set is a preview step that takes place directly during the shootingphase of a film with special effects. The aim of previz on-set is to show to the film director anassembled view of the final plan in realtime. The work presented in this thesis focuses on aspecific step of the previz : the compositing. This step consists in mixing multiple images tocompose a single and coherent one. In our case, it is to mix computer graphics with an imagefrom the main camera. The objective of this thesis is to propose a system for automaticadjustment of the compositing. The method requires the measurement of the geometry ofthe scene filmed. For this reason, a depth sensor is added to the main camera. The data issent to the computer that executes an algorithm to merge data from depth sensor and themain camera. Through a hardware demonstrator, we formalized an integrated solution in avideo game engine. The experiments gives encouraging results for compositing in real time.Improved results were observed with the introduction of a joint segmentation method usingdepth and color information. The main strength of this work lies in the development of ademonstrator that allowed us to obtain effective algorithms in the field of previz on-set.