Zugl.: Darmstadt, Techn. Univ., Diss., 2007 u.d.T.: Hellenschmidt, Michael: Software-Infrastruktur und Entwicklungsumgebung für selbstorganisierende multimediale Ensembles in Ambient-Intelligence-Umgebungen / Hergestellt on demand

Zugl.: Regensburg, Universiẗat, Diss., 2009.

Zugl.: Stuttgart, Univ., Diss., 2009

Techn. Universiẗat, Diss., 2006--München.

Dissertation Universität des Saarlandes, Saarbrücken, 2007.

Zugl.: Tübingen, Univ., Diss., 2007

Notre perception est par nature multimodale, i.e. fait appel à plusieurs de nos sens. Pour résoudre certaines tâches, il est donc pertinent d’utiliser différentes modalités, telles que le son ou l’image.Cette thèse s’intéresse à cette notion dans le cadre de l’apprentissage neuronal profond. Pour cela, elle cherche à répondre à une problématique en particulier : comment fusionner les différentes modalités au sein d’un réseau de neurones ?Nous proposons tout d’abord d’étudier un problème d’application concret : la reconnaissance automatique des émotions dans des contenus audio-visuels.Cela nous conduit à différentes considérations concernant la modélisation des émotions et plus particulièrement des expressions faciales. Nous proposons ainsi une analyse des représentations de l’expression faciale apprises par un réseau de neurones profonds.De plus, cela permet d’observer que chaque problème multimodal semble nécessiter l’utilisation d’une stratégie de fusion différente.C’est pourquoi nous proposons et validons ensuite deux méthodes pour obtenir automatiquement une architecture neuronale de fusion efficace pour un problème multimodal donné, la première se basant sur un modèle central de fusion et ayant pour visée de conserver une certaine interprétation de la stratégie de fusion adoptée, tandis que la seconde adapte une méthode de recherche d'architecture neuronale au cas de la fusion, explorant un plus grand nombre de stratégies et atteignant ainsi de meilleures performances.Enfin, nous nous intéressons à une vision multimodale du transfert de connaissances. En effet, nous détaillons une méthode non traditionnelle pour effectuer un transfert de connaissances à partir de plusieurs sources, i.e. plusieurs modèles pré-entraînés. Pour cela, une représentation neuronale plus générale est obtenue à partir d’un modèle unique, qui rassemble la connaissance contenue dans les modèles pré-entraînés et conduit à des performances à l'état de l'art sur une variété de tâches d'analyse de visages. / Our perception is by nature multimodal, i.e. it appeals to many of our senses. To solve certain tasks, it is therefore relevant to use different modalities, such as sound or image.This thesis focuses on this notion in the context of deep learning. For this, it seeks to answer a particular problem: how to merge the different modalities within a deep neural network?We first propose to study a problem of concrete application: the automatic recognition of emotion in audio-visual contents.This leads us to different considerations concerning the modeling of emotions and more particularly of facial expressions. We thus propose an analysis of representations of facial expression learned by a deep neural network.In addition, we observe that each multimodal problem appears to require the use of a different merge strategy.This is why we propose and validate two methods to automatically obtain an efficient fusion neural architecture for a given multimodal problem, the first one being based on a central fusion network and aimed at preserving an easy interpretation of the adopted fusion strategy. While the second adapts a method of neural architecture search in the case of multimodal fusion, exploring a greater number of strategies and therefore achieving better performance.Finally, we are interested in a multimodal view of knowledge transfer. Indeed, we detail a non-traditional method to transfer knowledge from several sources, i.e. from several pre-trained models. For that, a more general neural representation is obtained from a single model, which brings together the knowledge contained in the pre-trained models and leads to state-of-the-art performances on a variety of facial analysis tasks.

Cette thèse porte sur l'étude du rendu multimodal en Réalité Virtuelle (RV), et a pour objectif d'améliorer l'activité des utilisateurs dans les environnements virtuels.<br />Plus particulièrement, nous cherchons à exploiter au mieux la bande passante sensori-motrice humaine et les capacités sémantiques des modalités visuelles, audio et haptiques afin d'améliorer le confort, les performances ou la compréhension de l'opérateur dans ses diverses tâches. L'ambition de nos recherches réside dans une approche générique et contextuelle du rendu multimodal en RV, c'est-à-dire qui s'éloigne des solutions adhoc et liées à des applications précises. Nos travaux se veulent également orientés vers la tâche, et non vers le réalisme.<br />Notre contribution majeure est l'élaboration d'un processus de supervision de la distribution multimodale dédié aux applications de RV. Ce processus est fondé sur un modèle générique des interactions, qui permet de représenter à l'aide d'un nombre limité d'éléments simples la sémantique des tâches et les rendus multimodaux possibles du système. Le cœur de la supervision est un moteur à base de règles logiques, capable de décider, à partir d'une base de connaissances, pour une interaction et dans un contexte donné, quel est le rendu multimodal le plus adéquat.<br />Des évaluations du processus de supervision sont réalisées sur des scénarios concrets de Mécanique des Fluides, de Bio-Informatique et de CAO. Les résultats sont satisfaisants, tant au niveau de la fiabilité et de la qualité des rendus décidés, que de l'adaptabilité du superviseur à des contextes différents et de la rapidité de la décision, compatible avec des interactions de RV en temps réel.

Zugl.: Magdeburg, Univ., Diss., 2009

Zugl.: Tübingen, Univ., Diss., 2007