Cette thèse tisse des liens entre les domaines de l'indexation audio et de l'analyse de séquences d'images, à travers le problème de l'analyse de l'accompagnement rythmique des signaux de musique. Nous étudions d'abord le problème de la transcription de la piste de batterie d'enregistrements musicaux à partir de la modalité audio seule. Après avoir présenté des pré-traitements permettant d'accentuer cette piste, nous utilisons des techniques d'apprentissage statistique sur une large gamme d'attributs pour réaliser la transcription. Nous introduisons également des approches supervisées et non supervisées pour améliorer la reconnaissance en exploitant la régularité des motifs rythmiques. Nous incorporons ensuite à ce système de transcription l'information visuelle provenant de caméras filmant le batteur. Différentes approches sont présentées pour détecter la position des éléments de la batterie dans la scène et pour associer les régions extraites à des catégories sonores. Des descripteurs d'intensité de mouvement sont ensuite utilisés pour la détection des frappes. Les résultats démontrent la capacité d'une approche multimodale à résoudre certaines des ambiguïtés propres à la transcription audio. Nous étendons enfin nos travaux aux clips vidéos, en tentant de mesurer de quelle manière la musique peut être illustrée par des images. Après avoir présenté ou introduit de nouvelles méthodes de structuration automatique des flux audio et vidéo à différents niveaux, nous définissons des mesures de synchronie sur les structures obtenues. Ces mesures, qui s'avèrent dépendantes du type de document musical, permettent des applications de recherche de musique par l'image.

Le domaine des neurosciences computationnelles s'intéresse à la modélisation des fonctions cognitives à travers des modèles numériques bio-inspirés. Dans cette thèse, nous nous intéressons en particulier à l'apprentissage dans un contexte multimodal, c'est à dire à la formation de représentations cohérentes à partir de plusieurs modalités sensorielles et/ou motrices. Notre modèle s'inspire du cortex cérébral, lieu supposé de la fusion multimodale dans le cerveau, et le représente à une échelle mésoscopique par des colonnes corticales regroupées en cartes et des projections axoniques entre ces cartes. Pour effectuer nos simulations, nous proposons une bibliothèque simplifiant la construction et l'évaluation de modèles mésoscopiques. Notre modèle d'apprentissage se base sur le modèle BCM (Bienenstock-Cooper-Munro), qui propose un algorithme d'apprentissage non-supervisé local (une unité apprend à partir de ses entrées de manière autonome) et biologiquement plausible. Nous adaptons BCM en introduisant la notion d'apprentissage guidé, un moyen de biaiser la convergence de l'apprentissage BCM en faveur d'un stimulus choisi. Puis, nous mettons ce mécanisme à profit pour effectuer un co-apprentissage entre plusieurs modalités. Grâce au co-apprentissage, les sélectivités développées sur chaque modalité tendent à représenter le même phénomène, perçu à travers différentes modalités, élaborant ainsi une représentation multimodale cohérente dudit phénomène.

L’inspiration de choisir le sujet pour ce mémoire vient d’une volonté de savoir quel sens et quelle signification l’utilisation d’Internet peut avoir à des fins éducatives pour les élèves aujourd’hui. Pendant les stages de ma formation professionnelle ici en Suède, j’ai essayé d’utiliser l’ordinateur le plus possible puisque c’est le monde et la réalité des élèves. Faradji et Hocine (2009 : 2) parlent de ce monde changeant où les médias occupent aujourd’hui une place importante dans la vie des familles mais aussi comment l’environnement techno-pédagogique est en train de s’imposer dans le monde scolaire. Pourquoi utilise-t-on la technologie de l’information dans les écoles? Une raison pourrait être la motivation ; les TICE (les technologies de l’information et de la communication pour éducation) sont un instrument très connu pour les élèves. Il faut aussi admettre qu’une des missions de l’école est de distribuer une compétence numérique (Hylén 2007 : 23). En outre, les programmes d’enseignement suédois non obligatoires disent que les élèves doivent s’informer de la réalité complexe avec le grand flux d’information, ainsi c’est très important qu’ils puissent s’entraîner à penser critiquement (Lpf 94 2005 : 39). Pour moi, c’est très important de parler des possibilités d’utiliser Internet dans l’enseignement à cause du développement continu, à la fois qu’on parle des pièges que Internet peur comporter. C’est aussi bien ma volonté de motiver les élèves que le fait que ce soit ma tâche comme futur professeur qui me poussent. J’ai l’ambition de suivre le développement même si cela exige beaucoup de moi. Une source d’inspiration importante pour l’étude est aussi une expérience vécue lors d’un stage en France en 2010. Une didacticienne française à l’université de Pau et des pays de l’Adour nous a montré plusieurs pages d’accueil pédagogiques et comment on peut les utiliser avec ses élèves, aussi bien des sites informatiques que des sites de jeux grammaticaux. Comme futur professeur, je m’intéresse aux opinions des élèves et je me demande si ces élèves préfèrent l’enseignement traditionnel sans technologie et s’ils peuvent en évaluer les avantages et les désavantages ?

Les interfaces homme-machine (IHM) multimodales offrent à l’utilisateur la possibilité de combiner les modalités d’interaction afin d’augmenter la robustesse et l’utilisabilité de l’interface utilisateur d’un système. Plus particulièrement, en sortie, les IHM multimodales permettent au système de restituer à l’utilisateur, l’information produite par le noyau fonctionnel en combinant sémantiquement plusieurs modalités. Dans l’optique de concevoir de telles interfaces pour des systèmes critiques, nous avons proposé un modèle formel de conception des interfaces multimodales en sortie. Le modèle proposé se décompose en deux modèles : le modèle de fission sémantique qui décrit la décomposition de l’information à restituer en informations élémentaires, et le modèle d’allocation qui spécifie l’allocation des modalités et médias aux informations élémentaires. Nous avons également développé une formalisation B Événementiel détaillée des deux modèles : fission sémantique et allocation. Cette formalisation a été instanciée sur des études de cas puis généralisée dans un processus de développement B Événementiel cadre dans lequel s’inscrivent les modèles de fission sémantique et d’allocation. Cette formalisation a permis de procéder à la vérification de propriétés de sûreté, de vivacité et d’utilisabilité. / Multimodal Human-Computer Interfaces (HCI) offer to users the possibility to combine interaction modalities in order to increase user interface robustness and usability. Specifically, output multimodal HCI allow system to return to the user, the information generated by the functional core by combining semantically different modalities. In order to design such interfaces for critical systems, we proposed a formal model for the design of output multimodal interfaces. The proposed model consists of two models: the semantic fission model describes the decomposition of the information to return into elementary information and the allocation model specifies the allocation of the elementary information with modalities and media. We have also developed a detailed Event B formalization for the two models: semantic fission and allocation. This formalization has been instantiated on case studies and generalized in an Event B development process framework including semantic fission and allocation models. This formalization allows to carry out safety, liveness and usability properties verification.

Ce travail de thèse s'inscrit dans un contexte multidisciplinaire à la frontière entre les domaines de l'intelligence ambiante, de l'interaction homme-machine et des agents conversationnels. Nous y étudions la problématique de l'assistance proactive contextuelle dans le cadre de l'informatique ambiante. A cet égard, notre challenge consiste à fournir à l'utilisateur souhaitant disposer d'un assistant virtuel, des services proactifs capables de communiquer selon le contexte de l'utilisateur. Mais l'intelligence ambiante proactive, ou encore l'assistance proactive contextuelle, n'a pas suivi un développement aussi important que l'intelligence ambiante réactive où l'utilisateur doit exprimer explicitement ses besoins. C'est pourquoi l'objectif de cette thèse CIFRE consiste à étudier et évaluer la notion d'assistance proactive contextuelle via la mise en place d'un agent conversationnel en ligne nommé X-CAMPUS. Cet acronyme signifie eXtensible Conversational Agent for Multichannel Proactive Ubiquitous Services. Ce système a pour vocation d'assister l'utilisateur dans ses tâches quotidiennes grâce à sa capacité de percevoir l'état de l'environnement et d'interagir pertinemment selon les besoins de l'utilisateur (météo, programmes TV, etc.). Nous avons mené une étude expérimentale pour étudier l'intérêt de X-CAMPUS et évaluer la satisfaction qu'il procure aux utilisateurs. Nous décrivons ensuite les résultats quantitatifs et qualitatifs de cette étude obtenus via un ensemble de scénarios et utilisant différents paramètres d'interaction (multimodalité, multicanalité, comportement réactif/proactif de l'agent, type de capteurs, contexte mono/multi-utilisateurs...). / This thesis is part of a multidisciplinary context on the border between the domains of the ambient intelligence, the human-machine interaction and the conversational agents. We study the problem of contextual proactive assistance in the course of the ambient computing. In this regard, our challenge is to provide to the user who wish have a virtual assistant, a proactive services which can communicate according to the user’s context. However proactive ambient intelligence, or contextual proactive assistance, did not follow an important development as reactive ambient intelligence where the user must explicitly express their needs. This is why the objective of this CIFRE thesis is to study and evaluate the concept of contextual proactive assistance through the implementation of an online conversational agent named X-CAMPUS. This acronym stands for eXtensible Proactive Multichannel Conversational Agent for Ubiquitous Services. This system aims to assist the user in their daily tasks thanks to its ability to perceive the state of the environment and interact effectively according to user’s needs (weather, TV programs, etc.). We conducted an experimental study to investigate the interest of X-CAMPUS and evaluate the satisfaction that it provides to users. We describe quantitative and qualitative results of this study obtained through a set of scenarios using different parameters of interaction (multimodal, multi-channels, behavior reactive/proactive agent, type of sensors, context mono/multi-user…).

L'utilisation d'images de modalités différentes est très répandue dans la résolution de problèmes liés aux applications de la télédétection. La raison principale est que chaque image d'une certaine modalité contient des informations spécifiques qui peuvent être intégrées en un modèle unique, afin d'améliorer notre connaissance à propos d'une scène spécifique. A cause du grand volume de données disponibles, ces intégrations doivent être réalisées de manière automatique. Cependant, un problème apparaît dès les premiers stades du processus : la recherche, dans des images de modalités différentes, de régions en correspondance. Ce problème est difficile à résoudre car la décision de regrouper des régions doit nécessairement reposer sur la part d'information commune aux images, même si les modalités sont différentes. Dans cette thèse, nous nous proposons donc d'apporter une contribution à la résolution de ce problème / The use of several images of various modalities has been proved to be quite useful for solving problems arising in many different applications of remote sensing. The main reason is that each image of a given modality conveys its own part of specific information, which can be integrated into a single model in order to improve our knowledge on a given area. With the large amount of available data, any task of integration must be performed automatically. At the very first stage of an automated integration process, a rather direct problem arises : given a region of interest within a first image, the question is to find out its equivalent within a second image acquired over the same scene but with a different modality. This problem is difficult because the decision to match two regions must rely on the common part of information supported by the two images, even if their modalities are quite different. This is the problem that we wish to address in this thesis

L’objectif de ces travaux de recherche est d’étudier les méthodes d’évaluation de laqualité des images biométriques multimodales sur des échantillons acquis de manièrenon contrainte. De nombreuses s études ont noté l’importance de la qualité del’échantillon pour un système de reconnaissance ou un algorithme de comparaison,puisque la performance du système biométrique est intrinsèquement dépendant dela qualité des images de l’échantillon. Dès lors, la nécessité d’évaluer la qualitédes échantillons biométriques pour plusieurs modalités (empreintes digitales, iris,visage, etc.) est devenue primordiale notamment avec l’apparition de systèmesbiométriques multimodaux de haute précision.Après une introduction présentant un historique de la biométrie et des préceptesliés à la qualité des échantillons biométriques, nous présentons le concept d’évaluationde la qualité des échantillons pour plusieurs modalités. Les normes de qualitéISO / CEI récemment établies pour les empreintes digitales, l’iris et le visage sontprésentées. De plus, des approches d’évaluation de la qualité des échantillons conçuesspécifiquement pour les empreintes digitales avec et sans contact, pour l’iris(dont une image est capturée en proche infrarouge et dans le domaine visible),ainsi que le visage sont étudiées. Finalement, des techniques d’évaluation des performancesdes mesures de qualité des échantillons biométriques sont égalementétudiées.Sur la base des conclusions formulées suite à l’étude des solutions algorithmiques portant sur l’évaluation de la qualité des échantillons biométriques, nous proposonsun cadre commun pour l’évaluation de la qualité d’image biométrique pourplusieurs modalité. Après avoir étudié les attributs de qualité basés sur l’image parmodalité biométrique, nous examinons quelle intersection existe pour l’ensembledes modalités. Ensuite, nous sélectionnons et redéfinissons les attributs de qualitébasés sur l’image qui sont les plus importants afin de définir un cadre commun.Afin de relier ces attributs de qualité aux vrais échantillons biométriques,nous développons une nouvelle base de données de qualité d’image biométriquemulti-modalité qui contient des images échantillons de haute qualité et des imagesdégradées pour l’empreinte digitale acquise sans contact, l’iris (dont l’acquisitionest réalisée dans le spectre visible) et le visage. Les types de dégradation appliquéssont liés aux attributs de qualité qui sont communs aux diverses modalitéset qui sont basés sur l’image. Un autre aspect important du cadre commun proposéest la qualité de l’image et ses applications en biométrie. Nous avons d’abordintroduit et classifié les métriques de qualité d’image existantes, puis effectué unbref aperçu des métriques de qualité d’image sans référence, qui peuvent être appliquéespour l’évaluation de la qualité des échantillons biométriques. De plus, nousétudions comment les mesures de qualité d’image sans référence ont été utiliséespour l’évaluation de la qualité des empreintes digitales, de l’iris et des modalitésbiométriques du visage.Des expériences pour l’évaluation de la performance des métriques de qualitéd’image sans référence sur les images de visage et de l’iris sont effectuées. Lesrésultats expérimentaux indiquent qu’il existe plusieurs métriques qui peuventévaluer la qualité des échantillons biométriques de l’iris et du visage avec un fortcoefficient de correlation. La méthode obtenant les meilleurs résultats en termede performance est ré-entrainée sur des images d’empreintes digitales, ce qui permetd’augmenter significativement les performances du système de reconnaissancebiométrique.À travers le travail réalisé dans cette thèse, nous avons démontré l’applicabilitédes métriques de qualité d’image sans référence pour l’évaluation d’échantillonsbiométriques multi-modalité non contraints. / The aim of this research is to investigate multi-modality biometric image qualityassessment methods for unconstrained samples. Studies of biometrics noted thesignificance of sample quality for a recognition system or a comparison algorithmbecause the performance of the biometric system depends mainly on the qualityof the sample images. The need to assess the quality of multi-modality biometricsamples is increased with the requirement of a high accuracy multi-modalitybiometric systems.Following an introduction and background in biometrics and biometric samplequality, we introduce the concept of biometric sample quality assessment for multiplemodalities. Recently established ISO/IEC quality standards for fingerprint,iris, and face are presented. In addition, sample quality assessment approacheswhich are designed specific for contact-based and contactless fingerprint, nearinfrared-based iris and visible wavelength iris, as well as face are surveyed. Followingthe survey, approaches for the performance evaluation of biometric samplequality assessment methods are also investigated.Based on the knowledge gathered from the biometric sample quality assessmentchallenges, we propose a common framework for the assessment of multi-modalitybiometric image quality. We review the previous classification of image-basedquality attributes for a single biometric modality and investigate what are the commonimage-based attributes for multi-modality. Then we select and re-define themost important image-based quality attributes for the common framework. In order to link these quality attributes to the real biometric samples, we develop anew multi-modality biometric image quality database which has both high qualitysample images and degraded images for contactless fingerprint, visible wavelengthiris, and face modalities. The degradation types are based on the selected commonimage-based quality attributes. Another important aspect in the proposed commonframework is the image quality metrics and their applications in biometrics. Wefirst introduce and classify the existing image quality metrics and then conducteda brief survey of no-reference image quality metrics, which can be applied to biometricsample quality assessment. Plus, we investigate how no-reference imagequality metrics have been used for the quality assessment for fingerprint, iris, andface biometric modalities.The experiments for the performance evaluation of no-reference image qualitymetrics for visible wavelength face and iris modalities are conducted. The experimentalresults indicate that there are several no-reference image quality metricsthat can assess the quality of both iris and face biometric samples. Lastly, we optimizethe best metric by re-training it. The re-trained image quality metric canprovide better recognition performance than the original. Through the work carriedout in this thesis we have shown the applicability of no-reference image qualitymetrics for the assessment of unconstrained multi-modality biometric samples.

La sécurité des personnes, des biens ou des informations est l'une des préoccupations majeures de nos sociétés actuelles. L'authentification de l'identité des personnes est l'un des moyens permettant de s'en assurer. La principale faille des moyens actuels de vérification d'identité est qu'ils sont liés à ce qu'une personne possède (un passeport, un badge magnétique, etc.) et/ou ce qu'elle sait (un code PIN de carte bancaire, un mot de passe, etc.). Or, un badge peut être volé, un mot de passe deviné ou cassé par force algorithmique brute. La biométrie est le domaine technologique traitant de la vérification d'identité et/ou de l'identification de personnes par leurs caractéristiques physiques individuelles, pouvant être morphologiques ou morpho-comportementales. Elle apparaît comme une solution évidente au problème soulevé précédemment : l'identité d'une personne est alors liée à ce qu'elle est et non plus à ce qu'elle possède ou sait.<br /><br />En plus d'être une des modalités biométriques les moins intrusives et donc plus facilement acceptée par le grand public, la vérification d'identité basée sur les visages parlants est intrinsèquement multimodale : elle regroupe à la fois la reconnaissance du visage, la vérification du locuteur et une troisième modalité relevant de la synchronie entre la voix et le mouvement des lèvres.<br /><br />La première partie de notre travail est l'occasion de faire un tour d'horizon de la littérature portant sur la biométrie par visage parlant et nous soulevons le fait que les protocoles d'évaluation classiquement utilisés ne tiennent pas compte des tentatives délibérées d'imposture. Pour cela, nous confrontons un système de référence (basé sur la fusion des scores de vérification du locuteur et du visage) à quatre types d'imposture délibérée de type rejeu et mettons ainsi en évidence les faiblesses des systèmes actuels.<br /><br />Dans la seconde partie, nous proposons d'étudier la synchronie audiovisuelle entre le mouvement des lèvres acquis par la caméra et la voix acquise par le microphone de façon à rendre le système de référence robuste aux attaques. Plusieurs nouvelles mesures de synchronie basées sur l'analyse de corrélation canonique et l'analyse de co-inertie sont présentées et évaluées sur la tâche de détection d'asynchronie. Les bonnes performances obtenues par la mesure de synchronie basée sur un modèle dépendant du client nous encouragent ensuite à proposer une nouvelle modalité biométrique basée sur la synchronie audiovisuelle. Ses performances sont comparées à celle des modalités locuteur et visage et sa robustesse intrinsèque aux attaques de type rejeu est mise en évidence. La complémentarité entre le système de référence et la nouvelle modalité synchronie est soulignée et des stratégies de fusion originales sont finalement mises en place de façon à trouver un compromis entre les performances brutes du premier et la robustesse de la seconde.

L'accès à l'information géographique sous forme électronique s'ouvre de plus en plus au grand publique. Des interfaces intuitives ne nécessitant pas ou peu d'apprentissage apparaissent alors dans le domaine. Néanmoins, lorsqu'il s'agit de spécifier plus finement l'information recherchée, le pouvoir expressif de ces interfaces est limité. <br />Le projet Antéserveur Géographique propose un environnement complet pour permettre d'exprimer une requête de manière bi-modale (schéma + étiquette textuelle). Nous verrons alors les problèmes d'ambiguïtés dûs aux différents sens qu'une telle modalité peut véhiculer. Pour lever ces ambiguïtés notre interface propose un fonctionnement multimodal utilisant notamment la complémentarité du texte et du schéma grâce à une interaction contrôlée, celle-ci reposant sur un mécanisme appelé glissement de sens. Le mode textuel et les glissements de sens nécessitent une analyse spatiale adaptée du schéma. <br />Nous aborderons alors le domaine de l'analyse spatiale qualitative, au coeur de ce travail de recherche, dans lequel une utilisation récurrente par centre d'intérét du modèle 9-intersections de M.J. Egenhofer est proposée. <br />Grâce à cette méthode, nous disposons d'un modèle d'analyse spatiale unique permettant de relever différentes contraintes relevées jusqu'ici par des modèles distincts et sans lien. C'est cette unité qui nous permet de mettre en oeuvre notre mécanisme de glissement de sens. Nous présenterons alors notre réalisation informatique qui met en oeuvre ces mécanismes et nous permet ainsi de tester les concepts de multimodalité et de glissement de sens présentés plus haut.

Lorsque l’on s’intéresse au dégoût comme forme d’affect, on remarque que son application abonde au niveau des études cinématographiques et des arts visuels. Par contre, peu de chercheurs se sont intéressés à son analyse à travers les médias dont l’institutionnalisation académique est plus récente, comme la bande dessinée, la télésérie et le jeu vidéo. Ce mémoire a pour objectif d’étendre la pratique des études du dégoût comme affect sur ces médias, en s’attardant sur l’analyse de certaines composantes de la franchise transmédiatique The Walking Dead. De plus, comme ce corpus est marqué par une transmédialité qui dépasse les simples récurrences narratives, ce mémoire veut également produire un modèle d’analyse capable de déceler les structures génératives du dégoût qui tendent à migrer ou être partagées entre les médias de la franchise. Ce modèle sera conçu dans un premier temps par l’établissement d’un dialogue entre les études de l’affect appliquées au cinéma et aux arts visuels et les études sur l’intermédialité. La fonctionnalité de ce modèle sera ensuite testée à travers son application sur la bande dessinée, la télésérie et l’un des jeux vidéo de la franchise The Walking Dead. / When we seek for works that focus on disgust as a form of affect, we note that its application abounds in film and visual art studies. However, few researchers dedicated its analysis through media whose academic institutionalization is newer, such as comics, TV series, and video games. This thesis aims to extend the studies of disgust as an affect’s practice on these media, focusing on the analysis of certain components from the transmedia franchise The Walking Dead. Moreover, because this body of media is marked by a transmediality that exceeds simple narrative recurrences, this thesis also wants to produce an analytical model capable of detecting disgust’s generative structures that tend to migrate or be shared between the media of the franchise. This model will be developed initially by the establishment of a dialogue between affect studies applied to cinema and visual arts, and intermedial studies. Then, this model’s functionality will be tested through its application within the comics, the television series and one of the video games of The Walking Dead franchise.