This work addresses the problem of recognizing actions and interactions in realistic video settings such as movies and consumer videos. The first contribution of this thesis (Chapters 2 and 4) is concerned with new video representations for action recognition. We introduce local space-time descriptors and demonstrate their potential to classify and localize actions in complex settings while circumventing the difficult intermediate steps of person detection, tracking and human pose estimation. The material on bag-of-features action recognition in Chapter 2 is based on publications [L14, L22, L23] and is related to other work by the author [L6, L7, L8, L11, L12, L13, L16, L21]. The work on object and action localization in Chapter 4 is based on [L9, L10, L13, L15] and relates to [L1, L17, L19, L20]. The second contribution of this thesis is concerned with weakly-supervised action learning. Chap- ter 3 introduces methods for automatic annotation of action samples in video using readily-available video scripts. It addresses the ambiguity of action expressions in text and the uncertainty of tem- poral action localization provided by scripts. The material presented in Chapter 3 is based on publications [L4, L14, L18]. Finally Chapter 5 addresses interactions of people with objects and concerns modeling and recognition of object function. We exploit relations between objects and co-occurring human poses and demonstrate object recognition improvements using automatic pose estimation in challenging videos from YouTube. This part of the thesis is based on the publica- tion [L2] and relates to other work by the author [L3, L5].

Le vieillissement de la population est un enjeu majeur pour les prochaines années en raison, notamment, de l'augmentation du nombre de personnes dépendantes. La question du maintien à domicile de ces personnes se pose alors, du fait de l'impossibilité pour les instituts spécialisés de les accueillir toutes et, surtout, de la volonté des personnes âgées de rester chez elles le plus longtemps possible. Or, le développement de systèmes technologiques peut aider à résoudre certains problèmes comme celui de la sécurisation en détectant les chutes, et de l'évaluation du degré d'autonomie pour prévenir les accidents. Plus particulièrement, nous nous intéressons au développement des systèmes ambiants, peu coûteux, pour l'équipement du domicile. Les caméras de profondeur permettent d'analyser en temps réel les déplacements de la personne. Nous montrons dans cette thèse qu'il est possible de reconnaître l'activité de la personne et de mesurer des paramètres de sa marche à partir de l'analyse de caractéristiques simples extraites des images de profondeur. La reconnaissance d'activité est réalisée à partir des modèles de Markov cachés, et permet en particulier de détecter les chutes et des activités à risque. Lorsque la personne marche, l'analyse de la trajectoire du centre de masse nous permet de mesurer les paramètres spatio-temporels pertinents pour l'évaluation de la fragilité de la personne. Ce travail a été réalisé sur la base d'expérimentations menées en laboratoire, d'une part, pour la construction des modèles par apprentissage automatique et, d'autre part, pour évaluer la validité des résultats. Les expérimentations ont montré que certains modèles de Markov cachés, développés pour ce travail, sont assez robustes pour classifier les différentes activités. Nous donnons, également dans cette thèse, la précision, obtenue avec notre système, des paramètres de la marche en comparaison avec un tapis actimètrique. Nous pensons qu'un tel système pourrait facilement être installé au domicile de personnes âgées, car il repose sur un traitement local des images. Il fournit, au quotidien, des informations sur l'analyse de l'activité et sur l'évolution des paramètres de la marche qui sont utiles pour sécuriser et évaluer le degré de fragilité de la personne.

La reconnaissance automatique des émotions dans la parole est un sujet de recherche relativement récent dans le domaine du traitement de la parole, puisqu'il est abordé depuis une dizaine d'années environs. Ce sujet fait de nos jours l'objet d'une grande attention, non seulement dans le monde académique mais aussi dans l'industrie, grâce à l'augmentation des performances et de la fiabilité des systèmes. Les premiers travaux étaient fondés sur des donnés jouées par des acteurs, et donc non spontanées. Même aujourd'hui, la plupart des études exploitent des séquences pré-segmentées d'un locuteur unique et non une communication spontanée entre plusieurs locuteurs. Cette méthodologie rend les travaux effectués difficilement généralisables pour des informations collectées de manière naturelle.Les travaux entrepris dans cette thèse se basent sur des conversations de centre d'appels, enregistrés en grande quantité et mettant en jeu au minimum 2 locuteurs humains (un client et un agent commercial) lors de chaque dialogue. Notre but est la détection, via l'expression émotionnelle, de la satisfaction client. Dans une première partie nous présentons les scores pouvant être obtenus sur nos données à partir de modèles se basant uniquement sur des indices acoustiques ou lexicaux. Nous montrons que pour obtenir des résultats satisfaisants une approche ne prenant en compte qu'un seul de ces types d'indices ne suffit pas. Nous proposons pour palier ce problème une étude sur la fusion d'indices de types acoustiques, lexicaux et syntaxico-sémantiques. Nous montrons que l'emploi de cette combinaison d'indices nous permet d'obtenir des gains par rapport aux modèles acoustiques même dans les cas ou nous nous basons sur une approche sans pré-traitements manuels (segmentation automatique des conversations, utilisation de transcriptions fournies par un système de reconnaissance de la parole). Dans une seconde partie nous remarquons que même si les modèles hybrides acoustiques/linguistiques nous permettent d'obtenir des gains intéressants la quantité de données utilisées dans nos modèles de détection est un problème lorsque nous testons nos méthodes sur des données nouvelles et très variées (49h issus de la base de données de conversations). Pour remédier à ce problème nous proposons une méthode d'enrichissement de notre corpus d'apprentissage. Nous sélectionnons ainsi, de manière automatique, de nouvelles données qui seront intégrées dans notre corpus d'apprentissage. Ces ajouts nous permettent de doubler la taille de notre ensemble d'apprentissage et d'obtenir des gains par rapport aux modèles de départ. Enfin, dans une dernière partie nous choisissons d'évaluées nos méthodes non plus sur des portions de dialogues comme cela est le cas dans la plupart des études, mais sur des conversations complètes. Nous utilisons pour cela les modèles issus des études précédentes (modèles issus de la fusion d'indices, des méthodes d'enrichissement automatique) et ajoutons 2 groupes d'indices supplémentaires : i) Des indices " structurels " prenant en compte des informations comme la durée de la conversation, le temps de parole de chaque type de locuteurs. ii) des indices " dialogiques " comprenant des informations comme le thème de la conversation ainsi qu'un nouveau concept que nous nommons " implication affective ". Celui-ci a pour but de modéliser l'impact de la production émotionnelle du locuteur courant sur le ou les autres participants de la conversation. Nous montrons que lorsque nous combinons l'ensemble de ces informations nous arrivons à obtenir des résultats proches de ceux d'un humain lorsqu'il s'agit de déterminer le caractère positif ou négatif d'une conversation

La reconnaissance de mouvements naturels est de toute première importance dans la mise en oeuvre d'Interfaces Homme-Machine intelligentes et efficaces, utilisables de manière intuitive en environnement virtuel. En effet, elle permet à l'utilisateur d'agir de manière naturelle et au système de reconnaitre les mouvements corporel effectués tels qu'ils seraient perçu par un humain. Cette tâche est complexe, car elle demande de relever plusieurs défis : prendre en compte les spécificités du dispositif d'acquisition des données de mouvement, gérer la variabilité cinématique dans l'exécution du mouvement, et enfin gérer les différences morphologiques inter-individuelles, de sorte que les mouvements de tout nouvel utilisateur puissent être reconnus. De plus, de part la nature interactive des environnements virtuels, cette reconnaissancedoit pouvoir se faire en temps-réel, sans devoir attendre la fin du mouvement. La littérature scientifique propose de nombreuses méthodes pour répondre aux deux premiers défis mais la gestion de la variabilité morphologique est peu abordée. Dans cette thèse, nous proposons une description du mouvement permettant de répondre à cette problématique et évaluons sa capacité à reconnaitre les mouvements naturels d'un utilisateur inconnu. Enfin, nous proposons unenouvelle méthode permettant de tirer partie de cette représentation dans une reconnaissance précoce du mouvement

In spoken French, the phonological processes of liaison and resyllabification can render word and syllable boundaries ambiguous. In the case of liaison, for example, the final /n/ of the masculine indefinite article un [œ̃] is latent in isolation or before word beginning with a consonant (un stylo [œ̃.sti.lo] 'a pen'); however, when followed by a vowel-initial word the /n/ surfaces and is resyllabified as the onset of that word (un ami [œ̃.na.mi] 'a pen'). Thus, the phrases un air 'a melody' and un nerf 'a nerve' are produced with identical phonemic content and syllable boundaries [œ̃.nɛʁ]. Some research has suggested that speakers of French give listeners acoustic cues to word boundaries by varying the duration of consonants that surface in liaison environments relative to consonant produced word-initially. Production studies (e.g. Wauquier-Gravelines 1996; Spinelli et al. 2003) have demonstrated that liaison consonants (e.g. /n/ in un air) are significantly shorter than the same consonant in initial position (e.g. /n/ in un nerf). Studies on the perception of spoken French have suggested that listeners exploit these durational differences in the segmentation of running speech (e.g. Gaskell et al. 2002; Spinelli et al. 2003), though no study to date has tested this hypothesis directly. The current study employs a direct test of the exploitation of duration as a segmentation cue by manipulating this single acoustic factor while holding all other factors in the signal constant. Thirty-six native speakers of French and 54 adult learners of French as a second language (L2) were tested on both an AX discrimination task and a forced-choice identification task which employed stimuli in which the durations of pivotal consonants (e.g. /n/ in [œ̃.nɛʁ]) were instrumentally shortened and lengthened. The results suggest that duration alone can indeed modulate the lexical interpretation of ambiguous sequences in spoken French. Shortened stimuli elicited a significantly larger proportion of vowel-initial (liaison) responses, while lengthened stimuli elicited a significantly larger proportion of consonant-initial responses, indicating that both native and (advanced) non-native speakers are indeed sensitive to this acoustic cue. These results add to a growing body of work demonstrating that listeners use extremely fined-grained acoustic detail to modulate lexical access (e.g. Salverda et al. 2003; Shatzman & McQueen 2006). In addition, the current results have manifest ramifications for study of the upper limits of L2 acquisition and the plasticity of the adult perceptual system in that several advanced learners of French showed evidence nativelike perceptual sensitivity to non-contrastive phonological variation.

Les algorithmes de traitement d'images regroupent un ensemble de méthodes qui vont traiter l'image depuis son acquisition par un capteur jusqu'à l'extraction de l'information utile pour une application donnée. Parmi ceux-ci, les algorithmes d'interprétation ont pour but de détecter, localiser et reconnaître un ou plusieurs objets dans une image. Le problème traité dans cette thèse réside dans l'évaluation de résultats d'interprétation d'une image ou une vidéo lorsque l'on dispose de la vérité terrain associée. Les enjeux sont nombreux comme la comparaison d'algorithmes, l'évaluation d'un algorithme au cours de son développement ou son paramétrage optimal. Nous proposons dans cette thèse une formalisation des propriétés attendues d'une métrique de localisation. Nous réalisons une étude comparative rigoureuse des métriques de localisation de l'état de l'art au vu de ces propriétés. Nous réalisons un travail similaire sur les méthodes de reconnaissance utilisant une représentation locale des objets dans le but de quantifier une erreur de reconnaissance. Nous avons mis au point une méthode d'évaluation d'un résultat d'interprétation d'une image exploitant les leçons de ces études comparatives. L'avantage de la méthode proposée est de pouvoir évaluer un résultat d'interprétation d'une image en prenant en compte à la fois la qualité de la localisation, de la reconnaissance et de la détection d'objets d'intérêt dans l'image. Le comportement de cette méthode d'évaluation a été testé sur une large base de tests et s'avère intéressant. Plusieurs paramètres permettent de modifier le comportement de cette méthode suivant l'application visée.

Les systèmes biométriques sont de plus en plus utilisés pour vérifier ou déterminer l'identité d'un individu. Compte tenu des enjeux liés à leur utilisation, notamment pour des applications dans le domaine de commerce électronique, il est particulièrement important de disposer d'une méthodologie d'évaluation de tels systèmes. Le problème traité dans cette thèse réside dans la conception d'une méthodologie générique visant à évaluer un système biométrique. Trois méthodes ont été proposées dans cette thèse: 1) une méthode de qualité sans référence pour prédire la qualité d'une donnée biométrique, 2) une méthode d'usage pour évaluer l'acceptabilité et la satisfaction des usagers lors de l'utilisation des systèmes biométriques et 3) une méthode d'analyse sécuritaire d'un système biométrique afin de mesurer sa robustesse aux attaques

Cette thèse a pour sujet l'annotation automatique d'images. Pour plus de souplesse, nous utilisons un vocabulaire structuré, permettant de construire des annotations multifacettes et à différents niveaux d'interprétation. Une annotation prend alors la forme d'un ensemble de multilabels associés à des indices de confiance et permet d'exprimer un compromis fiabilité/précision sémantique. Le traitement proposé se déroule en deux phases : extraction de caractéristiques informatives et calcul de probabilités normalisées sur un espace de multilabels. Chacune exploite des mécanismes d'apprentissage. La démarche est évaluée sur deux jeux de données : un ensemble d'images de voitures et la base d'objets génériques Caltech-101. Les résultats suggèrent d'utiliser le vocabulaire structuré à différentes étapes selon la nature des données.

Le visage, tel que le pense Levinas, échappe à tout pouvoir, à toute explication, à toute compréhension. Hors de la visée husserlienne que Levinas interprète comme réduction de l'autre au même (égologie), le visage se dérobe à son apparence physique - et se fait commandement (" Tu ne tueras pas "). À cette injonction ne peut répondre un sujet qu'à l'accusatif (le " Me voici " abrahamique), laissant en suspend toute relation. Si le visage disparaît dans sa Hauteur, instituant le je comme répondant à l'accusatif, la rencontre entre deux visages ne peut se faire - Autrui est sauvé par sa non-reconnaissance. Le prix à payer pour sauver l'altérité est celui de la relation - le je n'est pas visage. Le problème ouvert par Levinas est double ; un problème ontologique, d'une part : comment peut-on penser un sujet répondant à (et d') autrui au nominatif, afin de fonder en droit la possibilité d'une relation intersubjective? Peut-on imaginer Abraham répondant " Je suis là " ? Ce problème ontologique croise un second problème d'ordre méthodologique : la position du visage comme phénomène est un défi lancé par Levinas à toute phénoménologie - tâche qu'il entreprend cependant. Comment faire la phénoménologie d'un non-phénomène ? C'est le point de relève d'une herméneutique du visage. Si celui-ci échappe de jure à toute description phénoménologique, c'est par le surcroît de sens dont il témoigne, et que seule une herméneutique peut chercher, et désigner. Au-delà d'une explication réductrice et d'une impossible connaissance du visage, y a-t-il place pour une reconnaissance de celui-ci ? La reconnaissance doit être ici envisagée en ses diverses acceptions : identification (par la nomination), dont le sens ultime se révèlerait, malgré le soupçon que pose Derrida, par la reconnaissance-gratitude. C'est donc à l'herméneutique - c'est-à-dire au " conflit des interprétations ", selon le mot de Ricœur, que serait confiée la double charge de tracer un espace intersubjectif, ouvert à l'altérité et au sujet, espace accueillant le sens dans la multiplicité de ses significations (singulières, culturelles, universelles...), d'une part, et d'en chercher les différentes modalités relationnelles non aliénantes, d'autre part, afin de garantir une rencontre entre un je et un tu, respectueuse des deux visages.

Dans le milieu professionnel artisanal et semi-industriel, la conception des objets techniques dans et pour les pays en développement d'Afrique de l'Ouest et notamment au Burkina Faso constitue un enjeu majeur. Cependant dans leur grande majorité, les technologies introduites n'ont pas répondu aux attentes des populations cibles. De nombreux échecs jalonnent l'histoire récente de ces tentatives. La problématique de cette impasse technologique est le plus souvent posée par les concepteurs et les développeurs en termes d'élaboration d'une méthode spécifique de conception destinée à ces pays en développement. Cette thèse attire plutôt l'attention sur le fait que la conception d'artefacts techniques dans cette région du monde ne peut faire l'économie d'une réflexion critique sur les modalités de mise en œuvre des processus de conception. Il ne s'agit plus uniquement d'aider à la conception de systèmes techniques par l'élaboration d'une méthode adaptée de conception mais d'aller au-delà, dans la mesure du possible, pour étendre le champ de connaissance et analyser l'ensemble des acteurs des réseaux sociotechniques impliqués, pour in fine, aider à la conception d'un nouveau système technique qui prenne en compte, dès l'amont, des questions comme celles des conditions de la collaboration, de la construction de la confiance et de la reconnaissance des concepteurs.