L'objectif de cette thèse est de proposer des solutions et améliorations de performance à certains problèmes de sélection des paramètres acoustiques pertinents dans le cadre de la reconnaissance de la parole. Ainsi, notre première contribution consiste à proposer une nouvelle méthode de sélection de paramètres pertinents fondée sur un développement exact de la redondance entre une caractéristique et les caractéristiques précédemment sélectionnées par un algorithme de recherche séquentielle ascendante. Le problème de l'estimation des densités de probabilités d'ordre supérieur est résolu par la troncature du développement théorique de cette redondance à des ordres acceptables. En outre, nous avons proposé un critère d'arrêt qui permet de fixer le nombre de caractéristiques sélectionnées en fonction de l'information mutuelle approximée à l'itération j de l'algorithme de recherche. Cependant l'estimation de l'information mutuelle est difficile puisque sa définition dépend des densités de probabilités des variables (paramètres) dans lesquelles le type de ces distributions est inconnu et leurs estimations sont effectuées sur un ensemble d'échantillons finis. Une approche pour l'estimation de ces distributions est basée sur la méthode de l'histogramme. Cette méthode exige un bon choix du nombre de bins (cellules de l'histogramme). Ainsi, on a proposé également une nouvelle formule de calcul du nombre de bins permettant de minimiser le biais de l'estimateur de l'entropie et de l'information mutuelle. Ce nouvel estimateur a été validé sur des données simulées et des données de parole. Plus particulièrement cet estimateur a été appliqué dans la sélection des paramètres MFCC statiques et dynamiques les plus pertinents pour une tâche de reconnaissance des mots connectés de la base Aurora2.

Cette recherche s'inscrit dans le cadre général du contrôle de qualité des processus utilisés en production minière, tels que le tir à l'explosif, le broyage et le concassage. Elle s'intéresse plus particulièrement à la quantification par traitement d'images de la granulométrie des roches fragmentées. Globalement, les développements menés portent sur l'amélioration des deux étapes les plus déterminantes de la mesure : l'extraction des contours des fragments de roches dans l'image (2D) et la reconstruction de la courbe granulométrique en volume (étape de stéréologie, 3D). Actuellement, le tamisage (ou plus généralement le criblage) est le moyen le plus utilisé pour la mesure de la granulométrie des roches fragmentées. Il constitue la référence actuelle de la mesure. En conséquence, toute mesure établie par traitement d'images sera validée sur la base des résultats du tamisage. En ce qui concerne l'étape d'extraction des contours des fragments, le problème majeur qui se pose est celui du filtrage correct du bruit présent dans l'image. Dans un premier temps, de nouveaux outils de filtrage, basés sur les transformations morphologiques résiduelles, assez puissants et adaptés au cas des images de fragments de roches sont introduits et évalués. Dans un second temps, les surfaces des fragments sont extraites grâce une segmentation de l'image, basée sur une ligne de partage des eaux contrôlée par les marqueurs extraits des filtrages. La robustesse et l'automatisation de la démarche sont validées sur plusieurs cas d'images de fragments de roches. Le second problème abordé dans cette recherche est celui de la reconstruction de la courbe granulométrique en volume à partir des surfaces extraites par traitement d'images. Afin d'éviter l'occurrence de nombreux biais liés à cette étape, nous proposons un découpage en deux sous-problèmes, et ce, en fonction de la disposition des matériaux analysés (tas abattu, camion, convoyeur à bande) : - dans le cas de faible recouvrement et chevauchement : un modèle expérimental de reconstruction volumique mettant en jeu les données des refus matériels (surface et volumes), et basé d'emblée sur les résultats de référence est développé. Les deux lois des tailles et des épaisseurs (lois de reconstruction) permettant d'attribuer une taille et un volume aux surfaces sont validées expérimentalement. - dans le cas complexe de présence de masquage entre fragments : nous commençons par émettre des hypothèses essentielles à l'adaptation de la théorie des modèles de structures aléatoires à notre cas de fragments de roches. L'analyse des limites d'une application directe du modèle aléatoire de feuilles mortes (hypothèse du schéma booléen) nous a amené à élaborer une nouvelle méthode d'acquisition basée sur une incidence à éclairement variable. S'inspirant de la technique du «shape-from-shading», elle permet d'obtenir une information supplémentaire sur le recouvrement (ombre portée entre fragments) pour l'application de la statistique des grains intacts. Enfin, les résultats obtenus dans cette recherche pour les fragments en vrac mais aussi pour d'autres types d'images d'éléments granulaires, nous ont permis d'envisager d'ores et déjà une valorisation aussi bien auprès de l'industrie minérale et aussi dans d'autres domaines tels que l'agroalimentaire, pharmaceutique, cimenteries,...

Dans le but d’améliorer les performances des nageurs professionnels, nous avons développé, en collaboration avec la Fédération Française de Natation, un système automatique de suivi à base des séquences vidéo. Pour ce faire, nous proposons un nouveau système de prise de vue 8K adapté au milieu aquatique et permettant un calibrage du bassin. Celui-ci établit le lien entre les coordonnées pixels et métriques permettant, entre autres, d’extraire le couloir concerné pour effectuer les différents traitements. Afin d’initialiser le suivi, il est nécessaire de localiser le nageur. Pour cela, nous proposons d’utiliser une approche a contrario pour détecter le mouvement, puis l’approche Scaled Composite JTC pour localiser précisément la tête du nageur. Ensuite, nous implémentons et adaptons les techniques de suivi de la littérature, notamment celles basées sur la corrélation NL-JTC, les histogrammes de couleur, les motifs binaires locaux (LBP) et les histogrammes de gradient orienté (HOG). Suite aux différentes limitations de ces techniques, nous proposons de nouvelles approches optimisées basées principalement sur la fusion de données. Tout d’abord, nous développons l’approche multipiste constituée de plusieurs pistes de suivi, où chacune représente l’une des techniques de suivi citées précédemment. Ensuite, un choix basé sur l’histogramme de couleur est effectué afin de choisir la meilleure décision parmi celles offertes par chaque piste. Cette approche a significativement amélioré les résultats mais ceux-ci restent insuffisants pour l’étude des performances. Dans ce sens, nous proposons une nouvelle approche par fusion dynamique qui consiste à fusionner le plan de corrélation NL-JTC et le plan de scores couleurs dans le but d’extraire une description plus riche de la cible (forme + couleur). Cette approche a montré de très bons résultats dans le cas où la cible à suivre est visible mais reste très sensible aux occultations de celle-ci. Afin de résoudre cette difficulté, nous améliorons l’approche proposée en suivant simultanément la tête et le maillot de bain du nageur. Cette approche multizone permet, grâce à un critère de décision complexe, de retrouver la zone occultée à l’aide de la zone visible. Enfin, une étude de performances a été menée et les résultats obtenus ont permis de valider ce système. En particulier, nous nous sommes intéressés aux mesures de vitesse cyclique, intra-cyclique et instantanée, afin d’étudier et améliorer les performances des nageurs. / Swimming Federation), an automatic tracking approach using video sequences. To do this, we propose a new 8K shooting system adapted to the aquatic environment and allowing a pool calibration. This establishes the link between pixel and metric coordinates, which allows among others, to extract the concerned lane to carry out the different treatments. In order to initialize the tracking, it is necessary to localize the swimmer. For this, we propose to use an a contrario approach to detect movement, then the Scaled Composites JTC approach to precisely localize the swimmer’s head. Afterwards, we implement and adapt several tracking techniques well-known in the literature, namely those based on the NL-JTC correlation, color histograms, Local Binary Patterns (LBP) and histograms of oriented gradient (HOG). Given the various limitations of these techniques, we propose new optimized approaches based primarily on data fusion. First, we develop a multitracking approach consists of several tracks, where each track represents one of the tracking techniques mentioned above.Then, a choice based on the color histogram is made to select the best decision among those offered by each track. This approach has significantly improved the results, but it remains insufficient for the performance analysis. Therefore, we propose a new dynamic fusion approach that combines NL-JTC correlation plane and color scores plane in order to generate a richer description of the target (form + color). This approach has shown very good results in the case where the target is visible but it is still sensitive to occlusions. To solve this problem, we improve this proposed approach by tracking simultaneously the head and the swimsuit of the athlete. This multi related targets approach enables, through a complex decision criterion, to find the occluded zone based on the visible one. Finally, a performance study is conducted and the results have validated the system. In particular, we were interested in cyclical, intra-cyclical and instantaneous speed measurements, to study and improve the swimmers’performance.

Objectifs : Etablir des corrélations dose-volume effet entre les paramètres dosimétriques proposés par le GEC-ESTRO et la probabilité de survenue d’événements tels que le contrôle tumoral ou une toxicité radio-induite.Matériel et méthodes : Les données cliniques et dosimétriques de cohortes de patientes traitées à Gustave Roussy et dans différents centres ont été confrontées. Dans un premier temps les paramètres dosimétriques de la curiethérapie 3D ont été comparés à ceux de la curiethérapie classique. Dans un second temps, la topographie des zones les plus exposées des organes à risque, ainsi que l’impact des mouvements de la vessie, du rectum, et du colon sigmoïde sur l’évaluation de la dose délivrée, ont été étudiés. Enfin, des analyses dose-volume effets ont été réalisées.Résultats : Les valeurs des paramètres dosimétriques volumétriques (D2cm3) de la vessie et du rectum se sont révélées faiblement corrélées et significativement supérieures aux doses évaluées aux points de l’ICRU ou à un point vésical alternatif. Les zones les plus exposées de la vessie et du rectum sont apparues situées au-dessus des points de l’ICRU. Les mouvements des organes autour de l’implant pendant la délivrance du traitement sont apparus marginaux pour la vessie et sigmoïde, en dehors de variations individuelles. En revanche, la dose délivrée au rectum étaient en moyenne plus élevée que le dose planifiée. Les analyses dose-volume effets ont montré des corrélations significatives entre D0.1cm3 et D2cm3 et la probabilité de survenue d’une morbidité tardive urinaire ou rectale. De la même manière, des corrélations significatives ont été établies entre la D90 des CTV à haut risque et à risque intermédiaire et la probabilité d’obtention du contrôle local. Divers caractéristiques tumorales (largeur au diagnostic, volume du CTV-HR, stade FIGO), impactent ces relations, de même que l’étalement total du traitement.Conclusion : Des corrélations dose-volume effets ont été établies entre les paramètres dosimétriques modernes et la probabilité d’obtenir le contrôle local ou d’entraîner une morbidité tardive. En ce qui concerne le contrôle tumoral, les objectifs de prescription doivent être personnalisés en fonction de critères carcinologiques. Pour les organes à risque, de contraintes de dose basées sur l’expérience de la curiethérapie 3D peuvent être établies, mais doivent être affinées dans de futures études en fonction de cofacteurs tels que les comorbidités. Les points gardent un intérêt en recherche clinique, pour l’étude de la morbidité vésicale ou vaginale.Ce travail a l'objet de 6 publications dans des revues internationales à comité de lecture. La septième est présentée sous forme de manuscrit. / Objectives: To establish dose-volume effects correlations between volumetric dosimetric parameters proposed by the GEC-ESTRO and the probability of occurrence of events such as tumor control or radiation-induced toxicity.Methods: Clinical and dosimetric data of patients treated at Gustave Roussy and in different centers have been reviewed. At first step, dosimetric parameters of image-guided brachytherapy were compared with those of conventional brachytherapy. Secondly, the topography of the most exposed areas of the organs at risk, and the impact of the movements of the bladder, rectum, and sigmoid colon on the assessment of the delivered dose, were studied. Finally, analyzes dose-volume effects were performed.Results: The values of volumetric dosimetric parameters (D2cm3) of the bladder and rectum appeared weakly correlated and significantly higher than the doses evaluated at ICRU points of bladder and rectum , an even in an alternative bladder point. The most exposed areas of the bladder and rectum appeared located above the points of the ICRU. The movements of the organs around the implant during the delivery of the treatment appeared marginal for the bladder and sigmoid, apart from individual variations. However, the mean delivered dose to the rectum was higher than the planned dose. Dose-volume effects correlations showed significant correlations between D0.1cm3 and D2cm3 and the probability of occurrence of urinary or rectal late morbidity. Similarly, significant correlations have been established between the D90 of the high risk, intermediate risk-CTV and the probability of achieving local control. Various tumor characteristics (width, HR-CTV volume, FIGO stage) impact these relationships, as well as the treatment time.Conclusion: Dose-volume effects correlations have been established between modern dosimetric parameters and the probability of achieving local control or cause late morbidity. Regarding tumor control, prescription aims must be customized according to oncologic criteria. For organs at risk, new dose constraints based on 3D brachytherapy experience can be established but should be refined in future studies based on cofactors such as comorbidities. The points retain an interest in clinical research for the study of bladder or vaginal morbidity.

La symétrie est une propriété géométrique importante en perception visuelle qui traduit notre perception des correspondances entre les différents objets ou formes présents dans une scène. Elle est utilisée comme élément caractéristique dans de nombreuses applications de la vision par ordinateur (comme par exemple la détection, la segmentation ou la reconnaissance d'objets) mais également comme une caractéristique formelle en sciences de l'art (ou en analyse esthétique). D’importants progrès ont été réalisés ces dernières décennies pour la détection de la symétrie dans les images mais il reste encore de nombreux verrous à lever. Dans cette thèse, nous nous intéressons à la détection des symétries de réflexion, dans des images réelles, à l'échelle globale. Nos principales contributions concernent les étapes d'extraction de caractéristiques et de représentation globale des axes de symétrie. Nous proposons d'abord une nouvelle méthode d'extraction de segments de contours à l'aide de bancs de filtres de Gabor logarithmiques et une mesure de symétrie intersegments basée sur des caractéristiques locales de forme, de texture et de couleur. Cette méthode a remporté la première place à la dernière compétition internationale de symétrie pour la détection mono- et multi-axes. Notre deuxième contribution concerne une nouvelle méthode de représentation des axes de symétrie dans un espace linéaire-directionnel. Les propriétés de symétrie sont représentées sous la forme d'une densité de probabilité qui peut être estimée, de manière non-paramétrique, par une méthode à noyauxbasée sur la distribution de Von Mises-Fisher. Nous montrons que la détection des axes dominants peut ensuite être réalisée à partir d'un algorithme de type "mean-shift” associé à une distance adaptée. Nous introduisons également une nouvelle base d'images pour la détection de symétrie mono-axe dans des photographies professionnelles issue de la base à grande échelle AVA (Aestetic Visual Analysis). Nos différentes contributions obtiennent des résultats meilleurs que les algorithmes de l'état de l'art, évalués sur toutes les bases disponibles publiquement, spécialement dans le cas multi-axes. Nous concluons que les propriétés de symétrie peuvent être utilisées comme des caractéristiques visuelles de niveau sémantique intermédiaire pour l'analyse et la compréhension de photographies. / Symmetry is a fundamental principle of the visual perception to feel the equally distributed weights within foreground objects inside an image. It is used as a significant visual feature through various computer vision applications (i.e. object detection and segmentation), plus as an important composition measure in art domain (i.e. aesthetic analysis). The development of symmetry detection has been improved rapidly since last century. In this thesis, we mainly aim to propose new approaches to detect reflection symmetry inside real-world images in a global scale. In particular, our main contributions concern feature extraction and globalrepresentation of symmetry axes. First, we propose a novel approach that detects global salient edges inside an image using Log-Gabor filter banks, and defines symmetry oriented similarity through textural and color around these edges. This method wins a recent symmetry competition worldwide in single and multiple cases.Second, we introduce a weighted kernel density estimator to represent linear and directional symmetrical candidates in a continuous way, then propose a joint Gaussian-vonMises distance inside the mean-shift algorithm, to select the relevant symmetry axis candidates along side with their symmetrical densities. In addition, we introduce a new challenging dataset of single symmetry axes inside artistic photographies extracted from the large-scale Aesthetic Visual Analysis (AVA) dataset. The proposed contributions obtain superior results against state-of-art algorithms among all public datasets, especially multiple cases in a global scale. We conclude that the spatial and context information of each candidate axis inside an image can be used as a local or global symmetry measure for further image analysis and scene understanding purposes.

Cette recherche s'inscrit dans le cadre général du contrôle de qualité des processus utilisés en production minière, tels que le tir à l'explosif, le broyage et le concassage. Elle s'intéresse plus particulièrement à la quantification par traitement d'images de la granulométrie des roches fragmentées. Globalement, les développements menés portent sur l'amélioration des deux étapes les plus déterminantes de la mesure : l'extraction des contours des fragments de roches dans l'image (2D) et la reconstruction de la courbe granulométrique en volume (étape de stéréologie, 3D). Actuellement, le tamisage (ou plus généralement le criblage) est le moyen le plus utilisé pour la mesure de la granulométrie des roches fragmentées. Il constitue la référence actuelle de la mesure. En conséquence, toute mesure établie par traitement d'images sera validée sur la base des résultats du tamisage. <br/><br/>En ce qui concerne l'étape d'extraction des contours des fragments, le problème majeur qui se pose est celui du filtrage correct du bruit présent dans l'image. Dans un premier temps, de nouveaux outils de filtrage, basés sur les transformations morphologiques résiduelles, assez puissants et adaptés au cas des images de fragments de roches sont introduits et évalués. Dans un second temps, les surfaces des fragments sont extraites grâce une segmentation de l'image, basée sur une ligne de partage des eaux contrôlée par les marqueurs extraits des filtrages. La robustesse et l'automatisation de la démarche sont validées sur plusieurs cas d'images de fragments de roches. <br/><br/>Le second problème abordé dans cette recherche est celui de la reconstruction de la courbe granulométrique en volume à partir des surfaces extraites par traitement d'images. Afin d'éviter l'occurrence de nombreux biais liés à cette étape, nous proposons un découpage en deux sous-problèmes, et ce, en fonction de la disposition des matériaux analysés (tas abattu, camion, convoyeur à bande) : <br/>- dans le cas de faible recouvrement et chevauchement : un modèle expérimental de reconstruction volumique mettant en jeu les données des refus matériels (surface et volumes), et basé d'emblée sur les résultats de référence est développé. Les deux lois des tailles et des épaisseurs (lois de reconstruction) permettant d'attribuer une taille et un volume aux surfaces sont validées expérimentalement. <br/>- dans le cas complexe de présence de masquage entre fragments : nous commençons par émettre des hypothèses essentielles à l'adaptation de la théorie des modèles de structures aléatoires à notre cas de fragments de roches. L'analyse des limites d'une application directe du modèle aléatoire de feuilles mortes (hypothèse du schéma booléen) nous a amené à élaborer une nouvelle méthode d'acquisition basée sur une incidence à éclairement variable. S'inspirant de la technique du , elle permet d'obtenir une information supplémentaire sur le recouvrement (ombre portée entre fragments) pour l'application de la statistique des grains intacts. <br/><br/>Enfin, les résultats obtenus dans cette recherche pour les fragments en vrac mais aussi pour d'autres types d'images d'éléments granulaires, nous ont permis d'envisager d'ores et déjà une valorisation aussi bien auprès de l'industrie minérale et aussi dans d'autres domaines tels que l'agroalimentaire, pharmaceutique, cimenteries...

L’objectif de cette thèse est de proposer des solutions et améliorations de performance à certains problèmes de sélection des paramètres acoustiques pertinents dans le cadre de la reconnaissance de la parole. Ainsi, notre première contribution consiste à proposer une nouvelle méthode de sélection de paramètres pertinents fondée sur un développement exact de la redondance entre une caractéristique et les caractéristiques précédemment sélectionnées par un algorithme de recherche séquentielle ascendante. Le problème de l’estimation des densités de probabilités d’ordre supérieur est résolu par la troncature du développement théorique de cette redondance à des ordres acceptables. En outre, nous avons proposé un critère d’arrêt qui permet de fixer le nombre de caractéristiques sélectionnées en fonction de l’information mutuelle approximée à l’itération j de l’algorithme de recherche. Cependant l’estimation de l’information mutuelle est difficile puisque sa définition dépend des densités de probabilités des variables (paramètres) dans lesquelles le type de ces distributions est inconnu et leurs estimations sont effectuées sur un ensemble d’échantillons finis. Une approche pour l’estimation de ces distributions est basée sur la méthode de l’histogramme. Cette méthode exige un bon choix du nombre de bins (cellules de l’histogramme). Ainsi, on a proposé également une nouvelle formule de calcul du nombre de bins permettant de minimiser le biais de l’estimateur de l’entropie et de l’information mutuelle. Ce nouvel estimateur a été validé sur des données simulées et des données de parole. Plus particulièrement cet estimateur a été appliqué dans la sélection des paramètres MFCC statiques et dynamiques les plus pertinents pour une tâche de reconnaissance des mots connectés de la base Aurora2. / The objective of this thesis is to propose solutions and performance improvements to certain problems of relevant acoustic features selection in the framework of the speech recognition. Thus, our first contribution consists in proposing a new method of relevant feature selection based on an exact development of the redundancy between a feature and the feature previously selected using Forward search algorithm. The estimation problem of the higher order probability densities is solved by the truncation of the theoretical development of this redundancy up to acceptable orders. Moreover, we proposed a stopping criterion which allows fixing the number of features selected according to the mutual information approximated at the iteration J of the search algorithm. However, the mutual information estimation is difficult since its definition depends on the probability densities of the variables (features) in which the type of these distributions is unknown and their estimates are carried out on a finite sample set. An approach for the estimate of these distributions is based on the histogram method. This method requires a good choice of the bin number (cells of the histogram). Thus, we also proposed a new formula of computation of bin number that allows minimizing the estimator bias of the entropy and mutual information. This new estimator was validated on simulated data and speech data. More particularly, this estimator was applied in the selection of the static and dynamic MFCC parameters that were the most relevant for a recognition task of the connected words of the Aurora2 base.

L'évaluation de la démarche humaine est l'une des composantes essentielles dans les soins de santé. Les systèmes à base de marqueurs avec plusieurs caméras sont largement utilisés pour faire cette analyse. Cependant, ces systèmes nécessitent généralement des équipements spécifiques à prix élevé et/ou des moyens de calcul intensif. Afin de réduire le coût de ces dispositifs, nous nous concentrons sur un système d'analyse de la marche qui utilise une seule caméra de profondeur. Le principe de notre travail est similaire aux systèmes multi-caméras, mais l'ensemble de caméras est remplacé par un seul capteur de profondeur et des miroirs. Chaque miroir dans notre configuration joue le rôle d'une caméra qui capture la scène sous un point de vue différent. Puisque nous n'utilisons qu'une seule caméra, il est ainsi possible d'éviter l'étape de synchronisation et également de réduire le coût de l'appareillage. Notre thèse peut être divisée en deux sections: reconstruction 3D et analyse de la marche. Le résultat de la première section est utilisé comme entrée de la seconde. Notre système pour la reconstruction 3D est constitué d'une caméra de profondeur et deux miroirs. Deux types de capteurs de profondeur, qui se distinguent sur la base du mécanisme d'estimation de profondeur, ont été utilisés dans nos travaux. Avec la technique de lumière structurée (SL) intégrée dans le capteur Kinect 1, nous effectuons la reconstruction 3D à partir des principes de l'optique géométrique. Pour augmenter le niveau des détails du modèle reconstruit en 3D, la Kinect 2 qui estime la profondeur par temps de vol (ToF), est ensuite utilisée pour l'acquisition d'images. Cependant, en raison de réflections multiples sur les miroirs, il se produit une distorsion de la profondeur dans notre système. Nous proposons donc une approche simple pour réduire cette distorsion avant d'appliquer les techniques d'optique géométrique pour reconstruire un nuage de points de l'objet 3D. Pour l'analyse de la démarche, nous proposons diverses alternatives centrées sur la normalité de la marche et la mesure de sa symétrie. Cela devrait être utile lors de traitements cliniques pour évaluer, par exemple, la récupération du patient après une intervention chirurgicale. Ces méthodes se composent d'approches avec ou sans modèle qui ont des inconvénients et avantages différents. Dans cette thèse, nous présentons 3 méthodes qui traitent directement les nuages de points reconstruits dans la section précédente. La première utilise la corrélation croisée des demi-corps gauche et droit pour évaluer la symétrie de la démarche, tandis que les deux autres methodes utilisent des autoencodeurs issus de l'apprentissage profond pour mesurer la normalité de la démarche. / The problem of assessing human gaits has received a great attention in the literature since gait analysis is one of key components in healthcare. Marker-based and multi-camera systems are widely employed to deal with this problem. However, such systems usually require specific equipments with high price and/or high computational cost. In order to reduce the cost of devices, we focus on a system of gait analysis which employs only one depth sensor. The principle of our work is similar to multi-camera systems, but the collection of cameras is replaced by one depth sensor and mirrors. Each mirror in our setup plays the role of a camera which captures the scene at a different viewpoint. Since we use only one camera, the step of synchronization can thus be avoided and the cost of devices is also reduced. Our studies can be separated into two categories: 3D reconstruction and gait analysis. The result of the former category is used as the input of the latter one. Our system for 3D reconstruction is built with a depth camera and two mirrors. Two types of depth sensor, which are distinguished based on the scheme of depth estimation, have been employed in our works. With the structured light (SL) technique integrated into the Kinect 1, we perform the 3D reconstruction based on geometrical optics. In order to increase the level of details of the 3D reconstructed model, the Kinect 2 with time-of-flight (ToF) depth measurement is used for image acquisition instead of the previous generation. However, due to multiple reflections on the mirrors, depth distortion occurs in our setup. We thus propose a simple approach for reducing such distortion before applying geometrical optics to reconstruct a point cloud of the 3D object. For the task of gait analysis, we propose various alternative approaches focusing on the problem of gait normality/symmetry measurement. They are expected to be useful for clinical treatments such as monitoring patient's recovery after surgery. These methods consist of model-free and model-based approaches that have different cons and pros. In this dissertation, we present 3 methods that directly process point clouds reconstructed from the previous work. The first one uses cross-correlation of left and right half-bodies to assess gait symmetry while the other ones employ deep auto-encoders to measure gait normality.

L'interaction face-à-face représente une des formes les plus fondamentales de la communication humaine. C'est un système dynamique multimodal et couplé – impliquant non seulement la parole mais de nombreux segments du corps dont le regard, l'orientation de la tête, du buste et du corps, les gestes faciaux et brachio-manuels, etc – d'une grande complexité. La compréhension et la modélisation de ce type de communication est une étape cruciale dans le processus de la conception des agents interactifs capables d'engager des conversations crédibles avec des partenaires humains. Concrètement, un modèle de comportement multimodal destiné aux agents sociaux interactifs fait face à la tâche complexe de générer un comportement multimodal étant donné une analyse de la scène et une estimation incrémentale des objectifs conjoints visés au cours de la conversation. L'objectif de cette thèse est de développer des modèles de comportement multimodal pour permettre aux agents artificiels de mener une communication co-verbale pertinente avec un partenaire humain. Alors que l'immense majorité des travaux dans le domaine de l'interaction humain-agent repose essentiellement sur des modèles à base de règles, notre approche se base sur la modélisation statistique des interactions sociales à partir de traces collectées lors d'interactions exemplaires, démontrées par des tuteurs humains. Dans ce cadre, nous introduisons des modèles de comportement dits "sensori-moteurs", qui permettent à la fois la reconnaissance des états cognitifs conjoints et la génération des signaux sociaux d'une manière incrémentale. En particulier, les modèles de comportement proposés ont pour objectif d'estimer l'unité d'interaction (IU) dans laquelle sont engagés de manière conjointe les interlocuteurs et de générer le comportement co-verbal du tuteur humain étant donné le comportement observé de son/ses interlocuteur(s). Les modèles proposés sont principalement des modèles probabilistes graphiques qui se basent sur les chaînes de markov cachés (HMM) et les réseaux bayésiens dynamiques (DBN). Les modèles ont été appris et évalués – notamment comparés à des classifieurs classiques – sur des jeux de données collectés lors de deux différentes interactions face-à-face. Les deux interactions ont été soigneusement conçues de manière à collecter, en un minimum de temps, un nombre suffisant d'exemplaires de gestion de l'attention mutuelle et de deixis multimodale d'objets et de lieux. Nos contributions sont complétées par des méthodes originales d'interprétation et d'évaluation des propriétés des modèles proposés. En comparant tous les modèles avec les vraies traces d'interactions, les résultats montrent que le modèle HMM, grâce à ses propriétés de modélisation séquentielle, dépasse les simples classifieurs en terme de performances. Les modèles semi-markoviens (HSMM) ont été également testé et ont abouti à un meilleur bouclage sensori-moteur grâce à leurs propriétés de modélisation des durées des états. Enfin, grâce à une structure de dépendances riche apprise à partir des données, le modèle DBN a les performances les plus probantes et démontre en outre la coordination multimodale la plus fidèle aux évènements multimodaux originaux. / Face to face interaction is one of the most fundamental forms of human communication. It is a complex multimodal and coupled dynamic system involving not only speech but of numerous segments of the body among which gaze, the orientation of the head, the chest and the body, the facial and brachiomanual movements, etc. The understanding and the modeling of this type of communication is a crucial stage for designing interactive agents capable of committing (hiring) credible conversations with human partners. Concretely, a model of multimodal behavior for interactive social agents faces with the complex task of generating gestural scores given an analysis of the scene and an incremental estimation of the joint objectives aimed during the conversation. The objective of this thesis is to develop models of multimodal behavior that allow artificial agents to engage into a relevant co-verbal communication with a human partner. While the immense majority of the works in the field of human-agent interaction (HAI) is scripted using ruled-based models, our approach relies on the training of statistical models from tracks collected during exemplary interactions, demonstrated by human trainers. In this context, we introduce "sensorimotor" models of behavior, which perform at the same time the recognition of joint cognitive states and the generation of the social signals in an incremental way. In particular, the proposed models of behavior have to estimate the current unit of interaction ( IU) in which the interlocutors are jointly committed and to predict the co-verbal behavior of its human trainer given the behavior of the interlocutor(s). The proposed models are all graphical models, i.e. Hidden Markov Models (HMM) and Dynamic Bayesian Networks (DBN). The models were trained and evaluated - in particular compared with classic classifiers - using datasets collected during two different interactions. Both interactions were carefully designed so as to collect, in a minimum amount of time, a sufficient number of exemplars of mutual attention and multimodal deixis of objects and places. Our contributions are completed by original methods for the interpretation and comparative evaluation of the properties of the proposed models. By comparing the output of the models with the original scores, we show that the HMM, thanks to its properties of sequential modeling, outperforms the simple classifiers in term of performances. The semi-Markovian models (HSMM) further improves the estimation of sensorimotor states thanks to duration modeling. Finally, thanks to a rich structure of dependency between variables learnt from the data, the DBN has the most convincing performances and demonstrates both the best performance and the most faithful multimodal coordination to the original multimodal events.

No description available.