La thèse présentée a été effectuée en cotutelle entre l'Institut Polytechnique de Grenoble et l'université Laval à Québec. Les travaux ont impliqué les laboratoires universitaire GIPSA-lab à Grenoble et le Laboratoire de Vision et Systèmes Numériques de l'Université Laval (LVSN). Notre étude porte sur la segmentation des contours internes et externes des lèvres. L'objectif visé dans notre étude est de proposer un ensemble de méthodes permettant de modéliser précisément la zone de la bouche avec la meilleure robustesse possible. Par robustesse, notre [sic] entendons obtenir une méthode fiable qui ne nécessite pas de réglage de paramètres et qui permette une segmentation fidèle des contours externes et internes de la bouche. Dans un premier temps, une approche combinée région-contour est introduite dans le but d'obtenir une segmentation multi-locuteur de la bouche sur des images de visage en couleurs. Nous décrivons une approche par décorrélation permettant d'augmenter le contraste entre la peau et les lèvres sur des images en couleurs ainsi qu'une étude sur les gradients multi-échelles pour améliorer la robustesse de la modélisation des contours de la bouche. Ensuite nous présentons notre méthode de localisation et de segmentation région-contour de la bouche sur des images de visage en couleurs. Dans un second temps nous nous sommes intéressés à la détection de l'état de la bouche. L'étape de détection de l'état de la bouche est nécessaire à la modélisation de la région interne qui présente une grande variabilité de forme et de texture. Une approche bioinspirée, basée sur un modèle de rétine et de cortex visuel conduisant au calcul d'un spectre Log-polaire, a été développée pour modéliser la zone de la bouche. Ces spectres sont, ensuite, utilisés pour entraîner un réseau SVM destiné à identifier l'état de la bouche. D'autre part, de nombreux auteurs ont suggéré d'utiliser la modalité infrarouge en analyse faciale. Le LVSN possédant une solide expertise dans le domaine de la vision infrarouge, une étude sur la pertinence de la modalité infrarouge dans le cadre de la segmentation des lèvres est proposée. Après avoir localisé la bouche et identifié l'état de la bouche, nous nous intéressons alors à la segmentation des contours externes et internes de la bouche. Un modèle polynomial de contour externe, dont la complexité sera automatiquement adaptée en fonction de la bouche traitée, est présenté. L'aspect de la zone interne de la bouche pouvant varier très rapidement, l'extraction du contour interne est particulièrement difficile. Nous proposons de traiter ce problème par une méthode de classification non-supervisée pour sélectionner les régions internes de la bouche. La méthode de modélisation de contour par un modèle polynomial est par la suite appliquée pour extraire le contour interne de la bouche. Enfin, une analyse quantitative de la performance globale de l'extraction des contours internes et externes est réalisée par comparaison avec des vérités-terrain.

La segmentation des lèvres est une étape essentielle pour de nombreux systèmes multimedia tels que la vidéoconférence, la lecture labiale ou les systèmes de communication bas débit. Au cours de cette thèse, nous avons développé un algorithme quasi automatique, précis et robuste de segmentation de lèvres dans des séquences vidéo. Dans un premier temps, le contour supérieur de la bouche ainsi que plusieurs points caractéristiques sont détectés dans l'image initiale en utilisant un nouveau type de contour actif nommé “jumping snake”. Contrairement aux snakes classiques, le jumping snake est peu sensible à l'initialisation et la détermination de ses paramètres est simple et intuitive. Pour la segmentation proprement dite, nous introduisons un modèle analytique très flexible composé de quelques courbes cubiques. L'intérêt de ce modèle réside avant tout dans sa grande flexibilité qui permet de rendre compte de manière réaliste d'un très large panel de formes possibles pour la bouche. Dans les images suivantes, la segmentation est réalisée en utilisant un suivi temporel des points caractéristiques et des paramètres du modèle. De plus, nous proposons un algorithme de recalage permettant de compenser efficacement les erreurs de suivi. Finalement, nous montrons que notre algorithme permet de suivre les points caractéristiques avec une précision comparable à celle d'une saisie manuelle.

La thèse présentée a été effectuée en cotutelle entre l'Institut Polytechnique de Grenoble et l'université Laval à Québec. Les travaux ont impliqué les laboratoires universitaire GIPSAlab à Grenoble et le Laboratoire de Vision et Systèmes Numériques de l'Université Laval (LVSN). Notre étude porte sur la segmentation des contours internes et externes des lèvres. L'objectif visé dans notre étude est de proposer un ensemble de méthodes permettant de modéliser précisément la zone de la bouche avec la meilleure robustesse possible. Par robustesse, notre entendons obtenir une méthode fiable qui ne nécessite pas de réglage de paramètres et qui permette une segmentation fidèle des contours externes et internes de la bouche. Dans un premier temps, une approche combinée région-contour est introduite dans le but d'obtenir une segmentation multi-locuteur de la bouche sur des images de visage en couleurs. Nous décrivons une approche par décorrélation permettant d'augmenter le contraste entre la peau et les lèvres sur des images en couleurs ainsi qu'une étude sur les gradients multi-échelles pour améliorer la robustesse de la modélisation des contours de la bouche. Ensuite nous présentons notre méthode de localisation et de segmentation régioncontour de la bouche sur des images de visage en couleurs. Dans un second temps nous nous sommes intéressés à la détection de l'état de la bouche. L'étape de détection de l'état de la bouche est nécessaire à la modélisation de la région interne qui présente une grande variabilité de forme et de texture. Une approche bioinspirée, basée sur un modèle de rétine et de cortex visuel conduisant au calcul d'un spectre Log-polaire, a été développée pour modéliser la zone de la bouche. Ces spectres sont, ensuite, utilisés pour entraîner un réseau SVM destiné à identifier l'état de la bouche. D'autre part, de nombreux auteurs ont suggéré d'utiliser la modalité infrarouge en analyse faciale. Le LVSN possédant une solide expertise dans le domaine de la vision infrarouge, une étude sur la pertinence de la modalité infrarouge dans le cadre de la segmentation des lèvres est proposée. Après avoir localisé la bouche et identifié l'état de la bouche, nous nous intéressons alors à la segmentation des contours externes et internes de la bouche. Un modèle polynomial de contour externe, dont la complexité sera automatiquement adaptée en fonction de la bouche traitée, est présenté. L'aspect de la zone interne de la bouche pouvant varier très rapidement, l'extraction du contour interne est particulièrement difficile. Nous proposons de traiter ce problème par une méthode de classification non-supervisée pour sélectionner les régions internes de la bouche. La méthode de modélisation de contour par un modèle polynomial est par la suite appliquée pour extraire le contour interne de la bouche. Enfin, une analyse quantitative de la performance globale de l'extraction des contours internes et externes est réalisée par comparaison avec des vérités-terrain.

Cette thèse présente un système de suivi automatique des gestes labiaux à partir d'une séquence vidéo d'un locuteur. Le système combine une analyse ascendante et descendante de la forme des lèvres. Une première étape d'analyse chromatique, basée sur un apprentissage statistique, fournit une image en niveaux de gris où le contraste entre lèvres et peau est rehaussé. Parallèlement, un modèle linéaire 3D des gestes labiaux est appris pour un locuteur à partir de formes clés phonétiquement pertinentes. Le modèle est alors synthétisé et projeté sur l'image imposant a priori les caractéristiques de la forme des lèvres. Il est adapté sur l'image rehaussée des lèvres par optimisation de ses paramètres de contrôle. Ce système combine ainsi de manière hybride la précision de l'analyse chromatique et la robustesse imposée par le modèle. Ce système est évalué sous divers aspects : ses capacités à s'adapter à la morphologie labiale et aux stratégies articulatoire de plusieurs locuteurs, la qualité des mesures géométriques délivrées et sa rapidité d'analyse. Le système complet a été implanté et testé en langage C sur une station de travail monoprocesseur. L'exécution est évaluée en nombre d'instructions à partir du code machine généré par le compilateur du système de la station. Ces résultats ont permis d'identifier les zones critiques de traitement pour lesquels des optimisations sont proposées. Compte tenu de ces optimisations, il apparaît que la cadence de 50 images par seconde est alors accessible sans avoir recours à une implantation matérielle spécialisée.

La Langue Française Parlée Complétée (LPC) héritée du Cued Speech (CS) a été conçue pour compléter la lecture labiale par nature ambigüe et ainsi améliorer la perception de la parole par les sourds profonds. Dans ce système, le locuteur pointe des positions précises sur le côté de son visage ou à la base du cou en présentant de dos des formes de main bien définies. La main et les lèvres portent chacune une partie complémentaire de l'information phonétique. Cette thèse présente tout d'abord une modélisation du flux manuel pour le codage automatique des positions de la main et de la configuration. Puis les travaux sont centrés sur le flux labial en discutant la classification des voyelles et des consonnes du Français. Le flux labial est composé des variations temporelles de paramètres caractéristiques issus du contour interne et externe des lèvres. Dans le cas des voyelles la méthode de classification utilise la modélisation gaussienne et les résultats montrent une performance moyenne de 89 % en fonction de la position de la main LPC. Le contexte vocalique est pris en compte dans le cas des consonnes par une modélisation HMM de la transition labiale de la consonne vers la voyelle avec un taux d'identification de 80 % en termes de visèmes CV. Un modèle de fusion « Maître-Esclave » piloté par le flux manuel est présenté et discuté dans le cadre de la reconnaissance des voyelles et des consonnes produites en contexte LPC. Le modèle de fusion prend en compte les contraintes temporelles de la production et la perception du LPC, ce qui constitue aussi une première contribution à la modélisation du système LPC du point de vue perceptif.

Le travail présenté dans cette thèse est basé sur deux observations. D'abord il existe de longues séquences cinéradiographiques du conduit vocal en parole naturelle qui sont sous exploitées à cause du travail laborieux qu'implique le marquage manuel des images de ces séquences. Ensuite la cinéradiographie est une technique généralement bien cadrée qui se prête à l'application d'un algorithme dit de rétro-marquage. Le principe est d'associer des paramètres implicites et extraits du signal vidéo à des paramètres géométriques contrôlés et définis a posteriori, plutôt que d'extraire directement des données géométriques à l'aide de marqueurs. La méthode semi-automatique d'extraction de contours du conduit vocal que nous proposons est une adaptation de cet algorithme et permet de minimiser l'intervention manuelle. Pour une séquence et un articulateur donnés, une première étape consiste à marquer manuellement, sur un nombre limité d'images clefs, quelques degrés de liberté définissant le contour de l'articulateur. Dans un deuxième temps, ces marques géométriques sont associées à chaque image de la séquence via un index calculé à partir des coefficients DCT basses fréquences des images : on associe à chaque image l'index de l'image clef la plus proche. Cette technique, en une passe, permet ainsi de reconstruire des données géométriques dynamiques. Chaque articulateur (langue, vélum, lèvres...) est d'abord estimé de manière indépendante par la méthode, puis les contours extraits sont combinés pour récupérer la forme du conduit vocal complet. De là, les distances médio-sagittales du tractus vocal et les fonctions d'aire associées sont calculées pour la séquence entière.<br /><br />La première partie de ce manuscrit présente la méthode développée et l'évaluation de l'erreur de marquage. La seconde partie tente de valider phonétiquement les configurations géométriques estimées. Une première étude basée sur les voyelles permet de retrouver des résultats classiques en phonétique en fonction des différentes classes vocaliques. Les fréquences caractéristiques des voyelles, ou formants, estimées à partir des contours sont ensuite considérées, avec l'utilisation d'un modèle d'association linéaire d'une part et celle d'un modèle acoustique d'autre part. A l'aide de ce dernier, la synthèse d'un signal de parole intelligible est réalisée à partir des contours extraits, en estimant de façon complémentaire, depuis le signal audio, la source et la modulation d'amplitude en 2 sous-bandes. Enfin, nous prolongeons l'étude dynamique par deux observations : l'une sur la production des consonnes et l'autre sur les mouvements du vélum. L'ensemble de ces résultats montre que la méthode proposée peut être utilisée pour exploiter, d'un point de vue phonétique, ces longues séquences cinéradiographiques.

Doctorat en sciences psychologiques / info:eu-repo/semantics/nonPublished

: Le rouge à lèvres est un produit incontournable du marché des cosmétiques. C’est un produit de formulation complexe et aux fonctionnalités multiples, parmi lesquelles la sensorialité est centrale et dépend principalement des corps gras mis en œuvre. Face à la multiplicité des ingrédients disponibles et aux pratiques de formulation s’appuyant largement sur l’expertise empirique des formulateurs, cette thèse répond à une problématique industrielle de mise en place d’une méthodologie de formulation raisonnée pilotée par la fonctionnalité sensorielle. Mettre en place une telle démarche d’ingénierie sensorielle nécessite d’intégrer la connaissance des liens entre la formulation, la structure et les fonctionnalités du produit. Pour ce faire, nous avons proposé une démarche en sept étapes, s’appuyant sur la réalisation d’une formule simplifiée et réaliste. Ce système a permis de structurer une approche hypothético-déductive concernant le rôle de différentes catégories d’ingrédients sur les propriétés sensorielles du produit. Nous avons ainsi pu montrer que les huiles et les cires ont un rôle majeur sur ces propriétés. Les huiles affectent principalement le glissant, le fondant, l’huileux, la douceur, le collant et la présence sur les lèvres. Les cires, quant à elles, ont une influence sur l’opacité et la quantité de rouge à lèvres déposé. Ce travail s’appuie sur une compréhension approfondie des mécanismes physicochimiques à l’origine de la structure du rouge à lèvres, observée à différentes échelles, et des propriétés résultantes. Enfin, sur deux cas concrets d’ingénierie inverse, nous avons validé cette démarche ainsi que les relations entre les propriétés des ingrédients, la structure et les propriétés mécaniques et sensorielles du rouge à lèvres. / Lipstick is a must-have product of the cosmetics market. It is made from a complex formulation and it has multiple functionalities, among which the sensoriality is central and depends mainly on fats and oils used. Given the multiplicity of available ingredients, formulation practices are largely based on the formulators’ empirical expertise. In this industrial context, this thesis aims at setting up a reasoned formulation methodology driven by the sensory functionality. Implementing such a sensory engineering approach requires integrating knowledge of the relationships between formulation, structure and product functionalities. In order to do this, we proposed a seven-step approach, based on the realization of a simplified and realistic formula. This system allowed to structure a deductive reasoning approach concerning the role of different categories of ingredients in the sensory properties of the product. Thanks to this approach, we have shown that oils and waxes have a major role in these properties. The oils mainly affect the slipperiness, the melting quality, the oiliness, the softness, the stickiness and the presence on the lips. Waxes, on the other hand, have an influence on the opacity and the amount of lipstick deposited. This work is based on a thorough understanding of the physicochemical mechanisms at the origin of the structure of lipsticks, observed at different scales, and of the resulting properties. Finally, we validated this approach, as well as the relationships between the properties of the ingredients, the structure and the mechanical and sensory properties of lipsticks, on two concrete cases of reverse engineering.

La segmentation de la bouche est un problème important qui trouve des applications dans plusieurs domaines du multimédia.<br /> Dans ce travail, notre objectif est d'obtenir une détection robuste et efficace des contours des lèvres de façon à être capable de restaurer les mouvements de la parole aussi fidèlement que possible. <br /> Nous apportons une attention particulière au contour intérieur de la bouche dans la segmentation est une tâche difficile à cause des variations non-linéaires de l'apparence.<br /> Nous proposons une méthode basée sur un modèle statistique de la forme et de l'apparence échantillonnée faisant intervenir des descripteurs gaussiens locaux d'apparence.<br /> Notre hypothèse est que la réponse de ces descripteurs locaux peut être prédite à partir de la forme par le biais d'un réseau de neurones non-linéaire.<br /> Nous avons d'abord testé cette hypothèse dans un cas mono-locuteur et l'avons ensuite généralisé à un cas multi-locuteurs en tenant de la variabilité<br />inter-personne.<br /> A cet effet, nous adaptons progressivement notre modèle au locuteur traité en déterminant son apparence caractéristique.<br /> A partir de notre segmentation de la bouche, nous pouvons ensuite générer un clone de la bouche de la personne dont les mouvements seront aussi proches que possible de ceux de l'originale.<br /> Finalement, nous avons évalué quantitativement puis qualitativement la pertinence de notre méthode en menant une expérience qui a quantifié l'apport effectif de compréhension de notre schéma d'analyse/synthèse dans le cas de numéros de téléphone en milieu bruité.

Ce travail présente une nouvelle méthodologie pour la reconnaissance automatique des gestes de la bouche visant à l'élaboration d'IHM pour la commande d'endoscope. Cette méthodologie comprend des étapes communes à la plupart des systèmes de vision artificielle, comme le traitement d'image et la segmentation, ainsi qu'une méthode pour l'amélioration progressive de l'étiquetage obtenu grâce à la segmentation. Contrairement aux autres approches, la méthodologie est conçue pour fonctionner avec poses statiques, qui ne comprennent pas les mouvements de la tête. Beaucoup d'interêt est porté aux tâches de segmentation d'images, car cela s'est avéré être l'étape la plus importante dans la reconnaissance des gestes. En bref, les principales contributions de cette recherche sont les suivantes: La conception et la mise en oeuvre d'un algorithme de rafinement d'étiquettes qui dépend d'une première segmentation/pixel étiquetage et de deux paramétres corrélés. Le rafineur améliore la précision de la segmentation indiquée dans l'étiquetage de sortie pour les images de la bouche, il apporte également une amélioration acceptable lors de l'utilisation d'images naturelles. La définition de deux méthodes de segmentation pour les structures de la bouche dans les images; l'une fondée sur les propriétés de couleur des pixels, et l'autre sur des éléments de la texture locale, celles-ci se complétent pour obtenir une segmentation rapide et précise de la structure initiale. La palette de couleurs s'avére particuliérement importante dans la structure de séparation, tandis que la texture est excellente pour la séparation des couleurs de la bouche par rapport au fond. La dérivation d'une procédure basée sur la texture pour l'automatisation de la sélection des paramètres pour la technique de rafinement de segmentation discutée dans la première contribution. Une version améliorée de l'algorithme d'approximation bouche contour présentée dans l'ouvrage de Eveno et al. [1, 2], ce qui réduit le nombre d'itérations nécessaires pour la convergence et l'erreur d'approximation finale. La découverte de l'utilité de la composante de couleur CIE à statistiquement normalisée, dans la différenciation lévres et la langue de la peau, permettant l'utilisation des valeurs seuils constantes pour effectuer la comparaison. / This document presents a series of elements for approaching the task of segmenting mouth structures in facial images, particularly focused in frames from video sequences. Each stage is treated separately in different Chapters, starting from image pre-processing and going up to segmentation labeling post-processing, discussing the technique selection and development in every case. The methodological approach suggests the use of a color based pixel classification strategy as the basis of the mouth structure segmentation scheme, complemented by a smart pre-processing and a later label refinement. The main contribution of this work, along with the segmentation methodology itself, is based in the development of a color-independent label refinement technique. The technique, which is similar to a linear low pass filter in the segmentation labeling space followed by a nonlinear selection operation, improves the image labeling iteratively by filling small gaps and eliminating spurious regions resulting from a prior pixel classification stage. Results presented in this document suggest that the refiner is complementary to image pre-processing, hence achieving a cumulative effect in segmentation quality. At the end, the segmentation methodology comprised by input color transformation, preprocessing, pixel classification and label refinement, is put to test in the case of mouth gesture detection in images aimed to command three degrees of freedom of an endoscope holder.