La réalité augmentée (R.A.) est un domaine de recherche qui vise la combinaison d'environnements réels et virtuels en temps réel de façon à ce que ceux-ci semblent co-exister. De façon à obtenir un rendu réaliste, les interactions entre les deux environnements doivent être modélisées et gérées. Nous nous sommes intéressés à la gestion des occultations des objets virtuels par les objets réels. Cette gestion nécessite une acquisition d'informations 3D sur la scène réelle. Le projet du castelet électronique fournit un contexte applicatif approprié à cette étude. Deux approches d'acquisition sont présentées et analysées : une approche monoscopique basée sur une pré-modélisation approximative des objets réels et une approche stéréoscopique effectuant l'acquisition d'informations 3D en temps réel selon le point de vue

Ce projet a pour objectif d'étudier les aspects relatifs au suivi de piétons dans le projet MONNET. Pour ce faire, nous adoptons une approche hybride où le suivi est effectué indépendamment pour les images des caméras infrarouge et visible avant d'être combiné. Le suivi se fait à 3 niveaux : au niveau des blobs, au niveau des objets (groupe de blobs) et au niveau des objet fusionnés (détectés dans les deux images). De plus, une méthode robuste de gestion des occultations adaptée à l'environnement intérieur est utilisée pour assurer un suivi adéquat en présence de plusieurs piétons.

La conduite automobile est une activité importante pour une grande proportion de la population. Des études épidémiologiques ont démontré que la conduite dans des contextes difficiles, comme franchir une intersection, céder le passage ou se joindre au trafic, pose un défi aux conducteurs âgés. Ces tâches cognitives impliquent toutes des comportements céphalo-oculaires complexes de même que des actions de recherche visuelle. L'objet de cette maitrise effectuée dans le cadre du réseau d'excellence Auto21, est de développer un outil permettant d'analyser le comportement céphalo-occulaire du conducteur en temps réel dans un environnement sécuritaire. Le système exploite la vision artificielle pour estimer en tout temps la pose (position et orientation) de la tête du sujet dans un simulateur de conduite automobile. Le conducteur dans le simulateur observe la route grâce à un écran de réalité virtuelle. Ce dernier est filmé par 3 caméras calibrées et synchronisées à 30 images par secondes. Le système calcule la pose de sa tête en temps réel en utilisant une méthode basée sur une détection de blobs combinée à une validation par matching stéréo. Pour estimer la pose de la tête, le système recherche la position des yeux et du nez dans chaque image et reconstruit un plan à partir de ces trois points par triangulation. Ce plan permet d'estimer la pose de la tête du conducteur. Cette maitrise a débuté en septembre 2007 et s'est terminée en mai 2009. Elle vise à poursuivre le travail qui avait été réalisé par Frederic Ntawiniga sur le même sujet. Ce travail a consisté en une étude des méthodes existantes pour détecter et suivre un visage en temps réel. Elle s'est poursuivie par une optimisation des conditions d'acquisition des images dans le système afin de faciliter les traitements subséquents, et s'est terminée par l'implémentation d'un nouvel algorithme visant à améliorer la précision et la robustesse de l'estimation de la pose de la tête du conducteur.

Dans cette thèse, nous traitons les problèmes d'asservissement et de suivi visuel, qui sont essentiels dans le domaine de la vision robotique. Leur robustesse ainsi que leur précision deviennent des enjeux majeurs. Les techniques classiques sont principalement basées sur l'observation de primitives géométriques dans l'image. Ces primitives ne prennent néanmoins pas compte de toute l'information présente dans les images. C'est pour cette raison que de nouvelles approches, dites approches directes, ont vu le jour. Un inconvénient des méthodes directes actuelles vient du fait qu'elles sont centrées sur l'observation des intensités lumineuses des images qui sont fortement sensibles aux changements d'apparence qui peuvent survenir, par exemple, lors de modification de l'illumination ou occultation. Ceci a pour effet de rendre l'application de ces techniques limitée à des conditions nominales d'utilisation. Pour régler ce problème, nous proposons une solution qui n'est plus directement basée sur les intensités lumineuses mais sur l'information contenue dans les images. Nous montrons que la maximisation de cette information permet de créer une solution unifiée pour résoudre des tâches de suivi et d'asservissement visuel. De nombreuses expériences de suivi valident la robustesse et la précision de la technique proposée dans des applications variées en passant par le suivi de visages, la localisation, la construction de mosaïques et la réalité augmentée. La méthode d'asservissement visuel reposant sur l'information mutuelle est également validée à l'aide d'une plateforme contenant un robot cartésien à six degrés de liberté ainsi qu'un véhicule autonome non-holonome.

Les travaux présentés dans le cadre de cette habilitation à diriger des recherches portent essentiellement sur l'analyse de scènes à partir de caméras mobiles avec pour application immédiate l'apport d'une vision par ordinateur efficace dans les systèmes d'aide à la conduite. L'idée initiale est que l'autonomie d'un système implique, ne serait-ce que pour raisons énergétiques, une faible variété d'opérateurs de perception, dont les algorithmes de vision. Les "primitives" extraites des images seront intrinsèquement robustes et stables vis-à-vis de perturbations variées. Elles doivent de plus anticiper, voire faciliter, un processus de décision à divers niveaux voulu systématique. Les lignes de niveaux répondent parfaitement à ces contraintes : on vérifie sans peine leur robustesse et leur abondance dans une image suggère et alimente un processus de décision cumulatif (manipulant un objet unique : l'histogramme). Nos efforts se sont alors concentrés sur deux aspects : 1) le premier concerne la définition d'une méthodologie cohérente dans laquelle un processus primaire d'extraction de lignes de niveaux est enrichi afin de permettre la construction de primitives plus complexes guidée par le modèle de déformation de l'image. Le nombre de composants donc la forme des primitives est fonction directe du nombre de variables caractérisant le mouvement (déformation) à déterminer. 2) Le second intéresse une méthode de décision cumulative unifiée permettant de traiter des thèmes applicatifs de complexité croissante. Nos travaux se déclinent alors en trois niveaux de cumul, chacun associé de manière réconfortante à un stade de l'analyse d'images. 1) Au plus bas niveau, nous retenons l'information binaire apparition/disparition d'une primitive dans le temps. La complexité se situe strictement sur l'axe temporel. Le cumul dans le temps nous permet ainsi de reconstruire la scène fixe et donc par soustraction du fond, l'image des objets mobiles. Les espaces de vote sont 1D et multiples, affectés à chaque primitive. 2) Le consensus se voudrait spatio-temporel au deuxième niveau pour identifier le mouvement. Il restera d'abord spatial en pratique pour raisons de complexité : des primitives voisines dans l'image s'associent pour former des "pré-objets" contraints exhibant ainsi des invariants exploitables : leur mouvement à instancier doit être cohérent. Le cumul s'opère donc cette fois selon un modèle de mouvement de la caméra. Les primitives votent pour la transformation globale qui les aurait conduites dans leur nouvelle position. L'espace de vote est commun à toutes les primitives et multidimensionnel (une dimension par paramètre de mouvement). 3) Au niveau le plus élevé, la sémantique accrue implique des hypothèses à la fois sur les primitives et sur l'origine du mouvement. Les primitives sont supposées appartenir à un même objet 3D (ex. un plan) présentant, pour un modèle de déplacement du capteur donné, une propriété caractéristique commune des vecteurs vitesse qui permet de l'extraire. Notamment, leurs amplitudes sont constantes le long de courbes image prédéfinies par leurs équations analytiques. Les primitives ne votent plus selon leur structure mais selon leur vitesse. Dans le cas d'une scène 3D approximée par un ensemble de plans et d'une caméra à mouvement majoritairement longitudinal, l'espace de vote (c-velocité) présente 2 dimensions : une pour la vitesse, l'autre pour le paramètre des courbes iso-vitesse. Chaque vitesse vote sur sa courbe. Les surfaces 3D émergent dans cet espace de vote comme courbes 2D connues (droites ou paraboles). Les thèmes applicatifs traités pour illustrer notre démarche sont de complexité croissante : détection et estimation du mouvement en caméra fixe, recalage d'images en caméra mobile (type de mouvement connu et profondeur des objets contrainte) puis estimation générale du mouvement propre et de la structure de la scène en caméras embarquées sur un véhicule mobile. Les résultats obtenus montrent comment un choix de primitives robustes associé à un processus de décision cumulatif permet la réutilisation des opérateurs dans tous les secteurs. Les systèmes proposés ont la particularité d'être compacts et cohérents, propriété recherchée dans les applications considérées.

La problématique de cette thèse réside dans l'étude et le maintien de la stabilité dynamique latérale des Véhicules Légers Tout Terrain (VLTT) évoluant en milieu naturel. Elle s'attache plus particulièrement au développement d'indicateurs de risque pour l'aide à la conduite ainsi qu'au développement de systèmes de sécurité actifs dédiés aux VLTT, avec comme cadre expérimental privilégié, l'application à la stabilité latérale des véhicules quadricyles à moteur communément appelés quads. Cette thèse propose des algorithmes de calcul d'un indicateur de risque et de commande globaux, exploitant trois domaines connexes de la robotique : la modélisation, l'observation et la commande. Un modèle dynamique, intégrant les glissements et le comportement du pilote, est d'abord proposé afin de caractériser le renversement latéral de l'engin au travers du calcul et de l'anticipation de Transfert de Charge Latéral (TCL). Des observateurs capables d'estimer en temps réel l'adhérence sont utilisés pour alimenter ce modèle. Enfin une loi commande prédictive permet d'assurer la stabilité latérale de l'engin, validée par de nombreuses expérimentations

Cette thèse présente une méthode de suivi et de classification conjoints en temps réel d'un nombre variable d'objets tels que des piétons et/ou des véhicules, sous conditions d'illumination variables au cours du temps. La méthode retenue entre dans le champ du suivi Multi-Objets par Filtre Particulaire, dont la clé de voûte est l'échantillonnage des particules. Nous examinons deux familles de filtres particulaires : les Filtres Particulaires Partitionnés, et les Filtres Particulaires par Chaîne de Markov (FP MCMC). Nous comparons ensuite leurs performances sur des données de synthèse. Les résultats obtenus montrent la supériorité du Filtre Particulaire MCMC. Un système de suivi et classification conjoints en temps réel d'un nombre variable d'ojets tels que des piétons et/ ou des véhicules, sous illumination variable, est ensuite présenté. La mesure est délivrée par une ou plusieurs caméras statiques. Nous avons délibérément choisi d'alimenter le filtre avec une observation pauvre, reposant uniquement sur une segmentation binaire avant-plan / arrière-plan basée sur un modèle de l'arrière-plan mis à jour en ligne à chaque image. Pour résister aux variations d'illumination, les ombres sont modélisées et le filtre est étendu afin de suivre conjointement le soleil et les objets. Les résultats de suivi et classification en temps réel sont présentés et discutés sur des séquences réelles et sur des séquences de synthèse, impliquant plusieurs catégories d'utilisateurs tels que des piétons, des voitures, des camionettes et des poids lourds.

Les cameras intelligentes, ou Smart Cameras, sont des systèmes embarqués de vision artificielle. Ces systèmes se différencient des caméras "communes" par leur capacité à analyser les images, afin d'en extraire des informations pertinentes sur la scène observée, et ceci de féçon autonome grâce à des dispositifs embarqués de calcul. Les applications pratiques de ce type de système sont nombreuses (vidéo-surveillance, vision industrielle, véhicules autonomes, etc.), mais leur implémentation est assez complexe, et demande un haut degré d'expertise et des temps de développement élevés. Les travaux présentés dans cette thèse s'adressent à cette problématisue, et proposent une méthodologie d'implémentation permettant de simplifier le développement d'applications au sein des plateformes Smart Camera basées sur un dispositif FPGA. Cette méthodologie s'appuie d'une part sur l'instanciation au sein du FPGA d'un processeur "soft-core" taillé sur mesure, et d'autre part sur un flot de design à deux niveaux, permettant ainsi de traiter séparément les aspects matériels liés à la plateforme et les aspects algorithmiques liés à l'application

L'analyse de la cinétique cardiaque est d'un grand intérêt diagnostique dans la lutte contre les pathologies cardio-vasculaires. Deux méthodes sont proposées afin de réaliser une estimation du mouvement du cœur à partir de séquences dynamiques de volumes tridimensionnels acquises en imagerie scanner multibarrette. Ces méthodes reposent toutes deux sur une mise en correspondance, réalisée dans un cadre markovien et suivant un schéma multirésolution. La première méthode, estimant les correspondances entre des surfaces pré-segmentées, est dépendante de la cohérence temporelle de cette segmentation. La seconde méthode estime les correspondances entre, d'une part, la surface segmentée et, d'autre part, le volume de données original correspondant à l'instant suivant. L'estimation du mouvement et la segmentation sont alors réalisés, sur toute la séquence, au cours d'un unique processus. Les deux méthodes proposées sont validées sur données simulées et sur données réelles.

Cette thèse s'intéresse à l'interprétation d'images fixes et en particulier à la reconnaissance de classes d'objets. Les différentes approches considérées sont toutes des variations du modèle par sac-de-mots, utilisant des représentations locales, quantifiées à l'aide d'un vocabulaire visuel. <br>Nous nous intéresserons tout d'abord à l'étude de différentes méthodes de création du vocabulaire visuel et à l'évaluation de ces vocabulaires dans le contexte de la catégorisation d'images. <br>Dans un deuxième temps, nous étudierons la segmentation de classes d'objets et verrons en particulier comment combiner les propriétés de régularisation très locales permises par un champ de Markov avec un modèle d'apparence basé sur des régions qui représentent chacune un objet et qui sont considérées comme des collections de mots visuels.