Le travail présenté dans cette thèse propose des modèles de calcul pour l'extraction du mouvement et la reconnaissance de formes dynamiques à partir du flux d'informations visuelles, en s'inspirant des mécanismes correspondants mis en jeu dans le cerveau. Plus précisément, nous proposons des hypothèses sur la façon dont le mécanisme cérébral de ces tâches peut fonctionner et nous nous efforçons de déterminer comment des neurones avec un petit champ récepteur sont en mesure de fournir des réponses cohérentes et de coder des formes dynamiques complexes. Nous étudions chaque aspect du traitement réalisé dans le cerveau que nous avons modélisé dans un cadre connexionniste, en montrant comment ces systèmes distribués peuvent être utilisés pour des tâches complexes telles que la détection de mouvement et la reconnaissance de formes dynamiques. Du point de vue informatique ces modèles offrent de nouveaux algorithmes, avec des propriétés intéressantes telles que l'utilisation de mémoire distribuée et la robustesse. La détection de mouvement et la discrimination de motifs visuels complexes à partir de ce signal (ou "vision cognitive") structurent les deux parties dans lesquelles le manuscrit se divise. La première partie porte sur la détection de mouvement en étudiant la façon dont l'extraction de caractéristiques visuelles est effectuée à partir du flux d'information visuel, et en particulier la façon dont les problèmes dus à la petite taille et la gamme de détection réduite des détecteurs de mouvement locaux peuvent être résolus. Dans la deuxième partie nous étudions la façon dont la classification des motifs visuels dynamiques complexes est réalisée à partir du traitement fourni par le système primaire de vision pour réaliser ce que nous appelons la vision cognitive, en évaluant au passage différentes techniques d'extraction de caractéristiques visuelles.

La problématique centrale de mes travaux est l'étude de méthodes de décomposition discrète Temps-échelle. Ils s'inscrivent pleinement dans l'équipe projet ICONES, dont j'assure l'animation. Dans ce cadre, je me suis concentré, dès mon intégration dans le laboratoire sur les décompositions atomiques discrètes reconstructibles définies dans le domaine général des ondelettes. Toutes ces méthodes possèdent maintenant un cadre général et notamment la transformée en ondelettes standard. Cependant, il existe encore certaines limites : construction d'une représentation efficace d'éléments géométriques 2-D de l'image, généralisation de ces transformées à des signaux à valeurs vectorielles reste. L'objectif recherché est donc une représentation liée à une structure de données sous forme de primitives, facilement calculable par un algorithme, telle que l'ensemble de ces primitives permettent la reconstruction de la donnée d'origine. Il faut par ailleurs que l'on puisse ordonner ces primitives et que l'on puisse donner un sens à ces primitives. Dans ce cadre, mon travail va se découper suivant trois axes de recherche et un axe applicatif fort. Approche géométrique. Nous avons étudié un outil qui permet la représentation d'images d'une manière optimale (au sens des ruptures linéaires) : la transformée Ridgelet. Grâce à une collaboration avec les chercheurs en géométrie discrète du département XLIM-SIC nous avons proposé une transformée Ridgelet/Curvelets paramétrable, rapide et inversible, obtenant des résultats en termes de restauration de données 2-D très satisfaisants, notamment en vidéo. De plus, la simplicité et la rigueur dans la définition apportée par la géométrie discrète nous a permis d'étendre ce travail à toute dimension. Suivant ce même but, à savoir capter la géométrie pour adapter la transformée, nous avons proposé dans le cadre d'un partenariat avec OrangeLab une représentation en ondelettes géodésiques qui se propose d'introduire une modélisation de la topologie dans un schéma numérique de calcul du type Lifting Scheme. Il s'appuie sur la construction d'un graphe qui doit capter l'organisation structurelle de l'image à traiter. De ce graphe, une distance entre chaque pixel de l'image est estimée et introduite dans l'algorithme de décomposition. Couleur et MultiCanaux. L'objet de ce second axe a été d'examiner des approches plus globales pour l'extension des briques élémentaires issues du signal dans le cadre des images couleur. Suivant cette idée, j'ai débuté dès 2001 une étude concernant l'utilisation des quaternions. Cette recherche a concerné la redéfinition des traitements classiques couleur en termes quaternionique, comme le filtrage, la modification des caractéristiques couleur ... Ceci a fait l'objet d'une thèse, notamment à travers la redéfinition des manipulations couleur avec un formalisme lié à l'algèbre géométrique. Approche orientée. Le simple découpage horizontal, vertical et selon les deux diagonales, lié à l'approche classique, n'est pas suffisant à la fois en termes de description du signal mais aussi par rapport à ce que l'on connait du système visuel humain. L'objectif est de définir une représentation associée à des directions d'analyse plus adaptatives, invariante soit à la translation soit à la rotation. La transformée en ondelettes complexes suivant l'arbre dual constitue une réponse possible. A partir de ces travaux, nous étudions une approche alternative reposant sur les travaux de Bulow et al. et Choi et al. sur le signal analytique 2-D à partir des nombres quaternioniques. Ce travail permet de mettre en place une transformée en ondelettes quaternioniques pour la compression et la classification introduisant une nouvelle information : une notion de phase. La généralisation de ce travail nous mène à la définition d'ondelettes monogéniques qui peuvent être considérées en termes signalistique, comme les décompositions les plus abouties. Cependant de nombreuses questions restent ouvertes, et la première d'entre-elles étant la définition d'un schéma numérique stable. Sécurité. Depuis plusieurs années maintenant, j'ai développé un travail sur la protection électronique des images et vidéo, qui a donné lieu à 2 brevets sur le tatouage basé ondelettes, et intégrant des données psychovisuelles de perception des couleurs. Ces travaux se sont maintenant poursuivis dans le cadre d'une collaboration avec le département DMI de XLIM. L'objectif visé est l'intégration des différentes familles de codes correcteurs d'erreur afin d'améliorer la robustesse d'une stratégie de tatouage. Les résultats montrent effectivement une amélioration de la robustesse de l'algorithme breveté. Nous poursuivons ce travail sous un angle un peu différent à travers la définition d'algorithme de stétaganalyse en utilisant les compétences de l'équipe Icones autour des métriques de qualité.

Dans une première partie, j'illustrerai quelques uns de mes travaux en visio n par ordinateur et traitement d'images. Ceux-ci portent notamment sur la géométrie multi-vues, l'utilisation du raisonnement géométrique pour intégrer des contraintes sur la scène, l'appariement et la segmentation d'images. Sans forcément rentrer dans les détails, j'exposerai les idées fondamentales qui sous-tendent ces travaux qui ont maintenant quelques années et proposerai quelques perspectives sur des extensions possibles. Une deuxième partie abordera certains problèmes liés à l'électro- et la magnéto-encéphalographie M/EEG, sujet auquel je me suis intéressé plus récemment. Je décrirai en particulier un algorithme de détection d'événements d'intérêts en essai par essai ainsi que certaines techniques que nous avons développé pour la modélisation du problème direct M/EEG. Comme pour la première partie, je tenterai de proposer quelques unes des évolutions possibles autour de cette thématique.

Les robots humanoïdes sont de plus en plus important dans nos vies quotidiennes en raison du fort potentiel qu'ils ont pour aider les personnes. Pour être en mesure d'aider, il est nécessaire que le robot peut communiquer avec les humains, et pour cela, il est l'information importante du monde collectées par les capteurs intégrés au robot. Dans notre cas particulier, le rellevant la plupart sont des cam ́eras et des micros, qui peuvent fournir une description assez complète de l'environnement du robot. Dans cette th'ese, nous avons l'intention d'utiliser les informations fournies par les caméras et les micros de robot humano ̈ıde Nao de d ́evelopper des applications qui permettent une interaction homme-robot. Avec l'information visuelle deux algorithmes diff ́erents st ́er ́eo, qui serviront de base pour concevoir d'autres applications, sont pr ́esent ́es. La premi'ere utilise des in- formations provenant framse temporelle diff ́erente de surmonter certains prob- lmes avec les r ́egions sans texture, tandis que la deuxi'eme chaˆıne hi-fi et le flux optique sont recherch ́ees en mˆeme temps afin d'avoir plus d'informations sur la sc'ene. Dans les vecteurs de b ́eton, de position et de vitesse pour chaque pixel. Est le dernier algorithme que le descripteur est con ̧cu pour la reconnaissance d'actions avec des donn ́ees st ́er ́eo. Le but de cela est de tirer parti de l'information suppl ́ementaire qui peut fournir l'st ́er ́eo comme en face de traditionnels algo- rithmes monoculaires qui existent 'a ce jour. Pour compl ́eter et am ́eliorer le taux de reconnaissance moyen de la reconnaissance d'actions, l'information auditive est ́egalement utilis ́e. Il est bien connu que les donn ́ees provenant visuelle et capteurs auditifs est compl ́ementaire et peut aider dans des situations ou' des objets sont cach ́e ou ne sont tout simplement pas l'a. Enfin, une derni'ere application vers une meilleure interaction entre l'humain et le robot est un d ́etecteur de haut-parleur. en ce cas, les donn ́ees des deux modalit ́es est ́egalement utilis ́e, mais il en diff'ere sur la mani'ere dont les informations sont combin ́ees, ainsi que les informations extraites de capteurs visuels et auditifs. Presque la totalit ́e des applications sont mises en œuvre et ex ́ecuter en robot humano ̈ıde NAO.

Les dernières décennies ont vu le développement important de la chirurgie mini-invasive. L'acte mini-invasif apporte de nombreux avantages pour les patients: séjour plus court à l'hôpital, réduction des coûts, un traumatisme réduit et la diminution des complications postopératoires. Dans ce contexte, l'assistance robotique est capable de rendre l'acte chirurgical plus intuitif et plus sûr pour les chirurgiens. Dans le domaine de la chirurgie cardiaque mini-invasive, les mouvements respiratoires et cardiaques sont deux sources de perturbations importantes pour les chirurgiens. Malgré l'existence de versions miniaturisées de stabilisateurs cardiaques mécaniques, le mouvement résiduel est encore considérable et doit être manuellement compensé par le chirurgien. Dans ces travaux de thèse, des techniques de suivi visuel pour l'estimation du mouvement 3D du coeur ont été développées. Pour la compensation active des mouvements physiologiques, seules les structures naturelles sur la surface du coeur sont utilisées. Deux contributions dans le domaine de la compensation des mouvements physiologiques pour la chirurgie cardiaque robotisée ont été proposées. La première est une méthode de suivi visuel 3D basée sur un modèle déformable de type ''plaque mince'' et une paramétrisation efficace pour le suivi 3D en images stéréo-endoscopiques. La seconde contribution est une méthode de suivi robuste qui prédit le mouvement futur du coeur pour contourner des problèmes comme les occlusions par les instruments chirurgicaux et les éventuelles réflexions spéculaires. La méthode de prédiction est basée sur une série de Fourier estimée à travers un filtre de Kalman étendu.

L'objectif général de cette thèse est d'appliquer une méthode d'optimisation polynomiale basée sur la théorie des moments à certains problèmes de vision artificielle. Ces problèmes sont en général non convexes et classiquement résolus à l'aide de méthodes d'optimisation locale. Ces techniques ne convergent généralement pas vers le minimum global et nécessitent de fournir une estimée initiale proche de la solution exacte. Les méthodes d'optimisation globale permettent d'éviter ces inconvénients. L'optimisation polynomiale basée sur la théorie des moments présente en outre l'avantage de prendre en compte des contraintes. Dans cette thèse nous étendrons cette méthode aux problèmes de minimisation d'une somme d'un grand nombre de fractions rationnelles. De plus, sous certaines hypothèses de "faible couplage" ou de "parcimonie" des variables du problème, nous montrerons qu'il est possible de considérer un nombre important de variables tout en conservant des temps de calcul raisonnables. Enfin nous appliquerons les méthodes proposées aux problèmes de vision par ordinateur suivants : minimisation des distorsions projectives induites par le processus de rectification d'images, estimation de la matrice fondamentale, reconstruction 3D multi-vues avec et sans distorsions radiales.

Les séquences de maillages sont de plus en plus utilisées. Cette augmentation des besoins entraîne un développement des méthodes de génération de séquences de maillages. Ces méthodes de générations peuvent produire des séquences de maillages de natures différentes. Le nombre d'applications utilisant ces séquences s'est également accru, avec par exemple la compression et le transfert de pose. Ces applications nécessitent souvent de calculer une partition de la séquence. Dans cette thèse, nous nous intéressons plus particulièrement à la segmentation en composantes rigides de séquences de maillages. Dans un premier temps, nous formalisons la notion de séquence de maillages et proposons donc une classification permettant de désigner quelles sont les propriétés attachées à un type de séquence, et ainsi de décrire précisément quel type de séquence est nécessaire pour une application donnée. Dans un second temps, nous formalisons la notion de segmentation de séquence de maillages, et présentons également l'état de l'art des méthodes de segmentation sur les séquences de maillages. Ensuite, nous proposons une première méthode de type globale pour les séquences stables de maillages, fondée sur la fusion de régions. Par la suite, nous présentons deux autres méthodes, reposant sur la classification spectrale. La première, produit un ensemble de segmentations globales, tandis que la seconde génère une segmentation globale ou une segmentation temporellement variable. Nous mettons également en place un système d'évaluation quantitative des segmentations. Enfin, nous présentons les différentes perspectives liées à la segmentation.

L'augmentation des bandes passantes a modifié la conception des standards d'images. Il est désormais intéressant de définir des standards offrant une large gamme de services, quitte à ce qu'ils soient moins performants en compression. Mes travaux consistent à transposer dans le domaine compressé les techniques de description locale utilisées dans de nombreuses applications visuelles. La compression scalable et la description requièrent toutes deux la transformation préalable de l'image dans un espace-échelle. Néanmoins les transformées à échantillonnage critique comme celles utilisées dans le standard JPEG2000 sont fortement variantes aux similitudes et donc inadaptées au problème de description. Des représentations redondantes sont donc investiguées. Parmi celles-ci, les représentations directionnelles sont d'un intérêt particulier car permettent la transposition du descripteur SIFT, faisant aujourd'hui référence. La robustesse du descripteur est évaluée en fonction du niveau de compression. La méthode est validée dans un schéma de détection automatique de copies dans le domaine compressé

Les systèmes multi-caméras permettent de nos jours d'obtenir à la fois des flux d'images couleur mais aussi des flux de modèles 3D. Ils permettent ainsi l'étude de scènes complexes à la fois de par les éléments qui la composent mais aussi de par les mouvements et les déformations que subissent ces éléments au fil du temps. Une des principales limitations de ces données est le manque de cohérence temporelle entre les observations obtenues à deux instants de temps successifs. Les travaux présentés dans cette thèse proposent des pistes pour retrouver cette cohérence temporelle. Dans un premier temps nous nous sommes penchés sur le problème de l'estimation de champs de déplacement denses à la surface des objets de la scène. L'approche que nous proposons permet de combiner efficacement des informations photométriques provenant des caméras avec des informations géométriques. Cette méthode a été étendue, par la suite, au cas de systèmes multi-caméras hybrides composés de capteurs couleurs et de profondeur (tel que le capteur kinect). Dans un second temps nous proposons une méthode nouvelle permettant l'apprentissage de la vraie topologie d'une scène dynamique au fil d'une séquence de données 4D (3D + temps). Ces travaux permettent de construire au fur et à mesure des observations un modèle de référence de plus en plus complet de la scène observée.

Dans ce manuscrit, nous nous intéressons à l'analyse visuelle du comportement humain à partir de l'information du regard. A l'inverse des caméras statiques et externes, nous adoptons un point de vue subjectif, ce qui permet de placer le contexte d'étude au centre de l'être humain et de ses interactions avec l'environnement. Pour atteindre cet objectif, nous avons développé un eye-tracker porté, ainsi que des outils d'analyse associés, en particulier la reconnaissance d'attention dans le cadre d'interactions sociales et la reconnaissance d'activités subjectives. Dans la première partie de cette thèse, nous présentons un eye-tracker binoculaire tête porté à partir duquel nous estimons le regard du sujet. Contrairement à la plupart des systèmes basés sur l'éclairage infrarouge, notre approche fonctionne en éclairage visible. Pour cela, nous nous inspirons des méthodes basées apparence qui, au lieu, d'extraire des caractéristiques géométriques (par exemple, la pupille), exploitent l'image de l'oeil dans sa globalité et elles permettent donc de prendre en compte toutes les caractéristiques de l'oeil. Pour apprendre la relation entre les caractéristiques d'apparence et les coordonnées du point de regard dans l'image de la caméra scène, deux modèles de régression sont comparés : le Support Vector Regression et le Relevance Vector Regression. Nous proposons, ensuite, une nouvelle méthode de reconnaissance d'attention en vue subjective. Le regard subjectif est obtenu à l'aide de notre eye-tracker, tandis que le regard d'autrui est construit à partir de l'estimation de l'orientation de la tête par régression à noyaux multiples localisés. En combinant ces deux types de regard, nous calculons alors des scores d'attention qui permettent d'identifier des motifs attentionnels dyadiques tels que le regard mutuel, mais aussi des motifs d'ordre supérieur émanant de la nature triadique de notre expérience. Notre outil final d'analyse concerne la reconnaissance d'activités basée sur le regard et l'égo-mouvement. Ces mouvements sont quantifiés en fonction de leur direction et de leur amplitude et encodés sous forme de symboles. Des caractéristiques statistiques sont alors extraites via un codage multi-échelle et un partitionnement temporel. Pour la classification et la segmentation d'activités, nous décrivons une approche par apprentissage contextuel en intégrant des scores de prédiction d'un voisinage à longue portée. Une étude détaillée permet également de comprendre quelles caractéristiques jouent un rôle prédominant dans la représentation d'une activité.