Optel Vision est une compagnie produisant des systèmes d'inspection par vision artificielle pour l'industrie pharmaceutique, nutraceutique et cosmétique. Ces systèmes possèdent une architecture matérielle et logicielle interagissant ensemble. Les algorithmes de vision sont une librairie faisant partie de l'ensemble logiciel. Cette dernière contient l'ensemble des structures et des algorithmes de vision construits à l'interne se nommant VisionLib. Cette librarie possède déjà quelques années et son architecture limite maintenant le développement de certaines spécifications importantes ainsi que de nouvelles applications que l'entreprise aimerait ajouter à son porte-folio. Ce mémoire présentera l'approche utilisée afin de créer la nouvelle architecture de la librairie de vision en optimisant la parallélisation des algorithmes de manière automatique, en développement en système plus ouvert et facilement configurable, en facilitant le débogage interne, et finalement en minimisant le temps de développement d'une nouvelle analyse vision

L'objectif du projet est d'estimer en temps réel la composition de l'alimentation des circuits de broyage. La connaissance de cette composition permettrait d'estimer la résistance au broyage de l'alimentation en se basant sur la résistance au broyage de chacun des minerais présents. La méthodologie proposée utilise la vision numérique. Les couleurs et les textures des surfaces des minerais sont analysés. Pour ce faire, les techniques d'analyse d'images multivarié et d'analyse de texture par ondelettes sont utilisées avec l'analyse discriminante par projection sur les structures latentes et la classification par machines à vecteurs supports. Ces techniques permettent une bonne estimation de la tendance de la composition de l'alimentation pour des minerais secs et humides. Il est alors possible de donner une estimation en temps réel de la fraction des minerais de faible dureté, de dureté moyenne et finalement, des minerais durs. Cette estimation peut être utilisée pour l'optimisation des performances des circuits de broyage. / The objective of this project is to provide on-line estimation of mill feed composition on conveyor belt. Knowing the proportion of the various ore types encountered in the mine, one can compute the hardness of the mixture based on individual rock type hardness measures. From digital images, colour and textural features are extracted from ore surfaces. These features are extracted using multivariate image analysis and wavelet texture analysis and composition is estimated by classification of these features using partial least squares discriminant analysis and support vector machines. The proposed methodology provides good estimation of the composition for dry and wet ores. On-line estimation of the composition of soft, medium or hard ores should help increase mill performances.

Analyse de la forme 3D est un sujet de recherche extrêmement actif dans les deux l'infographie et vision par ordinateur. Dans la vision par ordinateur, l'acquisition de formes et de modélisation 3D sont généralement le résultat du traitement des données complexes et des méthodes d'analyse de données. Il existe de nombreuses situations concrètes où une forme visuelle est modélisé par un nuage de points observés avec une variété de capteurs 2D et 3D. Contrairement aux données graphiques, les données sensorielles ne sont pas, dans le cas général, uniformément répartie sur toute la surface des objets observés et ils sont souvent corrompus par le bruit du capteur, les valeurs aberrantes, les propriétés de surface (diffusion, spécularités, couleur, etc), l'auto occlusions, les conditions d'éclairage variables. Par ailleurs, le même objet que l'on observe par différents capteurs, à partir de points de vue légèrement différents, ou à des moments différents cas peuvent donner la répartition des points tout à fait différentes, des niveaux de bruit et, plus particulièrement, les différences topologiques, par exemple, la fusion des mains. Dans cette thèse, nous présentons une représentation de multi-échelle des formes articulés et concevoir de nouvelles méthodes d'analyse de forme, en gardant à l'esprit les défis posés par les données de forme visuelle. En particulier, nous analysons en détail le cadre de diffusion de chaleur pour représentation multi-échelle de formes 3D et proposer des solutions pour la segmentation et d'enregistrement en utilisant les méthodes spectrales graphique et divers algorithmes d'apprentissage automatique, à savoir, le modèle de mélange gaussien (GMM) et le Espérance-Maximisation (EM). Nous présentons d'abord l'arrière-plan mathématique sur la géométrie différentielle et l'isomorphisme graphique suivie par l'introduction de la représentation spectrale de formes 3D articulés. Ensuite, nous présentons une nouvelle méthode non supervisée pour la segmentation de la forme 3D par l'analyse des vecteurs propres Laplacien de graphe. Nous décrivons ensuite une solution semi-supervisé pour la segmentation de forme basée sur un nouveau paradigme d'apprendre, d'aligner et de transférer. Ensuite, nous étendre la représentation de forme 3D à une configuration multi-échelle en décrivant le noyau de la chaleur cadre. Enfin, nous présentons une méthode d'appariement dense grâce à la représentation multi-échelle de la chaleur du noyau qui peut gérer les changements topologiques dans des formes visuelles et de conclure par une discussion détaillée et l'orientation future des travaux.

Dans une première partie, j'illustrerai quelques uns de mes travaux en visio n par ordinateur et traitement d'images. Ceux-ci portent notamment sur la géométrie multi-vues, l'utilisation du raisonnement géométrique pour intégrer des contraintes sur la scène, l'appariement et la segmentation d'images. Sans forcément rentrer dans les détails, j'exposerai les idées fondamentales qui sous-tendent ces travaux qui ont maintenant quelques années et proposerai quelques perspectives sur des extensions possibles. Une deuxième partie abordera certains problèmes liés à l'électro- et la magnéto-encéphalographie M/EEG, sujet auquel je me suis intéressé plus récemment. Je décrirai en particulier un algorithme de détection d'événements d'intérêts en essai par essai ainsi que certaines techniques que nous avons développé pour la modélisation du problème direct M/EEG. Comme pour la première partie, je tenterai de proposer quelques unes des évolutions possibles autour de cette thématique.

Les dernières décennies ont vu le développement important de la chirurgie mini-invasive. L'acte mini-invasif apporte de nombreux avantages pour les patients: séjour plus court à l'hôpital, réduction des coûts, un traumatisme réduit et la diminution des complications postopératoires. Dans ce contexte, l'assistance robotique est capable de rendre l'acte chirurgical plus intuitif et plus sûr pour les chirurgiens. Dans le domaine de la chirurgie cardiaque mini-invasive, les mouvements respiratoires et cardiaques sont deux sources de perturbations importantes pour les chirurgiens. Malgré l'existence de versions miniaturisées de stabilisateurs cardiaques mécaniques, le mouvement résiduel est encore considérable et doit être manuellement compensé par le chirurgien. Dans ces travaux de thèse, des techniques de suivi visuel pour l'estimation du mouvement 3D du coeur ont été développées. Pour la compensation active des mouvements physiologiques, seules les structures naturelles sur la surface du coeur sont utilisées. Deux contributions dans le domaine de la compensation des mouvements physiologiques pour la chirurgie cardiaque robotisée ont été proposées. La première est une méthode de suivi visuel 3D basée sur un modèle déformable de type ''plaque mince'' et une paramétrisation efficace pour le suivi 3D en images stéréo-endoscopiques. La seconde contribution est une méthode de suivi robuste qui prédit le mouvement futur du coeur pour contourner des problèmes comme les occlusions par les instruments chirurgicaux et les éventuelles réflexions spéculaires. La méthode de prédiction est basée sur une série de Fourier estimée à travers un filtre de Kalman étendu.

Les systèmes multi-caméras permettent de nos jours d'obtenir à la fois des flux d'images couleur mais aussi des flux de modèles 3D. Ils permettent ainsi l'étude de scènes complexes à la fois de par les éléments qui la composent mais aussi de par les mouvements et les déformations que subissent ces éléments au fil du temps. Une des principales limitations de ces données est le manque de cohérence temporelle entre les observations obtenues à deux instants de temps successifs. Les travaux présentés dans cette thèse proposent des pistes pour retrouver cette cohérence temporelle. Dans un premier temps nous nous sommes penchés sur le problème de l'estimation de champs de déplacement denses à la surface des objets de la scène. L'approche que nous proposons permet de combiner efficacement des informations photométriques provenant des caméras avec des informations géométriques. Cette méthode a été étendue, par la suite, au cas de systèmes multi-caméras hybrides composés de capteurs couleurs et de profondeur (tel que le capteur kinect). Dans un second temps nous proposons une méthode nouvelle permettant l'apprentissage de la vraie topologie d'une scène dynamique au fil d'une séquence de données 4D (3D + temps). Ces travaux permettent de construire au fur et à mesure des observations un modèle de référence de plus en plus complet de la scène observée.

Nous présentons une approche de rendu à base d'images qui permet, à partir de photos, de naviguer librement et générer des points de vue quelconques dans des scènes urbaines. Les approches précédentes se basent sur un modèle géométrique complet et précis de la scène. La qualité des résultats produits par ces méthodes se dégrade lorsque la géométrie est approximative. Dans cette thèse, nous proposons une approximation basée sur l'image pour compenser le manque de précision de la géométrie. Dans une première approche, nous utilisons une déformation discontinue des photos guidée par des cartes de profondeur quasi-denses, ce qui produit de meilleurs résultats que le plaquage de texture utilisé par les méthodes précédentes, en particulier lorsque la géométrie est imprécise. Cette approche nécessite quelques indications utilisateur pour identifier les bordures d'occlusion dans les photos. Nous proposons ensuite une méthode entièrement automatique basée sur la même idée de déformation d'image. Cette méthode permet de traiter des scènes plus complexes avec un plus grand nombre de photos. Nous évitons l'intervention utilisateur en sur-segmentant les images d'entrées pour former des superpixels. Nous déformons chaque superpixel indépendamment en utilisant l'information de profondeur clairsemée. Nous proposons également un algorithme de synthèse de profondeur approximative pour traiter les zones de l'image où la géométrie n'est pas disponible. Nous comparons nos résultats à de nombreuses approches récentes et montrons que notre méthode permet une navigation virtuelle libre. Nous avons aussi étudié les défauts du rendu à base d'images d'un point de vue perceptif. Dans une première études controlées, nous avons évalué la perception des distorsions de perspective produites lorsqu'une seule image est projetée sur une géométrie planaire. Les données obtenues lors de cette étude nous ont permis de développer un modèle quantitatif permettant de prédire les distorsions perçues en fonction des paramètres de capture et de visualisation. Dans une autre étude nous comparons les défauts visuels produits par des transitions d'images douces ou abruptes. Nous avons déduit de cette étude des conseils pour choisir le meilleur compromis entre les deux types de transition. Ces deux études ont motivé des choix de conception de nos algorithmes de rendu à base d'images. Enfin, nous démontrons l'utilisation de notre approche pour la thérapie cognitive, ce qui représente la première application de réalité virtuelle à base d'images. Notre méthode permet de réduire considérablement le coût de modélisation 3D d'une scène de réalité virtuelle tout en produisant des visites virtuelles très réalistes.

Cette thèse présente un système prototype de vision par ordinateur pour la reconnaissance des gestes dans l'’interaction entre le pianiste et l'’instrument. La vision par ordinateur est la seule technologie permettant la reconnaissance des gestes, sans interférence entre le pianiste et son instrument, et à un faible coût. Le système propose deux approches pour la reconnaissance : a) l'’approche statique, ou reconnaissance des doigtés, et b) l’'approche dynamique, extension de l’'approche statique. La reconnaissance statique s’'applique à chaque image de la vidéo. Elle repose sur l’'analyse et l'’interprétation des caractéristiques de l'’image, en les comparant avec le modèle déterministe du geste. La reconnaissance dynamique s'’applique à un ensemble de séquences d'’images vidéo. Elle se base sur l'’analyse et la modélisation stochastique du geste, à l'’aide de Modèles de Markov Cachés. Cette méthode peut être étendue à d’'autres champs d’'application tels que le suivi de personnes en perte d'’autonomie à domicile, la valorisation du patrimoine culturel, l'’étude du comportement humain ou encore l'’interaction homme-machine.

La complexité croissante de l'environnement routier et le souci d'amélioration de la sécurité routière expliquent l'intérêt que porte les constructeurs automobiles aux travaux sur l'aide à la conduite. De nombreux systèmes équipent déjà les véhicules de la rue. Alors que la perception de l'état du véhicule (vitesse, position, etc.) est maîtrisée, celle de l'environnement reste une tache difficile. <br />Parmi tous les capteurs susceptibles de percevoir la complexité d'un environnement urbain, la stéréo-vision offre à la fois des performances intéressantes, une spectre d'applications très larges (détection de piéton, suivi de véhicules, détection de ligne blanches, etc.) et un prix compétitif. Pour ces raisons, Renault s'attache à identifier et résoudre les problèmes liés à l'implantation d'un tel système dans un véhicule de série, notamment pour une application de suivi de véhicules. <br />La première problématique à maîtriser concerne le calibrage du système <br />stéréoscopique. En effet, pour que le système puisse fournir une mesure, ses paramètres doivent être correctement estimés, y compris sous des conditions extrêmes (forte températures, chocs, vibrations, ...). Nous présentons donc une méthodologie d'évaluation permettant de répondre aux interrogations sur les dégradations de performances du système en fonction du calibrage.<br />Le deuxième problème concerne la détection des obstacles. La méthode mis au point utilise d'une originale les propriétés des rectifications. Le résultat est une segmentation de la route et des obstacles. <br />La dernière problématique concerne la calcul de vitesse des obstacles. Une grande majorité des approches de la littérature approxime la vitesse d'un obstacle à partir de ses positions successives. Lors de ce calcul, l'accumulation des incertitudes rendent cette estimation extrêmement bruitée. Notre approche combine efficacement les atouts de la stéréo-vision et du flux optique afin d'obtenir directement une mesure de vitesse 3-D robuste et précise.

Ma thèse étudie le problème de la reconnaissance des objets et des textures. Dans ce cadre, il est nécessaire de construire des représentations de signaux avec des propriétés d'invariance et de stabilité qui ne sont pas satisfaites par des approches linéaires. Les opérateurs de Scattering itèrent des décompositions en ondelettes et rectifications avec des modules complexes. Ces opérateurs définissent une transformée non-linéaire avec des propriétés remarquables ; en particulier, elle est localement invariante par translation et Lipschitz continue par rapport à l'action des difféomorphismes. De plus, les opérateurs de Scattering définissent une représentation des processus stationnaires qui capture les moments d'ordre supérieur, et qui peut être estimée avec faible variance à partir d'un petit nombre de réalisations. Dans cette thèse, nous obtenons des nouvelles propriétés mathématiques de la représentation en scattering, et nous montrons leur efficacité pour la reconnaissance des objets et textures. Grâce à sa continuité Lipschitz par rapport à l'action des difféomorphismes, la transformée en scattering est capable de linéariser les petites déformations. Cette propriété peut être exploitée en pratique avec un classificateur génératif affine, qui nous permet d'obtenir l'état de l'art sur la reconnaissance des chiffres manuscrites. Nous étudions ensuite les représentations en Scattering des textures dans le cadre des images et du son. Nous montrons leur capacité à discriminer des phénomènes non-gaussiens avec des estimateurs à faible variance, ce qui nous permet d'obtenir de l'état de l'art pour la reconnaissance des textures. Finalement, nous nous intéressons aux propriétés du Scattering pour l'analyse multifractale. Nous introduisons une renormalisation des coéfficients en Scattering qui permet d'identifier de façon efficace plusieurs paramètres multifractales; en particulier, nous obtenons une nouvelle caractérisation de l'intermittence à partir des coefficients de Scattering ré-normalisés, qui peuvent s'estimer de façon consistante.