Cette thèse porte sur le problème de la navigation basée sur la vision pour les robots mobiles dans les environnements intérieurs. Plus récemment, de nombreux travaux ont été réalisés pour résoudre la navigation à l'aide d'un chemin visuel, à savoir la navigation basée sur l'apparence. Cependant, en utilisant ce schéma, le mouvement du robot est limité au chemin visuel d'entrainement. Le risque de collision pendant le processus de navigation peut faire écarter le robot de la trajectoire visuelle courante, pour laquelle les repères visuels peuvent être perdus. Dans l'état de nos connaissances, les travaux envisagent rarement l'évitement des collisions et la perte de repère dans le cadre de la navigation basée sur l'apparence. Nous présentons un cadre mobile de navigation pour le robot afin de renforcer la capacité de la méthode basée sur l'apparence, notamment en cas d'évitement de collision et de contraintes de champ de vision. Notre cadre introduit plusieurs contributions techniques. Tout d'abord, les contraintes de mouvement sont considérés dans la détection de repère visuel pour améliorer la performance de détection. Ensuite, nous modélisons l'obstacle en utilisant B-Spline. La représentation de B-Spline n'a pas de régions accidentées et peut générer un mouvement fluide pour la tâche d'évitement de collision. En outre, nous proposons une stratégie de contrôle basée sur la vision, qui peut gérer la perte complète de la cible. Enfin, nous utilisons l'image sphérique pour traiter le cas des projections d'ambiguité et d'infini dus à la projection en perspective. Les véritables expériences démontrent la faisabilité et l'efficacité de notre cadre et de nos méthodes. / This thesis is concerned with the problem of vision-based navigation for mobile robots in indoor environments. Many works have been carried out to solve the navigation using a visual path, namely appearance-based navigation. However, using this scheme, the robot motion is limited to the trained visual path. The potential collision during the navigation process can make robot deviate from the current visual path, in which the visual landmarks can be lost in the current field of view. To the best of our knowledge, seldom works consider collision avoidance and landmark loss in the framework of appearance-based navigation. We outline a mobile robot navigation framework in order to enhance the capability of appearance-based method, especially in case of collision avoidance and field-of-view constraints. Our framework introduces several technical contributions. First of all, the motion constraints are considered into the visual landmark detection to improve the detection performance. Next then, we model the obstacle boundary using B-Spline. The B-Spline representation has no accidented regions and can generate a smooth motion for the collision avoidance task. Additionally, we propose a vision-based control strategy, which can deal with the complete target loss. Finally, we use spherical image to handle the case of ambiguity and infinity projections due to perspective projection. The real experiments demonstrate the feasability and the effectiveness of our framework and methods.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Largement poussés par l'industrie vidéoludique, la recherche et le développement d'outils matériels destinés à la génération d'images de synthèse, tels les cartes graphiques (ou GPU, Graphics Processing Units), ont connu un essor formidable ces dernières années. L'augmentation de puissance et de

La mise en correspondance stéréoscopique est un des principaux problèmes de la vi- sion par ordinateur. Elle consiste à trouver dans deux images d'une même scène, prises à des positions différentes, les couples de pixels qui sont les projections d'un même point de la scène. Durant ces vingt dernières années, de nombreuses méthodes locales et globales ont été proposées pour résoudre ce problème. Plus récemment, grâce à un pro- tocole d'évaluation de référence dans la communauté, une catégorie de méthodes fondées sur les régions a montré des performances intéressantes dans le cadre de la stéréovision binoculaire dite " small-baseline " (dont les images sont prises à des positions proches). Une contribution de ce travail porte sur un type particulier de méthode locale appelé propagation de germes. La zone de recherche des correspondants est réduite aux voisinages d'appariements fiables appelés germes, en faisant l'hypothèse que, généralement, deux pixels voisins ont des correspondants proches. Cela permet de réduire les temps de calculs et d'éviter certaines ambiguïtés. Cependant, le succès de ce type de méthode est fortement dépendant du choix de ces germes. Dans ce mémoire, nous proposons une étude de l'étape de sélection des germes. Nous nous concentrons sur la mise en correspondance de points d'intérêt. Il s'agit de points de l'image ayant des caractéristiques intéressantes pour une application donnée. Dans notre cas, nous avons besoin de pixels qui peuvent être mis en correspondance de manière sûre. Nous comparons quatorze détecteurs bien connus associés à cinq mesures de corrélation. Certaines de ces mesures sont conçues pour être robustes à un des principaux problèmes de la mise en correspondance stéréoscopique : les ruptures de profondeur. En outre, cette étude donne des conseils sur la manière de choisir les paramètres des différentes méthodes afin de trouver les meilleurs germes possibles selon des critères donnés. Ensuite, ces germes sont utilisés avec deux approches de propagation et les résultats sont évalués. Une autre contribution porte sur une nouvelle approche de mise en correspondance sté- réoscopique dense fondée sur les régions. Différentes segmentations couleur sont utilisées. Ensuite, plusieurs instances d'un modèle de surface sont calculées pour les différentes ré- gions selon des disparités initiales tirées au sort. Pour chaque pixel, chaque instance donne une disparité qui est considérée comme un vote. Finalement, la disparité qui reçoit le plus de voix est sélectionnée comme disparité finale. Cette approche est relativement simple à implémenter et s'avère efficace en donnant des résultats compétitifs vis-à-vis de l'état de l'art.

Les techniques habituelles d'indexation de vidéos passent généralement par une phase d'apprentissage qui nécessite préalablement la constitution d'une base d'apprentissage. Même si la taille de cette base est souvent réduite, la phase d'annotation réalisée par un expert de l'application est souvent longue et fastidieuse. Dans le cadre de cette thèse, nous avons développé un dispositif qui permet de pré-sélectionner un ensemble de prototypes susceptibles de contenir le concept qui doit apparaître dans la base d'apprentissage. Cette base réduite de prototypes sera ensuite annotée par l'expert. Nous nous sommes intéressés à des concepts temporels, ce qui nous a amené à étudier particulièrement des caractéristiques liées au mouvement, comme les points d'intérêt spatio-temporels (STIP Spatial Temporal Interest Points). D'autres caractéristiques ont aussi été utilisées concernant la couleur et la présence de formes particulières. Ces caractéristiques sont ensuite exploitées pour structurer la base de vidéos en briques spatio-temporelles homogènes. Cette structuration correspond à une sorte de segmentation de la base en fonction de chacune des caractéristiques. La liaison entre le concept à définir et les briques extraites de la base est en lien avec le fossé sémantique bien connu dans la problématique d'indexation automatique. La création de ce lien nécessite l'utilisation de la connaissance de l'expert de l'application sur le concept. Nous avons développé un système dans lequel cette connaissance est extraite par un système de questions/réponses. Les couples de questions/réponses permettent de sélectionner des briques répondant à la contrainte, de définir des relations entre certaines briques, et en- fin de naviguer dans l'arborescence des questions. Des tests ont été réalisés sur des bases de vidéos de provenances diverses telles que des vidéos provenant d'émissions de télévision, de films d'animation, ou encore des vidéos de laboratoire disponibles sur le net, ou réalisées par nos soins. Ces tests montrent les performances satisfaisantes mais aussi les limites de l'approche et ouvrent des perspectives intéressantes, particulièrement sur les aspects collaboratifs et les aspects adaptatifs qui permettraient de capitaliser les connaissances des experts applicatifs et rendraient le système plus efficient.

Soutenue par les progrès récents et rapides des techniques d'acquisition 3D, la reconnaissance d'objets 3D a suscité de nombreux efforts de recherche durant ces dernières années. Cependant, il reste à résoudre dans ce domaine plusieurs problématiques liées à la grande quantité d'information, à l'invariance à l'échelle et à l'angle de vue, aux occlusions et à la robustesse au bruit.Dans ce contexte, notre objectif est de reconnaitre un objet 3D isolé donné dans une vue requête, à partir d'une base d'apprentissage contenant quelques vues de cet objet. Notre idée est de formuler une méthodologie locale qui combine des aspects d'approches existantes et apporte une amélioration sur la performance de la reconnaissance.Nous avons opté pour une méthode par points d'intérêt (PIs) fondée sur des mesures de la variation locale de la forme. Notre sélection de points saillants est basée sur la combinaison de deux espaces de classification de surfaces : l'espace SC (indice de forme- intensité de courbure), et l'espace HK (courbure moyenne-courbure gaussienne).Dans la phase de description de l'ensemble des points extraits, nous proposons une signature d'histogrammes, qui joint une information sur la relation entre la normale du point référence et les normales des points voisins, avec une information sur les valeurs de l'indice de forme de ce voisinage. Les expérimentations menées ont permis d'évaluer quantitativement la stabilité et la robustesse de ces nouveaux détecteurs et descripteurs.Finalement nous évaluons, sur plusieurs bases publiques d'objets 3D, le taux de reconnaissance atteint par notre méthode, qui montre des performances supérieures aux techniques existantes.

Soutenue par les progrès récents et rapides des techniques d'acquisition 3D, la reconnaissance d'objets 3D a suscité de nombreux efforts de recherche durant ces dernières années. Cependant, il reste à résoudre dans ce domaine plusieurs problématiques liées à la grande quantité d'information, à l'invariance à l'échelle et à l'angle de vue, aux occlusions et à la robustesse au bruit.Dans ce contexte, notre objectif est de reconnaitre un objet 3D isolé donné dans une vue requête, à partir d'une base d'apprentissage contenant quelques vues de cet objet. Notre idée est de formuler une méthodologie locale qui combine des aspects d'approches existantes et apporte une amélioration sur la performance de la reconnaissance.Nous avons opté pour une méthode par points d'intérêt (PIs) fondée sur des mesures de la variation locale de la forme. Notre sélection de points saillants est basée sur la combinaison de deux espaces de classification de surfaces : l'espace SC (indice de forme- intensité de courbure), et l'espace HK (courbure moyenne-courbure gaussienne).Dans la phase de description de l'ensemble des points extraits, nous proposons une signature d'histogrammes, qui joint une information sur la relation entre la normale du point référence et les normales des points voisins, avec une information sur les valeurs de l'indice de forme de ce voisinage. Les expérimentations menées ont permis d'évaluer quantitativement la stabilité et la robustesse de ces nouveaux détecteurs et descripteurs.Finalement nous évaluons, sur plusieurs bases publiques d'objets 3D, le taux de reconnaissance atteint par notre méthode, qui montre des performances supérieures aux techniques existantes. / There has been strong research interest in 3D object recognition over the last decade, due to the promising reliability of the 3D acquisition techniques. 3D recognition, however, conveys several issues related to the amount of information, to scales and viewpoints variation, to occlusions and to noise.In this context, our objective is to recognize an isolated object given in a request view, from a training database containing some views of this object. Our idea is to propose a local method that combines some existent approaches in order to improve recognition performance.We opted for an interest points (IPs) method based on local shape variation measures. Our selection of salient points is done by the combination of two surface classification spaces: the SC space (Shape Index-Curvedness), and the HK space (Mean curvature- Gaussian curvature).In description phase of the extracted set of points, we propose a histogram based signature, in which we join information about the relationship between the reference point normal and normals of its neighbors, with information about the shape index values of this neighborhood. Performed experiments allowed us to evaluate quantitatively the stability and the robustness of the new proposed detectors and descriptors.Finally we evaluate, on several public 3D objects databases, the recognition rate attained by our method, which outperforms existing techniques on same databases.

Les techniques habituelles d'indexation de vidéos passent généralement par une phase d'apprentissage qui nécessite préalablement la constitution d'une base d'apprentissage. Même si la taille de cette base est souvent réduite, la phase d'annotation réalisée par un expert de l'application est souvent longue et fastidieuse. Dans le cadre de cette thèse, nous avons développé un dispositif qui permet de pré-sélectionner un ensemble de prototypes susceptibles de contenir le concept qui doit apparaître dans la base d'apprentissage. Cette base réduite de prototypes sera ensuite annotée par l'expert. Nous nous sommes intéressés à des concepts temporels, ce qui nous a amené à étudier particulièrement des caractéristiques liées au mouvement, comme les points d'intérêt spatio-temporels (STIP Spatial Temporal Interest Points). D'autres caractéristiques ont aussi été utilisées concernant la couleur et la présence de formes particulières. Ces caractéristiques sont ensuite exploitées pour structurer la base de vidéos en briques spatio-temporelles homogènes. Cette structuration correspond à une sorte de segmentation de la base en fonction de chacune des caractéristiques. La liaison entre le concept à définir et les briques extraites de la base est en lien avec le fossé sémantique bien connu dans la problématique d'indexation automatique. La création de ce lien nécessite l'utilisation de la connaissance de l'expert de l'application sur le concept. Nous avons développé un système dans lequel cette connaissance est extraite par un système de questions/réponses. Les couples de questions/réponses permettent de sélectionner des briques répondant à la contrainte, de définir des relations entre certaines briques, et enfin de naviguer dans l'arborescence des questions. Des tests ont été réalisés sur des bases de vidéos de provenances diverses telles que des vidéos provenant d'émissions de télévision, de films d'animation, ou encore des vidéos de laboratoire disponibles sur le net, ou réalisées par nos soins. Ces tests montrent les performances satisfaisantes mais aussi les limites de l'approche et ouvrent des perspectives intéressantes, particulièrement sur les aspects collaboratifs et les aspects adaptatifs qui permettraient de capitaliser les connaissances des experts applicatifs et rendraient le système plus efficient. / The usual techniques of video indexing generally go through a learning phase that requires the prior establishment of a training database. Even if the size of the database is often reduced, the annotation phase by an expert of the application is often long and tedious. In this thesis, we developed a system that allows pre-selecting a set of prototypes that can contain the concept that must appear in the training set. This reduced base of prototypes will then be annotated by the expert. We are interested in time concepts, which led us to study particular features related to movement, such as Spatial Temporal Interest Points (STIP). Other features have also been used concerning the color and the presence of particular shapes. These characteristics are then used to structure the video database in homogeneous space-time blocks. This structure corresponds to segmentation related to each characteristic. The link between the concept to define and blocks extracted from the base corresponds to the well known problem of automatic indexing, the semantic gap. The definition of this link requires the introduction of the application expert's knowledge. We developed a system in which this knowledge is extracted by a questions/answers system. The couples of questions/answers allow the system to select blocks corresponding to the constraint, to define relationships between some blocks, and finally to navigate on the questions/answers tree. Tests were performed on video databases from various sources such as videos from tele- vision shows, animated films, laboratory videos available on the net, or made by us. These tests show the satisfying performances but also the limitations of the approach and open interesting perspectives, particularly on the collaborative and adaptive aspects that would capitalize in the application expert knowledge and would make the system more efficient.

Dans cette thèse, nous abordons le problème SLAM pour des robots évoluant en 3D dans de grands environnements, en utilisant la stéréovision. Une implémentation complète des différentes fonctionnalités nécessaires a été conçue, développée et expérimentée dans différents contextes. La première partie de la thèse traite du problème d'association des données :elle présente un algorithme de mise en correspondance de points d'intérêt détectés dans les images, qui est robuste par rapport au bruit et aux changements de point de vue. La deuxième partie de la thèse est dédiée au développement d'une approche du problème SLAM basée sur le filtrage de Kalman. Les amers sont les points d'intérêt détectés dans les images, dont les coordonnées 3D sont fournies par la stéréovision. La dernière partie de la thèse présente et analyse des résultats obtenus dans différents contextes~: sur des trajectoires de plusieurs centaines de mètres effectuées par un ballon dirigeable évoluant à faible altitude, avec un robot évoluant en environnement naturel non structuré, et avec un robot évoluant en environnements intérieurs. Lorsque la trajectoire ``ferme une boucle'', une méthode rapide de correction de l'estimée des différentes positions par lesquelles le robot est passé permet de reconstruire un modèle numérique du terrain.

Avec le développement de la vidéo-protection, le nombre de caméras déployées augmente rapidement. Pour exploiter efficacement ces vidéos, il est indispensable de concevoir des outils d'aide à la surveillance qui automatisent au moins partiellement leur analyse. Un des problèmes difficiles est le suivi de personnes dans un grand espace (métro, centre commercial, aéroport, etc.) couvert par un réseau de caméras sans recouvrement. Dans cette thèse nous proposons et expérimentons une nouvelle méthode pour la ré-identification de piétons entre caméras disjointes. Notre technique est fondée sur la détection et l'accumulation de points d'intérêt caractérisés par un descripteur local. D'abord, on propose puis évalue une méthode utilisant les points d'intérêts pour la modélisation de scène, puis la détection d'objets mobiles. Ensuite, la ré-identification des personnes se fait en collectant un ensemble de points d'intérêt durant une fenêtre temporelle, puis en cherchant pour chacun d'eux leur correspondant le plus similaire parmi tous les descripteurs enregistrés précédemment, et stockés dans un KD-tree. Enfin, nous proposons et testons des pistes d'amélioration, en particulier pour la sélection automatique des instants ou des points d'intérêt, afin d'obtenir pour chaque individu un ensemble de points qui soient à la fois les plus variés possibles, et les plus discriminants par rapport aux autres personnes. Les performances de ré-identification de notre algorithme, environ 95% d'identification correcte au premier rang parmi 40 personnes, dépassent l'état de l'art, ainsi que celles obtenues dans nos comparaisons avec d'autres descripteurs (histogramme de couleur, HOG, SIFT).