Le suivi d’objets est de plus en plus utilisé dans les applications de vision par ordinateur. Compte tenu des exigences des applications en termes de performance, du temps de traitement, de la consommation d’énergie et de la facilité du déploiement des systèmes de suivi, l’utilisation des architectures embarquées de calcul devient primordiale. Dans cette thèse, nous avons conçu un système de suivi d’objets pouvant fonctionner en temps réel sur une caméra intelligente de faible coût et de faible consommation équipée d’un processeur embarqué ayant une architecture légère en ressources de calcul. Le système a été étendu pour le suivi d’objets dans un réseau de caméras avec des champs de vision non-recouvrant. La chaîne algorithmique est composée d’un étage de détection basé sur la soustraction de fond et d’un étage de suivi utilisant un algorithme probabiliste Gaussian Mixture Probability Hypothesis Density (GMPHD). La méthode de soustraction de fond que nous avons proposée combine le résultat fournie par la méthode Zipfian Sigma-Delta avec l’information du gradient de l’image d’entrée dans le but d’assurer une bonne détection avec une faible complexité. Le résultat de soustraction est traité par un algorithme d’analyse des composantes connectées afin d’extraire les caractéristiques des objets en mouvement. Les caractéristiques constituent les observations d’une version améliorée du filtre GMPHD. En effet, le filtre GMPHD original ne traite pas les occultations se produisant entre les objets. Nous avons donc intégré deux modules dans le filtre GMPHD pour la gestion des occultations. Quand aucune occultation n’est détectée, les caractéristiques de mouvement des objets sont utilisées pour le suivi. Dans le cas d’une occultation, les caractéristiques d’apparence des objets, représentées par des histogrammes en niveau de gris sont sauvegardées et utilisées pour la ré-identification à la fin de l’occultation. Par la suite, la chaîne de suivi développée a été optimisée et implémentée sur une caméra intelligente embarquée composée de la carte Raspberry Pi version 1 et du module caméra RaspiCam. Les résultats obtenus montrent une qualité de suivi proche des méthodes de l’état de l’art et une cadence d’images de 15 − 30 fps sur la caméra intelligente selon la résolution des images. Dans la deuxième partie de la thèse, nous avons conçu un système distribué de suivi multi-objet pour un réseau de caméras avec des champs non recouvrants. Le système prend en considération que chaque caméra exécute un filtre GMPHD. Le système est basé sur une approche probabiliste qui modélise la correspondance entre les objets par une probabilité d’apparence et une probabilité spatio-temporelle. L’apparence d’un objet est représentée par un vecteur de m éléments qui peut être considéré comme un histogramme. La caractéristique spatio-temporelle est représentée par le temps de transition des objets et la probabilité de transition d’un objet d’une région d’entrée-sortie à une autre. Le temps de transition est modélisé par une loi normale dont la moyenne et la variance sont supposées être connues. L’aspect distribué de l’approche proposée assure un suivi avec peu de communication entre les noeuds du réseau. L’approche a été testée en simulation et sa complexité a été analysée. Les résultats obtenus sont prometteurs pour le fonctionnement de l’approche dans un réseau de caméras intelligentes réel. / Multi-object tracking constitutes a major step in several computer vision applications. The requirements of these applications in terms of performance, processing time, energy consumption and the ease of deployment of a visual tracking system, make the use of low power embedded platforms essential. In this thesis, we designed a multi-object tracking system that achieves real time processing on a low cost and a low power embedded smart camera. The tracking pipeline was extended to work in a network of cameras with nonoverlapping field of views. The tracking pipeline is composed of a detection module based on a background subtraction method and on a tracker using the probabilistic Gaussian Mixture Probability Hypothesis Density (GMPHD) filter. The background subtraction, we developed, is a combination of the segmentation resulted from the Zipfian Sigma-Delta method with the gradient of the input image. This combination allows reliable detection with low computing complexity. The output of the background subtraction is processed using a connected components analysis algorithm to extract the features of moving objects. The features are used as input to an improved version of GMPHD filter. Indeed, the original GMPHD do not manage occlusion problems. We integrated two new modules in GMPHD filter to handle occlusions between objects. If there are no occlusions, the motion feature of objects is used for tracking. When an occlusion is detected, the appearance features of the objects are saved to be used for re-identification at the end of the occlusion. The proposed tracking pipeline was optimized and implemented on an embedded smart camera composed of the Raspberry Pi version 1 board and the camera module RaspiCam. The results show that besides the low complexity of the pipeline, the tracking quality of our method is close to the stat of the art methods. A frame rate of 15 − 30 was achieved on the smart camera depending on the image resolution. In the second part of the thesis, we designed a distributed approach for multi-object tracking in a network of non-overlapping cameras. The approach was developed based on the fact that each camera in the network runs a GMPHD filter as a tracker. Our approach is based on a probabilistic formulation that models the correspondences between objects as an appearance probability and space-time probability. The appearance of an object is represented by a vector of m dimension, which can be considered as a histogram. The space-time features are represented by the transition time between two input-output regions in the network and the transition probability from a region to another. Transition time is modeled as a Gaussian distribution with known mean and covariance. The distributed aspect of the proposed approach allows a tracking over the network with few communications between the cameras. Several simulations were performed to validate the approach. The obtained results are promising for the use of this approach in a real network of smart cameras.

Les processus de plasticité cérébrale consécutifs à un déficit visuel survenu tardivement sont encore peu connus. En comprendre les mécanismes est pourtant essentiel à l'optimisation de méthodes de rééducation des sujets atteints, au développement de dispositifs visant à substituer l'information normalement apportée par la modalité déficiente, par celle d'une autre modalité sensorielle, et à la conception de systèmes permettant de restaurer une certaine fonction visuelle. Afin d'étudier ces processus, nous avons choisi d'une part, d'analyser la connectivité fonctionnelle du cerveau à l'état de repos par imagerie par résonance magnétique fonctionnelle (IRMf), et d'autre part de les explorer par une approche comportementale. Les sujets étudiés avaient soit sélectivement perdu (1) la périphérie du champ visuel, à la suite d'une rétinopathie pigmentaire au stade de " vision tunnellaire ", ou (2) le centre du champ visuel, c'est-à-dire souffrant d'un scotome central des suites d'une dégénérescence maculaire de Stargardt soit (3) l'intégralité du champ visuel, au stade terminal d'une rétinopathie pigmentaire et (4) étaient éventuellement porteurs d'un système de prothèse rétinienne. (A) Études de la connectivité fonctionnelle par IRMf de repos Étude 1. Chez des sujets tardivement atteints dans la périphérie ou dans la totalité du champ visuel, nous avons étudié la connectivité fonctionnelle de l'aire de Broca et des aires visuelles. Comparée à celle des sujets sains, la connectivité fonctionnelle de ces patients est accrue entre l’aire de Broca et, dans V1, les parties privées d’afférences visuelles. Ainsi, à la suite d’une privation visuelle totale ou sectorielle, un processus plastique entre les systèmes de la vision et du langage peut se produire chez l’adulte, au-delà donc de la période sensible du développement. Ces données apportent aussi une contribution au débat sur la possibilité d’une telle plasticité chez le sujet devenu tardivement aveugle. Elles permettent, par ailleurs, de définir les conditions qui accompagnent la plasticité des systèmes de la vision et du langage, c’est-à-dire d’une part le confinement de son développement au niveau des régions visuelles désafférentées et d’autre part la possibilité de son développement alors qu’une partie de la vision est encore fonctionnelle. Étude 2. Chez des sujets présentant des atteintes du champ visuel périphérique ou central, nous avons analysé la connectivité fonctionnelle des parties de V1 où se projettent respectivement le champ visuel central (V1 centrale) et le champ visuel périphérique (V1 périphérique) avec les autres régions du cerveau. Comparée à celle des sujets sains, nous avons observé une augmentation de la connectivité fonctionnelle entre (1) la région afférentée des sujets avec vision tunnellaire (V1 centrale) et des régions impliquées dans le traitement des scènes, de l’espace et de l’intégration multisensorielle, et (2) la région afférentée des sujets avec scotome central (V1 périphérique) et des régions notamment impliquées dans la perception des visages. Quant aux régions désafférentées (V1 périphérique pour les sujets avec vision tunnellaire et V1 centrale pour les sujets avec scotome central), nous leur avons trouvé une connectivité fonctionnelle accrue avec des régions impliquées dans des fonctions supérieures et des mécanismes top-down. Il apparaît que les régions encore afférentées de V1 renforcent leurs connexions avec des régions cérébrales dont les fonctions sont altérées par la désafférentation de l’autre partie de V1, alors que les régions visuelles désafférentées modulent des mécanismes de haut-niveau, préexistants, dans la probable intention de soutenir la vision résiduelle de ces sujets. Ces données apportent des informations nouvelles sur l’adaptation plastique des régions de V1 au traitement de diverses fonctions, suite à la perte d’un secteur périmétrique. / Cerebral plasticity processes developing from late visual deficit are not fully understood. Insights into these mechanisms could improve the rehabilitation programs, provide the patients with new sensory substitution devices, and even predict the outcome of some vision restoration treatments. A variety of combined approaches should allow to better define these mechanisms. On the one hand, we investigated the functional connectivity (FC) of the brain by a resting-state fMRI analysis, and on the other hand we carried out a behavioral study. The selected subjects (1) had lost the peripheral visual field due to a pigmentary retinopathy and therefore holding a “tunnel vision”, (2) had lost the central visual field i.e. subjects suffering from central scotoma resulting from a Stargardt macular dystrophy, (3) became lately blind, as the result of pigmentary retinopathy terminal stage and (4) potentially visually-restored by a retinal prosthesis.(A) Resting-state functional connectivity studiesStudy 1. In subjects suffering from peripheral or complete visual loss, we studied the FC of visual and language areas. We found an increased FC in Broca’s and specific visually deprived areas in both groups of patients as compared to sighted controls. Therefore, the plasticity between the visual and language systems can develop in the adult brain i.e. long after the end of a developmental sensitive period, following not only total but also partial visual deprivation. These data also contribute to the debate about the development of such plasticity in the late blind. Furthermore, they reshape the conditions of vision and language systems plasticity, which is (1) constrained to visually deafferented regions and (2) possible even in presence of a residual vision.Study 2. In subjects with converse central or peripheral visual field defects, we studied the FC of V1 subregions – onto which the central visual field (cV1) and the peripheral visual field (pV1) are projected, with the rest of the brain. The results showed an increased FC of (1) tunnel vision subjects afferented region (cV1) with regions involved in space, scene processing and multisensory integration and (2) central scotoma subjects afferented region (pV1) with regions involved in face perception. Moreover, an increased FC was observed between deafferented regions and regions involved in high-order functions and top-down mechanisms. These findings suggest that the afferented regions of V1 strengthen the connections with regions involved in deficient visual functions, whereas the sensory-deafferented V1 tunes-up preexisting high-order mechanisms to assist vision. These data bring new information about the plasticity in sub-regions of V1 that develops to process various functions, following partial visual loss.(B) Behavioural study of blind subjects fitted with a retinal prosthesis Study 3. We finally examined the adaptive behavior of subjects suffering from pigmentary retinopathy fitted with a camera-connected retinal prosthesis for 4 years. Such a device can potentially lead to dissociation between eyes and head-mounted camera; this is incompatible with physiological mechanisms of the spatial localization of visualized images, which depend on the gaze direction. This kind of dissociation is expected to alter the visuomotor coordination in subjects fitted with the considered retinal prosthesis device. We observed that misalignments between gaze and head (i.e. camera) positions occur during visual search, and could not be prevented when following vestibulo-ocular reflexes. This misalignment leads to the illusion of a visual target movement, and affects the visuo-motor coordination that was quantified in this study. After 4 years of current use of their device, the subjects develop compensatory strategies that partially solve these issues.

Avec le développement des nanotechnologies, il est devenu possible et souhaitable de créer et d'assembler des nano-objets. Afin d'obtenir des processus automatisés robustes et fiables, la manipulation à l'échelle nanométrique est devenue, au cours des dernières années, une tâche primordiale. La vision est un moyen indispensable pour observer le monde à l'échelle micrométrique et nanométrique. Le contrôle basé sur la vision est une solution efficace pour les problèmes de contrôle de la robotique. Dans cette thèse, nous abordons la problématique du micro- et nano-positionnement par asservissement visuel via l'utilisation d'un microscope électronique à balayage (MEB). Dans un premier temps, la formation d'image MEB et les modèles géométriques de la vision appliqués aux MEB sont étudiés afin de présenter, par la suite, une méthode d'étalonnage de MEB par l'optimisation non-linéaire considérant les modèles de projection perspective et parallèle. Dans cette étude, il est constaté qu'il est difficile d'observer l'information de profondeur à partir de la variation de la position de pixel de l'échantillon dans l'image MEB à un grossissement élevé. Afin de résoudre le problème de la non-observabilité du mouvement dans l'axe de la profondeur du MEB, les informations de défocalisation d'image sont considérées comme caractéristiques visuelles pour commander le mouvement sur cet axe. Une méthode d'asservissement visuelle hybride est alors proposée pour effectuer le micro-positionnement en 6 degrés de liberté en utilisant les informations de défocalisation d'image et de photométrique d'image. Cette méthode est ensuite validée via l'utilisation d'un robot parallèle dans un MEB. Finalement, un système de contrôle en boucle fermée pour l'autofocus du MEB est introduit et validé par des expériences. Une méthode de suivi visuel et d'estimation de pose 3D, par la mise en correspondance avec un modèle de texture, est proposée afin de réaliser le guidage visuel dans un MEB. Cette méthode est robuste au flou d'image à cause de la défocalisation provoquée par le mouvement sur l'axe de la profondeur car le niveau de défocalisation est modélisée dans ce cadre de suivi visuel. / With the development of nanotechnology, it became possible to design and assemble nano-objects. For robust and reliable automation processes, handling and manipulation tasks at the nanoscale is increasingly required over the last decade. Vision is one of the most indispensable ways to observe the world in micrioscale and nanoscale. Vision-based control is an efficient solution for control problems in robotics. In this thesis, we address the issue of micro- and nano-positioning by visual servoing in a Scanning Electron Microscope (SEM). As the fundamental knowledge, the SEM image formation and SEM vision geometry models are studied at first. A nonlinear optimization process for SEM calibration has been presented considering both perspective and parallel projection model. In this study, it is found that it is difficult to observe the depth information from the variation of the pixel position of the sample in SEM image at high magnification. In order to solve the problem that the motion along the depth direction is not observable in a SEM, the image defocus information is considered as a visual feature to control the motion along the depth direction. A hybrid visual servoing scheme has been proposed for 6-DoF micro-positioning task using both image defocus information and image photometric information. It has been validated using a parallel robot in a SEM. Based on the similar idea, a closed-loop control scheme for SEM autofocusing task has been introduced and validated by experiments. In order to achieve the visual guidance in a SEM, a template-based visual tracking and 3D pose estimation framework has been proposed. This method is robust to the defocus blur caused by the motion along the depth direction since the defocus level is modeled in the visual tracking framework.

Cette thèse propose un nouvel éclairage sur le couplage de la vision stéréoscopique avec le mouvement articulé. Elle développe tout particulièrement de nouvelles solutions s'appuyant sur la géométrie projective. Ceci permet notamment l'utilisation des caméras non-calibrées. La contribution de cette thèse est d'abord une nouvelle formulation géométrique du problème. Il en découle des solutions pratiques pour la modélisation, l'étalonnage, et la commande du système. Ces solutions suivent une approche "coordinate-free", généralisées en une approche "calibration-free". C'est à dire, elles sont indépendantes du choix des repères et de l'étalonnage des caméras. Sur le plan pratique, un tel système projectif peut fonctionner sans connaissance a priori, et l'auto-étalonnage projectif se fait de manière automatique. Les modèles proposés sont issues d'une unification projective de la géométrie du système plutôt que d'une stratification métrique. Pour un asservissement visuel, les modèles obtenus sont équivalents aux modèles classiques. D'autres questions pratiques ont ainsi pu être abordées d'une nouvelle manière: la commande de trajectoires visibles et méchaniquement realisables dans l'espace de travail entier. Sur le plan théorique, un cadre mathématique complet est introduit. Il donne à l'ensemble des objets impliqués dans un asservissement visuel une représentation projective. Sont notamment etudiés, l'action des joints rotoïdes et prismatiques, les mouvements rigides et articulés, ainsi que la notion associée de vitesse projective. Le calcul de ces représentations est de plus explicité.

Ce travail s'inscrit dans le cadre d'un programme de recherche sur la vision omnidirectionnelle, monoculaire et stéréoscopique. L'estimation de position et d'orientation de robot par ce type de vision artificielle repose sur le même formalisme de base que l'asservissement visuel. Cette technique consiste à commander le mouvement d'un robot en utilisant l'information visuelle apportée par une ou plusieurs caméras. Ce mouvement est virtuel dans le cas d'une estimation de pose. Utiliser le large champ de vue apporté par la vision omnidirectionnelle a généralement une bonne influence sur le comportement du robot mais les informations visuelles, et en particulier leur représentation, ont un impact important sur ce comportement. Un choix inadéquat de représentation d'information peut engendrer l'échec de l'asservissement ou du calcul de pose. Cette thèse vise à étudier et comparer différentes primitives visuelles et leurs représentations en vision omnidirectionnelle. Même si un modèle de projection stéréographique impliquant une sphère a été défini pour les caméras omnidirectionnelles centrales, un point, une droite ou un plan est presque toujours représenté dans le plan image. Quelques travaux ont certes formulé l'estimation de pose ou l'asservissement visuel à partir de primitives définies sur la sphère mais sans montrer, en pratique, quel est le meilleur lieu de définition : le plan image ou la sphère. C'est une des motivations de cette étude. Ce travail propose aussi d'utiliser les intensités des pixels d'une image omnidirectionnelle comme primitive visuelle pour l'asservissement de robot, permettant ainsi de s'affranchir du traitement d'image nécessaire à la détection de points, de droites, etc. La validation expérimentale montre une très grande précision de positionnement. Cette constatation a servi de base à l'utilisation de voisinage photométrique inclus dans une région pour le suivi de plan ou avoisinant un segment pour le suivi de droites verticales. Ce dernier point est une des contributions les plus importantes de cette thèse car cela permet de reconstruire une droite verticale par ajustement photométrique des voisinages de ses projections dans les images de stéréovision omnidirectionnelle. Ceci peut, de plus, être étendu à l'estimation de mouvement et à toute primitive géométrique.

Les robots légers utilisés pour la télé-échographie robotisée permettent, à l'expert médical, d'orienter à distance une sonde ultrasonore 2D. L'analyse en temps réel de l'image ultrasonore du patient, reçue via un lien de communication, permet à l'expert de définir un diagnostic. Les validations cliniques du concept de télé-échographie robotisée montrent qu'il est ainsi possible de pallier le manque d'experts en ultrasonographie sur des sites médicalement isolés. Le robot porte-sonde est positionné et maintenu sur le corps du patient par un assistant à partir des informations communiquées par le spécialiste via visioconférence. Cependant, la faible masse du robot, le fait qu'il soit maintenu par un assistant sur le corps du patient et les mouvements physiologiques du patient provoquent des perturbations dans la position de la sonde et engendrent ainsi des pertes des sections d'intérêt des organes étudiés. Les travaux de cette thèse ont consisté à développer une approche par asservissement visuel basé sur les moments d'image ultrasonore 2D. Le calcul des moments 2D étant basé sur les points du contour de la section d'intérêt, un algorithme de traitement d'images efficace est nécessaire pour détecter et suivre le contour d'intérêt en mouvement. Pour cela, une méthode de contour actif paramétrique basée sur les descripteurs de Fourier est présentée. Les lois de commandes correspondant à trois tâches autonomes autorisant la recherche et le maintien de visibilité d'un organe lors de l'acte médical télé-opéré sont implémentées et validées sur la plateforme robotique du projet ANR Prosit.

Chez les vertébrés, la perception de la lumière est possible grâce à la transformation de l'énergie des photons en un signal électrochimique dans les photorécepteurs. La photo-isomérisation du chromophore RAL-11-cis en RAL-tout-trans déclenche une cascade d'événements de transduction du signal et conduit à la perte de la sensibilité à la lumière des photorécepteurs, un processus de recyclage du chromophore visuel entre alors en jeu afin de rétablir cette sensibilité, c'est le cycle visuel de rétinoïdes. Le cycle visuel s'effectue dans les photorécepteurs et l'épithélium pigmentaire rétinien et fait intervenir plusieurs protéines. L'étape limitante de ce cycle est catalysée par la protéine spécifique de l'EPR RPE65. Mieux comprendre la régulation de cette étape permettra d'ouvrir des pistes thérapeutiques pour différentes pathologies liées l'activité du cycle visuel. Notre laboratoire a montré que FATP1, une protéine du métabolisme lipidique, inhibe l'activité de RPE65 in vitro. Dans ce travail, nous avons évalué l'effet de l'absence de FATP1 sur l'activité du cycle visuel et la fonction visuelle dans un modèle murin. La souris ko FATP1 est caractérisée par une baisse des amplitudes des ondes a et b de l'ERG, un retard de régénérescence de l'ERG et d'accumulation de rétinylesters après éblouissement. La formation du RAL-11-cis reste comparable à celle des souris sauvages. Les souris FATP-/- montrent une plus grande susceptibilité aux effets du vieillissement : des anomalies de structure ont été observées au niveau des photorécepteurs, de la membrane de Brüch et de la choroïde, sans accumulation excessive de lipides ou de lipofuscine ni de dégénérescence rétinienne. La perturbation de la fonction visuelle observé en l'absence de FATP1 chez la souris pourrait avoir un effet plus accru chez l'homme qui vie plus longtemps et dont la rétine reçoit plus de lumière. En conclusion, FATP1 pourrait être une composante importante pour le vieillissement de la rétine chez l'homme. / In vertebrates, perception of light is made possible through the conversion of photon energy into an electrochemical signal in photoreceptors. The photo-isomerization of the chromophore 11-cis-RAL into all-trans-RAL triggers a cascade of signal transduction and leads to loss of light sensitivity of photoreceptors, thus, a recycling process of chromophore called the rétinal visual cycle is involved to restore this sensitivity. The visual cycle takes place in the photoreceptors and retinal pigment epithelium and involves several proteins. The limiting step of this cycle is catalyzed by RPE-specific protein RPE65. Better understanding the regulation of this step might open up new ways for treatment of various pathologies related to the visual cycle activity. Our laboratory has shown that FATP1, a protein involved in lipid metabolism, inhibits the activity of RPE65 in vitro. In this study, we evaluated the effect of the lack of FATP1 on the activity of the visual cycle and visual function in a mouse model. FATP1 ko mice are characterized by lower a and b amplitudes of the elctroretinogram, delayed ERG and retinylesters accumulation recovery after bleache. 11-cis-RAL synthesis rates are similar to those of wt mice. FATP1 ko mice show a greater susceptibility to the aging effects: structural abnormalities were observed in the photoreceptors, Bruch's membrane and choroid without excessive accumulation of lipid or lipofuscin or retinal degeneration. The disturbance of visual function which accopagne the lack of FATP1 in mice could have a more increased effect in human who live longer and wich the retina receives more light. In conclusion, FATP1 might be an important component for the aging of the retina in humans.

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

Mémoire numérisé par la Division de la gestion de documents et des archives de l'Université de Montréal.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.