Un système de vision embarquée multi-capteurs est doté de plusieurs capteurs d'images de technologie différente.Il peut être un capteur couleur, un capteur infrarouge ou encore un capteur bas niveau de lumière.Les caractéristiques de ces capteurs sont également hétérogènes.Nous avons différentes fréquences trames, résolutions et dynamiques de pixels.Cette multiplicité et cette hétérogénéité des capteurs d'images permet à un système de vision de mieux répondre à ses besoins.En fait, un système de vision multi-capteurs doit fonctionner dans plusieurs milieux opérationnels (urbain, marin, boisé).Il doit également s'adapter à plusieurs conditions de luminosité (jour, nuit, faible éclairage).Enfin, la multiplicité des capteurs permet d'offrir des fonctionnalités intéressantes à l'utilisateur final : fusion multispectrale, vision panoramique, vision multi-champs.Le défi de conception est que l'ensemble de ces paramètres environnementaux et opérationnels peuvent varier dynamiquement au cours de l'utilisation du système de vision.Il est nécessaire que la conception de l'architecture tienne compte de cette variabilité dynamique du contexte d'utilisation.L'architecture doit présenter la flexibilité dynamique suffisante afin de s'adapter aux variations de contexte.Elle doit également pouvoir prendre conscience de l'évolution du contexte.La solution architecturale doit tout de même satisfaire les contraintes de surface et de consommation énergétique d'un système embarqué et portable.Nous proposons dans cette thèse un moniteur permettant à l'architecture actuelle de Safran de s'auto-adapter dynamiquement.Ce moniteur joue deux rôles dans l'auto-adaptation de l'architecture.D'une part, il observe en permanence les changements de contexte.D'autre part, il décide et pilote en conséquence les adaptations à effectuer sur l'architecture.L'observation porte sur l'environnement opérationnel et sur le système de vision multi-capteurs (y compris l'architecture).Le moniteur analyse les données d'observation et prend des décisions sur l'adaptation.Enfin, il commande les différents contrôleurs de l'architecture afin d'exécuter les adaptations requises par le changement de contexte.Nous introduisons un réseau de routeurs qui a pour principal objectif l'acheminement des données de monitoring.Le réseau proposé permet d'accéder à l'architecture sans pour autant compromettre le traitement des flux d'images.Ce réseau s'inspire de nos précédents travaux pour la mise en place d'un système de paquets de données cite{Ng2011}.Un dernier volet de notre proposition porte sur la gestion de la mémoire trames.Avec les changements de contexte permanents, le besoin en ressources de mémoire évolue dynamiquement.Pour une utilisation économique et optimale des ressources, il est nécessaire d'adapter l'attribution des ressources au fil des variations des besoins.Nous présentons un contrôleur mémoire permettant l'allocation dynamique de l'espace mémoire et la régulation dynamique de la distribution de la bande passante mémoire.Nous évaluons les différents volets de notre proposition à l'aide d'une implémentation sur un FPGA Cyclone V de chez ALTERA (5CGX).Nous présentons les validations progressivement au fur et à mesure que nous abordons chaque volet de notre proposition.Chaque validation présente les performances en temps et en surface / An embedded multi-sensor vision system involves several types of image sensors such as colour, infrared or low-light sensor.Characteristics of the sensors are often various (different resolution, frame rate and pixel depth).Hence, the vision system has to deal with several heterogeneous image streams.That multiplicity and the heterogeneity of the sensors help to face various environmental contexts.We consider a multi-sensor vision system that has to work in different area (city, sea, forest) and handle several operations (multispectral fusion, panoramic, multifocus).The vision system has to also face various luminosity conditions : day, night or low-light condition.The challenge of designing architecture for such a vision system is that the working context can dynamically vary.The designer has to take in account this dynamic variation of the working context.The architecture should be enough flexible to adapt its processing to the requirements of the context.It also has to be able to detect any variation of the context and adapt itself according to the context.Above all, the design should satisfy area and power constraints of an embedded and portable system.In this thesis, we propose an embedded monitor enabling dynamic auto-adaptation of the current multi-stream architecture of Safran.The monitor accomplishes two tasks for the auto-adaptation of the architecture.First, he continuously observes changes of both external and internal contexts.Then, he decides the adaptation that the architecture needs in response to the context variation.Observation of the external context is about the type of the area and the luminosity conditions.While, observation of the internal context focuses on the current status of the vision system and its architecture.To perform the adaptation, the monitor sends adaptation commands toward controllers of the architecture.We introduce a Network-on-Chip (NoC) based interconnexion layer to fulfill monitoring communication.This NoC is inspired from our previous work cite{Ng2011}.This layer allows observing and commanding the processing stages without compromising the existing pixels streams.Routers of the NoC are responsible for routing observation data from processing stages to the monitor and adaptation commands from the monitor toward processing stages.The proposed NoC takes in account the heterogeneity of working frequencies.Finally, we present a memory controller that enables dynamic allocation of the frame memory.When the working context changes, memory resources requirements change too.For an optimised and economical resources utilisation, we propose to dynamically adapt the frame buffer allocation.Also, the proposed has the possibility to dynamically manage the bandwidth of the frame memory.We introduce a pondered round robin-based method with the ability to adapt the weights on-the-fly.Our proposition has been evaluated with a typical Safran multi-stream architecture.It has been implemented in a FPGA target.Area performances have been evaluated through synthesis for a ALTERA Cyclone V FPGA (5CGX).Latency performances have been evaluated thanks to ModelSim simulations

Pour concevoir des systèmes de vision embarquée, deux axes peuvent être considérés. Le premier se focalise sur la conception de nouveaux dispositifs numériques plus puissants capables de mettre en œuvre de manière efficace des algorithmes complexes. Le second se concentre sur l'élaboration de nouveaux algorithmes de vision, moins gourmands en ressources et qui peuvent efficacement être mis en œuvre sur des systèmes numériques embarqués. Nous privilégions dans ces travaux le second axe avec comme approche l'utilisation de modèles connexionnistes. Parmi les différents modèles existants, nous nous intéressons à deux modèles de réseaux de neurones artificiels, les réseaux à clusters et les réseaux convolutifs. Le premier modèle que nous utilisons, appelé réseau à clusters, n'avait jamais été utilisé pour réaliser des tâches de vision par ordinateur. Cependant, il paraissait être un bon candidat pour être utilisé sur des systèmes embarqués, notamment par des mises en œuvre sur des architectures matérielles dédiées. L'objectif a été tout d'abord de trouver les types de tâches pouvant être réalisées à l'aide de ce modèle de réseau. Ce modèle a été conçu pour réaliser des mémoires associatives. En vision par ordinateur, cela peut se rapprocher de problèmes tels que la recherche d'images par le contenu. Ce type d'application utilise massivement des algorithmes de recherche de plus proches voisins approchée et c'est donc sur ce type de tâches que nous nous sommes concentrés. Le second type de réseau étudié appelé réseau convolutif, est lui très populaire pour concevoir des systèmes de vision par ordinateur. Notre objectif a été ici de trouver des manières de simplifier ces réseaux tout en conservant des performances élevées. Nous proposons notamment une technique qui consiste à ré-entrainer des réseaux quantifiés. / To design embedded computer vision systems, two axes can be considered. The first focuses on designing new, more powerful, digital devices that can efficiently implement complex algorithms. The second targets the development of new, lightweight computer vision algorithms that can be effectively implemented on digital embedded systems. In this work, we favor the second axis by using connectionist models. In this context, we focus on two models of artificial neural networks: cluster-based networks and convolutional networks. The first model we use, i.e. cluster-based network, was never been used to perform computer vision tasks before. However, it seemed to be a good candidate to design embedded systems, especially through dedicated hardware architectures implementation. The goal was first to find out the kinds of tasks that could be performed using this network model. This model has been designed to implement associative memories which can come close to problems such as content- based image retrieval in computer vision domain. This type of application massively uses approximated nearest neighbor search algorithms which makes it a good candidate to focus on. The second type of network studied in this work, called convolutional network, is very popular to design computer vision systems. Our goal here was to find different ways to simplify their complexity while maintaining high performance. In particular, we proposed a technique that involves re-training quantified networks.

Un équipement portable moderne intègre plusieurs capteurs d'image qui peuvent être de différents types. On peut citer en guise d'exemple un capteur couleur, un capteur infrarouge ou un capteur basse lumière. Cet équipement doit alors supporter différentes sources qui peuvent être hétérogènes en terme de résolution, de granularité de pixels et de fréquence d'émission des images. Cette tendance à multiplier les capteurs, est motivée par des besoins applicatifs dans un but de complémentarité en sensibilité (fusion des images), en position (panoramique) ou en champ de vision. Le système doit par conséquent être capable de supporter des applications de plus en plus complexes et variées, nécessitant d'utiliser une seule ou plusieurs sources d'image. Du fait de cette variété de fonctionnalités embarquées, le système électronique doit pouvoir s'adapter constamment pour garantir des performances en terme de latence et de temps de traitement en fonction des applications, tout en respectant des contraintes d'encombrement.% Même si depuis de nombreuses années, un grand nombre de solutions architecturales ont été proposées pour améliorer l'adaptabilité des unités de calcul, un problème majeur persiste au niveau du réseau d'interconnexion qui n'est pas suffisamment adaptable, en particulier pour le transfert des flux de pixels et l'accès aux données. Nous proposons dans cette thèse un nouveau réseau de communication sur puce (NoC) pour un SoC dédié à la vision. Ce réseau permet de gérer dynamiquement différents types de flux en parallèle en auto-adaptant le chemin de donnée entre les unités de calcul, afin d'exécuter de manière efficace différentes applications. La proposition d'une nouvelle structure de paquets de données, facilite les mécanismes d'adaptation du système grâce à la combinaison d'instructions et de données à traiter dans un même paquet. Nous proposons également un système de mémorisation de trames à adressage indirecte, capable de gérer dynamiquement plusieurs trames image de différentes sources d'image. Cet adressage indirect est réalisé par l'intermédiaire d'une couche d'abstraction matérielle qui se charge de traduire des requêtes de lecture et d'écriture, réalisées suivant des indicateurs de la trame requise (source de l'image, indice temporel et dernière opération effectuée). Afin de valider notre proposition, nous définissons une nouvelle architecture, appelée Multi Data Flow Ring (MDFR) basée sur notre réseau avec une topologie en anneau. Les performances de cette architecture, en temps et en surface, ont été évaluées dans le cadre d'une implémentation sur une cible FPGA

Un équipement portable moderne intègre plusieurs capteurs d'image qui peuvent être de différents types. On peut citer en guise d'exemple un capteur couleur, un capteur infrarouge ou un capteur basse lumière. Cet équipement doit alors supporter différentes sources qui peuvent être hétérogènes en terme de résolution, de granularité de pixels et de fréquence d'émission des images. Cette tendance à multiplier les capteurs, est motivée par des besoins applicatifs dans un but de complémentarité en sensibilité (fusion des images), en position (panoramique) ou en champ de vision. Le système doit par conséquent être capable de supporter des applications de plus en plus complexes et variées, nécessitant d'utiliser une seule ou plusieurs sources d'image. Du fait de cette variété de fonctionnalités embarquées, le système électronique doit pouvoir s'adapter constamment pour garantir des performances en terme de latence et de temps de traitement en fonction des applications, tout en respectant des contraintes d'encombrement.% Même si depuis de nombreuses années, un grand nombre de solutions architecturales ont été proposées pour améliorer l'adaptabilité des unités de calcul, un problème majeur persiste au niveau du réseau d'interconnexion qui n'est pas suffisamment adaptable, en particulier pour le transfert des flux de pixels et l'accès aux données. Nous proposons dans cette thèse un nouveau réseau de communication sur puce (NoC) pour un SoC dédié à la vision. Ce réseau permet de gérer dynamiquement différents types de flux en parallèle en auto-adaptant le chemin de donnée entre les unités de calcul, afin d'exécuter de manière efficace différentes applications. La proposition d'une nouvelle structure de paquets de données, facilite les mécanismes d'adaptation du système grâce à la combinaison d'instructions et de données à traiter dans un même paquet. Nous proposons également un système de mémorisation de trames à adressage indirecte, capable de gérer dynamiquement plusieurs trames image de différentes sources d'image. Cet adressage indirect est réalisé par l'intermédiaire d'une couche d'abstraction matérielle qui se charge de traduire des requêtes de lecture et d'écriture, réalisées suivant des indicateurs de la trame requise (source de l'image, indice temporel et dernière opération effectuée). Afin de valider notre proposition, nous définissons une nouvelle architecture, appelée Multi Data Flow Ring (MDFR) basée sur notre réseau avec une topologie en anneau. Les performances de cette architecture, en temps et en surface, ont été évaluées dans le cadre d'une implémentation sur une cible FPGA / Modern portable vision systems include several types of image sensors such as colour, low-light or infrared sensor. Such system has to support heterogeneous image sources with different spatial resolutions, pixel granularities and working frequencies. This trend to multiply sensors is motivated by needs to complete sensor sensibilities with image fusion processing techniques, or sensor positions in the system. Moreover, portable vision systems implement image applications which require several images sources with a growing computing complexity. To face those challenges in integrating such a variety of functionalities, the embedded electronic computing system has to adapt permanently to preserve application timing performance in latency and processing, and to respect area and low-power constraints. In this thesis, we propose a new Network-On-Chip (NoC) adapted for a System-On-Chip (SoC) dedicated to image applications. This NoC can manage several pixel streams in parallel by adapting dynamically the datapatah between processing elements and memories. The new header packet structure enables adaptation mechanisms in routers by combining instructions and data in a same packet. To manage efficiently the frames storage required for an application, we propose a frame buffer system with an indirect frame addressing, which is able to manage several frames from different sensors. It features a hardware abstraction layer which is in charge to collect reading and writing requests, according to specific frame indicators such as the image source ID. The NoC has been validated in a complete processing architecture called Multi Data Flow Ring (MDFR) with a ring topology. The MDFR performances in time and area has been demonstrated for an FPGA target

Cette thèse s'inscrit dans le contexte de la vision embarquée pour la détection et la reconnaissance d'obstacles routiers, en vue d'application d'assistance à la conduite automobile.A l'issue d'une étude bibliographique, nous avons constaté que la problématique de détection d'obstacles routiers, notamment des piétons, à l'aide d'une caméra embarquée, ne peut être résolue convenablement sans recourir aux techniques de reconnaissance de catégories d'objets dans les images. Ainsi, une étude complète du processus de la reconnaissance est réalisée, couvrant les techniques de représentation,de classification et de fusion d'informations. Les contributions de cette thèse se déclinent principalement autour de ces trois axes.Notre première contribution concerne la conception d'un modèle d'apparence locale basée sur un ensemble de descripteurs locaux SURF (Speeded Up RobustFeatures) représentés dans un Vocabulaire Visuel Hiérarchique. Bien que ce modèle soit robuste aux larges variations d'apparences et de formes intra-classe, il nécessite d'être couplé à une technique de classification permettant de discriminer et de catégoriser précisément les objets routiers. Une deuxième contribution présentée dans la thèse porte sur la combinaison du Vocabulaire Visuel Hiérarchique avec un classifieur SVM.Notre troisième contribution concerne l'étude de l'apport d'un module de fusion multimodale permettant d'envisager la combinaison des images visibles et infrarouges.Cette étude met en évidence de façon expérimentale la complémentarité des caractéristiques locales et globales ainsi que la modalité visible et celle infrarouge.Pour réduire la complexité du système, une stratégie de classification à deux niveaux de décision a été proposée. Cette stratégie est basée sur la théorie des fonctions de croyance et permet d'accélérer grandement le temps de prise de décision.Une dernière contribution est une synthèse des précédentes : nous mettons à profit les résultats d'expérimentations et nous intégrons les éléments développés dans un système de détection et de suivi de piétons en infrarouge-lointain. Ce système a été validé sur différentes bases d'images et séquences routières en milieu urbain.

Les recherches de cette thèse portent sur la mise en oeuvre des méthodes de la rechercheopérationnelle (RO) pour la conception de circuits numériques dans le domaine du traitementdu signal et de l’image, plus spécifiquement pour des applications multimédia et de visionembarquée.Face à la problématique de “Memory Wall”, les concepteurs de systèmes de vision embarquée,Mancini et al. (Proc.DATE, 2012), ont proposé un générateur de hiérarchies mémoiresad-hoc dénommé Memory Management Optimization (MMOpt). Cet atelier de conception estdestiné aux traitements non-linéaires afin d’optimiser la gestion des accès mémoires de cestraitements. Dans le cadre de l’outil MMOpt, nous abordons la problématique d’optimisationliée au fonctionnement efficace des circuits de traitement d’image générés par MMOpt visantl’amélioration des enjeux de performance (contrainte temps-réel), de consommation d’énergieet de coût de production (contrainte d’encombrement).Ce problème électronique a été modélisé comme un problème d’ordonnancement multiobjectif,appelé 3-objective Process Scheduling and Data Prefetching Problem (3-PSDPP), reflétantles 3 principaux enjeux électroniques considérés. À notre connaissance, ce problème n’apas été étudié avant dans la littérature de RO. Une revue de l’état de l’art sur les principaux travauxliés à cette thèse, y compris les travaux antérieurs proposés par Mancini et al. (Proc.DATE,2012) ainsi qu’un bref aperçu sur des problèmes voisins trouvés dans la littérature de RO,a ensuite été faite. En outre, la complexité de certaines variantes mono-objectif du problèmed’origine 3-PSDPP a été établie. Des approches de résolution, y compris les méthodes exactes(PLNE) et les heuristiques constructives, sont alors proposées. Enfin, la performance de cesméthodes a été comparée par rapport à l’algorithme actuellement utilisé dans l’outil MMOpt,sur des benchmarks disponibles dans la littérature ainsi que ceux fournis par Mancini et al.(Proc.DATE, 2012).Les solutions obtenues sont de très bonne qualité et présentent une piste prometteuse pouroptimiser les performances des hiérarchies mémoires produites par MMOpt. En revanche, vuque les besoins de l’utilisateur de l’outil sont contradictoires, il est impossible de parler d’unesolution unique en optimisant simultanément les trois critères considérés. Un ensemble debonnes solutions de compromis entre ces trois critères a été fourni. L’utilisateur de l’outilMMOpt peut alors décider de la solution qui lui est la mieux adaptée. / The research of this thesis focuses on the application of the Operations Research (OR)methodology to design new optimization algorithms to enable low cost and efficient embeddedvision systems, or more generally devices for multimedia applications such as signal and imageprocessing.The design of embedded vision systems faces the “Memory Wall” challenge regarding thehigh latency of memories holding big image data. For the case of non-linear image accesses, onesolution has been proposed by Mancini et al. (Proc. DATE 2012) in the form of a software tool,called Memory Management Optimization (MMOpt), that creates an ad-hoc memory hierarchiesfor such a treatment. It creates a circuit called a Tile Processing Unit (TPU) that containsthe circuit for the treatment. In this context, we address the optimization challenge set by theefficient operation of the circuits produced by MMOpt to enhance the 3 main electronic designcharacteristics. They correspond to the energy consumption, performance and size/productioncost of the circuit.This electronic problem is formalized as a 3-objective scheduling problem, which is called3-objective Process Scheduling and Data Prefetching Problem (3-PSDPP), reflecting the 3 mainelectronic design characteristics under consideration. To the best of our knowledge, this problemhas not been studied before in the OR literature. A review of the state of the art, including theprevious work proposed by Mancini et al. (Proc.DATE, 2012) as well as a brief overview onrelated problems found in the OR literature, is then made. In addition, the complexity of someof the mono-objective sub-problems of 3-PSDPP problem is established. Several resolutionapproaches, including exact methods (ILP) and polynomial constructive heuristics, are thenproposed. Finally, the performance of these methods is compared, on benchmarks available inthe literature, as well as those provided by Mancini et al. (Proc.DATE, 2012), against the onecurrently in use in the MMOpt tool.The results show that our algorithms perform well in terms of computational efficiency andsolution quality. They present a promising track to optimize the performance of the TPUs producedby MMOpt. However, since the user’s needs of the MMOpt tool are contradictory, such aslow cost, low energy and high performance, it is difficult to find a unique and optimal solutionto optimize simultaneously the three criteria under consideration. A set of good compromisesolutions between these three criteria was provided. The MMOpt’s user can then choose thebest compromise solution he wants or needs.

Cette thèse s'inscrit dans le contexte de la vision embarquée pour la détection et la reconnaissance d'obstacles routiers, en vue d'application d'assistance à la conduite automobile.A l'issue d'une étude bibliographique, nous avons constaté que la problématique de détection d'obstacles routiers, notamment des piétons, à l'aide d'une caméra embarquée, ne peut être résolue convenablement sans recourir aux techniques de reconnaissance de catégories d'objets dans les images. Ainsi, une étude complète du processus de la reconnaissance est réalisée, couvrant les techniques de représentation,de classification et de fusion d'informations. Les contributions de cette thèse se déclinent principalement autour de ces trois axes.Notre première contribution concerne la conception d'un modèle d'apparence locale basée sur un ensemble de descripteurs locaux SURF (Speeded Up RobustFeatures) représentés dans un Vocabulaire Visuel Hiérarchique. Bien que ce modèle soit robuste aux larges variations d'apparences et de formes intra-classe, il nécessite d'être couplé à une technique de classification permettant de discriminer et de catégoriser précisément les objets routiers. Une deuxième contribution présentée dans la thèse porte sur la combinaison du Vocabulaire Visuel Hiérarchique avec un classifieur SVM.Notre troisième contribution concerne l'étude de l'apport d'un module de fusion multimodale permettant d'envisager la combinaison des images visibles et infrarouges.Cette étude met en évidence de façon expérimentale la complémentarité des caractéristiques locales et globales ainsi que la modalité visible et celle infrarouge.Pour réduire la complexité du système, une stratégie de classification à deux niveaux de décision a été proposée. Cette stratégie est basée sur la théorie des fonctions de croyance et permet d'accélérer grandement le temps de prise de décision.Une dernière contribution est une synthèse des précédentes : nous mettons à profit les résultats d'expérimentations et nous intégrons les éléments développés dans un système de détection et de suivi de piétons en infrarouge-lointain. Ce système a été validé sur différentes bases d'images et séquences routières en milieu urbain. / The aim of this thesis arises in the context of Embedded-vision system for road obstacles detection and recognition : application to driver assistance systems. Following a literature review, we found that the problem of road obstacle detection, especially pedestrians, by using an on-board camera, cannot be adequately resolved without resorting to object recognition techniques. Thus, a preliminary study of the recognition process is presented, including the techniques of image representation, Classification and information fusion. The contributions of this thesis are organized around these three axes. Our first contribution is the design of a local appearance model based on SURF (Speeded Up Robust Features) features and represented in a hierarchical Codebook. This model shows considerable robustness with respect to significant intra-class variation of object appearance and shape. However, the price for this robustness typically is that it tends to produce a significant number of false positives. This proves the need for integration of discriminative techniques in order to accurately categorize road objects. A second contribution presented in this thesis focuses on the combination of the Hierarchical Codebook with an SVM classifier.Our third contribution concerns the study of the implementation of a multimodal fusion module that combines information from visible and infrared spectrum. This study highlights and verifies experimentally the complementarities between the proposed local and global features, on the one hand, and visible and infrared spectrum on the other hand. In order to reduce the complexity of the overall system, a two-level classification strategy is proposed. This strategy, based on belieffunctions, enables to speed up the classification process without compromising there cognition performance. A final contribution provides a synthesis across the previous ones and involves the implementation of a fast pedestrian detection systemusing a far-infrared camera. This system was validated with different urban road scenes that are recorded from an onboard camera.