Un système de vision embarquée multi-capteurs est doté de plusieurs capteurs d'images de technologie différente.Il peut être un capteur couleur, un capteur infrarouge ou encore un capteur bas niveau de lumière.Les caractéristiques de ces capteurs sont également hétérogènes.Nous avons différentes fréquences trames, résolutions et dynamiques de pixels.Cette multiplicité et cette hétérogénéité des capteurs d'images permet à un système de vision de mieux répondre à ses besoins.En fait, un système de vision multi-capteurs doit fonctionner dans plusieurs milieux opérationnels (urbain, marin, boisé).Il doit également s'adapter à plusieurs conditions de luminosité (jour, nuit, faible éclairage).Enfin, la multiplicité des capteurs permet d'offrir des fonctionnalités intéressantes à l'utilisateur final : fusion multispectrale, vision panoramique, vision multi-champs.Le défi de conception est que l'ensemble de ces paramètres environnementaux et opérationnels peuvent varier dynamiquement au cours de l'utilisation du système de vision.Il est nécessaire que la conception de l'architecture tienne compte de cette variabilité dynamique du contexte d'utilisation.L'architecture doit présenter la flexibilité dynamique suffisante afin de s'adapter aux variations de contexte.Elle doit également pouvoir prendre conscience de l'évolution du contexte.La solution architecturale doit tout de même satisfaire les contraintes de surface et de consommation énergétique d'un système embarqué et portable.Nous proposons dans cette thèse un moniteur permettant à l'architecture actuelle de Safran de s'auto-adapter dynamiquement.Ce moniteur joue deux rôles dans l'auto-adaptation de l'architecture.D'une part, il observe en permanence les changements de contexte.D'autre part, il décide et pilote en conséquence les adaptations à effectuer sur l'architecture.L'observation porte sur l'environnement opérationnel et sur le système de vision multi-capteurs (y compris l'architecture).Le moniteur analyse les données d'observation et prend des décisions sur l'adaptation.Enfin, il commande les différents contrôleurs de l'architecture afin d'exécuter les adaptations requises par le changement de contexte.Nous introduisons un réseau de routeurs qui a pour principal objectif l'acheminement des données de monitoring.Le réseau proposé permet d'accéder à l'architecture sans pour autant compromettre le traitement des flux d'images.Ce réseau s'inspire de nos précédents travaux pour la mise en place d'un système de paquets de données cite{Ng2011}.Un dernier volet de notre proposition porte sur la gestion de la mémoire trames.Avec les changements de contexte permanents, le besoin en ressources de mémoire évolue dynamiquement.Pour une utilisation économique et optimale des ressources, il est nécessaire d'adapter l'attribution des ressources au fil des variations des besoins.Nous présentons un contrôleur mémoire permettant l'allocation dynamique de l'espace mémoire et la régulation dynamique de la distribution de la bande passante mémoire.Nous évaluons les différents volets de notre proposition à l'aide d'une implémentation sur un FPGA Cyclone V de chez ALTERA (5CGX).Nous présentons les validations progressivement au fur et à mesure que nous abordons chaque volet de notre proposition.Chaque validation présente les performances en temps et en surface / An embedded multi-sensor vision system involves several types of image sensors such as colour, infrared or low-light sensor.Characteristics of the sensors are often various (different resolution, frame rate and pixel depth).Hence, the vision system has to deal with several heterogeneous image streams.That multiplicity and the heterogeneity of the sensors help to face various environmental contexts.We consider a multi-sensor vision system that has to work in different area (city, sea, forest) and handle several operations (multispectral fusion, panoramic, multifocus).The vision system has to also face various luminosity conditions : day, night or low-light condition.The challenge of designing architecture for such a vision system is that the working context can dynamically vary.The designer has to take in account this dynamic variation of the working context.The architecture should be enough flexible to adapt its processing to the requirements of the context.It also has to be able to detect any variation of the context and adapt itself according to the context.Above all, the design should satisfy area and power constraints of an embedded and portable system.In this thesis, we propose an embedded monitor enabling dynamic auto-adaptation of the current multi-stream architecture of Safran.The monitor accomplishes two tasks for the auto-adaptation of the architecture.First, he continuously observes changes of both external and internal contexts.Then, he decides the adaptation that the architecture needs in response to the context variation.Observation of the external context is about the type of the area and the luminosity conditions.While, observation of the internal context focuses on the current status of the vision system and its architecture.To perform the adaptation, the monitor sends adaptation commands toward controllers of the architecture.We introduce a Network-on-Chip (NoC) based interconnexion layer to fulfill monitoring communication.This NoC is inspired from our previous work cite{Ng2011}.This layer allows observing and commanding the processing stages without compromising the existing pixels streams.Routers of the NoC are responsible for routing observation data from processing stages to the monitor and adaptation commands from the monitor toward processing stages.The proposed NoC takes in account the heterogeneity of working frequencies.Finally, we present a memory controller that enables dynamic allocation of the frame memory.When the working context changes, memory resources requirements change too.For an optimised and economical resources utilisation, we propose to dynamically adapt the frame buffer allocation.Also, the proposed has the possibility to dynamically manage the bandwidth of the frame memory.We introduce a pondered round robin-based method with the ability to adapt the weights on-the-fly.Our proposition has been evaluated with a typical Safran multi-stream architecture.It has been implemented in a FPGA target.Area performances have been evaluated through synthesis for a ALTERA Cyclone V FPGA (5CGX).Latency performances have been evaluated thanks to ModelSim simulations

Optical flow is used in a number of computer vision applications. However, its use in mobile robotic applications is limited because of the high computational complexity involved and the limited availability of computational resources on such platforms. The lack of a hardware that is capable of computing optical flow vector field in real time is a factor that prevents the mobile robotics community to efficiently utilize some successful techniques presented in computer vision literature. In this thesis work, we design and implement a high performance FPGA hardware with a small footprint and low power consumption that is capable of providing over-realtime optical flow data and is hence suitable for this application domain. A well known differential optical flow algorithm presented by Horn &amp / Schunck is selected for this implementation. The complete hardware design of the proposed system is described in details. We also discuss the design alternatives and the selected approaches together with a discussion of the selection procedure. We present the performance analysis of the proposed hardware in terms of computation speed, power consumption and accuracy. The designed hardware is tested with some of the available test sequences that are frequently used for performance evaluations of the optical flow techniques in literature. The proposed hardware is capable of computing optical flow vector field on 256x256 pixels images in 3.89ms which corresponds to a processing speed of 257 fps. The results obtained from FPGA implementation are compared with a floating-point implementation of the same algorithm realized on a PC hardware. The obtained results show that the hardware implementation achieved a superior performance in terms of speed, power consumption and compactness while there is minimal loss of accuracy due to the fixed point implementation.

Les recherches de cette thèse portent sur la mise en oeuvre des méthodes de la rechercheopérationnelle (RO) pour la conception de circuits numériques dans le domaine du traitementdu signal et de l’image, plus spécifiquement pour des applications multimédia et de visionembarquée.Face à la problématique de “Memory Wall”, les concepteurs de systèmes de vision embarquée,Mancini et al. (Proc.DATE, 2012), ont proposé un générateur de hiérarchies mémoiresad-hoc dénommé Memory Management Optimization (MMOpt). Cet atelier de conception estdestiné aux traitements non-linéaires afin d’optimiser la gestion des accès mémoires de cestraitements. Dans le cadre de l’outil MMOpt, nous abordons la problématique d’optimisationliée au fonctionnement efficace des circuits de traitement d’image générés par MMOpt visantl’amélioration des enjeux de performance (contrainte temps-réel), de consommation d’énergieet de coût de production (contrainte d’encombrement).Ce problème électronique a été modélisé comme un problème d’ordonnancement multiobjectif,appelé 3-objective Process Scheduling and Data Prefetching Problem (3-PSDPP), reflétantles 3 principaux enjeux électroniques considérés. À notre connaissance, ce problème n’apas été étudié avant dans la littérature de RO. Une revue de l’état de l’art sur les principaux travauxliés à cette thèse, y compris les travaux antérieurs proposés par Mancini et al. (Proc.DATE,2012) ainsi qu’un bref aperçu sur des problèmes voisins trouvés dans la littérature de RO,a ensuite été faite. En outre, la complexité de certaines variantes mono-objectif du problèmed’origine 3-PSDPP a été établie. Des approches de résolution, y compris les méthodes exactes(PLNE) et les heuristiques constructives, sont alors proposées. Enfin, la performance de cesméthodes a été comparée par rapport à l’algorithme actuellement utilisé dans l’outil MMOpt,sur des benchmarks disponibles dans la littérature ainsi que ceux fournis par Mancini et al.(Proc.DATE, 2012).Les solutions obtenues sont de très bonne qualité et présentent une piste prometteuse pouroptimiser les performances des hiérarchies mémoires produites par MMOpt. En revanche, vuque les besoins de l’utilisateur de l’outil sont contradictoires, il est impossible de parler d’unesolution unique en optimisant simultanément les trois critères considérés. Un ensemble debonnes solutions de compromis entre ces trois critères a été fourni. L’utilisateur de l’outilMMOpt peut alors décider de la solution qui lui est la mieux adaptée. / The research of this thesis focuses on the application of the Operations Research (OR)methodology to design new optimization algorithms to enable low cost and efficient embeddedvision systems, or more generally devices for multimedia applications such as signal and imageprocessing.The design of embedded vision systems faces the “Memory Wall” challenge regarding thehigh latency of memories holding big image data. For the case of non-linear image accesses, onesolution has been proposed by Mancini et al. (Proc. DATE 2012) in the form of a software tool,called Memory Management Optimization (MMOpt), that creates an ad-hoc memory hierarchiesfor such a treatment. It creates a circuit called a Tile Processing Unit (TPU) that containsthe circuit for the treatment. In this context, we address the optimization challenge set by theefficient operation of the circuits produced by MMOpt to enhance the 3 main electronic designcharacteristics. They correspond to the energy consumption, performance and size/productioncost of the circuit.This electronic problem is formalized as a 3-objective scheduling problem, which is called3-objective Process Scheduling and Data Prefetching Problem (3-PSDPP), reflecting the 3 mainelectronic design characteristics under consideration. To the best of our knowledge, this problemhas not been studied before in the OR literature. A review of the state of the art, including theprevious work proposed by Mancini et al. (Proc.DATE, 2012) as well as a brief overview onrelated problems found in the OR literature, is then made. In addition, the complexity of someof the mono-objective sub-problems of 3-PSDPP problem is established. Several resolutionapproaches, including exact methods (ILP) and polynomial constructive heuristics, are thenproposed. Finally, the performance of these methods is compared, on benchmarks available inthe literature, as well as those provided by Mancini et al. (Proc.DATE, 2012), against the onecurrently in use in the MMOpt tool.The results show that our algorithms perform well in terms of computational efficiency andsolution quality. They present a promising track to optimize the performance of the TPUs producedby MMOpt. However, since the user’s needs of the MMOpt tool are contradictory, such aslow cost, low energy and high performance, it is difficult to find a unique and optimal solutionto optimize simultaneously the three criteria under consideration. A set of good compromisesolutions between these three criteria was provided. The MMOpt’s user can then choose thebest compromise solution he wants or needs.

Cette thèse s'inscrit dans le contexte de la vision embarquée pour la détection et la reconnaissance d'obstacles routiers, en vue d'application d'assistance à la conduite automobile.A l'issue d'une étude bibliographique, nous avons constaté que la problématique de détection d'obstacles routiers, notamment des piétons, à l'aide d'une caméra embarquée, ne peut être résolue convenablement sans recourir aux techniques de reconnaissance de catégories d'objets dans les images. Ainsi, une étude complète du processus de la reconnaissance est réalisée, couvrant les techniques de représentation,de classification et de fusion d'informations. Les contributions de cette thèse se déclinent principalement autour de ces trois axes.Notre première contribution concerne la conception d'un modèle d'apparence locale basée sur un ensemble de descripteurs locaux SURF (Speeded Up RobustFeatures) représentés dans un Vocabulaire Visuel Hiérarchique. Bien que ce modèle soit robuste aux larges variations d'apparences et de formes intra-classe, il nécessite d'être couplé à une technique de classification permettant de discriminer et de catégoriser précisément les objets routiers. Une deuxième contribution présentée dans la thèse porte sur la combinaison du Vocabulaire Visuel Hiérarchique avec un classifieur SVM.Notre troisième contribution concerne l'étude de l'apport d'un module de fusion multimodale permettant d'envisager la combinaison des images visibles et infrarouges.Cette étude met en évidence de façon expérimentale la complémentarité des caractéristiques locales et globales ainsi que la modalité visible et celle infrarouge.Pour réduire la complexité du système, une stratégie de classification à deux niveaux de décision a été proposée. Cette stratégie est basée sur la théorie des fonctions de croyance et permet d'accélérer grandement le temps de prise de décision.Une dernière contribution est une synthèse des précédentes : nous mettons à profit les résultats d'expérimentations et nous intégrons les éléments développés dans un système de détection et de suivi de piétons en infrarouge-lointain. Ce système a été validé sur différentes bases d'images et séquences routières en milieu urbain. / The aim of this thesis arises in the context of Embedded-vision system for road obstacles detection and recognition : application to driver assistance systems. Following a literature review, we found that the problem of road obstacle detection, especially pedestrians, by using an on-board camera, cannot be adequately resolved without resorting to object recognition techniques. Thus, a preliminary study of the recognition process is presented, including the techniques of image representation, Classification and information fusion. The contributions of this thesis are organized around these three axes. Our first contribution is the design of a local appearance model based on SURF (Speeded Up Robust Features) features and represented in a hierarchical Codebook. This model shows considerable robustness with respect to significant intra-class variation of object appearance and shape. However, the price for this robustness typically is that it tends to produce a significant number of false positives. This proves the need for integration of discriminative techniques in order to accurately categorize road objects. A second contribution presented in this thesis focuses on the combination of the Hierarchical Codebook with an SVM classifier.Our third contribution concerns the study of the implementation of a multimodal fusion module that combines information from visible and infrared spectrum. This study highlights and verifies experimentally the complementarities between the proposed local and global features, on the one hand, and visible and infrared spectrum on the other hand. In order to reduce the complexity of the overall system, a two-level classification strategy is proposed. This strategy, based on belieffunctions, enables to speed up the classification process without compromising there cognition performance. A final contribution provides a synthesis across the previous ones and involves the implementation of a fast pedestrian detection systemusing a far-infrared camera. This system was validated with different urban road scenes that are recorded from an onboard camera.