Les travaux présentés dans le cadre de cette Habilitation à Diriger des Recherches s'inscrivent principalement dans la problématique dite d'" Adéquation Algorithme Architecture ". Ils ont pour objectif commun la mise en œuvre de systèmes matériels et logiciels dédiés à la vision artificielle à fortes contraintes temporelles. Ils se focalisent sur différents aspects cruciaux tels que l'acquisition d'images par des capteurs dédiés, le développement et la programmation d'architectures optimisées de traitement des images et l'implantation d'algorithmes de traitement du signal et d'images en temps réel sur ces architectures.

Ce travail de thèse étudie l'apport à la vision bas-niveau des architectures de calcul massivement parallèles. Nous reprenons l'évolution récente de l'architecture des ordinateurs, en mettant en avant les solutions massivement parallèles qui se sont imposées récemment, les GPU. L'exploitation des potentialités de ces architectures impose une modification des méthodes de programmation. Nous montrons qu'il est possible d'utiliser un nombre restreint de schémas ("patterns") de calcul pour résoudre un grand nombre de problématiques de vision bas niveau. Nous présentons ensuite un nouveau modèle pour estimer la complexité de ces solutions. La suite du travail consiste à appliquer ces modèles de programmation à des problématiques de vision bas-niveau. Nous abordons d'abord le calcul du flot optique, qui est le champ de déplacement d'une image à une autre, et dont l'estimation est une brique de base de très nombreuses applications en traitement vidéo. Nous présentons un code sur GPU, nommé FOLKI qui permet d'atteindre une très bonne qualité de résultats sur séquences réelles pour un temps de calcul bien plus faible que les solutions concurrentes actuelles. Une application importante de ces travaux concerne la vélocimétrie par imagerie de particules dans le domaine de la mécanique des fluides expérimentale. La seconde problématique abordée est la super-résolution (SR). Nous proposons d'abord un algorithme très rapide de SR utilisant le flot optique FOLKI pour recaler les images. Ensuite différentes solutions à coût de calcul croissant sont développées, qui permettent une amélioration de précision et de robustesse. Nous présentons des résultats très originaux de SR sur des séquences affectées de mouvement complexes, comme des séquences de piétons ou des séquences aériennes de véhicules en mouvement. Enfin le dernier chapitre aborde rapidement des extensions en cours de nos travaux à des contextes de mesure 3D, dans des domaines comme la physique expérimentale ou la robotique.

Initialement con¸cu pour d'echarger le CPU des tˆaches de rendu graphique, le GPU estdevenu une architecture massivement parall'ele adapt'ee au traitement de donn'ees volumineuses.Alors qu'il occupe une part de march'e importante dans le Calcul Haute Performance, uned'emarche d'Ad'equation Algorithme Architecture est n'eanmoins requise pour impl'ementerefficacement un algorithme sur GPU.La contribution de cette th'ese est double. Dans un premier temps, nous pr'esentons legain significatif apport'e par l'impl'ementation optimis'ee d'un algorithme de granulom'etrie(l'ordre de grandeur passe de l'heure 'a la minute pour un volume de 10243 voxels). Un mod'eleanalytique permettant d''etablir les variations de performance de l'application de granulom'etriesur GPU a 'egalement 'et'e d'efini et pourrait ˆetre 'etendu 'a d'autres algorithmes r'eguliers.Dans un second temps, un outil facilitant le d'eploiement d'applications de Traitementdu Signal et de l'Image sur cluster multi-GPU a 'et'e d'evelopp'e. Pour cela, le champ d'actiondu programmeur est r'eduit au d'ecoupage du programme en tˆaches et 'a leur mapping sur les'el'ements de calcul (GPP ou GPU). L'am'elioration notable du d'ebit sortant d'une applicationstreaming de calcul de carte de saillence visuelle a d'emontr'e l'efficacit'e de notre outil pourl'impl'ementation d'une solution sur cluster multi-GPU. Afin de permettre un 'equilibrage decharge dynamique, une m'ethode de migration de tˆaches a 'egalement 'et'e incorpor'ee 'a l'outil.

Initialement con¸cu pour d´echarger le CPU des tˆaches de rendu graphique, le GPU estdevenu une architecture massivement parall`ele adapt´ee au traitement de donn´ees volumineuses.Alors qu’il occupe une part de march´e importante dans le Calcul Haute Performance, uned´emarche d’Ad´equation Algorithme Architecture est n´eanmoins requise pour impl´ementerefficacement un algorithme sur GPU.La contribution de cette th`ese est double. Dans un premier temps, nous pr´esentons legain significatif apport´e par l’impl´ementation optimis´ee d’un algorithme de granulom´etrie(l’ordre de grandeur passe de l’heure `a la minute pour un volume de 10243 voxels). Un mod`eleanalytique permettant d’´etablir les variations de performance de l’application de granulom´etriesur GPU a ´egalement ´et´e d´efini et pourrait ˆetre ´etendu `a d’autres algorithmes r´eguliers.Dans un second temps, un outil facilitant le d´eploiement d’applications de Traitementdu Signal et de l’Image sur cluster multi-GPU a ´et´e d´evelopp´e. Pour cela, le champ d’actiondu programmeur est r´eduit au d´ecoupage du programme en tˆaches et `a leur mapping sur les´el´ements de calcul (GPP ou GPU). L’am´elioration notable du d´ebit sortant d’une applicationstreaming de calcul de carte de saillence visuelle a d´emontr´e l’efficacit´e de notre outil pourl’impl´ementation d’une solution sur cluster multi-GPU. Afin de permettre un ´equilibrage decharge dynamique, une m´ethode de migration de tˆaches a ´egalement ´et´e incorpor´ee `a l’outil. / Originally designed to relieve the CPU from graphics rendering tasks, the GPU has becomea massively parallel architecture suitable for processing large amounts of data. While it haswon a significant market share in the High Performance Computing domain, an Algorithm-Architecture Matching approach is still necessary to efficiently implement an algorithm onGPU.The contribution of this thesis is twofold. Firstly, we present the significant gain providedby the implementation of a granulometry optimized algorithm (computation time decreasesfrom several hours to less than minute for a volume of 10243 voxels). An analytical modelestablishing the performance variations of the granulometry application is also presented. Webelieve it can be expanded to other regular algorithms.Secondly, the deployment of Signal and Image processing applications on multi-GPUcluster can be a tedious task for the programmer. In order to help him, we developped alibrary that reduces the scope of the programmer’s contribution in the development. Hisremaining tasks are decomposing the application into a Data Flow Graph and giving mappingannotations in order for the tool to automatically dispatch tasks on the processing elements(GPP or GPU). The throughput of a visual sailency streaming application is then improvedthanks to the efficient implementation brought by our tool on a multi-GPU cluster. In orderto permit dynamic load balancing, a task migration method has also been incorporated into it.

Les interfaces cerveau-machine (ICM) permettent de contrôler un appareil électronique grâce aux signaux cérébraux. Plusieurs méthodes de mesure de ces signaux, invasives ou non, peuvent être utilisées. L'électro-encéphalographie (EEG) est la méthode non-invasive la plus étudiée car elle propose une bonne résolution temporelle et le matériel nécessaire est bien moins volumineux que les systèmes de mesure des champs magnétiques.L'EEG a cependant une faible résolution spatiale, ce qui limite les performances des ICM utilisant cette méthode de mesure. Ce souci de résolution spatiale peut être réglé en utilisant le problème inverse de l'EEG, qui permet de passer des potentiels mesurés en surface à une distribution volumique des sources de courant dans le cerveau. Le principal verrou de cette technique est le temps nécessaire (plusieurs heures) pour calculer avec une station de travail la matrice permettant de résoudre leproblème inverse. Dans le cadre de cette thèse, nous avons étudié les solutions actuelles pour accélérer matériellement la conception de cette matrice. Nous avons ainsi proposé, conçu et testé une architecture électronique dédiée à ces traitements pour ICM. Les premiers résultats démontrent que notre solution permet de passer de plusieurs heures de calcul sur une station de travail à quelques minutes sur circuit reconfigurable. Cette accélération des traitements d'imagerie par EEG facilitera grandement la recherche sur l'utilisation du problème inverse et ouvrira ainsi de nouvelles perspectives pour le domaine de l'ICM. / Brain-Computer Interfaces (BCI) are systems that use brain activity to control an external device. Various techniques can be used to collect the neural signals. The measurement can be invasive ornon-invasive. Electroencephalography (EEG) is the most studied non-invasive method. Indeed, EEG offers a fine temporal resolution and ease of use but its spatial resolution limits the performances of BCI based on EEG. The spatial resolution of EEG can be improved by solving the EEG inverse problem, which allows to determine the distribution of electrical sources in the brain from EEG. Currently, the main difficulty is the time needed(several hours) to compute the matrix which is used to solve the EEG inverse problem. This document describes the proposed solution to provide a hardware acceleration of the matrix computation. A dedicated electronic architecture has been implemented and tested. First results show that the proposed architecture divides the calculation time by a factor of 60 on a programmable circuit. This acceleration opens up new perspectives for EEG BCI.

Les travaux de recherche de cette thèse consistent à mettre en place des solutions performantes et légères permettant de répondre aux problèmes de sécurisation de produits sensibles. Motivé par une collaboration avec différents acteurs au sein du projet Nuc-Track,le développement d'un système de sécurité biométrique, possiblement multimodal, mènera à une étude sur différentes caractéristiques biométriques telles que le visage, les empreintes digitales et le réseau vasculaire. Cette thèse sera axée sur une adéquation algorithme et architecture, dans le but de minimiser la taille de stockage des modèles d'apprentissages tout en garantissant des performances optimales. Cela permettra leur stockage sur un support personnel, respectant ainsi les normes de vie privée. / Research of this thesis consists in setting up efficient and light solutions to answer the problems of securing sensitive products. Motivated by a collaboration with various stakeholders within the Nuc-Track project, the development of a biometric security system, possibly multimodal, will lead to a study on various biometric features such as the face, fingerprints and the vascular network. This thesis will focus on an algorithm and architecture matching, with the aim of minimizing the storage size of the learning models while guaranteeing optimal performances. This will allow it to be stored on a personal support, thus respecting privacy standards.

Les applications de télécommunications mobiles et de multimédia, notamment dans le domaine de l'embarqué, deviennent de plus en plus complexes au niveau calculatoire et consomment de plus en plus d'énergie. Afin de palier aux besoins calculatoires et énergétiques de ces applications, les concepteurs se sont orientés vers les architectures hybrides, associant des systèmes de nature et paradigme différents. Ces architectures ont retenu l'attention des concepteurs parce qu'elles présentent un bon compromis coût/performances calculatoires d'autant plus qu'elles possèdent des propriétés énergétiques intéressantes. En outre, l'émergence dans la dernière décade des architectures reconfigurables dynamiquement associant haute performance et encore plus de flexibilité, a fait que les dernières générations des architectures hybrides associent un ou plusieurs processeurs à une ou plusieurs architectures reconfigurables dynamiquement (ARD). Cette thèse s'inscrit dans cette thématique et a ainsi pour objectif d'apporter une modélisation précise de ces architectures ainsi que des méthodologies permettant d'exploiter leurs potentiels de performances. Une modélisation des mécanismes d'échange d'informations entre un processeur couplé à une ressource reconfigurable est d'abord proposée ce qui a permis une identification précise de modèles de performances. En utilisant ces modèles de performances, une méthodologie d'adéquation algorithme architecture permettant suivant les paramètres de l'application de déterminer le couplage CPU/ARD adéquat est présentée. Nous introduisons ces modèles de performances dans le flot de développement logiciel de ces architectures afin de permettre un partitionnement temporel automatique basé sur la détermination de la surface (en nombre d'unités fonctionnelles) de l'ARD nécessaire pour avoir des performances optimales et ce en trouvant le facteur de déroulage de boucle qui assure le maximum de performances pour l'architecture hybride. Le dernier aspect de ce travail concerne la validation de ces méthodologies et leur mise en oeuvre. Nous présentons pour cela les mécanismes d'implémentation d'un démodulateur multimode DVB-T/H et d'un récepteur WCDMA dynamique sur une architecture hybride reconfigurable dynamiquement.

La méthode de mesures par PIV (Particle Image Velocimetry) est une technique pour mesurer un champ de vitesse de manière non intrusive et multipoints. Cette technique utilise l'algorithme de corrélation entre deux images consécutives pour déterminer les vecteurs vitesse. La quantité de calcul requis par cette méthode limite son usage à des traitements en temps différé sur ordinateur. Les performances des ordinateurs demeurent insuffisantes pour ce type d'applications sous contrainte temps réel sur des cadences de données élevés. Au vu de ces besoins, la définition et la conception d'architectures dédiées semblent être une solution adéquate pour atteindre le temps réel. L'évolution des niveaux d'intégration permet le développement des structures dédiées au traitement d'images en temps réel à bas prix. Dans ce travail de thèse, nous nous sommes intéressés à la conception d'une architecture de type SoC (System on-Chip) dédiée aux mesures de paramètres physiques par traitement d'images en temps réel. C'est une architecture hiérarchique et modulaire dédiée à des applications de type flot de données d'entrée dominant. Cette description hiérarchique permet la modification du nombre et/ou de la nature de ces éléments sans modifier profondément l'architecture. Pour le calcul d'une mesure, il faut 267 s avec un FPGA à 50 MHz. Pour estimer les performances du système, un imageur CMOS a été connecté directement au FPGA. Les avantages de ce prototype sont de réduire au minimum le mouvement de grands ensembles de données ainsi que la latence en commençant à traiter des données avant leur complète acquisition.

A l'heure où l'industrie des semi-conducteurs fait face à des difficultés majeures pour entretenir une croissance en berne, les nouveaux outils de synthèse de haut niveau repositionnent les FPGAs comme une technologie de premier plan pour l'accélération matérielle d'algorithmes face aux clusters à base de CPUs et GPUs. Mais en l’état, pour un ingénieur logiciel, ces outils ne garantissent pas, sans expertise du matériel sous-jacent, l’utilisation de ces technologies à leur plein potentiel. Cette particularité peut alors constituer un frein à leur démocratisation. C'est pourquoi nous proposons une méthodologie d'accélération d'algorithmes sur FPGA. Après avoir présenté un modèle d'architecture haut niveau de cette cible, nous détaillons différentes optimisations possibles en OpenCL, pour finalement définir une stratégie d'exploration pertinente pour l'accélération d'algorithmes sur FPGA. Appliquée sur différents cas d'étude, de la reconstruction tomographique à la modélisation d'un brouillage aéroporté radar, nous évaluons notre méthodologie suivant trois principaux critères de performance : le temps de développement, le temps d'exécution, et l'efficacité énergétique. / As the semiconductor industry faces major challenges in sustaining its growth, new High-Level Synthesis tools are repositioning FPGAs as a leading technology for algorithm acceleration in the face of CPU and GPU-based clusters. But as it stands, for a software engineer, these tools do not guarantee, without expertise of the underlying hardware, that these technologies will be harnessed to their full potential. This can be a game breaker for their democratization. From this observation, we propose a methodology for algorithm acceleration on FPGAs. After presenting a high-level model of this architecture, we detail possible optimizations in OpenCL, and finally define a relevant exploration strategy for accelerating algorithms on FPGA. Applied to different case studies, from tomographic reconstruction to the modelling of an airborne radar jammer, we evaluate our methodology according to three main performance criteria: development time, execution time, and energy efficiency.

Mes activités de recherche se situent dans le domaine de l'implantation efficace d'applications de traitement du signal et de l'image (TDSI) au sein de systèmes embarqués. Face à la complexité grandissante des applications implantées au sein des systèmes embarqués, et face à la nécessité de réduire les temps de mise sur le marché, des méthodes et les outils associés sont nécessaires pour automatiser le processus d'implantation de ces applications sur des plateformes embarquées. A l'interface entre les phases de conception des algorithmes de TDSI et d'implantation au sein des systèmes embarqués, la conversion en virgule fixe reste une tache longue, fastidieuse et source d'erreurs. L'objectif de nos travaux de recherche est de proposer une méthodologie efficace de conversion automatique en virgule fixe et de développer les outils associés. De plus, la mise en œuvre de techniques permettant d'optimiser l'implantation d'applications au sein de systèmes embarqués a été étudiée. Plus particulièrement, les applications de communication numérique, les aspects énergétiques et la représentation optimisée des données en virgule fixe ont été considérés. Dans le processus de conversion en virgule fixe, l'évaluation des effets de la précision finie sur les performances de l'application est l'un des problèmes majeurs. Différents travaux de recherche ont permis de définir une approche analytique d'évaluation de la précision basée sur la théorie de la perturbation. Cette approche détermine l'expression de la puissance du bruit de quantification pour les systèmes composés d'opérations dont le modèle de bruit peut être linéarisé. Pour traiter les systèmes intégrant des opérations dont le modèle de bruit n'est pas linéaire, une approche mixte combinant simulation et méthodes analytiques a été proposée. Différentes contributions pour l'automatisation du processus de conversion en virgule fixe ont été proposées. Elles concernent l'évaluation de la dynamique à travers des approches stochastiques, l'optimisation de la largeur des données dans le cas de la synthèse d'architectures et la définition d'une approche hiérarchique pour traiter des systèmes complexes. Une infrastructure logicielle a été développée pour réaliser la conversion en virgule fixe et évaluer efficacement la précision des calculs. Différents travaux ont été conduits sur l'implantation d'applications de communication numérique au sein de systèmes embarqués et sur la génération de blocs matériels dédiés. De plus, le concept d'adaptation dynamique de la précision a été proposé et une architecture reconfigurable et flexible, supportant l'ADP, a été développée.