Le Dynamic Vision Sensor (DVS) est un prototype de la rétine silicium qui n'enregistre que des changements de contraste de la scène sous la forme de flux d'événements, excluant donc naturellement les niveaux de gris absolus redondants. Dans ce contexte, de nombreux algorithmes de vision asynchrones à grande vitesse basées sur l'événement ont été développés et leurs avantages par rapport aux méthodes de traitement traditionnel basé sur l'image ont été comparés. En retour haptique pour la micromanipulation, la vision est un candidat qualifié pour l'estimation de la force si le modèle position-force est bien établi. La fréquence d'échantillonnage doit toutefois atteindre 1 kHz pour permettre une sensation tactile transparente et fiable et assurer la stabilité du système. La vision basée sur l'événement a donc été appliquée pour fournir le retour d'effort nécessaire sur deux applications de micromanipulation: Le retour haptique sur la pince optique; Assistance virtuelle haptique sur micro-outil mécanique. Les résultats montrent que l'exigence de fréquence haptique de 1 kHz a été réalisée avec succès. Pour la première application, les algorithmes de détection de la position d'une microsphère à haute vitesse ont été développés. Un système de retour haptique tridimensionnel capable de manipuler plusieurs pièges optiques a été réalisé. Dans la deuxième application, un nouvel algorithme d'enregistrement de forme basé sur l'événement capable de suivre objet de forme arbitraire a été développé pour suivre une micropince piézoélectrique. La stabilité du système a été considérablement renforcée pour aider les opérateurs à effectuer des tâches de micromanipulation complexes.

Autonomous vehicles promise to play an important role aiming at increased efficiency and safety in road transportation. Although we have seen several examples of autonomous vehicles out on the road over the past years, how to ensure the safety of autonomous vehicle in the uncertain and dynamic environment is still a challenging problem. This thesis studies this problem by developing a risk-aware decision making framework. The system that integrates the dynamics of an autonomous vehicle and the uncertain environment is modelled as a Partially Observable Markov Decision Process (POMDP). A risk measure is proposed based on the Responsibility-Sensitive Safety (RSS) distance, which quantifying the minimum distance to other vehicles for ensuring safety. This risk measure is incorporated into the reward function of POMDP for achieving a risk-aware decision making. The proposed risk-aware POMDP framework is evaluated in two case studies. In a single-lane car following scenario, it is shown that the ego vehicle is able to successfully avoid a collision in an emergency event where a vehicle in front of it makes a full stop. In the merge scenario, the ego vehicle successfully enters the main road from a ramp with a satisfactory distance to other vehicles. As a conclusion, the risk-aware POMDP framework is able to realize a trade-off between safety and usability by keeping a reasonable distance and adapting to other vehicles behaviours. / Autonoma fordon förutspås spela en stor roll i framtiden med målen att förbättra effektivitet och säkerhet för vägtransporter. Men även om vi sett flera exempel av autonoma fordon ute på vägarna de senaste åren är frågan om hur säkerhet ska kunna garanteras ett utmanande problem. Det här examensarbetet har studerat denna fråga genom att utveckla ett ramverk för riskmedvetet beslutsfattande. Det autonoma fordonets dynamik och den oförutsägbara omgivningen modelleras med en partiellt observerbar Markov-beslutsprocess (POMDP från engelskans “Partially Observable Markov Decision Process”). Ett riskmått föreslås baserat på ett säkerhetsavstånd förkortat RSS (från engelskans “Responsibility-Sensitive Safety”) som kvantifierar det minsta avståndet till andra fordon för garanterad säkerhet. Riskmåttet integreras i POMDP-modellens belöningsfunktion för att åstadkomma riskmedvetna beteenden. Den föreslagna riskmedvetna POMDP-modellen utvärderas i två fallstudier. I ett scenario där det egna fordonet följer ett annat fordon på en enfilig väg visar vi att det egna fordonet kan undvika en kollision då det framförvarande fordonet bromsar till stillastående. I ett scenario där det egna fordonet ansluter till en huvudled från en ramp visar vi att detta görs med ett tillfredställande avstånd till andra fordon. Slutsatsen är att den riskmedvetna POMDP-modellen lyckas realisera en avvägning mellan säkerhet och användbarhet genom att hålla ett rimligt säkerhetsavstånd och anpassa sig till andra fordons beteenden.

Cette thèse s'intéresse aux mécanismes permettant de faciliter l'acquisition autonome de comportements chez les êtres vivants et propose d'utiliser ces mécanismes dans le cadre de tâches robotiques. Des réseaux de neurones artificiels sont utilisés pour modéliser certaines structures cérébrales, à la fois afin de mieux comprendre le fonctionnement de ces structures dans le cerveau des mammifères et pour obtenir des algorithmes robustes et adaptatifs de contrôle en robotique. Les travaux présentés se basent sur un modèle de l'hippocampe permettant d'apprendre des relations temporelles entre des événements perceptifs. Les neurones qui forment le substrat de cet apprentissage, appelés cellules de transition, permettent de faire des prédictions sur les événements futurs que le robot pourrait rencontrer. Ces transitions servent de support à la con- struction d'une carte cognitive, située dans le cortex préfrontal et/ou pariétal. Cette carte peut être apprise lors de l'exploration d'un environnement inconnu par un robot mobile et ensuite utilisée pour planifier des chemins lui permettant de rejoindre un ou plusieurs buts. Outre leur utilisation pour la construction d'une carte cognitive, les cellules de transition servent de base à la conception d'un modèle d'apprentissage par renforcement. Une implémen- tation neuronale de l'algorithme de Q-learning, utilisant les transitions, est réalisée de manière biologiquement plausible en s'inspirant des ganglions de la base. Cette architecture fournit une stratégie de navigation alternative à la planification par carte cognitive, avec un apprentissage plus lent, et correspondant à une stratégie automatique de bas-niveau. Des expériences où les deux stratégies sont utilisées en coopération sont réalisées et des lésions du cortex préfrontal et des ganglions de la base permettent de reproduire des résultats expérimentaux obtenus chez les rats. Les cellules de transition peuvent apprendre des relations temporelles précises permettant de prédire l'instant où devrait survenir un événement. Dans un modèle des interactions entre l'hippocampe et le cortex préfrontal, nous montrons comment ces prédictions peuvent expliquer certains enregistrements in-vivo dans ces structures cérébrales, notamment lorsqu'un rat réalise une tâche durant laquelle il doit rester immobile pendant 2 secondes sur un lieu but pour obtenir une récompense. L'apprentissage des informations temporelles provenant de l'environnement et du comportement permet de détecter des régularités. A l'opposé, l'absence d'un événe- ment prédit peut signifier un échec du comportement du robot, qui peut être détecté et utilisé pour adapter son comportement en conséquence. Un système de détection de l'échec est alors développé, tirant parti des prédictions temporelles fournies par l'hippocampe et des interactions entre les aspects de modulation comportementale du cortex préfrontal et d'apprentissage par renforcement dans les ganglions de la base. Plusieurs expériences robotiques sont conduites dans lesquelles ce signal est utilisé pour moduler le comportement d'un robot, dans un premier temps de manière immédiate, afin de mettre fin aux actions du robot qui le mènent à un échec et envisager d'autres stratégies. Ce signal est ensuite utilisé de manière plus permanente pour moduler l'apprentissage des associations menant à la sélection d'une action, afin que les échecs répétés d'une action dans un contexte particulier fassent oublier cette association. Finalement, après avoir utilisé le modèle dans le cadre de la navigation, nous montrons ses capacités de généralisation en l'utilisant pour le contrôle d'un bras robotique. Ces travaux constituent une étape importante pour l'obtention d'un modèle unifié et générique permettant le contrôle de plates-formes robotiques variés et pouvant apprendre à résoudre des tâches de natures différentes.

Les intersections sont les zones les plus dangereuses du r��seau routier. Les ��tudes d'accidentologie montrent que la plupart des accidents aux intersections sont caus��s par des erreurs des conducteurs, et qu'une majorit�� d'accidents pourraient ��tre ��vit��s gr��ce �� l'utilisation de syst��mes d'aide �� la conduite. Dans ce cadre, les communications inter-v��hiculaire sont une technologie particuli��rement prometteuse. Le partage d'informations entre les v��hicules via des liens sans fil permet �� chaque v��hicule de percevoir son environnement au-del�� des limites de champ de vision de ses capteurs embarqu��s. Il en r��sulte une repr��sentation de l'environnement plus ��tendue dans l'espace et dans le temps, ce qui am��liore la compr��hension de situation et permet d'anticiper le danger. Cette th��se aborde le probl��me de l'estimation du risque sous un angle nouveau : elle propose une structure de raisonnement pour analyser les sc��nes routi��res et le risque de collision �� un niveau s��mantique, contrairement aux approches classiques qui raisonnent au niveau des trajectoires. Le risque est calcul�� en estimant les intentions des conducteurs et en d��tectant les conflits, sans avoir �� pr��dire les trajectoires futures des v��hicules. Plus pr��cis��ment, la d��tection des situations dangereuses est bas��e sur la comparaison entre ce que les conducteurs ont l'intention de faire et ce que les conducteurs devraient faire d'apr��s les r��gles de la circulation. Ce raisonnement est r��alis�� de mani��re probabiliste afin de prendre en compte les incertitudes sur les mesures capteur et les ambig��it��s sur l'interpr��tation de la sc��ne. En th��orie ce raisonnement peut ��tre appliqu�� �� tout type de sc��ne routi��re ; dans cette th��se nous pr��sentons son application aux intersections. Le mod��le propos�� prend en compte l'influence que la man��uvre d'un v��hicule exerce sur la man��uvre des autres v��hicules. Il incorpore aussi des informations sur l'influence de la g��om��trie et topologie de l'intersection sur le comportement d'un v��hicule. L'approche propos��e a ��t�� valid��e par des tests en environnement r��el avec des v��hicules communicants, ainsi qu'en simulation. Les r��sultats montrent que l'algorithme est capable de d��tecter les situations dangereuses et qu'il est compatible avec des applications s��curitaires temps-r��el.

Parmi les nouvelles technologies envisagées pour le développement d'aides à la conduite innovantes, la détection d'obstacles tient une place importante. Elle permet en effet d'anticiper d'éventuelles collisions, pour un gain réel en sécurité. Cette thèse propose d'aborder le thème de la détection d'obstacles par une approche multi-capteurs qui se veut robuste et générique, grâce au rôle central conféré à la stéréovision. Dans la méthodologie proposée, les différents capteurs (capteur stéréoscopique, télémètre laser, capteur d'identification optique) fournissent des hypothèses de détection sous la forme de volumes d'intérêt dans l'espace de disparité lié aux images stéréoscopiques. Un traitement localisé dans chacune de ces régions permet ensuite de valider et de caractériser ces hypothèses. Nous proposons dans cette thèse la description de cette méthodologie, trois méthodes de création d'hypothèses de détection et des critères pour la validation de celles-ci. Par ailleurs, des aspects pragmatiques liés à la mise en oeuvre de cette approche sont abordés, comme les choix algorithmiques permettant l'obtention en temps réel de données exploitables pour la stéréovision et l'évaluation des méthodes proposées. Enfin, nous présentons trois applications fonctionnant dans des véhicules expérimentaux et anticipant sur de futures aides à la conduite.

Le domaine de la vision par ordinateur a atteint un degré de maturité qui lui permet d'envisager, au delà de la mise en oeuvre d'algorithmes utilisés au coup par coup ou dans un asservissement, la construction d'applications complexes intégrant différents aspects (analyse de scène, décision, traitements temps réel, supervision). Cette complexité se répercute à tous les niveaux du cycle de développement de ces applications (conception, implantation et validation). Ce travail propose donc une méthodologie de conception et des outils effectifs pour la mise en oeuvre d'applications de vision temps réel. La méthodologie de conception proposée exige un découpage fonctionnel des traitements en tâches élémentaires, puis l'organisation de ces tâches de manière logique pour construire l'application. Ces tâches élémentaires sont appelées des Tâches Vision. Elles se présentent sous la forme d'une boucle de calculs temps réel, paramétrée, contrôlée de manière logique et pouvant agir sur un capteur visuel. L'environnement Orccad/MaestRo, dédié initialement à la robotique, offre des caractéristiques intéressantes pour satisfaire aux besoins de cette méthodologie. Il offre en particulier des outils formels de validation de la partie liée au controle logique et permet la gestion rigoureuse des aspects temps réel. Afin de tirer le meilleur parti de cet environnement pour le développement d'applications de vision, nous avons dû ajouter ou enrichir certaines de ses fonctionnalités. Les modifications concernent notamment un mécanisme de paramétrage dynamique des calculs, un mécanisme de communication assurant l'interopérabilité du système et un mécanisme de génération automatique d'interfaces de supervision. L'utilisation de cette méthodologie et de l'environnement Orccad étendu est illustrée à l'aide d'un prototype d'application de suivi de cible, dans un contexte d'assistance aux personnes agées.

Les véhicules autonomes se mouvant dans un environnement quelconque peuvent être confrontés à la présence de nombreux objets mobiles, dont la localisation et la trajectoire sont indépendantes. Cette problématique est particulièrement présente dans la thématique du transport en milieu urbain, mais sa portée est plus générale. On présente dans cette thèse une solution de perception d'un environnement dynamique, à partir d'une paire de caméra, qui vise à fournir en temps réel une cartographie en trois dimensions de l'environnement courant, ainsi que la vitesse indépendante des points suivis. Cette solution propose par ailleurs des algorithmes de détection, segmentation et suivi des objets mobiles, et fourni donc une liste des objets mobiles de l'environnement, dont les positions, dimensions et vitesses sont connues.

Les techniques de planification de mouvement actuelles sont maintenant capables de résoudre des problèmes mettant en jeu des mécanismes complexes plongés au sein d'environnements encombrés. Néanmoins, l'adaptation de ces planificateurs à des scènes comprenant à la fois des obstacles statiques et des obstacles mobiles s'est avérée limitée jusqu'ici. Une des raisons en est le coût associé à la mise à jour des structures de données qui sont précalculées pour capturer la connexité de l'espace libre. Notre contribution principale concerne la proposition d'un nouveau planificateur capable de traiter des problèmes comprenant à la fois obstacles statiques et obstacles mobiles. Ce planificateur hybride combine deux grandes familles de techniques. D'une part les techniques dites PRM, initialement conçues pour résoudre des problèmes à requêtes multiples et que nous avons étendu à des problèmes de scènes dynamiques. D'autre part, de nouvelles techniques de diffusion, alors que celles-ci sont généralement dédiées aux problèmes simple requête ne nécessitant aucune opération de prétraitement. Les principaux développements accompagnant la construction de ce planificateur sont les suivants : - La proposition d'une architecture originale pour le planificateur dédié aux environnements changeants. Cette architecture inclut notamment plusieurs mécanismes dits d' "évaluation paresseuse" qui permettent de minimiser les test de collision et ainsi d'assurer de bonnes performances. - Le développement d'une nouvelle méthode de diffusion permettant de reconnecter localement certaines portions du réseau invalidées par la présence des obstacles mobiles. Cette méthode, appelée RRT à Domaine Dynamique correspond en fait une extension des planificateur bien connus à bases de RRTs. Un des intérêt propre à notre approche est d'équilibrer automatiquement deux comportements propres au planificateur : l'exploration vers des régions encore inconnues et l'affinage du modèle des régions de l'espac e déjà explorées. - Deux méthodes originales de création de réseaux cycliques qui servent à initialiser notre planificateur. La première assume que les obstacles mobiles sont confinés dans une région donnée, pour construire un réseau adapté aux différents types de changements de position possibles. La seconde est une méthode qui construit des réseaux appelés "réseaux de rétraction". A l'aide d'une structure de donnée de faible taille, cette structure parvient à capturer les différentes variétés de chemins de l'espace, à travers notamment chacune des classes d'homotopie de l'espace libre. Toutes ces méthodes sont implémentées au sein de la plate-forme de travail Move3D développée au LAAS-CNRS et sont évaluées sur différents types de systèmes mécaniques plongés au sein d'environnements 3D.

In this thesis, we address the issue of fully localizing a known object through computer vision, using a monocular camera, what is a central problem in robotics. A particular attention is here paid on space robotics applications, with the aims of providing a unified visual localization system for autonomous navigation purposes for space rendezvous and proximity operations. Two main challenges of the problem are tackled: initially detecting the targeted object and then tracking it frame-by-frame, providing the complete pose between the camera and the object, knowing the 3D CAD model of the object. For detection, the pose estimation process is based on the segmentation of the moving object and on an efficient probabilistic edge-based matching and alignment procedure of a set of synthetic views of the object with a sequence of initial images. For the tracking phase, pose estimation is handled through a 3D model-based tracking algorithm, for which we propose three different types of visual features, pertinently representing the object with its edges, its silhouette and with a set of interest points. The reliability of the localization process is evaluated by propagating the uncertainty from the errors of the visual features. This uncertainty besides feeds a linear Kalman filter on the camera velocity parameters. Qualitative and quantitative experiments have been performed on various synthetic and real data, with challenging imaging conditions, showing the efficiency and the benefits of the different contributions, and their compliance with space rendezvous applications.

Les robots humanoïdes sont de plus en plus important dans nos vies quotidiennes en raison du fort potentiel qu'ils ont pour aider les personnes. Pour être en mesure d'aider, il est nécessaire que le robot peut communiquer avec les humains, et pour cela, il est l'information importante du monde collectées par les capteurs intégrés au robot. Dans notre cas particulier, le rellevant la plupart sont des cam ́eras et des micros, qui peuvent fournir une description assez complète de l'environnement du robot. Dans cette th'ese, nous avons l'intention d'utiliser les informations fournies par les caméras et les micros de robot humano ̈ıde Nao de d ́evelopper des applications qui permettent une interaction homme-robot. Avec l'information visuelle deux algorithmes diff ́erents st ́er ́eo, qui serviront de base pour concevoir d'autres applications, sont pr ́esent ́es. La premi'ere utilise des in- formations provenant framse temporelle diff ́erente de surmonter certains prob- lmes avec les r ́egions sans texture, tandis que la deuxi'eme chaˆıne hi-fi et le flux optique sont recherch ́ees en mˆeme temps afin d'avoir plus d'informations sur la sc'ene. Dans les vecteurs de b ́eton, de position et de vitesse pour chaque pixel. Est le dernier algorithme que le descripteur est con ̧cu pour la reconnaissance d'actions avec des donn ́ees st ́er ́eo. Le but de cela est de tirer parti de l'information suppl ́ementaire qui peut fournir l'st ́er ́eo comme en face de traditionnels algo- rithmes monoculaires qui existent 'a ce jour. Pour compl ́eter et am ́eliorer le taux de reconnaissance moyen de la reconnaissance d'actions, l'information auditive est ́egalement utilis ́e. Il est bien connu que les donn ́ees provenant visuelle et capteurs auditifs est compl ́ementaire et peut aider dans des situations ou' des objets sont cach ́e ou ne sont tout simplement pas l'a. Enfin, une derni'ere application vers une meilleure interaction entre l'humain et le robot est un d ́etecteur de haut-parleur. en ce cas, les donn ́ees des deux modalit ́es est ́egalement utilis ́e, mais il en diff'ere sur la mani'ere dont les informations sont combin ́ees, ainsi que les informations extraites de capteurs visuels et auditifs. Presque la totalit ́e des applications sont mises en œuvre et ex ́ecuter en robot humano ̈ıde NAO.