La réalité augmentée (Augmented Reality ou AR) peut potentiellement changer significativement l’expérience utilisateur. Au contraire les applications sur Smartphone ou tablette, les technologies d’affichage tête haute (Head Up Display ouHUD) aujourd’hui sont capables de projeter localement sur une zone du pare-brise ou globalement sur tout le pare-brise. Le conducteur peut alors percevoir l’information directement dans son champ de vision. Ce ne sont pas que les informations basiques comme vitesse ou navigation, le système peut aussi afficher des aides, des indicateurs qui guident l’attention du conducteur vers les dangers possibles. Il existe alors un chalenge scientifique qui est de concevoir des visualisations d’interactions qui s’adaptent en fonction de l’observation de la scène mais aussi en fonction de l’observation du conducteur. Dans le contexte des systèmes d’alerte de collision avec les piétons (Pedestrian Collision Warning System ou PCWS), l’efficacité de la détection du piéton a atteint un niveau élevé grâce à la technologie de vision. Pourtant, les systèmes d’alerte ne s’adaptent pas au conducteur et à la situation, ils deviennent alors une source de distraction et sont souvent négligés par le conducteur. Pour ces raisons, ce travail de thèse consiste à proposer un nouveau concept de PCWS avec l’AR (nommé the AR-PCW system). Premièrement, nous nous concentrons sur l’étude de la conscience de la situation (Situation Awareness ou SA) du conducteur lorsqu’il y a un piéton présent devant le véhicule. Nous proposons une approche expérimentale pour collecter les données qui représentent l’attention du conducteur vis-à-vis du piéton (Driver Awareness of Pedestrian ou DAP) et l’inattention du conducteur vis-à-vis de celui-ci (Driver Unawareness of Pedestrian ou DUP). Ensuite, les algorithmes basées sur les charactéristiques, les modèles d’apprentissage basés sur les modèles discriminants (ex, Support Vector Machine ou SVM) ou génératifs (Hidden Markov Model ou HMM) sont proposés pour estimer le DUP et le DAP. La décision de notre AR-PCW system est effectivement basée sur ce modèle. Deuxièmement, nous proposons les aides ARs pour améliorer le DAP après une étude de l’état de l’art sur les ARs dans le contexte de la conduite automobile. La boite englobante autour du piéton et le panneau d’alerte de danger sont utilisés. Finalement, nous étudions expérimentalement notre système AR-PCW en analysant les effets des aides AR sur le conducteur. Un simulateur de conduite est utilisé et la simulation d’une zone HUD dans la scène virtuelle sont proposés. Vingt-cinq conducteurs de 2 ans de permis de conduite ont participé à l’expérimentation. Les situations ambigües sont créées dans le scénario de conduite afin d’analyser le DAP. Le conducteur doit suivre un véhicule et les piétons apparaissent à différents moments. L’effet des aides AR sur le conducteur est analysé à travers ses performances à réaliser la tâche de poursuite et ses réactions qui engendrent le DAP. Les résultats objectifs et subjectifs montrent que les aides AR sont capables d’améliorer le DAP défini en trois niveaux : perception, vigilance et anticipation. Ce travail de thèse a été financé sur une bourse ministère et a été réalisé dans le cadre des projets FUI18 SERA et Labex MS2T qui sont financé par le Gouvernement Français, à travers le programme « Investissement pour l’avenir » géré par le ANR (Référence ANR-11-IDEX-0004-02). / Augmented reality (AR) can potentially change the driver’s user experience in significant ways. In contrast of the AR applications on smart phones or tablets, the Head-Up-Displays (HUD) technology based on a part or all wind-shield project information directly into the field of vision, so the driver does not have to look down at the instrument which maybe causes to the time-critical event misses. Until now, the HUD designers try to show not only basic information such as speed and navigation commands but also the aids and the annotations that help the driver to see potential dangers. However, what should be displayed and when it has to be displayed are still always the questions in critical driving context. In another context, the pedestrian safety becomes a serious society problem when half of traffic accidents around the world are among pedestrians and cyclists. Several advanced Pedestrian Collision Warning Systems (PCWS) have been proposed to detect pedestrians using the on-board sensors and to inform the driver of their presences. However, most of these systems do not adapt to the driver’s state and can become extremely distracting and annoying when they detect pedestrian. For those reasons, this thesis focuses on proposing a new concept for the PCWS using AR (so called the AR-PCW system). Firstly, for the «When» question, the display decision has to take into account the driver’s states and the critical situations. Therefore, we investigate the modelisation of the driver’s awareness of a pedestrian (DAP) and the driver’s unawareness of a pedestrian (DUP). In order to do that, an experimental approach is proposed to observe and to collect the driving data that present the DAP and the DUP. Then, the feature-based algorithms, the data-driven models based on the discriminative models (e.g. Support Vector Machine) or the generative models (e.g. Hidden Markov Model) are proposed to recognize the DAP and the DUP. Secondly, for the «What» question, our proposition is inspired by the state-of-the-art on the AR in the driving context. The dynamic bounding-box surrounding the pedestrian and the static danger panel are used as the visual aids. Finally, in this thesis, we study experimentally the benefits and the costs of the proposed AR-PCW system and the effects of the aids on the driver. A fixed-based driving simulator is used. A limited display zone on screen is proposed to simulate the HUD. Twenty five healthy middle-aged licensed drivers in ambiguous driving scenarios are explored. Indeed, the heading-car following is used as the main driving task whereas twenty three pedestrians appear in the circuit at different moment and with different behaviors. The car-follow task performance and the awareness of pedestrian are then accessed through the driver actions. The objective results as well as the subjective results show that the visual aids can enhance the driver’s awareness of a pedestrian which is defined with three levels: perception, vigilance and anticipation. This work has been funded by a Ministry scholarship and was carried out in the framework of the FUI18 SERA project, and the Labex MS2T which is funded by the French Government, through the program ”Investments for the future” managed by the National Agency for Research (Reference ANR-11-IDEX-0004-02).

Cette thèse s'inscrit dans le contexte de la vision embarquée pour la détection et la reconnaissance d'obstacles routiers, en vue d'application d'assistance à la conduite automobile.A l'issue d'une étude bibliographique, nous avons constaté que la problématique de détection d'obstacles routiers, notamment des piétons, à l'aide d'une caméra embarquée, ne peut être résolue convenablement sans recourir aux techniques de reconnaissance de catégories d'objets dans les images. Ainsi, une étude complète du processus de la reconnaissance est réalisée, couvrant les techniques de représentation,de classification et de fusion d'informations. Les contributions de cette thèse se déclinent principalement autour de ces trois axes.Notre première contribution concerne la conception d'un modèle d'apparence locale basée sur un ensemble de descripteurs locaux SURF (Speeded Up RobustFeatures) représentés dans un Vocabulaire Visuel Hiérarchique. Bien que ce modèle soit robuste aux larges variations d'apparences et de formes intra-classe, il nécessite d'être couplé à une technique de classification permettant de discriminer et de catégoriser précisément les objets routiers. Une deuxième contribution présentée dans la thèse porte sur la combinaison du Vocabulaire Visuel Hiérarchique avec un classifieur SVM.Notre troisième contribution concerne l'étude de l'apport d'un module de fusion multimodale permettant d'envisager la combinaison des images visibles et infrarouges.Cette étude met en évidence de façon expérimentale la complémentarité des caractéristiques locales et globales ainsi que la modalité visible et celle infrarouge.Pour réduire la complexité du système, une stratégie de classification à deux niveaux de décision a été proposée. Cette stratégie est basée sur la théorie des fonctions de croyance et permet d'accélérer grandement le temps de prise de décision.Une dernière contribution est une synthèse des précédentes : nous mettons à profit les résultats d'expérimentations et nous intégrons les éléments développés dans un système de détection et de suivi de piétons en infrarouge-lointain. Ce système a été validé sur différentes bases d'images et séquences routières en milieu urbain. / The aim of this thesis arises in the context of Embedded-vision system for road obstacles detection and recognition : application to driver assistance systems. Following a literature review, we found that the problem of road obstacle detection, especially pedestrians, by using an on-board camera, cannot be adequately resolved without resorting to object recognition techniques. Thus, a preliminary study of the recognition process is presented, including the techniques of image representation, Classification and information fusion. The contributions of this thesis are organized around these three axes. Our first contribution is the design of a local appearance model based on SURF (Speeded Up Robust Features) features and represented in a hierarchical Codebook. This model shows considerable robustness with respect to significant intra-class variation of object appearance and shape. However, the price for this robustness typically is that it tends to produce a significant number of false positives. This proves the need for integration of discriminative techniques in order to accurately categorize road objects. A second contribution presented in this thesis focuses on the combination of the Hierarchical Codebook with an SVM classifier.Our third contribution concerns the study of the implementation of a multimodal fusion module that combines information from visible and infrared spectrum. This study highlights and verifies experimentally the complementarities between the proposed local and global features, on the one hand, and visible and infrared spectrum on the other hand. In order to reduce the complexity of the overall system, a two-level classification strategy is proposed. This strategy, based on belieffunctions, enables to speed up the classification process without compromising there cognition performance. A final contribution provides a synthesis across the previous ones and involves the implementation of a fast pedestrian detection systemusing a far-infrared camera. This system was validated with different urban road scenes that are recorded from an onboard camera.