Cette thèse s'inscrit dans le domaine des neurosciences<br />computationnelles dont le but est de modéliser des fonctions<br />cognitives complexes par le biais de simulations<br />informatiques et numériques en s'inspirant du fonctionnement<br />cérébral. Contrairement à une approche descendante nécessitant de<br />connaître une expression analytique de la fonction à simuler,<br />l'approche ascendante retenue permet d'observer<br />l'émergence d'une fonction grâce à l'interaction de populations de<br />neurones artificiels sans qu'elle soit connue à l'avance. Dans un<br />premier temps, nous présentons un modèle de réseau de neurones<br />particulier, les champs neuronaux, dont les propriétés<br />dynamiques de résistance au bruit et de continuité spatio-temporelle permettent cette émergence. Afin de guider l'émergence de transformations sensorimotrices sur ce substrat, nous présentons ensuite l'architecture des<br />systèmes visuel et moteur pour mettre en évidence le rôle central de l'attention visuelle dans la réalisation de ces fonctions<br />par le cerveau. Nous proposons ensuite un schéma<br />fonctionnel des transformations sensorimotrices dans lequel la<br />préparation d'une saccade oculaire guide l'attention vers une rÈgion<br />de l'espace visuel et permet la programmation du mouvement. Nous décrivons enfin un modèle computationnel de déplacement du point d'attention qui, en utilisant une mémoire de travail spatiale<br />dynamique, permet la recherche séquentielle d'une cible dans une scène visuelle grâce au phénomène d'inhibition de retour. Les performances de ce modèle (résistance au bruit, au mouvement des objets et à l'exécution de saccades) sont analysées en simulation et sur une plate-forme robotique.

Les méthodes d'optimisation d'un codeur vidéo classique ne traitent l'information à réduire que d'un point de vue signal et sont donc « bas niveau ». Bien que des travaux intégrant des propriétés du SVH soient proposés pour l'évaluation de la qualité, ou améliorer les techniques de codage, ces méthodes sont peu retenues au niveau des standards. Les travaux de recherche se portent davantage sur l'enrichissement des nouvelles normes, tel que le standard H.264. Cependant, les méthodes « haut niveau » obtiennent des performances encourageantes. Nous proposons donc une méthode de pré-analyse de la vidéo, qui intègre un modèle de l'attention visuelle. Le but est d'analyser la vidéo en tenant compte des informations haut niveau, pour transmettre au codeur le jeu de paramètres optimal afin d'exploiter au mieux les outils de codage. Les études réalisées pour modéliser l'attention visuelle ont mis en évidence le caractère primordial du contraste de mouvement. Notre méthode de pré-analyse détecte d'abord les objets en mouvement (par rapport à celui de la caméra), puis calcule les cartes de saillance permettant de déterminer les zones visuellement importantes. Nous proposons deux applications de codage (qui peuvent être utilisées conjointement) en fonction des informations obtenues après la pré-analyse, ainsi que l'évaluation de leurs performances. La première propose de modifier adaptativement la structure du GOP en fonction du contenu spatiotemporel de la vidéo. La deuxième concerne une application de compression de la vidéo avec une qualité visuelle différenciée guidée par les cartes de saillance. Les performances sont analysées à partir de tests d'évaluation subjective de la qualité.

Lorsque nous explorons une scène visuelle nous focalisons notre attention et notre regard sur certaines régions de la scène dites saillantes an d'étudier ces régions plus en détail. L'objectif de cette thèse était de mieux comprendre les processus attentionnels qui guident le regard lorsque nous regardons une vidéo et de modéliser ces processus. Deux approches complémentaires ont été adoptées : une approche comportementale, à l'aide d'expériences d'oculométrie, pour mieux comprendre comment les personnes regardent une vidéo et une approche de modélisation afin de proposer un modèle, inspiré du système visuel humain, permettant de mettre en évidence les régions saillantes dans des vidéos. Deux modèles ont été proposés. Le premier modèle de saillance à deux voies, extrait des cartes statiques et dynamiques à partir des informations sur la luminance et le mouvement. Les traitements de ces deux voies, bien que relativement indépendants, sont réalisés par des modules communs (filtre "rétinien" et filtres "corticaux") à l'instar de ce qui est fait dans le système visuel. Un deuxième modèle de saillance, à trois voies, intègre au modèle précédent une voie dédiée à la détection des visages, les visages étant connus pour attirer les regards. Des expériences d'oculométrie ont permis d'étudier et d'évaluer ces modèles de saillance en détail.

Les neurones impulsionnels prennent en compte une caractéristique fondamentale des neurones biologiques : la capacité d'encoder l'information sous forme d'événements discrets. Nous nous sommes intéressés à l'apport de ce type de modèles dans le cadre de la vision artificielle, dont les contraintes nous ont orienté vers le choix de modèles simples, adaptés à la rapidité de traitement requise. Nous décrivons une architecture de réseaux pour encoder et extraire des saillances utilisant la discrétisation induite par les neurones impulsionnels. La carte de saillances est obtenue à partir de la combinaison, spatiale et temporelle, de différentes cartes de modalités visuelles (contrastes, orientations et couleurs) à différentes échelles spatiales. Nous proposons une méthode de filtrage neuronal pour construire les cartes de modalité visuelle. Cette méthode réalise le filtrage de façon graduelle : plus le temps de traitement alloué à l'algorithme est important, plus le résultat est proche de celui obtenu avec un filtrage par convolution. L'architecture proposée donne en sortie les saillances triées temporellement dans l'ordre de leur importance. Nous avons placé en aval de cette architecture un autre réseau de neurones impulsionnels, s'inspirant des champs neuronaux, qui permet de sélectionner la zone la plus saillante et de maintenir une activité constante sur cette zone. Les résultats expérimentaux montrent que l'architecture proposée est capable d'extraire des saillances dans une séquence d'images, de sélectionner la saillance la plus importante et de maintenir la focalisation sur cette saillance, même dans un contexte bruité ou quand la saillance se déplace.

Le volume grandissant de vidéos a suscité le besoin de nouveaux outils d'aide à l'indexation. Un des outils possibles est le résumé de vidéo qui permet de fournir un aperçu rapide à l'usager. L'objectif de cette thèse est d'extraire, à partir d'informations visuelles, un résumé de vidéo contenant le « message » de la vidéo. Nous avons choisi d'étudier trois nouvelles méthodes de résumé de vidéo utilisant différentes informations visuelles.<br />La première méthode de résumé repose sur des caractéristiques de bas niveau (couleur, orientation et mouvement). La combinaison de ces index qui s'appuie sur un système d'inférence floue a permis de construire un résumé hiérarchique. Nous avons montré l'intérêt d'un tel résumé dans une application de la recherche par l'exemple.<br />La deuxième méthode de résumé est construite à partir du mouvement de caméra. Cette caractéristique de plus haut niveau sémantique est réfléchie par le réalisateur et induit une information sur le contenu. Une méthode de classification des mouvements basée sur le Modèle des Croyances Transférables est élaborée. La méthode de résumé est alors établie selon des règles sur l'amplitude et l'enchaînement des mouvements de caméra identifiés.<br />La troisième méthode de résumé est développée à partir de l'attention visuelle. Connaître les endroits où le regard se porte lors du visionnage de la vidéo est une information de plus haut niveau sémantique et pertinente pour créer le résumé. Un modèle spatio-temporel d'attention visuelle est proposé, puis utilisé pour détecter le changement de contenu au cours du temps afin de construire le résumé.

L'attention visuelle est l'un des mécanismes les plus importants mis en oeuvre par le système visuel humain (SVH) afin de réduire la quantité d'information que le cerveau a besoin de traiter pour appréhender le contenu d'une scène. Un nombre croissant de travaux est consacré à l'étude de l'attention visuelle, et en particulier à sa modélisation computationnelle. Dans cette thèse, nous présentons des études portant sur plusieurs aspects de cette recherche. Nos travaux peuvent être classés globalement en deux parties. La première concerne les questions liées à la vérité de terrain utilisée, la seconde est relative à la modélisation de l'attention visuelle dans des conditions de visualisation 3D. Dans la première partie, nous analysons la fiabilité de cartes de densité de fixation issues de différentes bases de données occulométriques. Ensuite, nous identifions quantitativement les similitudes et les différences entre carte de densité de fixation et carte d'importance visuelle, ces deux types de carte étant les vérités de terrain communément utilisées par les applications relatives à l'attention. Puis, pour faire face au manque de vérité de terrain exploitable pour la modélisation de l'attention visuelle 3D, nous procédons à une expérimentation oculométrique binoculaire qui aboutit à la création d'une nouvelle base de données avec des images stéréoscopiques 3D. Dans la seconde partie, nous commençons par examiner l'impact de la profondeur sur l'attention visuelle dans des conditions de visualisation 3D. Nous quantifions d'abord le " biais de profondeur " lié à la visualisation de contenus synthétiques 3D sur écran plat stéréoscopique. Ensuite, nous étendons notre étude avec l'usage d'images 3D au contenu naturel. Nous proposons un modèle de l'attention visuelle 3D basé saillance de profondeur, modèle qui repose sur le contraste de profondeur de la scène. Deux façons différentes d'exploiter l'information de profondeur par notre modèle sont comparées. Ensuite, nous étudions le biais central et les différences qui existent selon que les conditions de visualisation soient 2D ou 3D. Nous intégrons aussi le biais central à notre modèle de l'attention visuelle 3D. Enfin, considérant que l'attention visuelle combinée à une technique de floutage peut améliorer la qualité d'expérience de la TV-3D, nous étudions l'influence de flou sur la perception de la profondeur, et la relation du flou avec la disparité binoculaire.

Avec ce travail, nous avons voulu mettre l'accent sur la validité externe des expérimentations et nous focaliser sur des situations dynamiques naturelles. Or dans ce type de situation, les traitements top-down, découlant des connaissances préalables et de l'objectif, guident préférentiellement l'allocation de l'attention, tandis que les traitements bottom-up (caractéristiques des entrées perceptives) ont une influence mineure. Ce travail est donc centré sur l'attention top-down. La situation choisie est une approche de carrefour en conduite automobile, les sous-tâches étudiées sont le contrôle du véhicule (la trajectoire) et la décision de s'arrêter ou non au carrefour. Deux objectifs opérationnels sont investigués à travers l'analyse des mouvements oculaires : 1/ distinguer les sous-tâches de contrôle du véhicule et de prise de décision, 2/ distinguer les processus de la sous-tâche de prise de décision. Pour chaque objectif, une approche qualitative puis quantitative sont explorées. Des techniques de classification supervisées ont notamment été utilisées pour distinguer les différents processus. Deux études ont été conduites afin de répondre à ces objectifs, une en simulateur de conduite et une en situation réelle de conduite, mettant toutes deux en scène des approches de carrefours. / In this work, we focus on the external validity of experiments and on natural dynamic situations. In this type of situation, the top-down treatments resulting from prior knowledge and goal preferably guide the allocation of attention, while the bottom-up treatments (characteristics of perceptual input) play a minor role. This work is then focused on top-down attention. The chosen situation is an approach of driving crossroads, the studied subtasks are the control of vehicle (trajectory) and the decision to stop or not at the crossroads. Two operational objectives are investigated by analyzing eye movements: 1/ discriminating the vehicle's control and decision making subtasks, 2/ discriminating the process of the decision making subtask. For each objective, we explore a qualitative and quantitative approach. In particular, supervised techniques of classification have been used to distinguish the different processes. Two studies were conducted in order to meet these objectives, one with a driving simulator and one in a real situation of driving, both involving approaches to crossroads.

Les études menées dans cette thèse portent sur le rôle de la couleur dans l'attention visuelle. Nous avons tenté de comprendre l'influence de l'information couleur dans les vidéos sur les mouvements oculaire, afin d'intégrer les attributs couleur dans un modèle de saillance visuelle. Pour cela, nous avons analysé différentes caractéristiques des mouvements oculaires d'observateurs regardant librement des vidéos en deux conditions: couleur et niveaux de gris. Nous avons également comparé les régions principales de regard sur des vidéos en couleur avec celles en niveaux de gris. Il est apparu que les informations de couleur modifient légèrement les caractéristiques de mouvement oculaire comme la position de l'œil et la durée des fixations. Cependant, nous avons constaté que la couleur augmente le nombre de régions de regard. De plus, cet influence de la couleur s'accroît au cours du temps. En nous appuyant sur ces résultats, nous avons proposé une méthode de calcul des cartes de saillance couleur. Nous avons intégré ces cartes dans un modèle de saillance existant. / The studies conducted in this thesis focus on the role of colour in visual attention. We tried to understand the influence of colour information on the eye movements while observing videos, to incorporate colour information into a model of visual saliency. For this, we analysed different characteristics of eye movements of observers while freely watching videos in two conditions: colour and grayscale videos. We also have compared the main regions of regard of colour videos with those of grayscale. We observed that colour information influences only moderately, the eye movement characteristics such as the position of gaze and duration of fixations. However, we found that colour increases the number of the regions of interest in video stimuli. Moreover, this varies across time. Based on these observations, we proposed a method to compute colour saliency maps for videos. We have incorporated colour saliency maps in an existing model of saliency.

Les jeux vidéo occupent une place importante dans notre société. Cependant, leur conception ne prend aujourd'hui que peu en compte les spécificités de l'interaction joueur-jeu vidéo, qui sont déterminantes pour une expérience de jeu optimale. L'objectif de cette thèse était de comprendre l'influence de différents choix de conception des interfaces visuelles des jeux vidéo sur la performance et le comportement du regard des joueurs. Ces interfaces, généralement dynamiques et complexes, sont composées de trois sources d'information : les objets avec lesquels le joueur interagit et l'arrière-plan, qui composent la scène d'action principale, ainsi que les informations contextuelles superposées à la scène principale. Sept expériences ont été réalisées pour comprendre le partage attentionnel entre ces sources dans le cadre d'une activité de jeu vidéo. Les caractéristiques de l'arrière-plan, des informations contextuelles et de la tâche ont été manipulées. La performance et les mouvements du regard des joueurs ont été enregistrés. Les résultats ont montré que le partage attentionnel entre deux sources d'information (e.g., scène d'action et informations contextuelles) est facilité lorsqu'elles ne se chevauchent pas. Lorsque qu'elles se chevauchent nécessairement (e.g., objets et arrière-plan), les caractéristiques de mouvement et de complexité de l'arrière-plan et la difficulté de la tâche modulent très largement la dégradation de la performance. Un modèle théorique de partage attentionnel entre deux sources visuelles d'information superposées est proposé. Des recommandations sont établies pour la conception des jeux vidéo, mais aussi des environnements virtuels en général. / Video games take an increasingly important place in our society. Nowadays, however, their design doesn't take enough into account the specificity of player-game interaction, which is essential for an optimal play experience. The thesis' goal was to understand the impact of different design choices for video games visual interfaces on players' performance and gaze behavior. These dynamic and complex interfaces include three information sources: the objects that the player interacts with and the background, which make up together the main action scene, and the contextual information superimposed on the main scene. Seven experiments were made to understand how attention is shared between these sources during video game activity. The characteristics of the background, of the contextual information and of the game task were manipulated. The performance was measured while participants' eye movements were recorded. The results showed that attention sharing between two sources (e.g., the action scene and contextual information) is optimal when the two sources do not overlap at all. When they necessarily overlap (e.g., objects superimposed on a background), the nature of background movement, the background visual complexity and the difficulty of the task can strongly modulate the performance decrease. A theoretical model of attention sharing between two superimposed sources of visual information is proposed. Practical recommendations are drawn up for video game design, but also for virtual environments design.

Dans la vie de tous les jours, lorsque nous regardons le monde qui nous entoure, nous bougeons constamment nos yeux. Notre regard se porte successivement sur différents endroits du champ visuel afin de capter l'information visuelle. Ainsi, nos yeux se stabilisent sur deux à trois régions différentes par seconde pendant des périodes appelées fixations. Entre deux fixations, nous réalisons des mouvements rapides des yeux pour déplacer notre regard vers une autre région ; on parle de saccades oculaires. Ces mouvements oculaires sont étroitement liés à l'attention. Quels sont les processus attentionnels mis en jeu lors de l'exploration de scènes ? Comment les facteurs liés à la scène ou à la consigne donnée pour l'exploration modifient-ils les paramètres des mouvements oculaires ? Comment ces modifications évoluent-elles au cours de l'exploration ? Dans cette thèse, nous proposons d'analyser conjointement les données oculométriques et électroencéphalographiques (EEG) pour mieux comprendre les processus attentionnels impliqués dans le traitement de l'information visuelle acquise pendant l'exploration de scènes. Nous étudions à la fois l'influence de facteurs de bas niveau, c'est-à-dire l'information visuelle contenue dans la scène et de haut niveau, c'est-à-dire la consigne donnée aux observateurs. Dans une première étude, nous avons considéré les facteurs de haut niveau à travers la modulation de la tâche à réaliser pour l'exploration des scènes. Nous avons choisi quatre tâches : l'exploration libre, la catégorisation, la recherche visuelle et l'organisation spatiale. Ces tâches ont été choisies car elles impliquent des traitements de l'information visuelle de nature différente et peuvent être classées en fonction de leur niveau de difficulté ou de demande attentionnelle. Dans une seconde étude, nous nous sommes focalisées plus particulièrement sur la recherche visuelle et l'influence de la contrainte temporelle. Enfin, dans une troisième étude, nous considérons les facteurs de bas niveau à travers l'influence d'un distracteur visuel perturbant l'exploration libre. Pour les deux premières études, nous avons enregistré conjointement les mouvements oculaires et les signaux EEG d'un grand nombre de sujets. L'analyse conjointe des signaux EEG et oculométriques permet de tirer profit des deux méthodes. L'oculométrie permet d'accéder aux mouvements oculaires et donc au déploiement de l'attention visuelle sur la scène. Elle permet de connaitre à quel moment et quels endroits de la scène sont regardés. L'EEG permet, avec une grande résolution temporelle, de mettre en avant des différences dans les processus attentionnels selon la condition expérimentale. Ainsi, nous avons montré des différences entre les tâches au niveau des potentiels évoqués par l'apparition de la scène et pour les fixations au cours de l'exploration. De plus, nous avons mis en évidence un lien fort entre le niveau global de l'activité EEG observée sur les régions frontales et les durées de fixation mais aussi des marqueurs de résolution de la tâche au niveau des potentiels évoqués liés à des fixations d'intérêt. L'analyse conjointe des données EEG et oculométriques permet donc de rendre compte des différences de traitement liées à différentes demandes attentionnelles. / In everyday life, when we explored the word, we moved continually our eyes. We focus your gaze successively on different location of the visual field, in order to get the visual information. In this way, our eyes became stable on two or three different regions per second, during period called fixation. Between two fixations, we make fast movements of the eyes to move our gaze to another position; it was called saccade. Eye movements are closely linked to attention. What are the attentional processes involved during scene exploration? How factors related to the scene or the task modify the parameters of eye movements? How these changes evolve during the exploration? In the thesis, we proposed to jointly analyze eye movements and electroencephalographic (EEG) data to better understand attentional processes involved during the processing of the visual information acquired during the exploration of scenes. We focused on low and high level factors. Low level factors corresponded to the visual information included in the scene and high level factors corresponded to the instruction give to observers. In a first study, we considered high level factors by manipulating the instructions for observers. We chose four tasks: free-exploration, categorization, visual search and spatial organization. These tasks were chosen because they involved different visual information processing and can be classified by level of difficulty or attentional demands. In a second study, we focused on the visual search task and on the influence of a time constraint. Finally, in a third study, we considered low level factors by analyzing the influence of a distractor disturbing the free-exploration of scenes. For the two first experiments, we jointly recorded eye movements and EEG signals of a large number of observers. The joint analysis of EEG and eye movement data takes advantage of the two methods. Eye tracking allowed to access to eye movements parameters and therefore to the visual attention deployment. It allowed knowing when and where the regions of the scene were gazed at. EEG allowed to access to differences on attentional processes depending on the experimental condition, with a high temporal resolution. We found differences between tasks for evoked potentials elicited by the scene onset and by fixations along the exploration. Furthermore, we demonstrated a strong link between the global EEG activity observed over frontal regions and fixation durations but also markers of the solving of the task on evoked potentials elicited by fixations of interest. Therefore, joint analysis of EEG and eye movement data allowed to report different processes related to attentional demanding.