Cette thèse s'inscrit dans le cadre de la génération automatique de Langue des Signes Française et plus particulièrement la génération des Gestes Non Manuels (GNM). La génération nécessite une description précise des GNM. Actuellement, nous ne disposons que de notations de nature symbolique. Nous proposons une nouvelle méthodologie d'annotation permettant une description fine et précise des mouvements, tout en tenant compte de la structure temporelle des GNM. Cette méthodologie comporte une annotation qualitative et une annotation quantitative. Nous avons appliqué notre méthodologie aux mouvements des sourcils et aux clignements des yeux et obtenons ainsi des données numériques et symboliques à partir desquelles nous menons l'analyse. Celle-ci permet de dégager une typologie de ces mouvements. Pour chaque catégorie nous précisons son rôle, l'emplacement du mouvement par rapport aux signes avoisinants et sa structure. Nous formalisons chacune des catégories pour une génération ultérieure et proposons des perspectives de poursuites de l'étude.

La validité des simulateurs de conduite est une question essentielle pour étayer et valoriser les travaux visant à mieux comprendre les comportements de conduite. Alors que les dimensions subjective et comportementale de la validité ont été régulièrement étudiées, elles font face à certaines limites. A l’opposé, rares sont les études qui se sont intéressées à la validité psychologique des simulateurs. Cette dimension compare l'implication des mécanismes qui sous-tendent les comportements entre conduite réelle et virtuelle. De plus, très peu d’études ont confronté les différentes dimensions de la validité, alors que cela pourrait contribuer au développement d’une métrologie des environnements virtuels. C’est précisément à ce niveau que se situe ce travail de thèse, au cours duquel des mesures classiques de la validité comportementale (vitesse, contrôle latéral) ont été confrontées à des mesures de la validité psychologique examinée sous l’angle de la charge mentale en prenant notamment comme indicateur les clignements oculaires. L’objectif principal était de déterminer si le niveau de charge mentale diffère entre conduite sur route et conduite sur simulateur dans des cas où les comportements observés ne permettent pas de faire de distinction.Pour répondre à cette question, ce travail de thèse a été organisé autour de trois expériences réalisées sur simulateur de conduite et d’une étude sur route réelle. Les deux premières expériences visaient à mieux cerner l’effet de certains facteurs inhérents à la conduite sur route ouverte (trafic, environnement) sur les comportements de conduite et la charge mentale. La troisième expérience était quant à elle destinée à comparer la charge mentale induite par la conduite réelle et la conduite sur simulateur « bas coût », en confrontant cette mesure de la validité psychologique aux mesures comportementales classiques. Enfin, la quatrième expérience a porté sur les effets du retour d’effort du volant sur cette même charge mentale.Les principaux résultats ont mis en évidence un niveau de charge supérieur en conduite simulée par comparaison à la conduite en situation réelle, alors que certaines mesures comportementales (vitesse) n’étaient pas différentes. Cette charge accrue sur simulateur ne semble cependant pas trouver son origine dans le retour d’effort au volant, les modalités de retour testées n’ayant pas eu d’effet sur les indicateurs de la charge. Au final, ce travail confirme que la prise en compte de la validité psychologique, examinée ici sous l’angle de la charge mentale, présente un intérêt dans une démarche d’évaluation, dans le but de mieux cerner le positionnement des utilisateurs face à un dispositif de réalité virtuelle. Il ouvre ainsi des perspectives pour améliorer la validité des simulateurs de conduite. / The validity of driving simulators is an essential subject to support and highlight the works aiming to understand driving behaviours more thoroughly. While the subjective and behavioural dimensions of that validity have often been studied, they encounter a few limits. On the other hand, studies about simulators’ validity are fairly rare. This dimension compares the implication of mechanisms inherent in behaviours between real and virtual driving. Furthermore, very few studies have considered the various dimensions of validity at once, whereas it could contribute to the development of a metrology for virtual environments. This thesis is precisely about this, with confrontations between classical measurements of behavioural validity (speed, lateral control) and measurements of psychological validity, examined from the viewpoint of mental workload - using indicators such as eye blinking. The main objective was to ascertain whether the mental workload levels vary between road driving and simulated driving when the observed behaviours aren’t relevant to make a clear difference.To answer this question, this thesis has been organised around three experiences carried out on driving simulators and a comparison between actual road driving and low-cost simulated driving. Two of those experiences were conducted to finely analyse the effect of some factors inherent to open road driving (traffic, environment) on driving behaviours and mental workload. The third experience was made to compare the mental workload induced by real driving and low-cost simulator driving, by putting this psychological validity measurement against classical behavioural measurements. Lastly, the fourth experience focused on the effects of the driving wheel’s force-feedback on this same mental workload.The main results revealed a higher workload level on simulated driving than on real driving, while some behavioural measurements (speed) were not different. This increased workload with the simulator does not seem to stem from the wheel’s force-feedback, since the tested feedback methods did not have a repercussion on the workload levels. In the end, this work confirms that taking psychological validity - examined here from a mental workload viewpoint - does have an interest within an evaluation process to analyse in a finer fashion the mental state of users when faced with a virtual reality system. It creates prospects to improve the validity of driving simulators.

Depuis plusieurs années le LAAS-CNRS travaille sur la problématique de la détection de la baisse de vigilance d'un conducteur d'automobile à partir de l'analyse du mode de conduite, afin de réduire le grand nombre des accidents routiers. Dans ce contexte, nous nous sommes intéressés de dégager une mesure référante de l'hypovigilance qui permettrait, par comparaison, de valider le système de mesure embarqué associant des mesures comportementales. Cette thèse a porté sur l'analyse automatique des signaux physiologiques (EEG, EOG) permettant de caractériser la somnolence; et s'est inscrit dans le cadre du projet européen SENSATION. Ce travail s'articule en 2 parties. La première est dédiée à l'analyse des EEG et commence par une présentation de la forme d'onde des signaux à analyser et des phénomènes représentatifs de la somnolence, puis des techniques d'analyse susceptibles de répondre au problème posé : transformé de Fourier, décomposition en Ondelettes, transformation de Hilbert Huang; Pour la suite de l'étude, nous avons sélectionnée la transformation de Hilbert-Huang. La précision de cette méthode sera étudier qualitativement, avant de présenter l'algorithme développé et les premiers résultats obtenus sur des signaux réels. Les conclusions de l'analyse de la précision nous ont amené à modifier l'algorithme proposé par Huang en normalisant les composantes fournies par la transformation de Huang sur l'ensemble de la fenêtre d'analyse avant application de la transformation de Hilbert. La deuxième partie de la thèse est donc consacrée à la localisation et la caractérisation des clignements des yeux dans l'EOG. Avant de présenter l'algorithme développé, nous décrivons le signal étudié et le modèle de clignement proposé. Nous comparons ensuite, sur une base de données constituée durant des expériences menées sur un simulateur de conduite, les résultats obtenus par notre algorithme à une analyse semi-automatique. Une fois la détection des clignements validée, nous com parons le degré de somnolence déterminé après mise en place des règles utilisées par les experts à l'analyse visuelle des signaux. Le bilan du travail réalisé et les perspectives d'amélioration des résultats concluront ce travail.

L'entrée visuelle rétinienne est discontinue. D'une part les saccades causent un énorme mouvement de l'image sur la rétine 3 à 4 fois par seconde, qui devrait résulter en un floutage des hautes fréquences spatiales et une forte impression de mouvement. D'autre part, les clignements des yeux induisent une diminution temporaire drastique de la luminance toutes les 3 à 4 secondes. Dans des conditions de vision écologiques, ces conséquences visuelles des saccades et des clignements des yeux ne sont pas consciemment perçues et le monde extérieur semble continu et net : deux phénomènes que l'on peut désigner sous le terme d'omission saccadique et d'omission des clignements des yeux. Dans cette thèse, nous avons voulu mieux comprendre comment le système visuel s'accommode de ces interruptions et quels sont les mécanismes qui contribuent à la continuité perceptive autour des saccades et des clignements des yeux. Deux principaux éléments pourraient contribuer à ces omissions : l'entrée visuelle elle-même et un mécanisme extra-rétinien qui informerait le cerveau de l'interruption à venir qui agirait en modifiant le traitement de l'information autour des saccades et des clignements des yeux. Dans une première série d'expériences, nous avons étudié les caractéristiques du masquage du smear saccadique, c'est à dire dans quelle mesure la présence d'images pré et post saccadiques nettes permet de rendre compte de l'omission du smear saccadique. Plus précisément, nous avons élaboré une méthode de mesure objective du masquage du smear et examiné son étendue spatiale et son origine périphérique ou centrale. A l'aide de cette nouvelle méthode, nous avons répliqué les résultats de masquage du smear et mis en évidence que ce masquage a lieu après le site d'interaction binoculaire et résiste à des séparations spatiales entre smear et masque jusqu'à 6 deg. Dans une deuxième étude nous avons comparé la sensibilité à des réseaux sinusoïdaux de basse fréquence spatiale autour des saccades et en fixation lorsque l'entrée visuelle simule les conséquences visuelles des saccades. De plus, nous avons cherché à établir si la plus importante diminution de la sensibilité observée pour de vraies saccades en comparaison des saccades simulées peut être expliquée par les propriétés cinématiques des mouvements oculaires. L'objectif de la troisième étude était de déterminer si le masquage est suffisant pour rendre compte de l'absence de percept de mouvement autour des saccades. Pour ce faire, nous avons présenté en fixation, un stimulus dont le contenu fréquentiel est similaire à celui des scènes naturelles. Ce stimulus était présenté en mouvement avec un profil similaire à celui d'une saccade. Il pouvait être précédé et suivi de l'image statique avant et après le mouvement. Les résultats indiquent que l'amplitude du mouvement perçu diminue considérablement en présence des masques, sans toutefois annuler totalement tout percept de mouvement pour des longues durées de masques. Dans une dernière série d'études nous nous sommes intéressés à la perception de la durée autour des clignements des yeux. Dans la première expérience nous avons quantifié la contribution de la durée d'un clignement des yeux à la durée d'une période d'obscurité plus longue et dans la seconde expérience, nous avons étudié la perception de la durée d'un objet interrompu ou non par un clignement des yeux. Les résultats de ces deux expériences suggèrent l'implication d'un mécanisme extra-rétinien qui supprime la durée perçue de la période d'obscurité causée par les clignements des yeux mais pas la durée des objets visuels chevauchés par le clignement. Pris dans leur ensemble ces résultats précisent notre compréhension des contributions relatives des mécanismes rétiniens et extra-rétiniens à l'omission saccadique et l'omission des clignements des yeux. / The retinal input is discontinuous. On the one hand saccades, that occur 3-4 times a minute, cause a huge motion of the image on the retina that should result in smearing of the high frequencies of the image and perceived motion. On the other hand eye blinks induce drastic transient decreases in luminance every 3-4 seconds. Under real-world conditions, those visual consequences of saccades and blinks are barely noticed and the world appears continuous and sharp: two phenomena that can be referred to as saccadic and blink omission. In this thesis we were interested in understanding how the visual system deals with these interruptions and which mechanisms contribute to perceived continuity around saccades and blinks. Two main elements could contribute to those omissions: the visual input itself and an extra-retinal mechanism informing the brain of the impending interruption that would affect information processing around saccades and blinks. In a first series of experiments we studied the characteristics of masking of the saccadic smear, the extent to which clear and still pre- and post-saccadic images are responsible for the perceptual omission of saccadic smear. In particular, we designed an objective method to measure smear masking and studied its spatial extent and whether it is of peripheral or central origin. We replicated previous results of saccadic masking with this new method and found that smear masking seems to take place after the site of binocular interaction and survives separations between smear and mask as much as 6 deg. In a second study we compared sensitivity to low-frequency gratings around saccades and in fixation when the visual input simulates the visual consequences of saccades. Moreover we tried to determine whether the greater decrease in sensitivity around real, as compared to simulated, saccades that we found could be accounted for by the cinematic properties of the eye movement. The goal of the third study was to determine if masking was sufficient to explain the lack of perceived motion during saccades. To do that we presented, during fixation, a natural scene-like stimulus moving at saccadic speeds that could be preceded and followed by the initial or final static image. Results indicate that the amplitude of perceived motion considerably decreased in the presence of pre- and post-masks, even though motion was still perceived for long mask durations. In a final series of studies, we probed duration perception around blinks. In a first experiment we quantified the contribution of the duration of a blink to a longer period of darkness and in a second experiment we tested the perceived duration of an object interrupted or not by a blink. Results suggest the involvement of an extra-retinal mechanism that suppresses the perceived duration of the darkness caused by the blink, but not the duration of visual objects that straddle the blink. Taken together these results refine our understanding of the relative contributions of retinal and extra-retinal mechanisms to saccadic and blink omission.