Les humains reçoivent grande quantité d'informations de l'environnement avec vue et l'ouïe . Pour nous aider à réagir rapidement et correctement, il existe des mécanismes dans le cerveau à l'attention de polarisation vers des régions particulières , à savoir les régions saillants . Ce biais attentionnel n'est pas seulement influencée par la vision , mais aussi influencée par l'interaction audio - visuelle . Selon la littérature existante , l'attention visuelle peut être étudié à mouvements oculaires , mais l'effet sonore sur le mouvement des yeux dans les vidéos est peu connue . L'objectif de cette thèse est d'étudier l'influence du son dans les vidéos sur le mouvement des yeux et de proposer un modèle de saillance audio - visuel pour prédire les régions saillants dans les vidéos avec plus de précision . A cet effet, nous avons conçu une première expérience audio - visuelle de poursuite oculaire . Nous avons créé une base de données d'extraits vidéo courts choisis dans divers films . Ces extraits ont été consultés par les participants , soit avec leur bande originale (condition AV ) , ou sans bande sonore ( état ​​V) . Nous avons analysé la différence de positions de l'oeil entre les participants des conditions de AV et V . Les résultats montrent qu'il n'existe un effet du bruit sur le mouvement des yeux et l'effet est plus important pour la classe de la parole à l'écran . Ensuite , nous avons conçu une deuxième expérience audiovisuelle avec treize classes de sons. En comparant la différence de positions de l'oeil entre les participants des conditions de AV et V , nous concluons que l'effet du son est différente selon le type de son , et les classes avec la voix humaine ( c'est à dire les classes parole , chanteur , bruit humain et chanteurs ) ont le plus grand effet . Plus précisément , la source sonore a attiré considérablement la position des yeux uniquement lorsque le son a été la voix humaine . En outre , les participants atteints de la maladie de AV avaient une durée moyenne plus courte de fixation que de l'état de V . Enfin , nous avons proposé un modèle de saillance audio- visuel préliminaire sur la base des résultats des expériences ci-dessus . Dans ce modèle , deux stratégies de fusion de l'information audio et visuelle ont été décrits: l'un pour la classe de son discours , et l'autre pour la musique classe de son instrument . Les stratégies de fusion audio - visuelle définies dans le modèle améliore la prévisibilité à la condition AV / Humans receive large quantity of information from the environment with sight and hearing. To help us to react rapidly and properly, there exist mechanisms in the brain to bias attention towards particular regions, namely the salient regions. This attentional bias is not only influenced by vision, but also influenced by audio-visual interaction. According to existing literature, the visual attention can be studied towards eye movements, however the sound effect on eye movement in videos is little known. The aim of this thesis is to investigate the influence of sound in videos on eye movement and to propose an audio-visual saliency model to predict salient regions in videos more accurately. For this purpose, we designed a first audio-visual experiment of eye tracking. We created a database of short video excerpts selected from various films. These excerpts were viewed by participants either with their original soundtrack (AV condition), or without soundtrack (V condition). We analyzed the difference of eye positions between participants with AV and V conditions. The results show that there does exist an effect of sound on eye movement and the effect is greater for the on-screen speech class. Then, we designed a second audio-visual experiment with thirteen classes of sound. Through comparing the difference of eye positions between participants with AV and V conditions, we conclude that the effect of sound is different depending on the type of sound, and the classes with human voice (i.e. speech, singer, human noise and singers classes) have the greatest effect. More precisely, sound source significantly attracted eye position only when the sound was human voice. Moreover, participants with AV condition had a shorter average duration of fixation than with V condition. Finally, we proposed a preliminary audio-visual saliency model based on the findings of the above experiments. In this model, two fusion strategies of audio and visual information were described: one for speech sound class, and one for musical instrument sound class. The audio-visual fusion strategies defined in the model improves its predictability with AV condition.

Les humains reçoivent grande quantité d'informations de l'environnement avec vue et l'ouïe . Pour nous aider à réagir rapidement et correctement, il existe des mécanismes dans le cerveau à l'attention de polarisation vers des régions particulières , à savoir les régions saillants . Ce biais attentionnel n'est pas seulement influencée par la vision , mais aussi influencée par l'interaction audio - visuelle . Selon la littérature existante , l'attention visuelle peut être étudié à mouvements oculaires , mais l'effet sonore sur le mouvement des yeux dans les vidéos est peu connue . L'objectif de cette thèse est d'étudier l'influence du son dans les vidéos sur le mouvement des yeux et de proposer un modèle de saillance audio - visuel pour prédire les régions saillants dans les vidéos avec plus de précision . A cet effet, nous avons conçu une première expérience audio - visuelle de poursuite oculaire . Nous avons créé une base de données d'extraits vidéo courts choisis dans divers films . Ces extraits ont été consultés par les participants , soit avec leur bande originale (condition AV ) , ou sans bande sonore ( état ​​V) . Nous avons analysé la différence de positions de l'oeil entre les participants des conditions de AV et V . Les résultats montrent qu'il n'existe un effet du bruit sur le mouvement des yeux et l'effet est plus important pour la classe de la parole à l'écran . Ensuite , nous avons conçu une deuxième expérience audiovisuelle avec treize classes de sons. En comparant la différence de positions de l'oeil entre les participants des conditions de AV et V , nous concluons que l'effet du son est différente selon le type de son , et les classes avec la voix humaine ( c'est à dire les classes parole , chanteur , bruit humain et chanteurs ) ont le plus grand effet . Plus précisément , la source sonore a attiré considérablement la position des yeux uniquement lorsque le son a été la voix humaine . En outre , les participants atteints de la maladie de AV avaient une durée moyenne plus courte de fixation que de l'état de V . Enfin , nous avons proposé un modèle de saillance audio- visuel préliminaire sur la base des résultats des expériences ci-dessus . Dans ce modèle , deux stratégies de fusion de l'information audio et visuelle ont été décrits: l'un pour la classe de son discours , et l'autre pour la musique classe de son instrument . Les stratégies de fusion audio - visuelle définies dans le modèle améliore la prévisibilité à la condition AV

Nous abordons le problème de la synchronisation automatique d'un contenu audiovisuel avec une procédure textuelle qui le décrit. La stratégie consiste à extraire des informations sur la structure des deux contenus puis à les mettre en correspondance. Nous proposons deux outils d'analyse vidéo qui extraient respectivement : * les limites des évènements d'intérêt à l'aide d'une méthode de quantification de type dictionnaire * les segments dans lesquels une action se répète en exploitant une méthode d'analyse fréquentielle : le YIN. Ensuite, nous proposons un système de synchronisation qui fusionne les informations fournies par ces outils pour établir des associations entre les instructions textuelles et les segments vidéo correspondants. Une "Matrice de confiance" est construite et exploitée de manière récursive pour établir ces associations en regard de leur fiabilité. / We address the problem of automatic synchronization of an audiovisual content with a procedural text that describes it. The strategy consists in extracting pieces of information about the structure from both contents, and in matching them depending on their types. We propose two video analysis tools that respectively extract: * Limits of events of interest using an approach inspired by dictionary quantization. * Segments that enclose a repeated action based on the YIN frequency analysis method. We then propose a synchronization system that merges results coming from these tools in order to establish links between textual instructions and the corresponding video segments. To do so, a "Confidence Matrix" is built and recursively processed in order to identify these links in respect with their reliability.

Ce travail de thèse porte sur l'étude du comportement morphodynamique d'une plage de poche, partiellement aménagée, lors des événements de tempête. La plage de Zarautz (Espagne) a été choisie comme site d'étude en raison de son climat de vagues et de sa configuration. La plage est limitée latéralement par des falaises rocheuses. Elle présente un système dunaire sur la partie est et une digue aménagée en promenade sur le reste de la plage. Le climat de houle au large de Zarautz (bouée de Bilbao) est caractérisé par une faible variabilité directionnelle. Dans 95 % des cas, les vagues proviennent de directions comprises entre l'Ouest (O) et le Nord (N). Les conditions de vague à l'approche de la plage de Zarautz sont quasi unidirectionnelles et peuvent présenter une variabilité longitudinale. La variabilité temporelle et spatiale des barres sableuses d'avant côte, a été étudiée à partir de l'analyse d'images vidéo enregistrées quotidiennement sur une période de deux années. Les résultats montrent que d'un point de vue hydrodynamique la plage se comporte la plupart du temps comme une plage ouverte. Toutefois, elle peut également présenter une circulation de type cellulaire au cours des événements de haute énergie. La morphologie de la plage présente une grande variabilité spatiale et temporelle. On remarque également des différences morphologiques notables entre la partie aménagée et la partie est de la plage. Pour étudier la réponse morphologique de la plage à des événements de haute énergie, des relevés topographiques ont été menés avant et après plusieurs tempêtes. Les courants d'arrachement, stables et persistants pendant des conditions énergétiques modérées à fortes peuvent éroder localement la zone intertidale de la plage. Dans des conditions de haute énergie et lors de marées de vives eaux le haut de plage et le cordon dunaire sont érodés. A l'inverse, lors de conditions de haute énergie qui coïncident avec des marées de mortes-eaux, l'évolution de l'estran, de l'arrière-plage et de la dune sont essentiellement contrôlées par les caractéristiques des vagues plutôt que par l'amplitude de la marée. Afin d'analyser et de compléter les résultats obtenus, une étude numérique a été réalisée à partir du code open source XBeach. En raison de l'absence de données de bathymétrie, le modèle d'assimilation de données Beachwizard a été utilisé afin d'estimer la bathymétrie à partir des images collectées par la station vidéo. La possibilité de forcer ce modèle avec des conditions de vagues variables le long de la limite du domaine de calcul a été mise en œuvre. Les résultats montrent que la prise en compte de conditions limites variables améliore la capacité du modèle à estimer la bathymétrie. Les tests de calibration du modèle XBeach révèlent que les résultats peuvent varier considérablement en fonction des paramètres choisis. Toutefois, les résultats du modèle XBeach semblent peu sensibles aux caractéristiques du spectre de vagues utilisé pour forcer le modèle. Une série de simulations ont été réalisées afin d'étudier le cluster de tempêtes de Février 2013 en analysant non seulement l'influence de la chronologie des différentes tempêtes mais aussi du niveau d'eau au cours de cette période. Ces simulations ont permis de mettre en évidence que les mouvements sédimentaires sont dominés par un transfert de sable de la dune vers la zone intertidale sans période de reconstruction de la dune. L'érosion des différentes sections de la plage est fortement corrélée au niveau d'eau. L'érosion de la dune et de l'arrière-plage ne se produit que lorsque les niveaux de marée élevés prévalent alors que la zone intertidale est érodée à marée basse. Il apparaît que l'impact des tempêtes sur la plage est beaucoup plus dépendant du niveau d'eau que de la chronologie des événements énergétiques au cours d'un cluster de tempêtes. / The aim of this study is to understand the response of engineered pocket beaches to storms. To that end, a series of video images, field topographical measurements and depth-averaged (2DH) process-based model have been used. The beach of Zarautz was chosen as a study site due to its wave climate characteristics and beach configuration. It is an embayed beach composed by two well defined regions, a dune system and an engineered section. The offshore wave climate is characterised by a low directional variability. The 95 % of the cases ranges from W to N directions. The high energetic events are seasonally variable. Most of the storms take place during winter and autumn. The wave climate at the beach of Zarautz is almost unidirectional and it presents certain alongshore variability. The temporal and spatial variability of nearshore sandbars, using daily video observations over 2 years was carried out. In general the beach acts as an open beach like circulatory system but it may present cellular and transitional circulation during high energy events. The nearshore sandbars evolution covers a wide range of temporal and spatial variability. Interestingly, the western engineered and more sheltered section of the beach sometimes exhibits a different beach state to that of the eastern section. To study the response of the beach to high energy events, systemically designed topographic surveys were undertaken before and after storm events. The location of the rip currents seems to play a role on the beach erosion. Static and persistent rips during moderate high energy conditions may erode locally the beach intertidal zone. During high energetic conditions and spring tides the beach backshore and dune area is eroded. Dune and backshore sections become important as they act as a buffer, preventing the foreshore erosion. On other hand, during high energetic conditions coinciding with neap tides, the evolution of the foreshore, backshore and dunes might be sensitive to the wave characteristics rather than to the tidal range. The findings obtained from the video images and field measurements were completed by means of the XBeach process based model. Due to the lack of a pre-storm bathymetry the XBeach-Beach Wizard model was used in order to infer the surfzone features. The possibility to force the model with non-uniform alongshore wave conditions was implemented. Results show that this new implementation improves the model skills. The XBeach calibration tests reveal that the results can vary considerably depending on the set of parameters chosen to run the model. Parameters such as short wave run-up, γ, γua, eps and hmin seem to be relevant for the model calibration. A series of storm impact simulations were performed. A chain transport mechanism was found in which the sand is transported from the dunes to the intertidal zone, and never in the other way around. The erosion of the different sections of the beach is highly related to the tidal level rather that to the wave power. The main differences in the beach response between the natural and engineered sections are related to the sand budget. The complete loss of the backshore sand makes the intertidal zone weak to the storms (the chain transport is interrupted). This scenario is only likely to happen at the engineered sector due to the narrow backshore and the absence of a dune system. Some tests were performed in order to relate the 'storm magnitude' to a certain value of beach erosion. These findings point out that, in general, the higher the storm power is, the larger is the beach erosion. However, the wave characteristics that define a given storm play an important role. Furthermore, in some cases a low power storm with high Hs and Tp can produce larger changes on the beach than a large storm with low Hs and Tp.

La besoin d'une meilleure intégration des nouveaux systèmes de chirurgie assistée par ordinateur dans les salles d'opération à récemment été souligné. Une nécessité pour atteindre cet objectif est de récupérer des données dans les salles d'opérations avec différents capteurs, puis à partir de ces données de créer des modèles de processus chirurgicaux. Récemment, l'utilisation de vidéos dans la salle d'opération a démontré son efficacité pour aider à la création de systèmes de CAO sensibles au contexte. Le but de cette thèse était de présenter une nouvelle méthode pour la détection automatique de tâches haut niveaux (i.e. phases chirurgicales) et bas-niveaux (i.e. activités chirurgicales) à partir des vidéos des microscopes uniquement. La première étape a consisté à reconnaitre automatiquement les phases chirurgicales. L'idée fut de combiner des techniques récentes de vision par ordinateur avec une analyse temporelle. Des classifieurs furent tout d'abord mis en œuvre pour extraire des attributs visuels et ainsi caractériser chaque image, puis des algorithmes de classification de séries temporelles furent utilisés pour reconnaitre les phases. La deuxième étape a consisté à reconnaitre les activités chirurgicales. Des informations concernant des outils chirurgicaux et des structures anatomiques furent détectées et combinées avec l'information de la phase précédemment obtenu au sein d'un système de reconnaissance intelligent. Après des validations croisées sur des vidéos de neurochirurgie et de chirurgie de l'œil, nous avons obtenu des taux de reconnaissance de l'ordre de 94% pour la reconnaissance des phases et 64% pour la reconnaissance des activités. Ces systèmes de reconnaissance pourraient être utiles pour générer automatiquement des rapports post-opératoires, pour l'enseignement, l'apprentissage, mais aussi pour les futurs systèmes sensibles au contexte.