Konstanz, Univ., Magisterarb., 2003.

Master-Arbeit Univ. St. Gallen, 2007.

München, Techn. Univ., Diss., 2004.

Cette thèse porte sur les techniques de séparation de sources en aveugle en utilisant des statistiques de second ordre et statistiques d'ordresupérieur pour les environnements de réverbération. Un objectif de la thèse est la simplicité algorithmique en vue de l'implantation en lignedes algorithmes. Le principal défi des applications de séparation de sources aveugles est de s'occuper des environnements acoustiques de réverbération; une complication supplémentaire concerne les changements dans l'environnement acoustique lorsque les sources humaines se déplacent physiquement.Une nouvelle méthode dans le domaine temporel qui utilise une paire de filtres à réponse impulsionnelle finie est proposée. Cette méthode, dite les angles principaux, sur un décomposition en valeurs singulières. Une paire de filtres, jouant le rôle de formation de voie, est estimée de façon à annuler une des sources. Une étape de filtrage adaptatif estensuite utilisée pour récupérer la source restante, en exploitant la sortie de l'étage de beamforming en tant que une référence de bruit. Une approche commune de la séparation de sources aveugle est d'utiliser des méthodes fondée sur les statistiques d'ordre supérieur comme l'analyse en composantes indépendantes. Cependant, pour des mélanges convolutifs audio et vocales réalistes, la transformation dansle domaine fréquentiel pour chaque fréquence de calcul est nécessaire. Ceci introduit le problème de permutations, inhérentes à l'analyse en composantes indépendantes, pour tout les fréquences. L'analyse en vecteur indépendant résout directement cette question par la modélisation des dépendances entre les fréquences de calcul, à partir d'a priori sur les sources. Un algorithme de gradient naturel en temps réel est également proposé proposé avec un autre a priori sur les sources. Cette méthode exploite la fonction de densité de probabilité de Student, est connu pour être bien adapté pour les sources de parole, en raison de queues de distribution plus lourdes. L'algorithme final est implanté en temps réel sur un processeur numérique de signal à virgule flottante de Texas Instruments.Les sources mobiles, avec des environnements réverbérant, causent des problèmes significatifs dans les systèmes de séparation desources réalistes car les filtres de mélange deviennent variants dans le temps. Dans ce cadre, une méthode qui utilise conjointement leprincipe de la paire de filtres d'annulation et le principe de l'analyse en vecteurs indépendant. Cette approche permet de limiter les baisses de performance lorsque les sources sont mobiles. Les résultats montrent également que les temps moyen de convergence des divers paramètres sont diminués.Les méthodes en ligne qui sont introduites dans la thèse, sont testées en utilisant des réponses impulsionnelles mesurées dans des environnements de réverbération. Les résultats montrent leur robustesse et d'excellentes performances par rapport à d'autres méthodes classique, dans plusieurs situations expérimentales. / Methods for improving the real-time performance and speed of various source enhancement and separation are considered. Two themes of research are considered so far: a method which relies only on second order statistics to enhance a target source exploiting video cues. Secondly, a higher-order statistics method, independent vector analysis is implemented in real-time on a digital signal processor, where an alternative source prior has been used performance is shown to have improved.

Dans cette thèse nous avons l'intention d'enquêter sur la complémentarité des données auditives et visuelles sensorielles pour la construction d'une interprétation de haut niveau d'une scène. L'audiovisuel (AV) d'entrée reçus par le robot est une fonction à la fois l'environnement extérieur et de la localisation réelle du robot qui est étroitement liée à ses actions. La recherche actuelle dans AV analyse de scène a eu tendance à se concentrer sur les observateurs fixes. Toutefois, la preuve psychophysique donne à penser que les humains utilisent petite tête et les mouvements du corps, afin d'optimiser l'emplacement de leurs oreilles à l'égard de la source. De même, en marchant ou en tournant, le robot mai être en mesure d'améliorer les données entrantes visuelle. Par exemple, dans la perception binoculaire, il est souhaitable de réduire la distance de vue à un objet d'intérêt. Cela permet à la structure 3D de l'objet à analyser à une profondeur de résolution supérieure. / In this thesis we plan to investigate the complementarity of auditory and visual sensory data for building a high-level interpretation of a scene. The audiovisual (AV) input received by the robot is a function of both the external environment and of the robot's actual localization which is closely related to its actions. Current research in AV scene analysis has tended to focus on fixed perceivers. However, psychophysical evidence suggests that humans use small head and body movements, in order to optimize the location of their ears with respect to the source. Similarly, by walking or turning, the robot may be able to improve the incoming visual data. For example, in binocular perception, it is desirable to reduce the viewing distance to an object of interest. This allows the 3D structure of the object to be analyzed at a higher depth-resolution.

Comment construire une convergence d'ordre musical entre le son et l'image, entre l'audio et le visuel, à l'heure du numérique? Qu'est-ce qu'est musicable dans le domaine de l'image? Nous postulons que la convergence musicale se construit par l'utilisation de dispositifs technologiques qui permettent 1) d'établir un certain degré d'interaction entre les médias visuel et musical, et 2) de manipuler les moyens du visuel en utilisant un ensemble défini d'opérations compositionnelles cohérentes avec un paradigme musical choisi. Sur cette base, nous mettons en avant l'hypothèse que ce qui est "musicable" dans le domaine de l'image est l'ensemble des variables visuelles qui peuvent être manipulées au moyen du dispositif technologique utilisé dans le processus de création dans la mesure où elles font musicalement sens. Dans cet esprit, nous traçons le cheminement historique qui a produit la convergence entre les médias et nous présentons un cas d'étude multiple intégré par douze travaux qui appartiennent à diverses étapes de l'histoire de la musique visuelle. Ensuite, nous analysons les 41 méthodes utilisées dans les travaux analysés pour construire la convergence musicale entre les médias. Finalement, nous présentons une démonstration artistique de l'application des méthodes et des concepts proposés pour construire la convergence musicale entre les médias. La conclusion fait la synthèse des résultats, revient sur l'interaction entre approche théorique et pratique dans ce travail et évoque les voies d'une recherche future. / How can the musical convergence between sound and image, between audio en video, be achieved when working with digital technology? What is "musicable" in the visual domain? I suggest that the musical convergence is achieved through the use of technological devices that allow to 1) establish a certain degree of interaction between the musical and visual media, and 2) manipulate visual materials through an ensemble of compositional operations that are coherent with a given musical paradigm. On this basis, we suggest that what is "musicable" in the visual domain is the ensemble of visual variables that can be manipulated during the compositional process, to the extent in which they make musical sense. The research begins by identifying the historical context that set the conditions for the musical convergence between visual and musical media. We then present a multiple case study that is integrated by 12 works which belong different stages of the history of visual music. The study reveals the use of 41 methods to craft the musical convergence between visual and musical media. The final chapter presents an artistic demonstration of the use of the methods and concepts that emerged from our multiple case study. The conclusions present a synthesis of the results, a discussion of the interaction between theoretical and practical approaches, and my personal reflections on the pathways for future research in the field.

Proposer une lecture de Nostalghia à travers une analyse exhaustive, éclairer sa structure, son écriture et ses moyens dans leurs rapports aux réseaux de significations qu’ils véhiculent, dans leurs potentialités à susciter notre sensibilité, tel est le but de ce mémoire. Car la structure d’un film, à tous ses niveaux, est une succession de discontinuités dont la réception est une tresse continue de conscience et d’inconscience. En ce sens, le film est un édifice d’images, de sons, de signes, « réalité figée » qui n’engendre pas une, mais de multiples réceptions sans pour autant invalider le projet du créateur. Le langage d’Andreï Tarkovski est celui de la vérité, nous offrant tout d’abord une extraordinaire puissance du sensible qui puisse susciter une transcendance. Aucune des ressources ici mises en œuvre n’est anodine. Nostalghia, est une réalité organique, un agencement d’images, de sons, autant de fragments de temps et de mémoire, tissés entre eux. Leur plasticité s’impose avant de nous proposer une signification : la sensation au-delà du message, éprouver plutôt que prouver. / Through an exhaustive analysis, this dissertation aims to offer a reading of the film Nostalghia, to elucidate its structure, its writing and its cinematographic means, through their potentialities to awaken our sensitivity. Indeed, the structure of the film, on all levels, is a succession of discontinuities whose reception is a continuous interweaving of consciousness and unconsciousness. In that sense, the film is an edifice of images, of sounds and of signs, a "fixed reality" that is not generating just a single reception, but a multiplicity of receptions, without ever invalidating the project of the author. Andreï Tarkovski’s language is one of truth; it offers us primarily an extraordinarily powerful sensorial dimension that is capable of arousing transcendence. None of the resources used in this work is anodyne. Nostalghia is an organic reality, a layout of images and sounds, operating as fragments of time and memory woven together. Their plasticity is what strikes us first, before proposing a signification: it is about the sensation beyond the message; it is about experiencing before proving.

La mondialisation n’est plus seulement une réalité économique et commerciale, elle concerne aussi les domaines culturels et artistiques. Dans ce contexte, la traduction joue un rôle majeur car elle facilite les échanges tout en conservant la diversité des langues et des cultures. En permettant la circulation des œuvres dramatiques et lyriques dans leur dimension spectaculaire, le surtitrage répond à cet enjeu du dialogue interculturel. Ainsi, il s’est imposé comme une technique de traduction à part entière, à mi-chemin entre la traduction théâtrale et la traduction audiovisuelle. Sa pratique connaît d’ailleurs un essor constant depuis son apparition, posant ainsi la question de sa professionnalisation et exigeant, par là-même, que l’on s’interroge sur les outils nécessaires au surtitreur. Pour y répondre, une analyse théorique du surtitrage est indispensable car ce dernier présente des spécificités propres qui concernent aussi bien les textes source et cible que l’opération de traduction qu’il engage. La réflexion traductologique doit être accompagnée d’une réflexion théâtrologique car le surtitrage apparaît, de fait, comme un élément qui s’ajoute à une scénographie. Quel que soit son degré d’intégration à la mise en scène, il n’est pas sans incidence sur le spectacle qu’il traduit. Outre cette approche théorique, ce travail s’appuie sur une expérience pratique du surtitrage pour en cerner les différents enjeux. Une telle articulation entre théorie et pratique a conduit à la conception de nouveaux outils, méthodologiques et informatiques (cahier des charges fonctionnel du logiciel Surtitéa), pour faciliter l’activité du surtitreur et accompagner sa professionnalisation. / Globalization is no longer restricted to the economic and commercial spheres as the cultural and artistic worlds are now also affected by it. Within this context, translation plays a major role since it makes exchanges easier while maintaining the diversity of languages and cultures. In making possible the circulation of dramatic and lyrical works in their entire theatrical dimension, the practice of surtitles contributes to the elaboration of this intercultural dialogue. Hence, it came to be recognized as a specific technique of translation, half-way between theatrical translation and audiovisual translation. The practice of surtitles has been developing at a regular pace since its creation, raising thus the question of its professionalization and that of the tools required for such specific types of translation. To answer those questions, a theoretical analysis of surtitling is necessary because of its specificities concerning both the source and target texts and the very process of translation which it implies. A reflection on the theories of translation should be combined with a reflection on the theatrical field since the surtitles are, as a matter of fact, part of the scenography. No matter how much the surtitles are taking into consideration in the elaboration of the staging, their integration always has a consequence on the play they translate. Alongside this theoretical approach, this study is based on a practical experience in surtitling which has helped us to further delineate its features. This combination of theory and practice has resulted in the creation of new tools in the field of methodology and computing (practical guidelines for the users of the software Surtitéa) to ease the task of the translator and helps his professionalization.

Les données audiovisuelles font partie de notre quotidien que ce soit pour des besoins professionnels ou tout simplement pour le loisir. Les quantités pléthoriques de ces données imposent un recours à la compression pour le stockage ou la diffusion, ce qui peut altérer la qualité audio-visuelle si les aspects perceptuels ne sont pas pris en compte. L’état de l’art sur la saillance et la qualité est très riche, ignorant souvent l’existence de la composante audio qui a un rôle important dans le parcours visuel et la qualité de l’expérience. Cette thèse a pour objectif de contribuer à combler le manque d’approches multimodales et ce, en suivant une démarche expérimentale dédiée. Les travaux associés se déclinent en deux parties : l’attention audiovisuelle et la qualité multimodale. Tout d'abord, afin de comprendre et d’analyser l’influence de l’audio sur les mouvements oculaires humains, nous avons mené une expérimentation oculométriques impliquant un panel d’observateurs, et exploitant une base de vidéos construite pour ce contexte. L'importance des visages a ainsi été confortée mais en particulier pour les visages parlants qui ont une saillance accrue. Sur la base de ces résultats, nous avons proposé un modèle de saillance audiovisuelle basé sur la détection des locuteurs dans la vidéo et exploitant les informations de bas niveau spatiales et temporelles. Par la suite, nous avons étudié l’influence de l’audio sur la qualité multimodale et multi-­supports. A cette fin, des campagnes d’évaluations psychovisuelles ont été menées dans l’optique de quantifier la qualité multimodale pour des applications de streaming vidéo où différents dispositifs de visualisation sont utilisés. / Audiovisual information are part of our daily life either for professional needs or simply for leisure purposes. The plethoric quantity of data requires the use of compression for both storage and transmission, which may alter the audiovisual quality if it does not account for perceptual aspects. The literature on saliency and quality is very rich, often ignoring the audio component playing an important role in the visual scanpath and the quality of experience. This thesis aims at contributing in overing the lack of multimodal approaches, by following a dedicated experimental procedures. The proposed work is twofold: visual attention modelling and multimodal quality evaluation. First, in order to better understand and analyze the influence of audio on humain ocular movements, we run several eyetracking experiments involving a panel of observers and exploiting a video dataset constructed for our context. The importance of faces has been confirmed, particularly for talking faces having an increased saliency. Following these results, we proposed an audiovisual saliency model based on locutors detection in video and relying on spatial and temporal low-­level features. Afterward, the influence of audio on multi-modal and multi-devices quality has been studied. To this end, psychovisual experiments have been conducted with the aim to quantify the multimodal quality in the context of video streaming applications where various display devices could be used.

Das Projektposter stellt die Einbindung hochqualitativer audiovisueller Medien zur Lernunterstützung im Kontakt- und Selbststudium einiger theoriegeleiteter, sportpraktischer Veranstaltungen im Bachelorstudium dar. Im Modul Turnen, Schwimmen, Leichtathletik werden komplexe Bewegungselemente sportartübergreifend und theoriegeleitet vermittelt. Die umfangreichen Bewegungskompetenzen werden u.a. mittels bestehender Bewegungsverwandtschaften, aber auch anhand erkennbarer Divergenzen in den Modul sportartenverstärkend bzw. kontrastrierend erfahrbar gemacht. Der Qualitätsanspruch an lernförderliche Medien sowie differenzierte Zugänge für diesen speziellen Kompetenzerwerb werden im Projektposter deutlich.