Comment construire une convergence d'ordre musical entre le son et l'image, entre l'audio et le visuel, à l'heure du numérique? Qu'est-ce qu'est musicable dans le domaine de l'image? Nous postulons que la convergence musicale se construit par l'utilisation de dispositifs technologiques qui permettent 1) d'établir un certain degré d'interaction entre les médias visuel et musical, et 2) de manipuler les moyens du visuel en utilisant un ensemble défini d'opérations compositionnelles cohérentes avec un paradigme musical choisi. Sur cette base, nous mettons en avant l'hypothèse que ce qui est "musicable" dans le domaine de l'image est l'ensemble des variables visuelles qui peuvent être manipulées au moyen du dispositif technologique utilisé dans le processus de création dans la mesure où elles font musicalement sens. Dans cet esprit, nous traçons le cheminement historique qui a produit la convergence entre les médias et nous présentons un cas d'étude multiple intégré par douze travaux qui appartiennent à diverses étapes de l'histoire de la musique visuelle. Ensuite, nous analysons les 41 méthodes utilisées dans les travaux analysés pour construire la convergence musicale entre les médias. Finalement, nous présentons une démonstration artistique de l'application des méthodes et des concepts proposés pour construire la convergence musicale entre les médias. La conclusion fait la synthèse des résultats, revient sur l'interaction entre approche théorique et pratique dans ce travail et évoque les voies d'une recherche future. / How can the musical convergence between sound and image, between audio en video, be achieved when working with digital technology? What is "musicable" in the visual domain? I suggest that the musical convergence is achieved through the use of technological devices that allow to 1) establish a certain degree of interaction between the musical and visual media, and 2) manipulate visual materials through an ensemble of compositional operations that are coherent with a given musical paradigm. On this basis, we suggest that what is "musicable" in the visual domain is the ensemble of visual variables that can be manipulated during the compositional process, to the extent in which they make musical sense. The research begins by identifying the historical context that set the conditions for the musical convergence between visual and musical media. We then present a multiple case study that is integrated by 12 works which belong different stages of the history of visual music. The study reveals the use of 41 methods to craft the musical convergence between visual and musical media. The final chapter presents an artistic demonstration of the use of the methods and concepts that emerged from our multiple case study. The conclusions present a synthesis of the results, a discussion of the interaction between theoretical and practical approaches, and my personal reflections on the pathways for future research in the field.

Cette thèse se propose d’étudier les modalités d’écriture des serious games narratifs.Ces objets, à la fois porteurs d’un objectif ludique et d’une intention sérieuse sont également porteurs de promesses narratives. L’articulation de ces trois dimensions est au cœur de cette recherche doctorale. L’enjeu de cette thèse se caractérise par la nécessité de comprendre comment le jeu de nos objets se distingue, d’envisager de quelle manière l’intention sérieuse est véhiculée et de déterminer pourquoi une dimension narrative se met en place. Notre recherche se base sur un corpus de 42 objets, que nous avons analysés en nous appuyant sur la sémio-pragmatique. Nous avons d’abord cherché à identifier les influences culturelles de nos objets afin de déterminer ce dont ces objets sont les héritiers. Nous avons ensuite cherché à déterminer le « contrat ludique » de nos objets, et mis en évidence la présence importante de « marqueurs pragmatiques de jeu ». Pour autant, l’expérience ludique se révèle souvent limitée, notamment par des challenges relevant du leurre ou de l’illusion du jeu. Nous avons alors exploré les raisons de cette jouabilité perturbée et mis en exergue l’importance de l’écrit dans nos objets.A partir de ces éléments, nous avons discerné 2 types de structures de serious games narratifs : en alternance et en association. Dans la structure en alternance, l’utilisateur est successivement confronté aux dimensions ludique, sérieuse et narrative. Dans la structure en association, ces trois composantes se répondent.Parallèlement, nous avons développé, un serious game réalisé en prise de vue réelle, à destination des médecins généralistes, pour les former à la communication. Les réflexions menées sur l’écriture du scénario, le développement et l’analyse de 2 prototypes nous ont permis de souligner que le mode en alternance contraint certes le jeu, mais favorise l’exposition de l’intention sérieuse de l’objet, au contraire de la structure en association qui la minore. / This thesis’ purpose is an exploration and study of narrative serious games’ writing modalities from the audiovisual research field point of view. Those tools have both a playful goal and a serious intention, tending also to reach narrative undertakings. The joint between play, seriousness and narrative is the main basis of this PhD research.This thesis’ stake can be defined as the need of understanding how play can be discern in serious games, as the approach of the way the serious intention is set forth and the determination of the reasons why a narrative dimension is setted.Our research is based on a 42 serious games’ corpus, which we have analyzed relying on semio-pragmatic.We had first seek to identify their cultural influence. We aimed to define objects which serious games inherited. Then we aimed to establish the « Playfull Based Act » of serious games and to highlight the major presence of « game pragmatic markers ».The playfull experience is however often felt as restricted especially because of challenges based on gaming lures or illusions. So we explored the reasons of the playfull obstruction and established the importance of writing in serious games. We have been able to define two types of narrative serious games structures from those previous elements : in alternance and in association. In the alternance structure, users are successively confronted to playfull, serious and narrative dimensions, which never be melted or crossed.In the association structure, those three dimensions answer to each other.We have developped a « real shot » serious game for general practioners in parallel,in order to train them to communication.The thoughts and researches conducted during scenario writing and the two prototypes' making and analysis have led us to emphasize the constraint aspect of the « alternance mode » of some of the games, but also its power of emphasize the serious intention of serious games, in the contrary of « association structure » which minore it.

Cette version de la thèse a été tronquée des éléments de composition originale. Une version plus complète est disponible en ligne pour les membres de la communauté de l’Université de Montréal et peut aussi être consultée dans une des bibliothèques UdeM. / Les rapports entre le nouveau, l’ancien, l’imaginaire et le présent sont des vecteurs pour la créativité. La compréhension et le développement de projet créatif liés à des médias obsolètes, imaginaires ou futuristes, offrent à de nombreux artistes la possibilité de développer une expression personnelle ancrée dans un rapport techno-esthétique qui peut être porteur de multiples sens, que ce soit d’un point de vue social, environnemental, technologique ou formel. Ce projet de recherche est consacré à la création audiovisuelle reposant sur une pensée archéomédiatique. En premier lieu, je présente le cadre théorique et conceptuel qui a mené à la création de mes œuvres au cours de cette période doctorale. J’y relate l’exploitation d’une hybridation entre nouvelles et anciennes technologies servant à développer un langage audiovisuel puisant dans l’archéologie médiatique. Puis, dans le deuxième chapitre, j’expose l’approche compositionnelle derrière mes œuvres. Dans le troisième chapitre, j’aborde l’aspect sensoriel de mon processus de création, expliqué à travers une série de relations multimodales telles que les rapports de luminosité, de densité, de mouvements, de relief, d’espace et de textures, entre le son et l’image. Pour terminer, j’introduis la notion novatrice de texture stéréoscopique : une forme de texture optique qu’il est seulement possible de percevoir avec un média tridimensionnel. / Relationships between the new, the old, the imaginary, and present time, have always been vectors for creativity. The understanding and development behind creative projects in regard to obsolete, imaginary or futuristic media, have offered many artists ways of expressing themselves in a techno-aesthetic containing multiple meanings, whether from a social, environmental, or technological point of view. This research project is devoted to audiovisual creation based on media-archeological thinking. Firstly, the theoretical and conceptual framework that led to the creation of my works during this doctoral period are presented. I will discuss the exploitation of a hybridization between new and old technologies used to develop an audiovisual language drawing on media archaeology. The second part will present the compositional process behind my works. The third part deals with the sensory aspect of my creative process, explained through a series of cross-modal relations such as luminosity, density, movement, relief, space and texture, between sound and image. Lastly, I will introduce the novel notion of stereoscopic texture: a form of optical texture that can only be seen through a three-dimensional medium, thus finding something new in the old.