Le projet artistique Poésie de l’ADN prend source dans une démarche interdisciplinaire, en associant la programmation, la biotechnologie, la création sonore et visuelle, l’ésotérisme ainsi que l’art participatif et performatif. Ce mémoire passe en revue les différentes étapes de réflexion et création autour de ce projet, tout d’abord en le replaçant dans son contexte historique et artistique, à la fois au niveau du courant bioart, puis plus précisément dans l’utilisation de l’acide désoxyribonucléique1 (ADN) en arts. Nous verrons comment s’inscrit Poésie de l’ADN aux côtés des oeuvres d’art génétiques visuelles et sonores, ainsi que de portraiture, tout en présentant les influences artistiques et esthétiques qui inspirent mon travail. Ensuite, ce mémoire aborde trois questionnements qui sont au coeur du développement conceptuel de ce projet : 1) les tensions entre l’aléatoire et la subjectivité, c’est-à-dire la constante négociation entre le contrôle de l’artiste et l’autonomie de la machine; 2) l’interprétation des données afin d’établir la signification que l’on reçoit et apporte à la matière; 3) ainsi que les considérations bioéthiques que soulève ce projet. Puis, le mémoire détaille le processus technique et les outils utilisés, ainsi que le processus créatif au sein duquel l’approche ésotérique est fondamentale. Enfin, nous verrons l’impact des critères ADN sur les oeuvres, ainsi que les portraits qui en découlent. Poésie de l’ADN est un projet artistique qui réunit à la fois le développement d’une application dont l’algorithme et les paramétrages permettent de générer des matières audio-visuelles à partir de données ADN, ainsi que la composition de portraits, à travers l’interprétation artistique, ésotérique et humaine de cette matière, pour créer des vidéomusiques individuelles. / DNA Poetry is an artistic project rooted in an interdisciplinary approach, combining programming, biotechnology, sound and visual creation, esotericism as well as participatory and performative art. This thesis reviews the different stages of reflection and creation around this project, first of all by placing it in its historical and artistic context, first off within the bioart artistic movement, then more precisely within the use of deoxyribonucleic acid (DNA) in the arts. We'll see how DNA Poetry fits alongside visual and audio genetic artworks, as well as portraiture, while showcasing the artistic and aesthetic influences that inspire my work. Then, this thesis addresses three questions which are at the heart of the conceptual development of this project: 1) the tensions between algorithm and subjectivity, that is to say the constant negotiation between the artist's control and autonomy of the machine; 2) data interpretation, in order to establish meaning in what is received and brought to the material; 3) and finally the bioethical considerations raised by this project. Then, the thesis details the technical process and the tools used, as well as the creative process in which the esoteric approach is fundamental. Finally, we will see the impact of DNA data on the audio and visual outcome, as well as the portraits that result from them. DNA Poetry is an artistic project that brings together both the development of an application whose algorithm and mappings make it possible to generate audiovisual material from DNA data, as well as the composition of portraits, through the human, esoteric and artistic interpretation of this material, in order to create individual videomusic art pieces.

Ces dernières années, le domaine de l’apprentissage profond a connu des progrès énormes dans des applications allant de la génération d’images, détection d’objets, modélisation du langage à la réponse aux questions visuelles. Les approches classiques telles que l’apprentissage supervisé nécessitent de grandes quantités de données étiquetées et spécifiques à la tâches. Cependant, celles-ci sont parfois coûteuses, peu pratiques, ou trop longues à collecter. La modélisation efficace en données, qui comprend des techniques comme l’apprentissage few-shot (à partir de peu d’exemples) et l’apprentissage self-supervised (auto-supervisé), tentent de remédier au manque de données spécifiques à la tâche en exploitant de grandes quantités de données plus “générales”. Les progrès de l’apprentissage profond, et en particulier de l’apprentissage few-shot, s’appuient sur les benchmarks (suites d’évaluation), les métriques d’évaluation et les jeux de données, car ceux-ci sont utilisés pour tester et départager différentes méthodes sur des tâches précises, et identifier l’état de l’art. Cependant, du fait qu’il s’agit de versions idéalisées de la tâche à résoudre, les benchmarks sont rarement équivalents à la tâche originelle, et peuvent avoir plusieurs limitations qui entravent leur rôle de sélection des directions de recherche les plus prometteuses. De plus, la définition de métriques d’évaluation pertinentes peut être difficile, en particulier dans le cas de sorties structurées et en haute dimension, telles que des images, de l’audio, de la parole ou encore du texte. Cette thèse discute des limites et des perspectives des benchmarks existants, des fonctions de coût (training losses) et des métriques d’évaluation (evaluation metrics), en mettant l’accent sur la modélisation générative - les Réseaux Antagonistes Génératifs (GANs) en particulier - et la modélisation efficace des données, qui comprend l’apprentissage few-shot et self-supervised. La première contribution est une discussion de la tâche de modélisation générative, suivie d’une exploration des propriétés théoriques et empiriques des fonctions de coût des GANs. La deuxième contribution est une discussion sur la limitation des few-shot classification benchmarks, certains ne nécessitant pas de généralisation à de nouvelles sémantiques de classe pour être résolus, et la proposition d’une méthode de base pour les résoudre sans étiquettes en phase de testing. La troisième contribution est une revue sur les méthodes few-shot et self-supervised de détection d’objets , qui souligne les limites et directions de recherche prometteuses. Enfin, la quatrième contribution est une méthode efficace en données pour la description de vidéo qui exploite des jeux de données texte et vidéo non supervisés. / In recent years, the field of deep learning has seen tremendous progress for applications ranging from image generation, object detection, language modeling, to visual question answering. Classic approaches such as supervised learning require large amounts of task-specific and labeled data, which may be too expensive, time-consuming, or impractical to collect. Data-efficient methods, such as few-shot and self-supervised learning, attempt to deal with the limited availability of task-specific data by leveraging large amounts of general data. Progress in deep learning, and in particular, few-shot learning, is largely driven by the relevant benchmarks, evaluation metrics, and datasets. They are used to test and compare different methods on a given task, and determine the state-of-the-art. However, due to being idealized versions of the task to solve, benchmarks are rarely equivalent to the original task, and can have several limitations which hinder their role of identifying the most promising research directions. Moreover, defining meaningful evaluation metrics can be challenging, especially in the case of high-dimensional and structured outputs, such as images, audio, speech, or text. This thesis discusses the limitations and perspectives of existing benchmarks, training losses, and evaluation metrics, with a focus on generative modeling—Generative Adversarial Networks (GANs) in particular—and data-efficient modeling, which includes few-shot and self-supervised learning. The first contribution is a discussion of the generative modeling task, followed by an exploration of theoretical and empirical properties of the GAN loss. The second contribution is a discussion of a limitation of few-shot classification benchmarks, which is that they may not require class semantic generalization to be solved, and the proposal of a baseline method for solving them without test-time labels. The third contribution is a survey of few-shot and self-supervised object detection, which points out the limitations and promising future research for the field. Finally, the fourth contribution is a data-efficient method for video captioning, which leverages unsupervised text and video datasets, and explores several multimodal pretraining strategies.