Ce texte a comme sujet la confluence entre la création musicale et les sciences cognitives. Le but principal du travail a été de faire de la reconnaissance sur le terrain. Le présent texte est donc forcément incomplet, et ne servira que de point de départ pour une recherche substantielle. J’ai choisi comme thématique l’interactivité musicale, qui sera définie comme le dialogue musicien–machine. Je vais tenter d’approcher ce phénomène par multiples chemins, qui se superposent. Le thème restera au centre, et autour de lui, j’esquisserai sa relation avec plusieurs faits et phénomènes liés, en particulier : les langages naturels et formels, la question de l’interface à la création, l’intelligence artificielle, et les notions de mémoire et de sens. Ces approches mises ensemble constitueront l’étude des aspects des systèmes d’interactivité. Le vaste sujet de l’interactivité musicale est incrusté dans l’histoire de la musique d’ordinateur, une histoire qui date déjà d’un demi-siècle au moins. Par conséquent il sera nécessaire de cerner le cœur du sujet et de parcourir des cercles concentriques ou en spirale, pour gagner des connaissances qui nous permettent de comprendre mieux le phénomène. La procédure est un peu comme quand on observe une étoile avec l’œil nu : si on la regarde tout droit elle disparaît… La rétine est plus sensible à la lumière dans les côtés. Le texte est donc fatalement un collage consistant de plusieurs études d’envergure limitée. Malgré cela, il faut respecter les aspects importants propres au sujet, essayer d’esquiver le superflu et faire le plus possible de liens. La recherche est guidée par trois thématiques. Quelle est la matière, en d’autres termes, les composants et les processus qui constituent le système de proprement dit, utilisé dans la situation de performance musicale ? Deuxièmement, quelle est la relation entre recherche cognitive et outils technologiques à disposition ? Troisièmement, quelles implications est-ce que les technologies ont eues et auront d’autant plus à l’avenir sur la créativité musicale ? Depuis plusieurs années, les concepts qui sous-tiennent ce texte ont influencé mon travail de compositeur et performeur. J’ai fait des expériences en la matière au travers d’œuvres employant des dispositifs électroacoustiques de configuration variable : “Beda+” (1995), “Tusalava” (1999), “Leçons pour un apprenti sourd-muet” (1998-9), “gin/gub” (2000), “Manifest”[1] (2000), “Project Time”[2] (2001), “sxfxs” (2001), “Extra Quality” (2001-2), ”D!sturbances 350–500”[3]… Ces morceaux de musique sont nés d'une curiosité pour le fondement théorique de la cognition et le fonctionnement du cerveau humain. En particulier, je me suis consacré à analyser la situation de jeu dans laquelle a lieu un échange d’informations et d’initiatives musicales entre musicien et machine, qui agissent sur un degré équivalent de participation dans un système complexe. J’éprouve que cette situation ludique peut également servir d’outil de recherche ; elle est un peu comme un laboratoire, ou un banc d’essai, pour tester des hypothèses, qu’elles soient des propos limités à la musique, ou bien plus étendues, élargissant vers des terrains inhabituels. Étant compositeur, j’ai essayé de rendre l’étude ni trop limitée, ni strictement descriptive. J’ai ressenti le besoin d’analyser des travaux contemporains, ayant des composants scientifiques : les trois projets étudiés sont effectivement en cours de développement. Il s’agissait dans cette étude de capter plutôt leur raison d’être que de montrer leurs formes respectives dans un état finalisé, qui de toute façon n’est pas leur destin. Si la musicologie se contentait de démontrer des structures dans des œuvres de répertoire connues depuis longtemps, ou si elle s’enfermait dans un académisme technocrate développant des modèles n’expliquant que des choses qui sont évidentes pour les musiciens, alors elle souffrirait d’anémie. En proposant une hypothèse, elle doit comporter des aspects prédictifs. Ce serait encore mieux si des modèles développés en support à l’hypothèse étaient facilement accessibles et pouvaient servir au développement de nouveaux outils innovants. Cela est souhaitable, non seulement pour stimuler la production créative, mais également pour aider à mieux comprendre le fonctionnement de la créativité lui-même. L’activité musicale, au sens général, pour ceux qui la produisent autant que pour ceux qui l’apprécient, est un exercice essentiellement non-verbal dont le but est l’émergence d'une compréhension de la créativité humaine d’un ordre autre que verbal ou écrit. En étudiant la créativité, et surtout sa formalisation, ne risquerait-on pas de la dénaturer ? Peut-être la créativité ne risque-t-elle pas de s’effondrer dans la recherche ? Que restera-t-il de la création musicale le jour où une machine aura composé une œuvre capable d’émouvoir les auditeurs ignorant tout de son mode de fabrication ? Néanmoins, en suivant l’appel de William Faulkner, “kill your darlings”, espérons transcender la créativité telle qu’on la connaît et aller vers des pays musicaux inouïs. / <p>QC 20151217</p>

Generative models are a large class of machine learning models for unsupervised learning. They have various applications in machine learning and artificial intelligence. In this thesis, we discuss many aspects of generative models and their applications to other machine learning problems. In particular, we discuss several important topics in generative models, including how to stabilize discrete GAN training with importance sampling, how to do better sampling from GANs using a connection with energy-based models, how to better train auto-regressive models with the help of an energy-based model formulation, as well as two applications of generative models to other machine learning problems, one about residual networks, the other about safety verification. / Les modèles génératifs sont une grande classe de modèles d’apprentissage automatique pour l’apprentissage non supervisé. Ils ont diverses applications dans l’apprentissage automatique et l’intelligence artificielle. Dans cette thèse, nous discutons de nombreux aspects des modèles génératifs et de leurs applications à d’autres problèmes d’apprentissage automatique. En particulier, nous discutons de plusieurs sujets importants dans les modèles génératifs, y compris comment stabiliser la formation GAN discrète avec un échantillonnage d’importance, comment faire un meilleur échantillonnage à partir de GAN en utilisant une connexion avec des modèles basés sur l’énergie, comment mieux former des modèles auto-régressifs avec l’aide d’une formulation de modèle basée sur l’énergie, ainsi que deux applications de modèles génératifs à d’autres problèmes d’apprentissage automatique, l’une sur les réseaux résiduels, l’autre sur la vérification de la sécurité.

La main humaine possède une architecture qui lui permet d'être largement étalée, de se replier sur elle-même ou de se refermer sur un objet en adoptant la forme de celui-ci. La combinaison de tous ces éléments crée un mécanisme de 28 degrés de liberté si nous considérons l'action du poignet. La perte d'un tel instrument est dramatique car la reproduction artificielle d'un mécanisme aussi complexe pose plusieurs problèmes. Le nombre de pièces mécaniques qui doivent être conçues et assemblées dans un volume très restreint, le poids d'un tel assemblage qui est d'autant plus important car le mécanisme est littéralement porté à bout de bras toute la journée et la source d'énergie suffisante pour l'opération de ce mécanisme pendant une période suffisante sont que quelques uns de ces problèmes. Plusieurs solutions à la perte de la main ont été proposées par les chercheurs oeuvrant dans le domaine de la prothèse . Ces solutions vont de la plus simple prothèse à crochet à une main robotisée mettant à profit les dernières avancées technologiques. Cependant, toutes ces solutions ont une chose en commun : elles ne remplacent pas parfaitement la main humaine. Les mécanismes sous-actionnés s'avèrent une alternative intéressante. Un mécanisme sous-actionné possède au moins un actionneur qui agit sur plus d'une liaison mécanique. Ce type de mécanisme est parfait pour prendre la forme d'un objet autour duquel il se referme. La théorie du sous-actionnement nous permet de comprendre le fonctionnement de ce mécanisme. Un doigt sous-actionné a été développé sur le principe du tendon et poulies et afin d'optimiser sa conception et de s'assurer d'obtenir une séquence de fermeture désirée un modèle mathématique du mécanisme a été élaboré. L'effet de la gravité est rajouté au modèle qui tient compte de l'orientation spatiale de la main.

La présente thèse du domaine de la « Perception Bio-inspirée » se focalise plus particulièrement sur l’Attention Visuelle Artificielle et la Saillance Visuelle. Un concept de l’Attention Visuelle Artificielle inspiré du vivant, conduisant un modèle d’une telle attention artificielle bio-inspirée, a été élaboré, mis en œuvre et testé dans le contexte de la robotique autonome. En effet, bien qu’il existe plusieurs dizaines de modèles de la saillance visuelle, à la fois en termes de contraste et de cognition, il n’existe pas de modèle hybridant les deux mécanismes d’attention : l’aspect visuel et l’aspect cognitif.Pour créer un tel modèle, nous avons exploré les approches existantes dans le domaine de l’attention visuelle, ainsi que plusieurs approches et paradigmes relevant des domaines connexes (tels que la reconnaissance d’objets, apprentissage artificiel, classification, etc.).Une architecture fonctionnelle d’un système d’attention visuelle hybride, combinant des principes et des mécanismes issus de l’attention visuelle humaine avec des méthodes calculatoires et algorithmiques, a été mise en œuvre, expliquée et détaillée.Une autre contribution majeure du présent travail doctoral est la modélisation théorique, le développement et l’application pratique du modèle d’Attention Visuelle bio-inspiré précité, pouvant constituer un socle pour l’autonomie des systèmes robotisés d’assistance.Les études menées ont conclu à la validation expérimentale des modèles proposés, confirmant la pertinence de l’approche proposée dans l’accroissement de l’autonomie des systèmes robotisés – et ceci dans un environnement réel / Dealing with the field of "Bio-inspired Perception", the present thesis focuses more particularly on Artificial Visual Attention and Visual Saliency. A concept of Artificial Visual Attention, inspired from the human mechanisms, providing a model of such artificial bio-inspired attention, was developed, implemented and tested in the context of autonomous robotics. Although there are several models of visual saliency, in terms of contrast and cognition, there is no hybrid model integrating both mechanisms of attention: the visual aspect and the cognitive aspect.To carryout such a model, we have explored existing approaches in the field of visual attention, as well as several approaches and paradigms in related fields (such as object recognition, artificial learning, classification, etc.).A functional architecture of a hybrid visual attention system, combining principles and mechanisms derived from human visual attention with computational and algorithmic methods, was implemented, explained and detailed.Another major contribution of this doctoral work is the theoretical modeling, development and practical application of the aforementioned Bio-inspired Visual Attention model, providing a basis for the autonomy of assistance-robotic systems.The carried out studies and experimental validation of the proposed models confirmed the relevance of the proposed approach in increasing the autonomy of robotic systems within a real environment

Des métamatériaux homogénéisables à base d'éléments ferromagnétiques et électroniques sont fabriqués, mesurés et modélisés dans le domaine des hyperfréquences. Ces métamatériaux sont des composites artificiels structurés, hétérogènes et parfois multi-échelles à base d'inclusions diélectriques et métalliques, qui présentent des permittivités et des perméabilités artificielles. Dans un premier temps, l'´elaboration d'un critère intégral pour les métamatériaux chiraux permet de cerner les limites en absorption de ces composites. Dans un deuxième temps, l'étude se concentre sur les composites à perméabilité artificielle à base de boucles ou d'hélices métalliques chargées par des composants électroniques actifs ou passifs. Un modèle de perméabilité effective, fondé sur la mesure d'impédance de la charge est proposé.Les boucles peuvent être chargées par des diodes varicap. La perméabilité artificielle est alors ajustable par une tension électrique. Dans ce cas, il est possible de fabriquer un métamatériau actif à bande passante reconfigurable instantanément. Enfin, la dernière partie de cette thèse explore les réseaux de fils métalliques. En utilisant des fils ferromagnétiques, un nouveau comportement diélectrique artificiel est mis en exergue : la permittivité varie sous l'effet d'un champ magnétique. Aprs avoir mis en évidence le phénomène lors d'une étude expérimentale, la modélisation montre que la magnéto-impédance géante est à l'origine du comportement résonant en basses fréquences des réseaux de fils ferromagnétiques.

Cette recherche se caractérise, premièrement, par une discussion théorique sur le concept d'agent autonome, basée sur des éléments issus des paradigmes de l'Intelligence Artificielle Située et de l'Intelligence Artificielle Affective. Ensuite, cette thèse présente le problème de l'apprentissage de modèles du monde, en passant en revue la littérature concernant les travaux qui s'y rapportent. À partir de ces discussions, l'architecture CAES et le mécanisme CALM sont présentés. CAES (Coupled Agent-Environment System) constitue une architecture pour décrire des systèmes basés sur la dichotomie agent-environnement. Il définit l'agent et l'environnement comme deux systèmes partiellement ouverts, en couplage dynamique. L'agent, à son tour, est composé de deux sous-systèmes, l'esprit et le corps, suivant les principes de la situativité et de la motivation intrinsèque. CALM (Constructivist Anticipatory Learning Mechanism) est un mécanisme d'apprentissage fondé sur l'approche constructiviste de l'Intelligence Artificielle. Il permet à un agent situé de construire un modèle du monde dans des environnements partiellement observables et partiellement déterministes, sous la forme d'un processus de décision markovien partiellement observable et factorisé (FPOMDP). Le modèle du monde construit est ensuite utilisé pour que l'agent puisse définir une politique d'action visant à améliorer sa propre performance.

Le dilemme itéré du prisonnier est une représentation mathématique de la coopération entre agents. Ce modèle est issu de la théorie des jeux dont le but initial est d'étudier les situations de conflits d'intérêts entre individus. La pauvreté des résultats qu'elle implique dans le cas du dilemme du prisonnier rend son utilisation assez inefficace. Une nouvelle approche évolutionniste basée en grande partie sur des simulations informatiques a été initiée par Robert Axelrod. Les agents sont caractérisés par leur comportement, ou stratégie. Axelrod a mis en évidence quatre propriétés qu'une stratégie doit posséder pour être efficace, et propose la stratégie donnant_donnant comme exemple.<br /><br />Notre travail consiste à étudier et approfondir ce type de simulations. Nous adaptons le modèle afin de prendre en compte l'aspect discret des calculs. Cette adaptation nous permet de faire un grand nombre de simulations confirmant en majeure partie les résultats obtenus dans le cas continu. Ceci remet cependant en cause une des propriétés avancées par Axelrod : la simplicité. Nous illustrons ceci par la présentation de stratégies meilleures que donnant_donnant et à complexité plus importante. Les évaluations sont faites grâce à des simulations impliquant un très grand nombre de stratégies construites de manière objective via une approche génétique.<br /><br />Ces simulations permettent de mettre en évidence une nouvelle propriété : la faculté d'adaptation du comportement. Cette nouvelle propriété renforce l'idée de complexité croissante dans les comportements coopératifs entre agents.<br /><br />Nous débutons également l'étude d'un dilemme du prisonnier particulier dont seule l'itération diffère du modèle classique et qui permet de modéliser deux niveaux de coopération : le dilemme de l'ascenseur. Cette étude théorique et expérimentale nous permet de montrer qu'avec cette nouvelle représentation les comportements purement déterministes ne peuvent être efficaces.

La composition automatisée de services Web ou le processus de formation de nouveaux services Web à plus forte valeure ajoutée est l'un des plus grand défis auxquels le Web sémantique est face aujourd'hui. La sémantique permet d'un côte de décrire les capacités des services Web mais aussi leurs processus d'exécution, d'où un élément clé pour la composition automatique de services Web. Dans cette étude de doctorat, nous nous concentrons sur la description fonctionnelle des services Web c'est-à-dire, les services sont vus comme une fonction ayant des paramètres i) d'entrée, de sortie sémantiquement annotés par des concepts d'une ontologie de domaine et ii) des conditions préalables et effets conditionnels sur le monde. La composition de services Web est alors considérée comme une composition des liens sémantiques où les lois de cause à effets ont aussi un rôle prépondérant. L'idée maîtresse est que les liens sémantiques et les lois causales permettent, au moment de l'exécution, de trouver des compatibilités sémantiques, indépendamment des descriptions des services Web. En considérant un tel niveau de composition, nous étudions tout d'abord les liens sémantiques, et plus particulièrement leurs propriétés liées à la validité et la robustesse. A partir de là et dépendant de l'expressivité des services Web, nous nous concentrons sur deux approches différentes pour effectuer la composition de services Web. Lors de la première approche, un modèle formel pour effectuer la composition automatique de services Web par le biais de liens sémantiques i.e., Matrice de liens sémantiques est introduite. Cette matrice est nécessaire comme point de départ pour appliquer des approches de recherche basées sur la régression (ou progression). Le modèle prend en charge un contexte sémantique et met l'accent sur les liens sémantiques afin de trouver des plans corrects, complets, cohérents et robustes comme solutions au problème de composition de services Web. Dans cette partie un modèle formel pour la planification et composition de services Web est présenté. Dans la seconde approche, en plus de liens sémantiques, nous considérons les lois de causalité entre effets et pré-conditions de services Web pour obtenir les compositions valides de services Web. Pour ceci, une version étendue et adaptée du langage de programmation logique Golog (ici sslGolog) est présentée comme un formalisme naturel non seulement pour le raisonnement sur les liens sémantiques et les lois causales, mais aussi pour composer automatiquement les services Web. sslGolog fonctionne comme un interprète qui prend en charge les paramètres de sortie de services pour calculer les compositions conditionnelles de services. Cette approche (beaucoup plus restrictive) suppose plus d'expressivité sur la description de service Web. Enfin, nous considérons la qualité des liens sémantiques impliqués dans la composition comme critère novateur et distinctif pour estimer la qualité sémantique des compositions calculées. Ainsi les critères non fonctionnels tels que la qualité de service(QoS) ne sont plus considérés comme les seuls critères permettant de classer les compositions satisfaisant le même objectif. Dans cette partie, nous nous concentrons sur la qualité des liens sémantiques appartenant à la composition de service Web. Pour ceci, nous présentons un modèle extensible permettant d'évaluer la qualité des liens sémantiques ainsi que leur composition. De ce fait, nous introduisons une approche fondée sur la sélection de liens sémantiques afin de calculer la composition optimale. Ce problème est formulé comme un problème d'optimisation qui est résolu à l'aide de la méthode par programmation linéaire entière. Notre système est mis en œuvre et interagit avec des services Web portant sur de scénarios de télécommunications. Les résultats de l'évaluation a montré une grande efficacité des différentes approches proposées.

La fouille de données et la Programmation Par Contraintes (PPC) sont deux domaines de l'informatique qui ont eu, jusqu'à très récemment, des destins séparés. Cette thèse est l'une des toutes premières à s'intéresser aux liens entre la fouille de données et la PPC, et notamment aux apports de cette dernière à l'extraction de motifs sous contraintes. Différentes méthodes génériques pour la découverte de motifs locaux ont été proposées. Mais, ces méthodes ne prennent pas en considération le fait que l'intérêt d'un motif dépend souvent d'autres motifs. Un tel motif est appelé motif n-aire. Très peu de travaux concernant l'extraction de motifs n-aires ont été menés et les méthodes développées sont toutes ad hoc. Cette thèse propose un cadre unifié pour modéliser et résoudre les contraintes n-aires en fouille de données. Tout d'abord, l'extraction de motifs n-aires est modélisée sous forme de problème de satisfaction de contraintes (CSP). Puis, un langage de requêtes à base de contraintes de haut niveau est proposé. Ce langage permet d'exprimer une large panoplie de contraintes n-aires. Plusieurs méthodes de résolution sont développées et comparées. Les apports principaux de ce cadre sont sa déclarativité et sa généricité. Il s'agit du premier cadre générique et flexible permettant la modélisation et la résolution de contraintes n-aires en fouille de données.

L’apprentissage automatique et spécialement l’apprentissage profond se sont imposés ces dernières années pour résoudre une large variété de tâches. Une des applications les plus remarquables concerne la vision par ordinateur. Les systèmes de détection ou de classification ont connu des avancées majeurs grâce a l’apprentissage profond. Cependant, il reste de nombreux obstacles à une compréhension du monde similaire aux être vivants. Ces derniers n’ont pas besoin de labels pour classifier, pour extraire des caractéristiques du monde réel. L’apprentissage non supervisé est un des axes de recherche qui se concentre sur la résolution de ce problème. Dans ce mémoire, je présente un nouveau moyen d’entrainer des réseaux de neurones de manière non supervisée. Je présente une méthode permettant d’échantillonner de manière itérative a partir de bruit afin de générer des données qui se rapprochent des données d’entrainement. Cette procédure itérative s’appelle l’entrainement par infusion qui est une nouvelle approche permettant d’apprendre l’opérateur de transition d’une chaine de Markov. Dans le premier chapitre, j’introduis des bases concernant l’apprentissage automatique et la théorie des probabilités. Dans le second chapitre, j’expose les modèles génératifs qui ont inspiré ce travail. Dans le troisième et dernier chapitre, je présente comment améliorer l’échantillonnage dans les modèles génératifs avec l’entrainement par infusion. / Machine learning and specifically deep learning has made significant breakthroughs in recent years concerning different tasks. One well known application of deep learning is computer vision. Tasks such as detection or classification are nearly considered solved by the community. However, training state-of-the-art models for such tasks requires to have labels associated to the data we want to classify. A more general goal is, similarly to animal brains, to be able to design algorithms that can extract meaningful features from data that aren’t labeled. Unsupervised learning is one of the axes that try to solve this problem. In this thesis, I present a new way to train a neural network as a generative model capable of generating quality samples (a task akin to imagining). I explain how by starting from noise, it is possible to get samples which are close to the training data. This iterative procedure is called Infusion training and is a novel approach to learning the transition operator of a generative Markov chain. In the first chapter, I present some background about machine learning and probabilistic models. The second chapter presents generative models that inspired this work. The third and last chapter presents and investigates our novel approach to learn a generative model with Infusion training.