Cette recherche se caractérise, premièrement, par une discussion théorique sur le concept d'agent autonome, basée sur des éléments issus des paradigmes de l'Intelligence Artificielle Située et de l'Intelligence Artificielle Affective. Ensuite, cette thèse présente le problème de l'apprentissage de modèles du monde, en passant en revue la littérature concernant les travaux qui s'y rapportent. À partir de ces discussions, l'architecture CAES et le mécanisme CALM sont présentés. CAES (Coupled Agent-Environment System) constitue une architecture pour décrire des systèmes basés sur la dichotomie agent-environnement. Il définit l'agent et l'environnement comme deux systèmes partiellement ouverts, en couplage dynamique. L'agent, à son tour, est composé de deux sous-systèmes, l'esprit et le corps, suivant les principes de la situativité et de la motivation intrinsèque. CALM (Constructivist Anticipatory Learning Mechanism) est un mécanisme d'apprentissage fondé sur l'approche constructiviste de l'Intelligence Artificielle. Il permet à un agent situé de construire un modèle du monde dans des environnements partiellement observables et partiellement déterministes, sous la forme d'un processus de décision markovien partiellement observable et factorisé (FPOMDP). Le modèle du monde construit est ensuite utilisé pour que l'agent puisse définir une politique d'action visant à améliorer sa propre performance.

Le dilemme itéré du prisonnier est une représentation mathématique de la coopération entre agents. Ce modèle est issu de la théorie des jeux dont le but initial est d'étudier les situations de conflits d'intérêts entre individus. La pauvreté des résultats qu'elle implique dans le cas du dilemme du prisonnier rend son utilisation assez inefficace. Une nouvelle approche évolutionniste basée en grande partie sur des simulations informatiques a été initiée par Robert Axelrod. Les agents sont caractérisés par leur comportement, ou stratégie. Axelrod a mis en évidence quatre propriétés qu'une stratégie doit posséder pour être efficace, et propose la stratégie donnant_donnant comme exemple.<br /><br />Notre travail consiste à étudier et approfondir ce type de simulations. Nous adaptons le modèle afin de prendre en compte l'aspect discret des calculs. Cette adaptation nous permet de faire un grand nombre de simulations confirmant en majeure partie les résultats obtenus dans le cas continu. Ceci remet cependant en cause une des propriétés avancées par Axelrod : la simplicité. Nous illustrons ceci par la présentation de stratégies meilleures que donnant_donnant et à complexité plus importante. Les évaluations sont faites grâce à des simulations impliquant un très grand nombre de stratégies construites de manière objective via une approche génétique.<br /><br />Ces simulations permettent de mettre en évidence une nouvelle propriété : la faculté d'adaptation du comportement. Cette nouvelle propriété renforce l'idée de complexité croissante dans les comportements coopératifs entre agents.<br /><br />Nous débutons également l'étude d'un dilemme du prisonnier particulier dont seule l'itération diffère du modèle classique et qui permet de modéliser deux niveaux de coopération : le dilemme de l'ascenseur. Cette étude théorique et expérimentale nous permet de montrer qu'avec cette nouvelle représentation les comportements purement déterministes ne peuvent être efficaces.

La composition automatisée de services Web ou le processus de formation de nouveaux services Web à plus forte valeure ajoutée est l'un des plus grand défis auxquels le Web sémantique est face aujourd'hui. La sémantique permet d'un côte de décrire les capacités des services Web mais aussi leurs processus d'exécution, d'où un élément clé pour la composition automatique de services Web. Dans cette étude de doctorat, nous nous concentrons sur la description fonctionnelle des services Web c'est-à-dire, les services sont vus comme une fonction ayant des paramètres i) d'entrée, de sortie sémantiquement annotés par des concepts d'une ontologie de domaine et ii) des conditions préalables et effets conditionnels sur le monde. La composition de services Web est alors considérée comme une composition des liens sémantiques où les lois de cause à effets ont aussi un rôle prépondérant. L'idée maîtresse est que les liens sémantiques et les lois causales permettent, au moment de l'exécution, de trouver des compatibilités sémantiques, indépendamment des descriptions des services Web. En considérant un tel niveau de composition, nous étudions tout d'abord les liens sémantiques, et plus particulièrement leurs propriétés liées à la validité et la robustesse. A partir de là et dépendant de l'expressivité des services Web, nous nous concentrons sur deux approches différentes pour effectuer la composition de services Web. Lors de la première approche, un modèle formel pour effectuer la composition automatique de services Web par le biais de liens sémantiques i.e., Matrice de liens sémantiques est introduite. Cette matrice est nécessaire comme point de départ pour appliquer des approches de recherche basées sur la régression (ou progression). Le modèle prend en charge un contexte sémantique et met l'accent sur les liens sémantiques afin de trouver des plans corrects, complets, cohérents et robustes comme solutions au problème de composition de services Web. Dans cette partie un modèle formel pour la planification et composition de services Web est présenté. Dans la seconde approche, en plus de liens sémantiques, nous considérons les lois de causalité entre effets et pré-conditions de services Web pour obtenir les compositions valides de services Web. Pour ceci, une version étendue et adaptée du langage de programmation logique Golog (ici sslGolog) est présentée comme un formalisme naturel non seulement pour le raisonnement sur les liens sémantiques et les lois causales, mais aussi pour composer automatiquement les services Web. sslGolog fonctionne comme un interprète qui prend en charge les paramètres de sortie de services pour calculer les compositions conditionnelles de services. Cette approche (beaucoup plus restrictive) suppose plus d'expressivité sur la description de service Web. Enfin, nous considérons la qualité des liens sémantiques impliqués dans la composition comme critère novateur et distinctif pour estimer la qualité sémantique des compositions calculées. Ainsi les critères non fonctionnels tels que la qualité de service(QoS) ne sont plus considérés comme les seuls critères permettant de classer les compositions satisfaisant le même objectif. Dans cette partie, nous nous concentrons sur la qualité des liens sémantiques appartenant à la composition de service Web. Pour ceci, nous présentons un modèle extensible permettant d'évaluer la qualité des liens sémantiques ainsi que leur composition. De ce fait, nous introduisons une approche fondée sur la sélection de liens sémantiques afin de calculer la composition optimale. Ce problème est formulé comme un problème d'optimisation qui est résolu à l'aide de la méthode par programmation linéaire entière. Notre système est mis en œuvre et interagit avec des services Web portant sur de scénarios de télécommunications. Les résultats de l'évaluation a montré une grande efficacité des différentes approches proposées.

La fouille de données et la Programmation Par Contraintes (PPC) sont deux domaines de l'informatique qui ont eu, jusqu'à très récemment, des destins séparés. Cette thèse est l'une des toutes premières à s'intéresser aux liens entre la fouille de données et la PPC, et notamment aux apports de cette dernière à l'extraction de motifs sous contraintes. Différentes méthodes génériques pour la découverte de motifs locaux ont été proposées. Mais, ces méthodes ne prennent pas en considération le fait que l'intérêt d'un motif dépend souvent d'autres motifs. Un tel motif est appelé motif n-aire. Très peu de travaux concernant l'extraction de motifs n-aires ont été menés et les méthodes développées sont toutes ad hoc. Cette thèse propose un cadre unifié pour modéliser et résoudre les contraintes n-aires en fouille de données. Tout d'abord, l'extraction de motifs n-aires est modélisée sous forme de problème de satisfaction de contraintes (CSP). Puis, un langage de requêtes à base de contraintes de haut niveau est proposé. Ce langage permet d'exprimer une large panoplie de contraintes n-aires. Plusieurs méthodes de résolution sont développées et comparées. Les apports principaux de ce cadre sont sa déclarativité et sa généricité. Il s'agit du premier cadre générique et flexible permettant la modélisation et la résolution de contraintes n-aires en fouille de données.

L’apprentissage automatique et spécialement l’apprentissage profond se sont imposés ces dernières années pour résoudre une large variété de tâches. Une des applications les plus remarquables concerne la vision par ordinateur. Les systèmes de détection ou de classification ont connu des avancées majeurs grâce a l’apprentissage profond. Cependant, il reste de nombreux obstacles à une compréhension du monde similaire aux être vivants. Ces derniers n’ont pas besoin de labels pour classifier, pour extraire des caractéristiques du monde réel. L’apprentissage non supervisé est un des axes de recherche qui se concentre sur la résolution de ce problème. Dans ce mémoire, je présente un nouveau moyen d’entrainer des réseaux de neurones de manière non supervisée. Je présente une méthode permettant d’échantillonner de manière itérative a partir de bruit afin de générer des données qui se rapprochent des données d’entrainement. Cette procédure itérative s’appelle l’entrainement par infusion qui est une nouvelle approche permettant d’apprendre l’opérateur de transition d’une chaine de Markov. Dans le premier chapitre, j’introduis des bases concernant l’apprentissage automatique et la théorie des probabilités. Dans le second chapitre, j’expose les modèles génératifs qui ont inspiré ce travail. Dans le troisième et dernier chapitre, je présente comment améliorer l’échantillonnage dans les modèles génératifs avec l’entrainement par infusion. / Machine learning and specifically deep learning has made significant breakthroughs in recent years concerning different tasks. One well known application of deep learning is computer vision. Tasks such as detection or classification are nearly considered solved by the community. However, training state-of-the-art models for such tasks requires to have labels associated to the data we want to classify. A more general goal is, similarly to animal brains, to be able to design algorithms that can extract meaningful features from data that aren’t labeled. Unsupervised learning is one of the axes that try to solve this problem. In this thesis, I present a new way to train a neural network as a generative model capable of generating quality samples (a task akin to imagining). I explain how by starting from noise, it is possible to get samples which are close to the training data. This iterative procedure is called Infusion training and is a novel approach to learning the transition operator of a generative Markov chain. In the first chapter, I present some background about machine learning and probabilistic models. The second chapter presents generative models that inspired this work. The third and last chapter presents and investigates our novel approach to learn a generative model with Infusion training.

Notre société est de plus en plus friande d’outils informatiques. Ce phénomène s’est particulièrement accru lors de cette dernière décennie suite, entre autres, à l’émergence d’un nouveau paradigme d’Intelligence Artificielle. Plus précisément, le couplage de deux techniques algorithmiques, les Réseaux de Neurones Profonds et la Descente de Gradient Stochastique, propulsé par une force de calcul exponentiellement croissante, est devenu et continue de devenir un atout majeur dans de nombreuses nouvelles technologies. Néanmoins, alors que le progrès suit son cours, certains se demandent toujours si d’autres méthodes pourraient similairement, voire davantage, bénéficier de ces diverses avancées matérielles. Afin de pousser cette étude, nous nous attelons dans ce mémoire aux Algorithmes Évolutionnaires et leur application aux Réseaux de Neurones Dynamiques, deux techniques dotées d’un grand nombre de propriétés avantageuses n’ayant toutefois pas trouvé leur place au sein de l’Intelligence Artificielle contemporaine. Nous trouvons qu’en élaborant de nouvelles méthodes tout en exploitant une forte puissance informatique, il nous devient alors possible de développer des agents à haute performance sur des bases de référence ainsi que d’autres agents se comportant de façon très similaire à des sujets humains sur le jeu vidéo Shinobi III : Return of The Ninja Master, cas typique de tâches complexes que seule l’optimisation par gradient était capable d’aborder jusqu’alors. / Our society is increasingly fond of computational tools. This phenomenon has greatly increased over the past decade following, among other factors, the emergence of a new Artificial Intelligence paradigm. Specifically, the coupling of two algorithmic techniques, Deep Neural Networks and Stochastic Gradient Descent, thrusted by an exponentially increasing computing capacity, has and is continuing to become a major asset in many modern technologies. However, as progress takes its course, some still wonder whether other methods could similarly or even more greatly benefit from these various hardware advances. In order to further this study, we delve in this thesis into Evolutionary Algorithms and their application to Dynamic Neural Networks, two techniques which despite enjoying many advantageous properties have yet to find their niche in contemporary Artificial Intelligence. We find that by elaborating new methods while exploiting strong computational resources, it becomes possible to develop strongly performing agents on a variety of benchmarks but also some other agents behaving very similarly to human subjects on the video game Shinobi III : Return of The Ninja Master, typical complex tasks previously out of reach for non-gradient-based optimization.

Les algorithmes d’apprentissage par renforcement conditionné par les buts apprennent à accomplir des tâches en interagissant avec leur environnement. Ce faisant, ils apprennent à propos du monde qui les entourent de façon graduelle et adaptive. Parmi d’autres raisons, c’est pourquoi cette branche de l’intelligence artificielle est une des avenues les plus promet- teuses pour le contrôle des robots généralistes de demain. Cependant, la sûreté de ces algo- rithmes de contrôle restent un champ de recherche actif. La majorité des algorithmes “d’ap- prentissage par renforcement sûr” tâchent d’assurer la sécurité de la politique de contrôle tant durant l’apprentissage que pendant le déploiement ou l’évaluation. Dans ce travail, nous proposons une stratégie complémentaire. Puisque la majorité des algorithmes de contrôle pour la robotique sont développés, entraî- nés, et testés en simulation pour éviter d’endommager les vrais robots, nous pouvons nous permettre d’agir de façon dangereuse dans l’environnement simulé. Nous démontrons qu’en donnant des buts dangereux à effectuer à l’algorithme d’apprentissage durant l’apprentissage, nous pouvons produire des populations de politiques de contrôle plus sûres au déploiement ou à l’évaluation qu’en sélectionnant les buts avec des techniques de l’état de l’art. Pour ce faire, nous introduisons un nouvel agent à l’entraînement de la politique de contrôle, le “Directeur”. Le rôle du Directeur est de sélectionner des buts qui sont assez difficiles pour aider la politique à apprendre à les résoudre sans être trop difficiles ou trop faciles. Pour aider le Directeur dans sa tâche, nous entraînons un réseau de neurones en ligne pour prédire sur quels buts la politique de contrôle échouera. Armé de ce “réseau de la peur” (nommé d’après la peur de la politique de contrôle), le Directeur parviens à sélectionner les buts de façon à ce que les politiques de contrôles finales sont plus sûres et plus performantes que les politiques entraînées à l’aide de méthodes de l’état de l’art, ou obtiennent des métriques semblables. De plus, les populations de politiques entraînées par le Directeur ont moins de variance dans leur comportement, et sont plus résistantes contre des attaques d’adversaires sur les buts qui leur sont issus. / By learning from experience, goal-conditioned reinforcement learning methods learn from their environments gradually and adaptively. Among other reasons, this makes them a promising direction for the generalist robots of the future. However, the safety of these goal- conditioned RL policies is still an active area of research. The majority of “Safe Reinforce- ment Learning” methods seek to enforce safety both during training and during deployment and/or evaluation. In this work, we propose a complementary strategy. Because the majority of control algorithms for robots are developed, trained, and tested in simulation to avoid damaging the real hardware, we can afford to let the policy act in unsafe ways in the simulated environment. We show that by tasking the learning algorithm with unsafe goals during its training, we can produce populations of final policies that are safer at evaluation or deployment than when trained with state-of-the-art goal-selection methods. To do so, we introduce a new agent to the training of the policy that we call the “Director”. The Director’s role is to select goals that are hard enough to aid the policy’s training, without being too hard or too easy. To help the Director in its task, we train a neural network online to predict which goals are unsafe for the current policy. Armed with this “fear network” (named after the policy’s own fear of violating its safety conditions), the Director is able to select training goals such that the final trained policies are safer and more performant than policies trained on state-of-the-art goal-selection methods (or just as safe/performant). Additionally, the populations of policies trained by the Director show decreased variance in their behaviour, along with increased resistance to adversarial attacks on the goals issued to them.

Les études de décodage cérébral visent à entrainer un modèle d'activité cérébrale qui reflète l'état cognitif du participant. Des variations interindividuelles substantielles dans l'organisation fonctionnelle du cerveau représentent un défi pour un décodage cérébral précis. Dans cette thèse, nous évaluons si des modèles de décodage cérébral précis peuvent être entrainés avec succès entièrement au niveau individuel. Nous avons utilisé un ensemble de données individuel dense d'imagerie par résonance magnétique fonctionnelle (IRMf) pour lequel six participants ont terminé l'ensemble de la batterie de tâches du “Human Connectome Project” > 13 fois sur dix sessions d'IRMf distinctes. Nous avons implémenté plusieurs méthodes de décodage, des simples machines à vecteurs de support aux réseaux complexes de neurones à convolution de graphes. Tous les décodeurs spécifiques à l'individu ont été entrainés pour classifier simultanément les volumes d'IRMf simples (TR = 1,49) entre 21 conditions expérimentales, en utilisant environ sept heures de données d'IRMf par participant. Les meilleurs résultats de prédiction ont été obtenus avec notre modèle de machine à vecteurs de support avec une précision de test allant de 64 à 79 % (niveau de la chance environ 7%). Les perceptrons multiniveaux et les réseaux convolutionnels de graphes ont également obtenu de très bons résultats (63-78% et 63-77%, respectivement). Les cartes d'importance des caractéristiques dérivées du meilleur modèle (SVM) ont révélé que la classification utilise des régions pertinentes pour des domaines cognitifs particuliers, sur la base d’a priori neuro-anatomique. En appliquant un modèle individuel aux données d’un autre sujet (classification inter-sujets), on observe une précision nettement inférieure à celle des modèles spécifiques au sujet, ce qui indique que les décodeurs cérébraux individuels ont appris des caractéristiques spécifiques à chaque individu. Nos résultats indiquent que des ensembles de données de neuroimagerie profonde peuvent être utilisés pour former des modèles de décodage cérébral précis au niveau individuel. Les données de cette étude sont partagées librement avec la communauté (https://cneuromod.ca), et pourront servir de benchmark de référence, pour l’entrainement de modèles de décodage cérébral individuel, ou bien des études de “transfert learning” à partir de l’échantillon collecté par le human connectome project. / Brain decoding studies aim to train a pattern of brain activity that reflects the cognitive state of the participant. Substantial inter-individual variations in functional organization represent a challenge to accurate brain decoding. In this thesis, we assess whether accurate brain decoding models can be successfully trained entirely at the individual level. We used a dense individual functional magnetic resonance imaging (fMRI) dataset for which six participants completed the entire Human Connectome Project (HCP) task battery>13 times across ten separate fMRI sessions. We assessed several decoding methods, from simple support vector machines to complex graph convolution neural networks. All individual-specific decoders were trained to classify single fMRI volumes (TR = 1.49) between 21 experimental conditions simultaneously, using around seven hours of fMRI data per participant. The best prediction accuracy results were achieved with our support vector machine model with test accuracy ranging from 64 to 79% (chance level of about 7%). Multilevel perceptrons and graph convolutional networks also performed very well (63-78% and 63-77%, respectively). Best Model Derived Feature Importance Maps (SVM) revealed that the classification uses regions relevant to particular cognitive domains, based on neuroanatomical priors. Applying an individual model to another subject's data (across-subject classification) yields significantly lower accuracy than subject-specific models, indicating that individual brain decoders have learned characteristics specific to each individual. Our results indicate that deep neuroimaging datasets can be used to train accurate brain decoding models at the individual level. The data from this study is shared freely with the community (https://cneuromod.ca) and can be used as a reference benchmark, for training individual brain decoding models, or for “transfer learning” studies from the sample collected by the human connectome project.

Cette thèse a pour objet les liens sociaux entre les travailleurs du secteur de l’intelligence artificielle (IA) à Montréal, métropole qui connaît depuis les années 2010 un engouement social, économique, politique et médiatique pour ce secteur peu touché par la crise et par l’instabilité en emploi. Les travailleurs de l’IA occupent des emplois aux savoirs et aux savoir-faire hétérogènes et collaborent directement et indirectement pour construire collectivement les passerelles entre la science et la technologie. Au croisement de la sociologie des professions et de la sociologie du lien social, cette recherche interroge les caractéristiques des liens entre ces travailleurs mais aussi l’organisation symbolique dans laquelle ils sont intégrés. Elle mobilise le concept de communauté professionnelle pour désigner d’une part les travailleurs de l’IA dans leur ensemble, et d’autre part, ce pouvoir moral qui unit leurs intérêts individuels autant qu’il les dépasse. En étudiant leurs modes d’intégration, d’engagement dans l’activité, de reconnaissance et de protection, il ressort que l’intérêt partagé pour l’intelligence artificielle et la satisfaction de participer à « l’essor » de son secteur d’activité caractérisent significativement les liens qui les unissent. La popularité politique et économique du label « IA » renforce le prestige des travailleurs, qui doivent en retour continuer de renforcer sa légitimité dans l’espace social. Construites sur une approche mixte, les analyses révèlent en effet que ces liens entrainent des formes de dépendance et des rapports de pouvoir symbolique entre les professionnels et les travailleurs de métier qui composent la communauté professionnelle de l’IA. / This dissertation investigates the social bonds between workers in the artificial intelligence (AI) industry in Montreal. Through the 2010s, this city has manifested a growing social, economic, political and media interest for this sector still rather sheltered from the crisis and job instability. AI workers occupy jobs requiring a variety of knowledge and skills and collaborate both directly and indirectly to build collectively the bridges between science and technology. At the intersection of the sociology of professions and Durkheim’s sociology of the social bond, this dissertation examines the ties that characterize these workers relationships but also the symbolic structure in which they are integrated. I use the concept of professional community to designate, on the one hand, AI workers as a whole, and on the other hand, this moral force that unites their individual interests as much as it transcends them. Through an analysis of their modes of integration, commitment to the activity, recognition, and protection, I argue that the bonds that unite the AI workers are characterized by a shared interest in artificial intelligence and the satisfaction of participating in the AI “boom”. The political and economical popularity of the “AI” label reinforces the prestige of the workers, who in return must continue to strengthen the legitimacy of the sector in the public sphere. Built on a mixed approach, the analyses presented in this dissertation show that these bonds lead to dependencies and symbolic power relationships between the professionals and the workers in the AI professional community.

The rapid expansion of artificial intelligence (AI) in modern society, exemplified by systems like ChatGPT and Stable Diffusion, has given rise to significant ethical considerations. These systems, increasingly prevalent in diverse sectors such as mental health treatment, as in Koko, and art creation, necessitate a careful examination of their alignment with human values. This thesis addresses the pressing need for ethical evaluation of multimodal AI systems - those capable of processing and responding to both text and image inputs. Our research is twofold: initially, we focus on developing a multimodal ethical database through interactive human feedback. Participants assess various examples, determining their ethical appropriateness. This process culminates in a dataset that serves as a foundation for the subsequent phase - designing and testing algorithms capable of autonomously evaluating the morality of AI responses. We explore the effectiveness of two models in this context: a RoBERTa-large classifier and a multilayer perceptron classifier. Furthermore, this thesis highlights significant limitations in the existing multimodal AI systems studied. We propose alternative models, offering a comparative analysis mainly in terms of performance. This comprehensive study not only contributes to the field of AI alignment but also proposes methodologies for enhancing the moral framework within which these influential technologies operate. / L'expansion rapide de l'intelligence artificielle (IA) dans la société moderne, illustrée par des systèmes tels que ChatGPT et Stable Diffusion, a suscité d'importantes considérations éthiques. Ces systèmes, de plus en plus présents dans divers secteurs tels que le traitement de la santé mentale, avec Koko, et la création artistique, nécessitent un examen attentif de leur alignement avec les valeurs humaines. Ce mémoire aborde le besoin pressant d'une évaluation éthique des systèmes d'IA multimodaux - capables de traiter et de répondre à la fois aux entrées textuelles et visuelles. Notre recherche est double : initialement, nous nous concentrons sur le développement d'une base de données éthiques multimodales par le biais de retours interactifs d'utilisateurs. Les participants évaluent divers exemples pour déterminer leur éthique. Ce processus aboutit à un ensemble de données qui sert de fondement à la phase suivante - la conception et le test d'algorithmes capables d'évaluer de manière autonome la moralité des réponses de l'IA. Nous explorons l'efficacité de deux modèles dans ce contexte : un classificateur RoBERTa-large et un perceptron multicouche. De plus, ce mémoire met en évidence des limitations significatives dans les systèmes d'IA multimodaux existants étudiés. Nous proposons des modèles alternatifs, offrant une analyse comparative en termes de performance. Cette étude complète contribue non seulement au domaine de l'alignement de l'IA, mais propose également des méthodologies pour améliorer le cadre moral dans lequel ces technologies influentes opèrent.