Global ETD Search

161	Antenna Performance Control using Metamaterials / Contrôle des performances des antennes par les métamatériaux Ayad, Houssam 02 June 2012 (has links) Le travail de cette thèse est en rapport avec les métamatériaux et ses applications. Tout d’abord, un état de l’art est dressé en présentant leur évolution depuis leur apparition en 19ème siècle jusqu’au nos jours. Les notions sur les milieux chirale, bi-anisotrope, cristaux photoniques et quelques applications dans ces milieux sont données. Ensuite, nous présentons les équations classiques de Maxwell dans les milieux complexes. L’effet bi-anisotrope dans les métamatériaux est ensuite validé par l’extraction des paramètres caractéristiques du matériau main gauche (LHM). La validation a été faite en utilisant deux types différents du résonateur avec inclusion (SRR). Les métamatériaux sont également étudiés comme des cristaux photoniques quand les dimensions utilisées sont de l’ordre de la longueur d’onde correspondant.De plus, les résonateurs SRR et multi-SRR sont analysés du point de vue analytique et électromagnétique afin d’extraire leur fréquence de résonance. Par conséquent, ces composants peuvent être introduits dans différents types de conception; La surface conductrice magnétique artificielle (AMC) illustre un cas explicite et efficace de ces derniers. Une antenne dipôle, placée sur cette surface à la place d’un plan de masse conventionnel, a été étudiée comme une application des métamatériaux. Les résultats relatifs sur la directivité, le gain et le coefficient de réflexion montrent une nette amélioration. Une antenne multi-bandes, comme une autre application des métamatériaux, a également été conçue et simulée. Le résonateur SRR est inséré dans l’antenne de départ afin de créer une autre résonance, et par conséquent une autre bande est ainsi créée. / The work in this thesis deals with metamaterials, its components and applications. A historical overview about these materials, features and researches in the domain are presented. Chiral media, binaisotropic materials and photonic crystals are also studied in order to visualize physics behind metamaterials.Electromagnetic properties in complex media are widely investigated. Starting from Maxwell’s equations, bi-anisotropic materials and their effect are deeply analyzed whereas two types of Split Ring Resonator (SRR) are treated to determine constitutive parameters of Left Handed Materials (LHM). The metamaterials are also studied as photonic crystals since the effective medium approach is not applicable when the dimensions of the inclusions tend to the operating wavelength.Moreover, SRRs and Multi SRRs are synthesized analytically and electromagnetically in order to extract their resonant frequencies. Consequently, these components could be introduced in any design; Artificial Magnetic Conductor (AMC) surface is an efficient case. Thus, a low profile antenna positioned over such surface is examined as an application of metamaterials. The results of directivity, gain and reflection coefficient are of great importance and affirm the employing of metamaterials in such applications. A dual band PCB antenna, as another application of metamaterials, is designed and simulated. The SRR element studied in the previous chapters is used as the trap which inserted in the arm of the antenna in order to create another resonance, and consequently another band is created. Métamatériaux Matériau main gauche Matériaux doublement négatifs Résonateur à inclusion Multi-Résonateurs à inclusion Conducteur magnétique artificiel Antenne Dipôle Antenne multi-bandes Metamaterials (MTMs) Left Handed Materials (LHM) Double Negative Materials (DNG Inclusions, Split Ring Resonators (SRRs Multi Split Ring Resonators (MSRRs) Artificial Magnetic Conductors (AMCs), Dipole antenna Dual band antenna
162	Um mecanismo construtivista para aprendizagem de antecipações em agentes artificiais situados / Un mecanisme constructiviste d'apprentissage automatique d'anticipations pour des agents artificiels situes / A constructivist anticipatory learning mechanism for situated artificial agents Perotto, Filipo Studzinski January 2010 (has links) Cette recherche se caractérise, premièrement, par une discussion théorique sur le concept d'agent autonome, basée sur des éléments issus des paradigmes de l'Intelligence Artificielle Située et de l'Intelligence Artificielle Affective. Ensuite, cette thèse présente le problème de l'apprentissage de modèles du monde, en passant en revue la littérature concernant les travaux qui s'y rapportent. À partir de ces discussions, l'architecture CAES et le mécanisme CALM sont présentés. CAES (Coupled Agent-Environment System) constitue une architecture pour décrire des systèmes basés sur la dichotomie agent-environnement. Il définit l'agent et l'environnement comme deux systèmes partiellement ouverts, en couplage dynamique. L'agent, à son tour, est composé de deux sous-systèmes, l'esprit et le corps, suivant les principes de la situativité et de la motivation intrinsèque. CALM (Constructivist Anticipatory Learning Mechanism) est un mécanisme d'apprentissage fondé sur l'approche constructiviste de l'Intelligence Artificielle. Il permet à un agent situé de construire un modèle du monde dans des environnements partiellement observables et partiellement déterministes, sous la forme d'un processus de décision markovien partiellement observable et factorisé (FPOMDP). Le modèle du monde construit est ensuite utilisé pour que l'agent puisse définir une politique d'action visant à améliorer sa propre performance. / Esta pesquisa caracteriza-se, primeiramente, pela condução de uma discussão teórica sobre o conceito de agente autônomo, baseada em elementos provenientes dos paradigmas da Inteligência Artificial Situada e da Inteligência Artificial Afetiva. A seguir, a tese apresenta o problema da aprendizagem de modelos de mundo, fazendo uma revisão bibliográfica a respeito de trabalhos relacionados. A partir dessas discussões, a arquitetura CAES e o mecanismo CALM são apresentados. O CAES (Coupled Agent-Environment System) é uma arquitetura para a descrição de sistemas baseados na dicotomia agente-ambiente. Ele define agente e ambiente como dois sistemas parcialmente abertos, em acoplamento dinâmico. O agente, por sua vez, é composto por dois subsistemas, mente e corpo, seguindo os princípios de situatividade e motivação intrínseca. O CALM (Constructivist Anticipatory Learning Mechanism) é um mecanismo de aprendizagem fundamentado na abordagem construtivista da Inteligência Artificial. Ele permite que um agente situado possa construir um modelo de mundo em ambientes parcialmente observáveis e parcialmente determinísticos, na forma de um Processo de Decisão de Markov Parcialmente Observável e Fatorado (FPOMDP). O modelo de mundo construído é então utilizado para que o agente defina uma política de ações a fim de melhorar seu próprio desempenho. / This research is characterized, first, by a theoretical discussion on the concept of autonomous agent, based on elements taken from the Situated AI and the Affective AI paradigms. Secondly, this thesis presents the problem of learning world models, providing a bibliographic review regarding some related works. From these discussions, the CAES architecture and the CALM mechanism are presented. The CAES (Coupled Agent-Environment System) is an architecture for describing systems based on the agent-environment dichotomy. It defines the agent and the environment as two partially open systems, in dynamic coupling. The agent is composed of two sub-systems, mind and body, following the principles of situativity and intrinsic motivation. CALM (Constructivist Learning Anticipatory Mechanism) is based on the constructivist approach to Artificial Intelligence. It allows a situated agent to build a model of the world in environments partially deterministic and partially observable in the form of Partially Observable and Factored Markov Decision Process (FPOMDP). The model of the world is constructed and used for the agent to define a policy for action in order to improve its own performance. ntelligence artificielle constructiviste Intelligence artificielle Apprentissage automatique Agents autonomes Induction de concepts Développement cognitif artificiel Piaget Découverte de structure dans des FPOMDP Processus de décision markovien (MDP) Inteligência artificial Construtivismo Agentes autonomos Aprendizagem : Maquina Constructivist artificial intelligence Artificial intelligence Machine learning Autonomous agents Concept induction Artificial cognitive development Structure discovering in FPOMDPs Markov decision processes (MDP)
163	Ecological determinants of roe deer (Capreolus capreolus) spatial behavior and movement in limiting conditions / Déterminants écologiques du comportement spatial et des mouvements des chevreuils en conditions limitantes Ossi, Federico 13 January 2015 (has links) Pour la grande majorité des grands herbivores vivant en régions tempérées, l'hiver est la saison la plus limitante à cause des effets combinés du manque de ressources et de la sévérité des conditions climatiques. Les espèces qui ne développent pas d'adaptations morphologiques ou physiologiques particulières pour faire face à la sévérité de l'hiver doivent mettre en place des mouvements et des tactiques d'utilisation de l'espace appropriés (comme par exemple les migrations). Plus spécifiquement, ces patrons d'utilisation de l'espace peuvent émerger à différentes échelles spatio-temporelles pour permettre aux individus d'accéder aux ressources dont ils ont besoin et d'échapper aux conditions climatiques défavorables. Ainsi, ces patrons d'utilisation de l'espace déterminent le sort des individus et la dynamique des populations. Une compréhension détaillée de la relation entre les facteurs limitants durant l'hiver et la réponse des animaux en termes de mouvements est prépondérante pour préserver et gérer les populations d'ongulés sauvages avec succès, tout spécialement dans le contexte actuel de changements climatiques rapides qui induisent des modifications importantes dans le paysage et la distribution des ressources (par exemple changement de patrons de couverture neigeuse en hiver). La comparaison de tactiques de mouvements sous différents scénarios de conditions environnementales, par exemple au moyen d'analyses à vaste échelle de l'aire de distribution de l'espèce cible, représente une approche pertinente pour mieux comprendre comment les mouvements des animaux répondent aux changements dans le paysage. Le chevreuil (Capreoluscapreolus) est une espèce modèle particulièrement intéressante pour étudier ces questions parce que la distribution de cette espèce couvre la plupart des pays d'Europe, grâce à sa forte plasticité écologique / For the majority of large ungulates living in temperate regions winter is the limiting season, because of the combined effects of lack of resource availability and severity of climatic conditions. Those species that did not develop any particular morphological and physiological adaptation to cope with winter severity may adopt movement and space use tactics instead (like e.g. migration). Specifically, these space use patterns may emerge at different spatiotemporal scales to allow individuals to accede the resources they need and escape unfavourable conditions, thus determining both individual fate and population dynamics. A detailed understanding of the relationship between limiting factors in wintertime, and individual movement response, is remarkable to preserve and manage wildlife successfully, especially in the context of fast-occurring climate change that induces important alterations in landscape and resource distribution (e.g. changes of snow cover patterns). The comparison of movement tactics under different environmental scenarios, e.g. by means of large –scale analysis at the species distribution range, represents a valuable approach to work in that direction and to assess the effects of landscape alteration on individual movement. Roe deer (Capreolus capreolus) is an excellent model species to investigate these issues, because its distribution range covers most of Europe, thanks to its high ecological plasticity. For those populations that live in northern and mountain environments, winter is the limiting season because roe deer lack any morphological and physiological adaptations to cope with winter severity. In spite of the adoption of specific movement tactics such as partial migration from summer to winter ranges, roe deer may still face limiting conditions in some areas of the distribution range exposed to winter severity Chevreuils Grand échelles spatio-temporelles Enregistreurs de proximité Sites de nourrisage artificiel Condition de la neige Couverture de neige Enfoncement dans la neige Modalités d'agrégation animale Roe deer Large scale analysis Proximity sensors Supplemental feeding Snow conditions Snow cover Snow sinking depth 577.88
164	Effects of prenatal stress on sepia officinalis / Les effets du stress prénatal sur la seiche sepia officinalis O brien, Caitlin 08 December 2017 (has links) Le stress prénatal est un sujet d'intérêt éthologique croissant en raison de ses effets sur la santé humaine et le bien-être des animaux. Cette thése de doctorat s’intéresse à la seiche Sepia officinalis, un modèle pratique dans lequel la progéniture en développement peut être séparée de leurs mères pour examiner diverses sources potentielles de stress en isolement expérimental. Plusieurs catégories de facteurs de stress ont été appliquées aux embryons et aux juvéniles et la progéniture résultante a été testée dans une série d'épreuves physiologiques et comportementales. L'objectif était de déterminer si différents types de stress prénatal affectent la seiche et, dans l'affirmative, comment ces effets se transmettent. Les données présentées démontrent que les stresseurs appliqués aux femelles reproductrices (stress maternel), ainsi que les stresseurs appliqués directement aux embryons (stress embryonnaire), affectent le comportement postnatal (y compris la structuration corporelle, la latéralisation cérébrale, la prédation et les schémas d'activité) la mémoire et / ou la neurobiologie (y compris les concentrations et le renouvellement de la monoamine, la taille des différents lobes cérébraux et la division cellulaire). Les résultats mettent en évidence la présence de trois voies par lesquelles le stress peut exercer des effets: sur le nombre de descendants produits par la femelle, la transmission de la femelle à sa progéniture et directement sur la progéniture elle-même. Les expériences ont également démontré qu'un facteur de stress complètement artificiel (lumière forte) affectait un éventail plus large de comportements chez la progéniture qu’un stress naturel (odeur de prédateur). Enfin, les données ont montré que l'environnement d'incubation et d’élevage peuvent également affecter la progéniture et méritent donc une attention particulière dans la formulation et l'interprétation des expériences avec cette espèce. Ces découvertes informent à la fois les pratiques de bien-être des seiches et d'autres céphalopodes (par exemple, réduisent la manipulation pour maximiser la reproduction) et élucident et renforcent les principes éthologiques qui s'appliquent au stress animal en général (par exemple la transmission des effets de stress de la mère à la progéniture). Compte tenu des informations fournies ici et dans de nombreuses autres études, la seiche et d'autres céphalopodes devraient continuer à servir de modèles comportementaux en éthologie et en biologie en général. / Prenatal stress is a subject of growing ethological interest due to its effects on human health and animal welfare. This Ph.D. thesis utilizes the cuttlefish Sepia officinalis, a convenient model in which developing offspring can be separated from their mothers to examine various potential sources of stress in experimental isolation. Several categories of stressors were applied to cuttlefish and cuttlefish eggs and the resulting offspring were tested in a range of physiological and behavioral tests. The goal was to determine if various types of prenatal stress affect cuttlefish, and if so, how these effects are transmitted. The data presented demonstrate that both stressors applied to reproducing females (maternal stress), as well as stressors applied directly to embryos (embryonic stress), affected post-natal behavior (including body patterning, brain lateralization, predation and activity patterns), learning, memory and/or neurobiology (including monoamine concentrations and turnover, the size of various brain lobes and cell division). The results highlight the presence of three pathways by which stress can exert effects: on the number of offspring produced by the female, transmission from the female to her offspring and directly on the offspring themselves. The experiments also demonstrated that a completely artificial stressor (bright light) affected a wider range of behaviors in offspring than a natural-occurring one (predator odor). Finally, the data showed that incubation and spawning environment can also affect offspring, and thus deserve attention in the formulation and interpretation of experiments with this species. These findings inform both welfare practices for cuttlefish and other cephalopods (e.g. reduce handling to maximize reproduction) as well as elucidating and reinforcing ethological principles that apply to animal stress in general (e.g. the transmission of stress effects from mother to offspring). Given the insight provided here and in numerous other studies, cuttlefish and other cephalopods should continue to serve as behavioral models in ethology and biology in general. Odeur de prédateur Stress maternel Facteur de stress artificiel Structuration du corps Latéralisation cérébrale Activité Réponse à une menace Omportement prédateur Test PIT, Monoamine Volumétrie Marquage phosphohistone Predator odor Maternal stress Artificial stressor Body patterning, Brain lateralization Activity Threat response Predatory behavior, learning PIT test Monoamine Volumetry Phosphohistone labeling
165	Approches intelligentes pour le pilotage adaptatif des systèmes en flux tirés dans le contexte de l'industrie 4.0 / Intelligent approaches for handling adaptive pull control systems in the context of industry 4.0 Azouz, Nesrine 28 June 2019 (has links) De nos jours, de nombreux systèmes de production sont gérés en flux « tirés » et utilisent des méthodes basées sur des « cartes », comme : Kanban, ConWIP, COBACABANA, etc. Malgré leur simplicité et leur efficacité, ces méthodes ne sont pas adaptées lorsque la production n’est pas stable et que la demande du client varie. Dans de tels cas, les systèmes de production doivent donc adapter la tension de leur flux tout au long du processus de fabrication. Pour ce faire, il faut déterminer comment ajuster dynamiquement le nombre de cartes (ou de ‘e-card’) en fonction du contexte. Malheureusement, ces décisions sont complexes et difficiles à prendre en temps réel. De plus, dans certains cas, changer trop souvent le nombre de cartes kanban peut perturber la production et engendrer un problème de nervosité. Les opportunités offertes par l’industrie 4.0 peuvent être exploitées pour définir des stratégies intelligentes de pilotage de flux permettant d’adapter dynamiquement ce nombre de cartes kanban.Dans cette thèse, nous proposons, dans un premier temps, une approche adaptative basée sur la simulation et l'optimisation multi-objectif, capable de prendre en considération le problème de la nervosité et de décider de manière autonome (ou d'aider les gestionnaires) quand et où ajouter ou retirer des cartes Kanban. Dans un deuxième temps, nous proposons une nouvelle approche adaptative et intelligente basée sur un réseau de neurones dont l’apprentissage est d’abord réalisé hors ligne à l’aide d’un modèle numérique jumeau (simulation), exploité par une optimisation multi-objectif. Après l’apprentissage, le réseau de neurones permet de décider en temps réel, quand et à quelle étape de fabrication il est pertinent de changer le nombre de cartes kanban. Des comparaisons faites avec les meilleures méthodes publiées dans la littérature montrent de meilleurs résultats avec des changements moins fréquents. / Today, many production systems are managed in "pull" control system and used "card-based" methods such as: Kanban, ConWIP, COBACABANA, etc. Despite their simplicity and efficiency, these methods are not suitable when production is not stable and customer demand varies. In such cases, the production systems must therefore adapt the “tightness” of their production flow throughout the manufacturing process. To do this, we must determine how to dynamically adjust the number of cards (or e-card) depending on the context. Unfortunately, these decisions are complex and difficult to make in real time. In addition, in some cases, changing too often the number of kanban cards can disrupt production and cause a nervousness problem. The opportunities offered by Industry 4.0 can be exploited to define smart flow control strategies to dynamically adapt this number of kanban cards.In this thesis, we propose, firstly, an adaptive approach based on simulation and multi-objective optimization technique, able to take into account the problem of nervousness and to decide autonomously (or to help managers) when and where adding or removing Kanban cards. Then, we propose a new adaptive and intelligent approach based on a neural network whose learning is first realized offline using a twin digital model (simulation) and exploited by a multi-objective optimization method. Then, the neural network could be able to decide in real time, when and at which manufacturing stage it is relevant to change the number of kanban cards. Comparisons made with the best methods published in the literature show better results with less frequent changes. Industrie 4.0 Réseau neurone artificiel Optimisation multi-objectif Simulation à événements discret Nervosité Extraction de connaissances Apprentissage automatique Optimisation via simulation Kanban ConWIP Aide à la décision Industry 4.0 Adaptive Pull Control systems Artificial Neural Network Multi-objective Optimization Discrete Event Simulation Nervousness Knowledge Extraction Machine Learning Simulation Optimization Kanban ConWIP Decision Support
166	Large state spaces and self-supervision in reinforcement learning Touati, Ahmed 08 1900 (has links) L'apprentissage par renforcement (RL) est un paradigme d'apprentissage orienté agent qui s'intéresse à l'apprentissage en interagissant avec un environnement incertain. Combiné à des réseaux de neurones profonds comme approximateur de fonction, l'apprentissage par renforcement profond (Deep RL) nous a permis récemment de nous attaquer à des tâches très complexes et de permettre à des agents artificiels de maîtriser des jeux classiques comme le Go, de jouer à des jeux vidéo à partir de pixels et de résoudre des tâches de contrôle robotique. Toutefois, un examen plus approfondi de ces remarquables succès empiriques révèle certaines limites fondamentales. Tout d'abord, il a été difficile de combiner les caractéristiques souhaitables des algorithmes RL, telles que l'apprentissage hors politique et en plusieurs étapes, et l'approximation de fonctions, de manière à obtenir des algorithmes stables et efficaces dans de grands espaces d'états. De plus, les algorithmes RL profonds ont tendance à être très inefficaces en raison des stratégies d'exploration-exploitation rudimentaires que ces approches emploient. Enfin, ils nécessitent une énorme quantité de données supervisées et finissent par produire un agent étroit capable de résoudre uniquement la tâche sur laquelle il est entrainé. Dans cette thèse, nous proposons de nouvelles solutions aux problèmes de l'apprentissage hors politique et du dilemme exploration-exploitation dans les grands espaces d'états, ainsi que de l'auto-supervision dans la RL. En ce qui concerne l'apprentissage hors politique, nous apportons deux contributions. Tout d'abord, pour le problème de l'évaluation des politiques, nous montrons que la combinaison des méthodes populaires d'apprentissage hors politique et à plusieurs étapes avec une paramétrisation linéaire de la fonction de valeur pourrait conduire à une instabilité indésirable, et nous dérivons une variante de ces méthodes dont la convergence est prouvée. Deuxièmement, pour l'optimisation des politiques, nous proposons de stabiliser l'étape d'amélioration des politiques par une régularisation de divergence hors politique qui contraint les distributions stationnaires d'états induites par des politiques consécutives à être proches les unes des autres. Ensuite, nous étudions l'apprentissage en ligne dans de grands espaces d'états et nous nous concentrons sur deux hypothèses structurelles pour rendre le problème traitable : les environnements lisses et linéaires. Pour les environnements lisses, nous proposons un algorithme en ligne efficace qui apprend activement un partitionnement adaptatif de l'espace commun en zoomant sur les régions les plus prometteuses et fréquemment visitées. Pour les environnements linéaires, nous étudions un cadre plus réaliste, où l'environnement peut maintenant évoluer dynamiquement et même de façon antagoniste au fil du temps, mais le changement total est toujours limité. Pour traiter ce cadre, nous proposons un algorithme en ligne efficace basé sur l'itération de valeur des moindres carrés pondérés. Il utilise des poids exponentiels pour oublier doucement les données qui sont loin dans le passé, ce qui pousse l'agent à continuer à explorer pour découvrir les changements. Enfin, au-delà du cadre classique du RL, nous considérons un agent qui interagit avec son environnement sans signal de récompense. Nous proposons d'apprendre une paire de représentations qui mettent en correspondance les paires état-action avec un certain espace latent. Pendant la phase non supervisée, ces représentations sont entraînées en utilisant des interactions sans récompense pour encoder les relations à longue portée entre les états et les actions, via une carte d'occupation prédictive. Au moment du test, lorsqu'une fonction de récompense est révélée, nous montrons que la politique optimale pour cette récompense est directement obtenue à partir de ces représentations, sans aucune planification. Il s'agit d'une étape vers la construction d'agents entièrement contrôlables. Un thème commun de la thèse est la conception d'algorithmes RL prouvables et généralisables. Dans la première et la deuxième partie, nous traitons de la généralisation dans les grands espaces d'états, soit par approximation de fonctions linéaires, soit par agrégation d'états. Dans la dernière partie, nous nous concentrons sur la généralisation sur les fonctions de récompense et nous proposons un cadre d'apprentissage non-supervisé de représentation qui est capable d'optimiser toutes les fonctions de récompense. / Reinforcement Learning (RL) is an agent-oriented learning paradigm concerned with learning by interacting with an uncertain environment. Combined with deep neural networks as function approximators, deep reinforcement learning (Deep RL) allowed recently to tackle highly complex tasks and enable artificial agents to master classic games like Go, play video games from pixels, and solve robotic control tasks. However, a closer look at these remarkable empirical successes reveals some fundamental limitations. First, it has been challenging to combine desirable features of RL algorithms, such as off-policy and multi-step learning with function approximation in a way that leads to both stable and efficient algorithms in large state spaces. Moreover, Deep RL algorithms tend to be very sample inefficient due to the rudimentary exploration-exploitation strategies these approaches employ. Finally, they require an enormous amount of supervised data and end up producing a narrow agent able to solve only the task that it was trained on. In this thesis, we propose novel solutions to the problems of off-policy learning and exploration-exploitation dilemma in large state spaces, as well as self-supervision in RL. On the topic of off-policy learning, we provide two contributions. First, for the problem of policy evaluation, we show that combining popular off-policy and multi-step learning methods with linear value function parameterization could lead to undesirable instability, and we derive a provably convergent variant of these methods. Second, for policy optimization, we propose to stabilize the policy improvement step through an off-policy divergence regularization that constrains the discounted state-action visitation induced by consecutive policies to be close to one another. Next, we study online learning in large state spaces and we focus on two structural assumptions to make the problem tractable: smooth and linear environments. For smooth environments, we propose an efficient online algorithm that actively learns an adaptive partitioning of the joint space by zooming in on more promising and frequently visited regions. For linear environments, we study a more realistic setting, where the environment is now allowed to evolve dynamically and even adversarially over time, but the total change is still bounded. To address this setting, we propose an efficient online algorithm based on weighted least squares value iteration. It uses exponential weights to smoothly forget data that are far in the past, which drives the agent to keep exploring to discover changes. Finally, beyond the classical RL setting, we consider an agent interacting with its environments without a reward signal. We propose to learn a pair of representations that map state-action pairs to some latent space. During the unsupervised phase, these representations are trained using reward-free interactions to encode long-range relationships between states and actions, via a predictive occupancy map. At test time, once a reward function is revealed, we show that the optimal policy for that reward is directly obtained from these representations, with no planning. This is a step towards building fully controllable agents. A common theme in the thesis is the design of provable RL algorithms that generalize. In the first and the second part, we deal with generalization in large state spaces either by linear function approximation or state aggregation. In the last part, we focus on generalization over reward functions and we propose a task-agnostic representation learning framework that is provably able to solve all reward functions. reinforcement learning Markov decision process artificial agent off-policy learning function approximation exploration-exploitation trade-off self-supervision generalization apprentissage par renforcement processus de décision Markovien agent artificiel apprentissage hors-politique approximation de fonction compromis exploration-exploitation auto-supervision généralisation
167	Synthetic natural products and surrogate genetics as novel strategies for drug discovery Jacques, Samuel 09 1900 (has links) Les produits naturels (PNs) englobent une énorme diversité chimique qui a conduit à la découverte de médicaments révolutionnaires contre le cancer, contre les maladies infectieuses et contre d'autres maladies. La majorité des médicaments actuellement approuvés sont des dérivés de PNs, où nombre d’entre eux engagent des cibles considérées comme non thérapeutiques. Malgré ces avantages, les PNs posent des problèmes au niveau de l’isolement, de la déréplication, du réapprovisionnement et de la traçabilité chimique. Compte tenu du besoin urgent de découvrir de nouvelles molécules bioactives contre de nouvelles cibles pour tous les types de maladies, des stratégies innovantes sont nécessaires pour revigorer la découverte de médicaments à partir des PNs. Nous avons développé une plateforme utilisant Saccharomyces cerevisiae pour la production hétérologue de molécules similaire aux PNs, appelée « produits naturels synthétiques » (PNSs). Nous avons synthétisé une vaste bibliothèque de gènes impliqués dans la biosynthèse de PNs (GBSs) provenant de plantes, de champignons et de bactéries, pour lesquels leur contenu en GC et leurs codons ont été optimisés pour l’expression dans S. cerevisiae. Ces gènes sont assemblés en chromosomes artificiels de levure pour générer de vastes bibliothèques combinatoires de BSG pour la production de molécules similaires aux PNs. Les bibliothèques de PNSs peuvent être directement criblées contre des microorganismes ou des cibles spécifiques dans des essais à haut débit. J'ai effectué le criblage de bibliothèques de PNSs contre une variété de cibles bactériennes et humaines. L'un de ces criblages a conduit à la découverte de PNSs ayant une activité antimicrobienne contre un groupe de pathogènes cliniquement pertinents. Récemment, certaines équipes scientifiques, dont la nôtre, ont découvert que l'hyperactivation de la protéase mitochondriale humaine CLPP par les composés anticancéreux ONC201 et ONC212, qui sont présentement en phase préclinique, provoque la mort cellulaire par protéolyse mitochondriale incontrôlée. Cependant, j'ai trouvé que ONC201/212 activent également la version bactérienne de ClpP et ils pourraient donc perturber le microbiome. J'ai donc développé des essais génétiques de substitution dans la levure pour les protéases ClpP afin de cribler pour des activateurs plus spécifiques. Ensuite, j'ai adapté mon approche dans la levure pour le criblage d’inhibiteurs de la protéase principale (Mpro) et de l'endoribonucléase (NendoU) de SRAS-CoV-2, afin de répondre au besoin pour des thérapies antivirales efficaces afin de traiter les personnes atteintes de la forme grave de la COVID-19. Enfin, une autre variante de mon approche dans la levure a également été développée pour le criblage de stabilisateurs de l'interaction entre FKBP12 et calcineurine dans le but d'identifier de nouveaux immunosuppresseurs qui présentent moins d'effets secondaires. Le criblage de ces différents essais m’a permis d’identifier des candidats potentiels pour chaque cible. Bien que les tests faits dans la levure soient utilisés dans le contexte de criblages traditionnels, l’utilisation de la plateforme PNS permet d’explorer un espace chimique inaccessible auparavant afin de favoriser la découverte de médicaments, le tout de manières économique, modulable et durable. / Natural products (NPs) encompass enormous chemical diversity, leading to revolutionary medicines in cancer, infectious disease, and other indications. The majority of currently approved drugs are derived from NPs, with many of them engage targets otherwise viewed as undruggable. Despite these advantages, NPs pose problems in isolation, dereplication, resupply and chemical tractability. Given the pressing need to discover bioactive chemical matter against new targets in all disease areas, innovative strategies are required to reinvigorate NP-based drug discovery. We have developed a Saccharomyces cerevisiae platform for heterologous production of NP-like chemical matter, termed Synthetic Natural Products (SynNPs). We synthesized an extensive library of codon- and GC-content optimized NP biosynthetic genes (BSGs) from plants, fungi and bacteria. These genes are then assembled into programmable yeast artificial chromosomes (YAC) to generate vast combinatorial BSG libraries that produce NP-like molecules. SynNP libraries can be directly screened in high-throughput in either cell- or target-based assays. I constructed and screened SynNP libraries in yeast-based surrogate genetic assays against a variety of bacterial and human targets. One of these screens led to the discovery of SynNPs with antimicrobial activity against a panel of clinically relevant pathogens. Recently, we and others discovered that hyperactivation of the human mitochondrial caseinolytic protease proteolytic subunit (CLPP) by the preclinical anti-cancer compounds ONC201 and ONC212 causes cell death by rampant mitochondrial proteolysis. However, I found that ONC201/212 also activates bacterial ClpP and could therefore disrupt the microbiome. I thus developed yeast-based surrogate genetic assays for ClpP proteases to screen for more specific activators. Then, I adapted my yeast-based approach to screen for inhibitors of SARS-CoV-2 main protease (Mpro) and endoribonuclease (NendoU) to address the need for efficacious antiviral therapies to mitigate the COVID-19 pandemic. Finally, I developed another variant of my yeast-based approach to screen for stabilizers of the interaction between FKBP12 and calcineurin to identify novel candidate immunosuppressants. Screens with these various assay formats allowed me to identify candidate hits for each target. In summary, the SynNP platform allows the exploration of new-to-nature NP-like chemical space for drug discovery in a cost-effective, scalable and sustainable manner, and yeast-based surrogate genetic assays can be used to screen both existing chemical libraries and SynNP libraries. Biologie synthétique Substitution génétique Chromosome artificiel de levure Produit naturel CLPP Anticancer Antibiotique Immunosuppresseur SRAS-CoV-2 Criblage à haut débit Saccharomyces cerevisiae Synthetic biology Surrogate genetics Yeast artificial chromosome Natural product Antibiotic Immunosuppressant High-throughput screening
168	Discovering Implant Terms in Medical Records Jerdhaf, Oskar January 2021 (has links) Implant terms are terms like "pacemaker" which indicate the presence of artifacts in the body of a human. These implant terms are key to determining if a patient can safely undergo Magnetic Resonance Imaging (MRI). However, to identify these terms in medical records is time-consuming, laborious and expensive, but necessary for taking the correct precautions before an MRI scan. Automating this process is of great interest to radiologists as it ideally saves time, prevents mistakes and as a result saves lives. The electronic medical records (EMR) contain the documented medical history of a patient, including any implants or objects that an individual would have inside their body. Information about such objects and implants are of great interest when determining if and how a patient can be scanned using MRI. This information is unfortunately not easily extracted through automatic means. Due to their sparse presence and the unusual structure of medical records compared to most written text, makes it very difficult to automate using simple means. By leveraging the recent advancements in Artificial Intelligence (AI), this thesis explores the ability to identify and extract such terms automatically in Swedish EMRs. For the task of identifying implant terms in medical records a generally trained Swedish Bidirectional Encoder Representations from Transformers (BERT) model is used, which is then fine-tuned on Swedish medical records. Using this model a variety of approaches are explored two of which will be covered in this thesis. Using this model a variety of approaches are explored, namely BERT-KDTree, BERT-BallTree, Cosine Brute Force and unsupervised NER. The results show that BERT-KDTree and BERT-BallTree are the most rewarding methods. Results from both methods have been evaluated by domain experts and appear promising for such an early stage, given the difficulty of the task. The evaluation of BERT-BallTree shows that multiple methods of extraction may be preferable as they provide different but still useful terms. Cosine brute force is deemed to be an unrealistic approach due to computational and memory requirements. The NER approach was deemed too impractical and laborious to justify for this study, yet is potentially useful if not more suitable given a different set of conditions and goals. While there is much to be explored and improved, these experiments are a clear indication that automatic identification of implant terms is possible, as a large number of implant terms were successfully discovered using automated means. AI Machine Learning Medical Records Patient Records Medical Record Electronic Records Electronic Medical Records BERT EMR Implant Terms Implants Term Terms Term Discovery Artificial Intelligence Word Similarity Word Similarity word-similarity embeddings word embeddings word-embeddings transformers KDTREE BALLTREE NER AI Artificiel Intelligens Maskininlärning Patient Journal Medicinsk Journal Elektronisk Medicinsk Journal Termer BERT KDTREE BALLTREE NER liknande ord transformers EMR
169	Apprentissage de nouveaux comportements: vers le développement épigénétique d'un robot autonome. Lagarde, Matthieu, Gaussier, Philippe, Andry, Pierre 13 July 2010 (has links) (PDF) La problématique de l'apprentissage de comportements sur un robot autonome soulève de nombreuses questions liées au contrôle moteur, à l'encodage du comportement, aux stratégies comportementales et à la sélection de l'action. Utiliser une approche développementale présente un intérêt tout particulier dans le cadre de la robotique autonome. Le comportement du robot repose sur des mécanismes de bas niveau dont les interactions permettent de faire émerger des comportements plus complexes. Le robot ne possède pas d'informations a priori sur ses caractéristiques physiques ou sur l'environnement, il doit apprendre sa propre dynamique sensori-motrice. J'ai débuté ma thèse par l'étude d'un modèle d'imitation bas niveau. Du point de vue du développement, l'imitation est présente dès la naissance et accompagne, sous de multiples formes, le développement du jeune enfant. Elle présente une fonction d'apprentissage et se révèle alors être un atout en terme de temps d'acquisition de comportements, ainsi qu'une fonction de communication participant à l'amorce et au maintien d'interactions non verbales et naturelles. De plus, même s'il n'y a pas de réelle intention d'imiter, l'observation d'un autre agent permet d'extraire suffisamment d'informations pour être capable de reproduire la tâche. Mon travail a donc dans un premier temps consisté à appliquer et tester un modèle développemental qui permet l'émergence de comportements d'imitation de bas niveau sur un robot autonome. Ce modèle est construit comme un homéostat qui tend à équilibrer par l'action ses informations perceptives frustres (détection du mouvement, détection de couleur, informations sur les angles des articulations d'un bras de robot). Ainsi, lorsqu'un humain bouge sa main dans le champ visuel du robot, l'ambigüité de la perception de ce dernier lui fait confondre la main de l'humain avec l'extrémité de son bras. De l'erreur qui en résulte émerge un comportement d'imitation immédiate des gestes de l'humain par action de l'homéostat. Bien sûr, un tel modèle implique que le robot soit capable d'associer au préalable les positions visuelles de son effecteur avec les informations proprioceptives de ses moteurs. Grace au comportement d'imitation, le robot réalise des mouvements qu'il peut ensuite apprendre pour construire des comportements plus complexes. Comment alors passer d'un simple mouvement à un geste plus complexe pouvant impliquer un objet ou un lieu ? Je propose une architecture qui permet à un robot d'apprendre un comportement sous forme de séquences temporelles complexes (avec répétition d'éléments) de mouvements. Deux modèles différents permettant l'apprentissage de séquences ont été développés et testés. Le premier apprend en ligne le timing de séquences temporelles simples. Ce modèle ne permettant pas d'apprendre des séquences complexes, le second modèle testé repose sur les propriétés d'un réservoir de dynamiques, il apprend en ligne des séquences complexes. A l'issue de ces travaux, une architecture apprenant le timing d'une séquence complexe a été proposée. Les tests en simulation et sur robot ont montré la nécessité d'ajouter un mécanisme de resynchronisation permettant de retrouver les bons états cachés pour permettre d'amorcer une séquence complexe par un état intermédiaire. Dans un troisième temps, mes travaux ont consisté à étudier comment deux stratégies sensorimotrices peuvent cohabiter dans le cadre d'une tâche de navigation. La première stratégie encode le comportement à partir d'informations spatiales alors que la seconde utilise des informations temporelles. Les deux architectures ont été testées indépendamment sur une même tâche. Ces deux stratégies ont ensuite été fusionnées et exécutées en parallèle. La fusion des réponses délivrées par les deux stratégies a été réalisée avec l'utilisation de champs de neurones dynamiques. Un mécanisme de "chunking" représentant l'état instantané du robot (le lieu courant avec l'action courante) permet de resynchroniser les dynamiques des séquences temporelles. En parallèle, un certain nombre de problème de programmation et de conception des réseaux de neurones sont apparus. En effet, nos réseaux peuvent compter plusieurs centaines de milliers de neurones. Il devient alors difficile de les exécuter sur une seule unité de calcul. Comment concevoir des architectures neuronales avec des contraintes de répartition de calcul, de communications réseau et de temps réel ? Une autre partie de mon travail a consisté à apporter des outils permettant la modélisation, la communication et l'exécution en temps réel d'architecture distribuées. Pour finir, dans le cadre du projet européen Feelix Growing, j'ai également participé à l'intégration de mes travaux avec ceux du laboratoire LASA de l'EPFL pour l'apprentissage de comportements complexes mêlant la navigation, le geste et l'objet. En conclusion, cette thèse m'a permis de développer à la fois de nouveaux modèles pour l'apprentissage de comportements - dans le temps et dans l'espace, de nouveaux outils pour maîtriser des réseaux de neurones de très grande taille et de discuter à travers les limitations du système actuel, les éléments importants pour un système de sélection de l'action. [INFO:INFO_LG] Computer Science/Learning [INFO:INFO_RB] Computer Science/Robotics [STAT:ML] Statistics/Machine Learning Intelligence artificiel robotique robot autonome neurosciences réseaux de neurones architecture de contrôle architecture distribuée architecture temps réelle apprentissage de comportement
170	Réexamen de la notion d'arbitraire linguistique. Définition et contribution à l'identification de sa problématique / Reconsideration of the notion of arbitrary linguistic. Definition and contribution to the identification of the problem / إعادة النظر في مفهوم الاعتباط اللغوي : تعريفه والإسهام في تشخيص إشكاليته Al-Hamdani, Hayja 30 March 2013 (has links) Cette thèse jette la lumière sur la notion d'arbitraire linguistique qui, depuis les premières réflexions sur la nature du langage, ne cesse d'être, plus ou moins, un objet de débat: l'origine du langage est-elle humaine ou divine? Son statut est-il conventionnel ou naturel? La dénomination des choses est-elle fondée sur l'arbitraire humain ou sur sa raison? Par conséquent, le signe linguistique est-il arbitraire ou motivé? Ce débat s'étend depuis l'Antiquité jusqu'à nos jours, dans une proportion d'intensité variable en temps et en lieu. Mais dans tout cela, qu'entendons-nous au juste par arbitraire? Et pourquoi représente-t-il toujours une problématique?Dans ce contexte, nous avons conduit un travail qui parcourt l'histoire, de l'Antiquité à la période actuelle, pour voir comment la question de l'arbitraire a été traitée chez les savants. La globalité de cette étude permet de construire une idée du point de divergence qui fait de l'arbitraire une question autant soutenue que débattue par les savants. Ainsi, cette étude est conçue pour réexaminer la notion de l'arbitraire afin de pouvoir la définir et identifier sa problématique.Conduite dans une méthode de travail qui repose sur l'analyse logique et philosophique des textes, cette étude montre en conclusion que le problème de l'arbitraire réside dans l'ambiguïté de sa notion. Celle-ci est due à la multiplicité des sens qu'il peut renfermer, donc à la multiplicité de sa conception chez les philosophes et linguistes, mais aussi à la multiplicité des points de vue pour déterminer la partie concernée par l'arbitraire dans la théorie du signe. Autrement dit, c'est en terme de l'arbitraire des idées, qu'on peut parler de l'arbitraire du langage.La thèse finit par présenter une position sur le langage et l'arbitraire, construite sur deux questions: i) le fait qu'il existe des lois dans le langage qui gèrent son fonctionnement selon un système propre; ii) le fait qu'il existe un lien pertinent entre la pensée du groupe et sa langue. / This thesis sheds light on the linguistic notion of arbitrariness, which, since the very first reflections on the nature of language, continues – to a greater or lesser extent – to be a subject of debate: is the origin of language human or divine? Is its status conventional or natural? Is the naming of things based on human arbitrariness or human reason? Consequently, is the linguistic sign arbitrary or motivated? This debate extends from antiquity to the present day, in a proportion of variable intensity in time and place. But in all this, what do we mean by arbitrary? And why has it always represented a problematic?In this context, we have conducted a survey which retraces the history of this notion from antiquity to the present day, to see how the question of arbitrariness has been treated by savants. The global nature of this study can enable the construction of an idea of the point of divergence which makes arbitrariness into a matter of such sustained and controversial debate among savants. Thus, this study was designed to review the concept of arbitrariness in order to identify and define the problem.This study has been conducted using a working method based on the logical and philosophical analysis of texts. It conclusively demonstrates that the problem of the arbitrary lies in the ambiguity of the concept. This is due to the multiplicity of meanings that it can contain, that is, the multiplicity of its conceptions among philosophers and linguists, but this is also due to the multiplicity of points of view applied to determining the part affected by the arbitrary within the theory of the sign. In other words, it is in terms of arbitrary ideas that we can speak of the arbitrariness of language.The thesis ends by presenting a position about language and arbitrariness, which has been constructed around two issues: i) the fact that there are laws in the language that manage its working according to an own system; ii) that there is a relevant connection between the thought of a group and its language. / تلقي هذه الأطروحة الضوء على مفهوم الاعتباط اللغوي الذي ما انفك يكون بشكل او بآخر موضوعا للجدل منذ البدايات الأولى للتفكير في طبيعة اللغة : فهل إن أصل اللغة إنسانيّ أم إلهي؟ وهل أنّ تشريعها جاء بشكل اتفاقي أم طبيعي؟ هل جرت التسمية على أساس اعتباطية الإنسان ام على عقلانيته؟ وبالنتيجة فهل ان الإشارة اللغوية اعتباطية ام معللة؟ امتد هذا الجدل منذ العصور القديمة وحتى يومنا هذا بنسب متفاوتة بالشدة في الزمان والمكان. ولكن في كل هذا ، ما الذي نعنيه بالضبط بالاعتباط؟ ولماذا يمثل دائما إشكالية؟في هذا السياق أجرينا بحثا طاف التاريخ برمته منذ العصر القديم حتى يومنا هذا كي نتعرف كيف تمت معالجة هذا الموضوع عند علماء اللغة. ان شمولية هذا العمل تسمح بتكوين فكرة حول نقطة الخلاف الذي جعل من الاعتباط موضوعا قابلا للتأييد والرفض على حد سواء بين العلماء. وعليه فقد صممت هذه الدراسة لإعادة النظر في مفهوم الاعتباط من اجل تعريفه وتحديد اشكاليته.تتألف الأطروحة من أربعة أجزاء فصلت في سياق زمني ، ولكن رتبت على وفق التوزيع ألموضوعاتي. يتناول الجزء الأول مكونات الاعتباط كعناصر تعريفية ، وأنواع الاعتباط ، ويبحث الجزء الثاني في إشكالية الاعتباط من خلال دراسة جذور فكره والحجج التي قدمت في هذا الطرح والطرح الذي عارضه ، الأمر الذي ترك المشكلة بلا حل، إضافة إلى المقترحات التي حاول من خلالها العلماء الخروج من المشكلة. وقد خصص الجزء الثالث حصرا حول ملامح الاعتباط عند سوسير ؛ في حين ناقش الجزء الرابع مفهوم الاعتباط في الفكر الحديث.أجريت هذه الدراسة على وفق منهج بحث استند على التحليل المنطقي والفلسفي للنصوص. وبينت بالنتيجة أن مشكلة الاعتباط تكمن في غموض مفهومه. ويعود ذلك إلى تعدد المعاني التي يمكن ان تحتويه المفردة، وبالتالي تعدد طريقة فهمه عند الفلاسفة وعلماء اللغة ، إضافة إلى تعدد وجهات النظر في تحديد الجانب المعني بالاعتباط في نظرية الإشارة اللغوية. وبعبارة أخرى، يمكننا القول إنّ اعتباطية اللغة تكمن في إطار اعتباطية الأفكار.تقدم الأطروحة في النهاية فكر المؤلف حول اللغة ومسألة الاعتباط اللغوي، وقد بناه على مسألتين: الأولى أن هناك قوانين في اللغة تدير حركته على وفق نظام خاص؛ والثانية أن هناك علاقة وثيقة بين فكر المجموعة ولغتها. Langue Arbitraire Conventionnel Naturel Artificiel Immotivé Imposé Nomination Platon Aristote Mots/choses Institution Caractères Usage Locke Choix Leibniz Condillac Saussure Signifiant/signifié Principe Système Valeur Contradictions Diversité des langues Lois du langage Language Signs Arbitrary Conventional Natural Artificial Symbol Imposed Unmotivated Hazard Name Nomination Plato Aristotle Words / things Institution Symbol Reality Analogy Characters Ideas Habit Usage Locke Freedom Choice Leibniz Condillac Saussure Signifier / signified Principle System Value Contradictions Proper noun Reference Diversity of languages Logic Laws Thought اللغة الإشارات الاعتباط اتفاقي طبيعي اصطناعي مفروض مفروض الصدفة الاسم التسمية أفلاطون أرسطو الكلمات الأشياء الرمز مؤسسة اتفاق الواقع القياس الحروف الأفكار التعود الاستخدام الفعل الإرادي الحرية الاختيار ليبنز لوك كوندياك سوسير الدال والمدلول المبدأ النظام القيمة التناقضات اسم العلم المرجع تنوع اللغات المنطق القوانين الفكر الثقافة

Search results