• Refine Query
  • Source
  • Publication year
  • to
  • Language
  • 2
  • Tagged with
  • 3
  • 3
  • 2
  • 2
  • 2
  • 2
  • 2
  • 2
  • 2
  • 2
  • 2
  • 2
  • 2
  • 2
  • 2
  • About
  • The Global ETD Search service is a free service for researchers to find electronic theses and dissertations. This service is provided by the Networked Digital Library of Theses and Dissertations.
    Our metadata is collected from universities around the world. If you manage a university/consortium/country archive and want to be added, details can be found on the NDLTD website.
1

Introducing contextual awareness within the state estimation process : Bayes filters with context-dependent time-heterogeneous distributions / Présentation de sensibilisation contextuelle dans le processus d'estimation d'état : Extension de Bayes filtres avec des distributions de temps hétérogènes dépendant du contexte

Ravet, Alexandre 13 October 2015 (has links)
Ces travaux se focalisent sur une problématique fondamentale de la robotique autonome: l'estimation d'état. En effet, la plupart des approches actuelles permettant à un robot autonome de réaliser une tâche requièrent tout d'abord l'extraction d'une information d'état à partir de mesures capteurs bruitées. Ce vecteur d'état contient un ensemble de variables caractérisant le système à un instant t, comme la position du robot, sa vitesse, etc. En robotique comme dans de nombreux autres domaines, le filtrage bayésien est devenu la solution la plus populaire pour estimer l'état d'un système de façon robuste et à haute fréquence. Le succès du filtrage bayésien réside dans sa relative simplicité, que ce soit dans la mise en oeuvre des équations récursives de filtrage, ou encore dans la représentation simplifiée et intuitive du système au travers du modèle de Markov caché d'ordre 1. Généralement, un filtre bayésien repose sur une description minimaliste de l'état du système. Cette représentation simplifiée permet de conserver un temps d'exécution réduit, mais est également la conséquence de notre compréhension partielle du fonctionnement du système physique. Tous les aspects inconnus ou non modélisés du système sont ensuite représentés de façon globale par l'adjonction de composantes de bruit. Si ces composantes de bruit constituent une représentation simple et unifiée des aspects non modélisés du système, il reste néanmoins difficile de trouver des paramètres de bruit qui sont pertinents dans tous les contextes. En effet, à l'opposé de ce principe de modélisation, la problématique de navigation autonome pose le problème de la multiplicité d'environnements différents pour lesquels il est nécessaire de s'adapter intelligemment. Cette problématique nous amène donc à réviser la modélisation des aspects inconnus du systèmes sous forme de bruits stationnaires, et requiert l'introduction d'une information de contexte au sein du processus de filtrage. Dans ce cadre, ces travaux se focalisent spécifiquement sur l'amélioration du modèle état-observation sous-jacent au filtre bayésien afin de le doter de capacités d'adaptation vis-à-vis des perturbations contextuelles modifiant les performances capteurs. L'objectif principal est donc ici de trouver l'équilibre entre complexité du modèle et modélisation précise des phénomènes physiques représentés au travers d'une information de contexte. Nous établissons cet équilibre en modifiant le modèle état-observation afin de compenser les hypothèses simplistes de bruit stationnaire tout en continuant de bénéficier du faible temps de calcul requis par les équations récursives. Dans un premier temps, nous définissons une information de contexte basée sur un ensemble de mesures capteurs brutes, sans chercher à identifier précisément la typologie réelle de contextes de navigation. Toujours au sein du formalisme bayésien, nous exploitons des méthodes d'apprentissage statistique pour identifier une distribution d'observation non stationnaire et dépendante du contexte. cette distribution repose sur l'introduction de deux nouvelles composantes: un modèle destiné à prédire le bruit d'observation pour chaque capteur, et un modèle permettant de sélectionner un sous-ensemble de mesures à chaque itération du filtre. Nos investigations concernent également l'impact des méthodes d'apprentissage: dans le contexte historique du filtrage bayésien, le modèle état-observation est traditionnellement appris de manière générative, c'est à dire de manière à expliquer au mieux les paires état-observation contenues dans les données d'apprentissage. Cette méthode est ici remise en cause puisque, bien que fondamentalement génératif, le modèle état-observation est uniquement exploité au travers des équations de filtrage, et ses capacités génératives ne sont donc jamais utilisées[...] / Prevalent approaches for endowing robots with autonomous navigation capabilities require the estimation of a system state representation based on sensor noisy information. This system state usually depicts a set of dynamic variables such as the position, velocity and orientation required for the robot to achieve a task. In robotics, and in many other contexts, research efforts on state estimation converged towards the popular Bayes filter. The primary reason for the success of Bayes filtering is its simplicity, from the mathematical tools required by the recursive filtering equations, to the light and intuitive system representation provided by the underlying Hidden Markov Model. Recursive filtering also provides the most common and reliable method for real-time state estimation thanks to its computational efficiency. To keep low computational complexity, but also because real physical systems are not perfectly understood, and hence never faithfully represented by a model, Bayes filters usually rely on a minimum system state representation. Any unmodeled or unknown aspect of the system is then encompassed within additional noise terms. On the other hand, autonomous navigation requires robustness and adaptation capabilities regarding changing environments. This creates the need for introducing contextual awareness within the filtering process. In this thesis, we specifically focus on enhancing state estimation models for dealing with context-dependent sensor performance alterations. The issue is then to establish a practical balance between computational complexity and realistic modelling of the system through the introduction of contextual information. We investigate on achieving this balance by extending the classical Bayes filter in order to compensate for the optimistic assumptions made by modeling the system through time-homogeneous distributions, while still benefiting from the recursive filtering computational efficiency. Based on raw data provided by a set of sensors and any relevant information, we start by introducing a new context variable, while never trying to characterize a concrete context typology. Within the Bayesian framework, machine learning techniques are then used in order to automatically define a context-dependent time-heterogeneous observation distribution by introducing two additional models: a model providing observation noise predictions and a model providing observation selection rules.The investigation also concerns the impact of the training method we choose. In the context of Bayesian filtering, the model we exploit is usually trained in the generative manner. Thus, optimal parameters are those that allow the model to explain at best the data observed in the training set. On the other hand, discriminative training can implicitly help in compensating for mismodeled aspects of the system, by optimizing the model parameters with respect to the ultimate system performance, the estimate accuracy. Going deeper in the discussion, we also analyse how the training method changes the meaning of the model, and how we can properly exploit this property. Throughout the manuscript, results obtained with simulated and representative real data are presented and analysed.
2

Representation Learning for Visual Data

Dumoulin, Vincent 09 1900 (has links)
No description available.
3

A deep learning theory for neural networks grounded in physics

Scellier, Benjamin 12 1900 (has links)
Au cours de la dernière décennie, l'apprentissage profond est devenu une composante majeure de l'intelligence artificielle, ayant mené à une série d'avancées capitales dans une variété de domaines. L'un des piliers de l'apprentissage profond est l'optimisation de fonction de coût par l'algorithme du gradient stochastique (SGD). Traditionnellement en apprentissage profond, les réseaux de neurones sont des fonctions mathématiques différentiables, et les gradients requis pour l'algorithme SGD sont calculés par rétropropagation. Cependant, les architectures informatiques sur lesquelles ces réseaux de neurones sont implémentés et entraînés souffrent d’inefficacités en vitesse et en énergie, dues à la séparation de la mémoire et des calculs dans ces architectures. Pour résoudre ces problèmes, le neuromorphique vise à implementer les réseaux de neurones dans des architectures qui fusionnent mémoire et calculs, imitant plus fidèlement le cerveau. Dans cette thèse, nous soutenons que pour construire efficacement des réseaux de neurones dans des architectures neuromorphiques, il est nécessaire de repenser les algorithmes pour les implémenter et les entraîner. Nous présentons un cadre mathématique alternative, compatible lui aussi avec l’algorithme SGD, qui permet de concevoir des réseaux de neurones dans des substrats qui exploitent mieux les lois de la physique. Notre cadre mathématique s'applique à une très large classe de modèles, à savoir les systèmes dont l'état ou la dynamique sont décrits par des équations variationnelles. La procédure pour calculer les gradients de la fonction de coût dans de tels systèmes (qui dans de nombreux cas pratiques ne nécessite que de l'information locale pour chaque paramètre) est appelée “equilibrium propagation” (EqProp). Comme beaucoup de systèmes en physique et en ingénierie peuvent être décrits par des principes variationnels, notre cadre mathématique peut potentiellement s'appliquer à une grande variété de systèmes physiques, dont les applications vont au delà du neuromorphique et touchent divers champs d'ingénierie. / In the last decade, deep learning has become a major component of artificial intelligence, leading to a series of breakthroughs across a wide variety of domains. The workhorse of deep learning is the optimization of loss functions by stochastic gradient descent (SGD). Traditionally in deep learning, neural networks are differentiable mathematical functions, and the loss gradients required for SGD are computed with the backpropagation algorithm. However, the computer architectures on which these neural networks are implemented and trained suffer from speed and energy inefficiency issues, due to the separation of memory and processing in these architectures. To solve these problems, the field of neuromorphic computing aims at implementing neural networks on hardware architectures that merge memory and processing, just like brains do. In this thesis, we argue that building large, fast and efficient neural networks on neuromorphic architectures also requires rethinking the algorithms to implement and train them. We present an alternative mathematical framework, also compatible with SGD, which offers the possibility to design neural networks in substrates that directly exploit the laws of physics. Our framework applies to a very broad class of models, namely those whose state or dynamics are described by variational equations. This includes physical systems whose equilibrium state minimizes an energy function, and physical systems whose trajectory minimizes an action functional (principle of least action). We present a simple procedure to compute the loss gradients in such systems, called equilibrium propagation (EqProp), which requires solely locally available information for each trainable parameter. Since many models in physics and engineering can be described by variational principles, our framework has the potential to be applied to a broad variety of physical systems, whose applications extend to various fields of engineering, beyond neuromorphic computing.

Page generated in 0.043 seconds