Cette thèse s'inscrit dans le cadre du réglage des lois de pilotage d'un avion de transport civil en phase de dévelop-pement. De par la représentativité limitée des modèles utilisés pour leur réglage initial, certaines lois de pilotages requièrent plusieurs itérations en essais en vol avant d'atteindre un niveau de performance satisfaisant. Il s'agit d'un processus long et coûteux que l'industriel cherche à raccourcir autant que possible. En partant du constat que les données issues des essais en vol sont peu utilisées par rapport aux modèles, nous avons élaboré des méthodologies permettant une exploitation utile de ces données à des fins de réglage de lois de commande. L'avion étant un système à paramètres variants, il faut alors tenir compte du fait que ces données ne sont valables que pour une petite région de son domaine de vol. Par conséquent, les modifications apportées sur les lois de commande, interpo-lées à l'aide des paramètres du domaine de vol, devront être répercutées uniquement dans cette petite région. Nous avons envisagé deux cas : celui d'un travail de retouche hors ligne (i.e. effectué en bureau d'études) et celui d'un réglage en ligne (i.e. directement sur l'avion pendant un vol d'essai). Ces deux aspects d'interpolation et de données locales nous ont fait choisir une méthode d'apprentissage locale pour interpoler les lois de commande. Il s'agit d'une forme de réseau de neurones appelée mélange d'experts dont la structure permet de diviser le domaine de vol en plusieurs sous-domaines et d'affecter à chacun d'eux une modélisation locale. Nous avons ensuite élaboré une méthodologie générique permettant de générer les données à interpoler, de définir la structure du mélange d'experts et d'effectuer son apprentis-sage à la fois dans un cadre hors ligne et en ligne. L'aspect génération de données constitue une part importante de la méthodologie. En effet, dans le cadre d'une loi de commande, l'obtention des données amenées à être interpolées n'est pas triviale. Nous proposons alors une méthode de synthèse basée sur l'inversion de données temporelles, pour le cas de lois feedforward. La structuration du mélange d'experts se compose du choix d'une subdivision optimale du domaine de vol, d'une sélection du type de la modélisation locale et de la gestion des pondérations affectées à chacun des modèles locaux. La méthodologie a fait l'objet de deux applications identifiées par Airbus comme reflétant le problème posé. La première concerne l'estimation du dérapage aérodynamique de l'avion et la seconde une loi feedforward de compensation d'aérofreins. Ces exemples montrent comment la méthode a permis de systématiser un processus de réglage fonctionnant jusque là « à tâtons » .

Le travail de cette thèse s'inscrit dans le domaine de l'utilisation de la vision pour la réalisation de tâches robotiques et concerne plus particulièrement les aspects de poursuite de cible par asservissement visuel. <br />Nous nous sommes intéressé au cas d'objets mobiles, et plus particulièrement à l'estimation du mouvement de ces objets, nécessaire pour une exécution satisfaisante des tâches de poursuite. La qualité de poursuite est en effet grandement améliorée grâce à une estimation robuste du mouvement. Pour réaliser l'estimation, nous proposons une approche nouvelle, basée sur l'aspect adaptatif du filtrage de Kalman. Contrairement au filtre classique de Kalman, ce filtre n'utilise aucun modèle ni connaissance a priori. La représentation d'état est adaptée en permanence en fonction des observations courantes pour représenter au mieux la dynamique du système. Il s'agit d'une approche modulaire à modèle multiple. Plusieurs filtres sont utilisés et la probabilité pour chacun de calculer l'estimation optimale est déterminée par apprentissage. Un réseau de neurones, sur cette base statistique, supervise l'ensemble des filtres et permet de compenser le caractère non stationnaire des mouvements de l'objet mobile. <br />Les informations visuelles estimées servent à contrôler les déplacements du robot. Des extensions de la carte auto-organisatrice de Kohonen à sorties supervisées servent à approximer la transformation sensori-motrice du système robot-vision. La relation apprise se trouve dès lors à l'origine de la loi de commande du robot. L'apprentissage est entièrement réalisé en contexte, en exploitant les corrélations sensori-motrices durant les mouvements des robots. <br />Les méthodes présentées dans cette thèse ont été validées en simulation et par des expérimentations réalisées sur une plate-forme robotique réelle.

L'objectif de cette thèse est de présenter différentes applications du programme de recherche de calcul conditionnel distribué. On espère que ces applications, ainsi que la théorie présentée ici, mènera à une solution générale du problème d'intelligence artificielle, en particulier en ce qui a trait à la nécessité d'efficience. La vision du calcul conditionnel distribué consiste à accélérer l'évaluation et l'entraînement de modèles profonds, ce qui est très différent de l'objectif usuel d'améliorer sa capacité de généralisation et d'optimisation. Le travail présenté ici a des liens étroits avec les modèles de type mélange d'experts. Dans le chapitre 2, nous présentons un nouvel algorithme d'apprentissage profond qui utilise une forme simple d'apprentissage par renforcement sur un modèle d'arbre de décisions à base de réseau de neurones. Nous démontrons la nécessité d'une contrainte d'équilibre pour maintenir la distribution d'exemples aux experts uniforme et empêcher les monopoles. Pour rendre le calcul efficient, l'entrainement et l'évaluation sont contraints à être éparse en utilisant un routeur échantillonnant des experts d'une distribution multinomiale étant donné un exemple. Dans le chapitre 3, nous présentons un nouveau modèle profond constitué d'une représentation éparse divisée en segments d'experts. Un modèle de langue à base de réseau de neurones est construit à partir des transformations éparses entre ces segments. L'opération éparse par bloc est implémentée pour utilisation sur des cartes graphiques. Sa vitesse est comparée à deux opérations denses du même calibre pour démontrer le gain réel de calcul qui peut être obtenu. Un modèle profond utilisant des opérations éparses contrôlées par un routeur distinct des experts est entraîné sur un ensemble de données d'un milliard de mots. Un nouvel algorithme de partitionnement de données est appliqué sur un ensemble de mots pour hiérarchiser la couche de sortie d'un modèle de langage, la rendant ainsi beaucoup plus efficiente. Le travail présenté dans cette thèse est au centre de la vision de calcul conditionnel distribué émis par Yoshua Bengio. Elle tente d'appliquer la recherche dans le domaine des mélanges d'experts aux modèles profonds pour améliorer leur vitesse ainsi que leur capacité d'optimisation. Nous croyons que la théorie et les expériences de cette thèse sont une étape importante sur la voie du calcul conditionnel distribué car elle cadre bien le problème, surtout en ce qui concerne la compétitivité des systèmes d'experts. / The objective of this paper is to present different applications of the distributed conditional computation research program. It is hoped that these applications and the theory presented here will lead to a general solution of the problem of artificial intelligence, especially with regard to the need for efficiency. The vision of distributed conditional computation is to accelerate the evaluation and training of deep models which is very different from the usual objective of improving its generalization and optimization capacity. The work presented here has close ties with mixture of experts models. In Chapter 2, we present a new deep learning algorithm that uses a form of reinforcement learning on a novel neural network decision tree model. We demonstrate the need for a balancing constraint to keep the distribution of examples to experts uniform and to prevent monopolies. To make the calculation efficient, the training and evaluation are constrained to be sparse by using a gater that samples experts from a multinomial distribution given examples. In Chapter 3 we present a new deep model consisting of a sparse representation divided into segments of experts. A neural network language model is constructed from blocks of sparse transformations between these expert segments. The block-sparse operation is implemented for use on graphics cards. Its speed is compared with two dense operations of the same caliber to demonstrate and measure the actual efficiency gain that can be obtained. A deep model using these block-sparse operations controlled by a distinct gater is trained on a dataset of one billion words. A new algorithm for data partitioning (clustering) is applied to a set of words to organize the output layer of a language model into a conditional hierarchy, thereby making it much more efficient. The work presented in this thesis is central to the vision of distributed conditional computation as issued by Yoshua Bengio. It attempts to apply research in the area of mixture of experts to deep models to improve their speed and their optimization capacity. We believe that the theory and experiments of this thesis are an important step on the path to distributed conditional computation because it provides a good framework for the problem, especially concerning competitiveness inherent to systems of experts.