Disposant d’un jeu de données sur des infections nosocomiales, nous utilisons des techniques de vraisemblance empirique pour construire des bandes de confiance pour certaines quantité d’intérêt. Cette étude nous amène à renforcer les outils déjà existants afin qu’ils s’adaptent à notre cadre. Nous présentons dans une première partie les outils mathématiques issus de la littérature que nous utilisons dans ce travail de thèse. Nous les appliquons ensuite à diverses situations et donnons de nouvelles démonstrations lorsque cela est nécessaire. Nous conduisons aussi des simulations et obtenons des résultats concrets concernant notre jeu de données. Enfin, nous détaillons les algorithmes utilisés. / The starting point of this thesis is a data set of nosocomial infectionsin an intensive care unit of a French hostipal. We focused our attention onbuilding confidence bands for some parameters of interest using empiricallikelihood techniques. In order to do so, we had to adapt and develop somealready existing methods so that they fit our setup.We begin by giving a state of the art of the different theories we use.We then apply them to different setups and demonstrate new results whenneeded. Finally, we conduct simulations and describe our algorithms.

No description available.

Divers radars sont développés pour des besoins d’aide à la conduite automobile de sécurité mais aussi de confort. Ils ont pour but de détecter la présence d’obstacles routiers afin d’éviter d’éventuelles collisions. La demande actuelle en termes de capteurs radars pour l’automobile connaît une croissance importante et les technologies employées doivent garantir de bonnes performances dans un environnement dégradé par les signaux interférents des autres utilisateurs. Dans cette thèse, nous nous intéressons au développement d’un système radar performant en tout lieu et en particulier dans un contexte multi-utilisateurs. A ce propos, nous proposons de nouvelles formes d’ondes qui se basent sur la combinaison des codes fréquentiels de Costas et d’autres techniques de compression d’impulsion en exploitant les signaux de Costas modifiés. La conception adoptée permet, grâce à la diversité introduite, de synthétiser un nombre important de formes d’ondes. Nous avons, ensuite, exploité deux approches d’estimation des paramètres des cibles. La première, plutôt classique, se base sur le traitement Doppler dans un train d’impulsions cohérent. La deuxième, récente dans le domaine automobile, se base sur la technique dite de « Compressed Sensing ». Une adaptation de ces algorithmes pour les signaux proposés a été discutée dans des environnements bruités et multi-cibles. L’ensemble de ces travaux contribue à explorer de nouvelles formes d’ondes, autres que celles utilisées dans les radars actuels et à proposer un traitement innovant en réception, adapté aux radars en général et à l’automobile en particulier. / Several driver assistance radars are developed for security and comfort requirements. Their goal is among others to detect the presence of obstacles for collision avoidance. The current demand in terms of automotive radar sensors experience a significant growth and the technologies being employed must ensure good performances especially in an environment degraded by interfering signals of other users. In this thesis, we are interested in developing a radar system which is effective in all situations especially in a multi-user context. For this purpose, we propose novel radar waveforms based on the combination of frequency hopping Costas codes and other pulse compression techniques, using modified Costas signals. The design approach allows to synthesize a significant number of waveforms, thanks to the high diversity introduced. Afterwards, we have exploited two estimation of target parameters approaches. The first one, quite classic, is based on Doppler processing in a coherent pulse train. The second one, recent in the automotive field , is based on the Compressed sensing techniques. An adaptation of these algorithms to proposed signals is discussed in noisy and multi-target environments. All these works contribute in one hand to explore novel radar waveforms, complement to those currently used in automotive radars and in another hand to propose an innovative processing at the receiver level, suited to radar applications in general and automotive ones in particular.

No description available.

Les réseaux de neurones à réservoir, dont le principe est de combiner un vaste réseau de neurones fixes avec un apprenant ne possédant aucune forme de mémoire, ont récemment connu un gain en popularité dans les communautés d’apprentissage machine, de traitement du signal et des neurosciences computationelles. Ces réseaux qui peuvent être classés en deux catégories : 1. les réseaux à états échoïques (ESN)[29] dont les activations des neurones sont des réels 2. les machines à états liquides (LSM)[43] dont les neurones possèdent des potentiels d’actions, ont été appliqués à différentes tâches [11][64][49][45][38] dont la génération de séquences mélodiques [30]. Dans le cadre de la présente recherche, nous proposons deux nouveaux modèles à base de réseaux de neurones à réservoir. Le premier est un modèle pour la reconnaissance de rythmes utilisant deux niveaux d’apprentissage, et avec lequel nous avons été en mesure d’obtenir des résultats satisfaisants tant au niveau de la reconnaissance que de la résistance au bruit. Le second modèle sert à l’apprentissage et à la génération de séquences périodiques. Ce modèle diffère du modèle génératif classique utilisé avec les ESN à la fois au niveau de ses entrées, puisqu’il possède une Horloge, ainsi qu’au niveau de l’algorithme d’apprentissage, puisqu’il utilise un algorithme que nous avons spécialement développé pour cette tache et qui se nomme "Orbite". La combinaison de ces deux éléments, nous a permis d’obtenir de bons résultats, pour la génération, le sur-apprentissage et l’extraction de données. Nous pensons également que ce modèle ouvre une fenêtre intéressante vers la réalisation d’un orchestre entièrement virtuel et nous proposons deux architectures possibles que pourrait avoir cet orchestre. Dans la dernière partie de ce travail nous présentons les outils que nous avons développés pour faciliter notre travail de recherche. / Reservoir computing, the combination of a recurrent neural network and one or more memoryless readout units, has seen recent growth in popularity in and machine learning, signal processing and computational neurosciences. Reservoir-based methods have been successfully applied to a wide range of time series problems [11][64][49][45][38] including music [30], and usually can be found in two flavours: Echo States Networks(ESN)[29], where the reservoir is composed of mean rates neurons, and Liquid Sates Machines (LSM),[43] where the reservoir is composed of spiking neurons. In this work, we propose two new models based upon the ESN architecture. The first one is a model for rhythm recognition that uses two levels of learning and with which we have been able to get satisfying results on both recognition and noise resistance. The second one is a model for learning and generating periodic sequences, with this model we introduced a new architecture for generative models based upon ESNs where the reservoir receives inputs from a clock, as well as a new learning algorithm that we called "Orbite". By combining these two elements within our model, we were able to get good results on generation, over-fitting and data extraction. We also believe that a combination of several instances of our model can serve as a basis for the elaboration of an entirely virtual orchestra, and we propose two architectures that this orchestra may have. In the last part of this work, we briefly present the tools that we have developed during our research. / Les fichiers sons qui accompagne mon document sont au format midi. Le programme que nous avons développés pour ce travail est en language Python.

De nombreuses études cliniques ou interventions de lutte ont été faites ou sont en cours en Afrique pour la lutte contre le fléau du paludisme. En zone d'endémie, le paludisme est une maladie récurrente. La revue de littérature indique une application limitée des outils statistiques appropriés existants pour l'analyse des données récurrentes de paludisme. Nous avons mis en oeuvre des méthodes statistiques appropriées pour l'analyse des données répétées d'essais thérapeutiques de paludisme. Nous avons également étudié les mesures répétées d'hémoglobine lors du suivi de traitements antipaludiques en vue d'évaluer la tolérance ou sécurité des médicaments en regroupant les données de 13 essais cliniques.Pour l'analyse du nombre d'épisodes de paludisme, la régression binomiale négative a été mise en oeuvre. Pour modéliser la récurrence des épisodes de paludisme, quatre modèles ont été utilisés : i) Les équations d'estimation généralisées (GEE) utilisant la distribution de Poisson; et trois modèles qui sont une extension du modèle Cox: ii) le modèle de processus de comptage d'Andersen-Gill (AG-CP), iii) le modèle de processus de comptage de Prentice-Williams-Peterson (PWP-CP); et iv) le modèle de Fragilité partagée de distribution gamma. Pour l'analyse de sécurité, c'est-à-dire l'évaluation de l'impact de traitements antipaludiques sur le taux d'hémoglobine ou la survenue de l'anémie, les modèles linéaires et latents généralisés mixtes (« GLLAMM : generalized linear and latent mixed models ») ont été mis en oeuvre. Les perspectives sont l'élaboration de guides de bonnes pratiques de préparation et d'analyse ainsi que la création d'un entrepôt des données de paludisme. / Numerous clinical studies or control interventions were done or are ongoing in Africa for malaria control. For an efficient control of this disease, the strategies should be closer to the reality of the field and the data should be analyzed appropriately. In endemic areas, malaria is a recurrent disease. Repeated malaria episodes are common in African. However, the literature review indicates a limited application of appropriate statistical tools for the analysis of recurrent malaria data. We implemented appropriate statistical methods for the analysis of these data We have also studied the repeated measurements of hemoglobin during malaria treatments follow-up in order to assess the safety of the study drugs by pooling data from 13 clinical trials.For the analysis of the number of malaria episodes, the negative binomial regression has been implemented. To model the recurrence of malaria episodes, four models were used: i) the generalized estimating equations (GEE) using the Poisson distribution; and three models that are an extension of the Cox model: ii) Andersen-Gill counting process (AG-CP), iii) Prentice-Williams-Peterson counting process (PWP-CP); and (iv) the shared gamma frailty model. For the safety analysis, i.e. the assessment of the impact of malaria treatment on hemoglobin levels or the onset of anemia, the generalized linear and latent mixed models (GLLAMM) has been implemented. We have shown how to properly apply the existing statistical tools in the analysis of these data. The prospects of this work remain in the development of guides on good practices on the methodology of the preparation and analysis and storage network for malaria data.

The work in this thesis is separated into two parts. The first part deals with the load planning and sequencing problem for double-stack intermodal railcars, an operational problem found at many rail container terminals. In this problem, containers must be assigned to a platform on which the container will be loaded, and the loading order must be determined. These decisions are made with the objective of minimizing the costs associated with handling the containers, as well as minimizing the cost of containers left behind. The deterministic version of the problem can be cast as a shortest path problem on an ordered graph. This problem is challenging to solve because of the large size of the graph. We propose a two-stage heuristic based on the Iterative Deepening A* algorithm to compute solutions to the load planning and sequencing problem within a five-minute time budget. Next, we also illustrate how a Deep Q-learning algorithm can be used to heuristically solve the same problem.The second part of this thesis considers sequential models in deep learning. A recent strategy to circumvent the exploding and vanishing gradient problem in recurrent neural networks (RNNs) is to enforce recurrent weight matrices to be orthogonal or unitary. While this ensures stable dynamics during training, it comes at the cost of reduced expressivity due to the limited variety of orthogonal transformations. We propose a parameterization of RNNs, based on the Schur decomposition, that mitigates the exploding and vanishing gradient problem, while allowing for non-orthogonal recurrent weight matrices in the model. / Le travail de cette thèse est divisé en deux parties. La première partie traite du problème de planification et de séquencement des chargements de conteneurs sur des wagons, un problème opérationnel rencontré dans de nombreux terminaux ferroviaires intermodaux. Dans ce problème, les conteneurs doivent être affectés à une plate-forme sur laquelle un ou deux conteneurs seront chargés et l'ordre de chargement doit être déterminé. Ces décisions sont prises dans le but de minimiser les coûts associés à la manutention des conteneurs, ainsi que de minimiser le coût des conteneurs non chargés. La version déterministe du problème peut être formulé comme un problème de plus court chemin sur un graphe ordonné. Ce problème est difficile à résoudre en raison de la grande taille du graphe. Nous proposons une heuristique en deux étapes basée sur l'algorithme Iterative Deepening A* pour calculer des solutions au problème de planification et de séquencement de la charge dans un budget de cinq minutes. Ensuite, nous illustrons également comment un algorithme d'apprentissage Deep Q peut être utilisé pour résoudre heuristiquement le même problème. La deuxième partie de cette thèse examine les modèles séquentiels en apprentissage profond. Une stratégie récente pour contourner le problème de gradient qui explose et disparaît dans les réseaux de neurones récurrents (RNN) consiste à imposer des matrices de poids récurrentes orthogonales ou unitaires. Bien que cela assure une dynamique stable pendant l'entraînement, cela se fait au prix d'une expressivité réduite en raison de la variété limitée des transformations orthogonales. Nous proposons une paramétrisation des RNN, basée sur la décomposition de Schur, qui atténue les problèmes de gradient, tout en permettant des matrices de poids récurrentes non orthogonales dans le modèle.

Recurrent neural networks (RNN) are known for their notorious exploding and vanishing gradient problem (EVGP). This problem becomes more evident in tasks where the information needed to correctly solve them exist over long time scales, because it prevents important gradient components from being back-propagated adequately over a large number of steps. The papers written in this work formalizes gradient propagation in parametric and semi-parametric RNNs to gain a better understanding towards the source of this problem. The first paper introduces a simple stochastic algorithm (h-detach) that is specific to LSTM optimization and targeted towards addressing the EVGP problem. Using this we show significant improvements over vanilla LSTM in terms of convergence speed, robustness to seed and learning rate, and generalization on various benchmark datasets. The next paper focuses on semi-parametric RNNs and self-attentive networks. Self-attention provides a way by which a system can dynamically access past states (stored in memory) which helps in mitigating vanishing of gradients. Although useful, it is difficult to scale as the size of the computational graph grows quadratically with the number of time steps involved. In the paper we describe a relevancy screening mechanism, inspired by the cognitive process of memory consolidation, that allows for a scalable use of sparse self-attention with recurrence while ensuring good gradient propagation. / Les réseaux de neurones récurrents (RNN) sont connus pour leur problème de gradient d'explosion et de disparition notoire (EVGP). Ce problème devient plus évident dans les tâches où les informations nécessaires pour les résoudre correctement existent sur de longues échelles de temps, car il empêche les composants de gradient importants de se propager correctement sur un grand nombre d'étapes. Les articles écrits dans ce travail formalise la propagation du gradient dans les RNN paramétriques et semi-paramétriques pour mieux comprendre la source de ce problème. Le premier article présente un algorithme stochastique simple (h-detach) spécifique à l'optimisation LSTM et visant à résoudre le problème EVGP. En utilisant cela, nous montrons des améliorations significatives par rapport au LSTM vanille en termes de vitesse de convergence, de robustesse au taux d'amorçage et d'apprentissage, et de généralisation sur divers ensembles de données de référence. Le prochain article se concentre sur les RNN semi-paramétriques et les réseaux auto-attentifs. L'auto-attention fournit un moyen par lequel un système peut accéder dynamiquement aux états passés (stockés en mémoire), ce qui aide à atténuer la disparition des gradients. Bien qu'utile, il est difficile à mettre à l'échelle car la taille du graphe de calcul augmente de manière quadratique avec le nombre de pas de temps impliqués. Dans l'article, nous décrivons un mécanisme de criblage de pertinence, inspiré par le processus cognitif de consolidation de la mémoire, qui permet une utilisation évolutive de l'auto-attention clairsemée avec récurrence tout en assurant une bonne propagation du gradient.

Dans un problème de prédiction à multiples pas discrets, la prédiction à chaque instant peut dépendre de l’entrée à n’importe quel moment dans un passé lointain. Modéliser une telle dépendance à long terme est un des problèmes fondamentaux en apprentissage automatique. En théorie, les Réseaux de Neurones Récurrents (RNN) peuvent modéliser toute dépendance à long terme. En pratique, puisque la magnitude des gradients peut croître ou décroître exponentiellement avec la durée de la séquence, les RNNs ne peuvent modéliser que les dépendances à court terme. Cette thèse explore ce problème dans les réseaux de neurones récurrents et propose de nouvelles solutions pour celui-ci. Le chapitre 3 explore l’idée d’utiliser une mémoire externe pour stocker les états cachés d’un réseau à Mémoire Long et Court Terme (LSTM). En rendant l’opération d’écriture et de lecture de la mémoire externe discrète, l’architecture proposée réduit le taux de décroissance des gradients dans un LSTM. Ces opérations discrètes permettent également au réseau de créer des connexions dynamiques sur de longs intervalles de temps. Le chapitre 4 tente de caractériser cette décroissance des gradients dans un réseau de neurones récurrent et propose une nouvelle architecture récurrente qui, grâce à sa conception, réduit ce problème. L’Unité Récurrente Non-saturante (NRUs) proposée n’a pas de fonction d’activation saturante et utilise la mise à jour additive de cellules au lieu de la mise à jour multiplicative. Le chapitre 5 discute des défis de l’utilisation de réseaux de neurones récurrents dans un contexte d’apprentissage continuel, où de nouvelles tâches apparaissent au fur et à mesure. Les dépendances dans l’apprentissage continuel ne sont pas seulement contenues dans une tâche, mais sont aussi présentes entre les tâches. Ce chapitre discute de deux problèmes fondamentaux dans l’apprentissage continuel: (i) l’oubli catastrophique d’anciennes tâches et (ii) la capacité de saturation du réseau. De plus, une solution est proposée pour régler ces deux problèmes lors de l’entraînement d’un réseau de neurones récurrent. / In a multi-step prediction problem, the prediction at each time step can depend on the input at any of the previous time steps far in the past. Modelling such long-term dependencies is one of the fundamental problems in machine learning. In theory, Recurrent Neural Networks (RNNs) can model any long-term dependency. In practice, they can only model short-term dependencies due to the problem of vanishing and exploding gradients. This thesis explores the problem of vanishing gradient in recurrent neural networks and proposes novel solutions for the same. Chapter 3 explores the idea of using external memory to store the hidden states of a Long Short Term Memory (LSTM) network. By making the read and write operations of the external memory discrete, the proposed architecture reduces the rate of gradients vanishing in an LSTM. These discrete operations also enable the network to create dynamic skip connections across time. Chapter 4 attempts to characterize all the sources of vanishing gradients in a recurrent neural network and proposes a new recurrent architecture which has significantly better gradient flow than state-of-the-art recurrent architectures. The proposed Non-saturating Recurrent Units (NRUs) have no saturating activation functions and use additive cell updates instead of multiplicative cell updates. Chapter 5 discusses the challenges of using recurrent neural networks in the context of lifelong learning. In the lifelong learning setting, the network is expected to learn a series of tasks over its lifetime. The dependencies in lifelong learning are not just within a task, but also across the tasks. This chapter discusses the two fundamental problems in lifelong learning: (i) catastrophic forgetting of old tasks, and (ii) network capacity saturation. Further, it proposes a solution to solve both these problems while training a recurrent neural network.

No description available.