Les études isotopiques couplées avec des informations géothermiques peuvent constituer des outils pertinents pour l’exploration des eaux souterraines en tant que ressources en eau potable ou géothermiques. Ce travail combine les deux approches, isotopes de l’environnement et radioactifs associés à des données de température sur des aquifères profonds, dans l’objectif d’enrichir et d’améliorer la connaissance des mécanismes de recharge (Bassin d’Aquitaine, France) ainsi que des mécanismes de recharge et du potentiel géothermique (Bassin Crétacé de Bohème, République Tchèque).Les isotopes stables (18O, 2H, 13C) utilisés conjointement avec des radioisotopes (14C, 3H) sont utilisés pour estimer l’époque de la recharge ainsi que les conditions climatiques qui prévalaient lors de l’infiltration depuis la fin de Pléistocène jusqu’à nos jours. Définir le type de recharge et les conditions d’écoulement est nécessaire pour parvenir à modéliser de façon satisfaisante et fiable les grands systèmes aquifères profonds. Trois types de recharge ont été définis en Europe - (i) continue, (ii) interrompue lors du dernier maximum glaciaire (LGM) – un troisième type (iii) correspond à des situations particulières de recharge.Les conditions géographiques et climatiques très différentes rencontrées en France et en République Tchèque ont engendrées une importante hétérogénéité des conditions et processus de recharge. Le sud de la France, avec un climat relativement doux depuis les derniers 40 ka BP, n’a pas enregistré d’interruption de la recharge. Le temps de séjour des eaux souterraines en Bohème est estimé à environ 11 ka BP au maximum. Cependant, l’appauvrissement des teneurs en isotopes stables enregistré suggère une recharge liée à la fonte de la calotte glaciaire Nord Européenne après le dernier maximum glaciaire (LGM), autour de 18-20 ka BP. Des investigations sur les isotopes du carbone minéral dissous des eaux souterraines du bassin de Bohème ont montrées d’importantes interactions avec différentes sources de carbone qui ont été identifiées.Pour le site d’étude tchèque, les informations apportées par la géochimie ont été complétées par des données géothermiques afin d’améliorer la connaissance des flux et de la dynamique des eaux souterraines. Plus d’une centaine d’enregistrements diagraphiques de température ont été utilisés pour estimer le gradient géothermique. Plusieurs phénomènes viennent perturber le gradient géothermique de la région. Les flux d’eau souterraine verticaux et les variations lithologiques et topographiques sont à l’origine d’une distribution complexe du flux de chaleur, étant majoritairement conditionné par les écoulements souterraines. Les discontinuités peu profondes et les nombreux pointements volcaniques exercent aussi une influence importante sur l’écoulement souterrain et donc aussi sur le potentiel géothermique du réservoir. Les investigations sur la géothermie ont ainsi fourni des informations fondamentales sur le potentiel géothermique mais aussi sur les conditions d’écoulement des eaux souterraines. La prise en compte de ces informations s’avère nécessaire afin de proposer des modèles mathématiques d’écoulement réalistes. / Isotopic investigations combined with geothermal applications represent powerful tools for the exploration of groundwater potential as a drinking or geothermal resource. This Ph.D. thesis combines both approaches, environmental and radioactive isotopes together with temperature data in deep aquifers, in order to enrich and update the knowledge concerning the aquifer recharge processes in the Aquitaine Basin (France) and the aquifer recharge processes and geothermal potential in the Bohemian Cretaceous Basin (Czech Republic).Stable isotopes (18O, 2H, 13C) combined with radioisotope data (14C, 3H) are used to estimate the recharge timing and climatic conditions prevailing during the infiltration from the Late Pleistocene up to modern time. The character of groundwater recharge and regime are necessary to generate relevant source data for the accurate modelling of complex groundwater systems. Three groups of groundwater recharge types can be distinguished throughout Europe – (i) continuous recharge and (ii) interrupted recharge during Last Glacial Maximum and (iii) a group corresponding to particular recharge conditions.The contrasted geographic and climate conditions at both study sites in France and Czech Republic have entailed a great heterogeneity of the recharge conditions and processes. Southern France, with generally mild climatic conditions during the last 40 ka BP, did not experienced considerable hiatus in groundwater recharge. The residence time of groundwater in the Bohemian aquifers is estimated about 11 ka BP at the maximum but the depletion in the stable isotopes suggests that this groundwater originates in the melting of the north European ice sheets after the Last Glacial Maximum period, i.e. 18-20 ka BP. Further investigations on both stable and radioactive carbon isotopes indicated numerous groundwater interactions within the reservoir that were used to delineate the carbon origin within the Bohemian aquifers.Information on groundwater geochemistry was supplemented in the Czech case study by geothermal data in order to improve our knowledge of groundwater flow and dynamics. More than a hundred of temperature records from well-logging measurements were used to assess the geothermal gradient in the Bohemian Cretaceous Basin which is the most promising heat accumulation within the country. Many phenomena can affect the thermal field in the region. Vertical groundwater flow and variations in the lithology and the topography lead to a complicated areal distribution of the geothermal gradient and the heat flux which is dominantly controlled by groundwater. Shallow tectonic structures and numerous volcanic rocks exercise an influence on groundwater flow and therefore exert a secondary effect on the thermal field. The geothermal investigation provided useful information on the geothermal resources within the region but also represents an important tool for understanding groundwater flow, and for constructing realistic hydrogeological models in such a complex geological, tectonic and geothermal context.

Les tumeurs cérébrales sont une cause majeure de décès et d'invalidité dans le monde, ce qui représente 14,1 millions de nouveaux cas de cancer et 8,2 millions de décès en 2012. La radiothérapie et la radiochirurgie sont parmi l'arsenal de techniques disponibles pour les traiter. Ces deux techniques s’appuient sur une irradiation importante nécessitant une définition précise de la tumeur et des tissus sains environnants. Dans la pratique, cette délinéation est principalement réalisée manuellement par des experts avec éventuellement un faible support informatique d’aide à la segmentation. Il en découle que le processus est fastidieux et particulièrement chronophage avec une variabilité inter ou intra observateur significative. Une part importante du temps médical s’avère donc nécessaire à la segmentation de ces images médicales. L’automatisation du processus doit permettre d’obtenir des ensembles de contours plus rapidement, reproductibles et acceptés par la majorité des oncologues en vue d'améliorer la qualité du traitement. En outre, toute méthode permettant de réduire la part médicale nécessaire à la délinéation contribue à optimiser la prise en charge globale par une utilisation plus rationnelle et efficace des compétences de l'oncologue.De nos jours, les techniques de segmentation automatique sont rarement utilisées en routine clinique. Le cas échéant, elles s’appuient sur des étapes préalables de recalages d’images. Ces techniques sont basées sur l’exploitation d’informations anatomiques annotées en amont par des experts sur un « patient type ». Ces données annotées sont communément appelées « Atlas » et sont déformées afin de se conformer à la morphologie du patient en vue de l’extraction des contours par appariement des zones d’intérêt. La qualité des contours obtenus dépend directement de la qualité de l’algorithme de recalage. Néanmoins, ces techniques de recalage intègrent des modèles de régularisation du champ de déformations dont les paramètres restent complexes à régler et la qualité difficile à évaluer. L’intégration d’outils d’assistance à la délinéation reste donc aujourd’hui un enjeu important pour l’amélioration de la pratique clinique.L'objectif principal de cette thèse est de fournir aux spécialistes médicaux (radiothérapeute, neurochirurgien, radiologue) des outils automatiques pour segmenter les organes à risque des patients bénéficiant d’une prise en charge de tumeurs cérébrales par radiochirurgie ou radiothérapie.Pour réaliser cet objectif, les principales contributions de cette thèse sont présentées sur deux axes principaux. Tout d'abord, nous considérons l'utilisation de l'un des derniers sujets d'actualité dans l'intelligence artificielle pour résoudre le problème de la segmentation, à savoir le «deep learning ». Cet ensemble de techniques présente des avantages par rapport aux méthodes d'apprentissage statistiques classiques (Machine Learning en anglais). Le deuxième axe est dédié à l'étude des caractéristiques d’images utilisées pour la segmentation (principalement les textures et informations contextuelles des images IRM). Ces caractéristiques, absentes des méthodes classiques d'apprentissage statistique pour la segmentation des organes à risque, conduisent à des améliorations significatives des performances de segmentation. Nous proposons donc l'inclusion de ces fonctionnalités dans un algorithme de réseau de neurone profond (deep learning en anglais) pour segmenter les organes à risque du cerveau.Nous démontrons dans ce travail la possibilité d'utiliser un tel système de classification basée sur techniques de « deep learning » pour ce problème particulier. Finalement, la méthodologie développée conduit à des performances accrues tant sur le plan de la précision que de l’efficacité. / Brain cancer is a leading cause of death and disability worldwide, accounting for 14.1 million of new cancer cases and 8.2 million deaths only in 2012. Radiotherapy and radiosurgery are among the arsenal of available techniques to treat it. Because both techniques involve the delivery of a very high dose of radiation, tumor as well as surrounding healthy tissues must be precisely delineated. In practice, delineation is manually performed by experts, or with very few machine assistance. Thus, it is a highly time consuming process with significant variation between labels produced by different experts. Radiation oncologists, radiology technologists, and other medical specialists spend, therefore, a substantial portion of their time to medical image segmentation. If by automating this process it is possible to achieve a more repeatable set of contours that can be agreed upon by the majority of oncologists, this would improve the quality of treatment. Additionally, any method that can reduce the time taken to perform this step will increase patient throughput and make more effective use of the skills of the oncologist.Nowadays, automatic segmentation techniques are rarely employed in clinical routine. In case they are, they typically rely on registration approaches. In these techniques, anatomical information is exploited by means of images already annotated by experts, referred to as atlases, to be deformed and matched on the patient under examination. The quality of the deformed contours directly depends on the quality of the deformation. Nevertheless, registration techniques encompass regularization models of the deformation field, whose parameters are complex to adjust, and its quality is difficult to evaluate. Integration of tools that assist in the segmentation task is therefore highly expected in clinical practice.The main objective of this thesis is therefore to provide radio-oncology specialists with automatic tools to delineate organs at risk of patients undergoing brain radiotherapy or stereotactic radiosurgery. To achieve this goal, main contributions of this thesis are presented on two major axes. First, we consider the use of one of the latest hot topics in artificial intelligence to tackle the segmentation problem, i.e. deep learning. This set of techniques presents some advantages with respect to classical machine learning methods, which will be exploited throughout this thesis. The second axis is dedicated to the consideration of proposed image features mainly associated with texture and contextual information of MR images. These features, which are not present in classical machine learning based methods to segment brain structures, led to improvements on the segmentation performance. We therefore propose the inclusion of these features into a deep network.We demonstrate in this work the feasibility of using such deep learning based classification scheme for this particular problem. We show that the proposed method leads to high performance, both in accuracy and efficiency. We also show that automatic segmentations provided by our method lie on the variability of the experts. Results demonstrate that our method does not only outperform a state-of-the-art classifier, but also provides results that would be usable in the radiation treatment planning.

Les nanocolloïdes magnétiques sont des dispersions de nanostructures magnétiques dans un liquide porteur. Par la combinaison des propriétés du liquide et des particules magnétiques, ces dispersions peuvent être confinées, déplacées, déformées et contrôlées par l'application d'un champ magnétique externe et ont ainsi de nombreuses applications en nanosciences et les nanotechnologies. Nous avons étudié la dispersion de nanoparticules magnétiques (NPM) dans les solvants eutectiques profonds (DES). Ces solvants, constitués d'un mélange entre un sel d'ammonium (ici le chlorure de choline (Ch) et un donneur de liaison H (ici, l'ethyleneglycol (EG) ou l'urée (U)) ont des propriétés proches des liquides ioniques tout en étant biodégradables. L'un des verrous concernant ces dispersions est la nature des forces impliquées dans la stabilité colloïdale. En effet, on ne peut plus expliquer la stabilité des dispersions dans ces milieux par le modèle DLVO, classiquement utilisé dans l'eau, du fait de leur force ionique élevée. Nous avons dans en premier temps caractérisé soigneusement deux DES (ChEH (1:3) et ChU (1:2) en mol) du point de vue de la densité et viscosité pour des températures entre 20 et 45°C. Ceci nous a permis de montrer la forte association de ces liquides. Un protocole de dispersion de nanoparticules de maghémite (Fe2O3) ou de ferrite mixte (CoxZn1-xFe2O4) est ensuite proposé, et les dispersions sont étudiées par diffusion de rayonnement (lumière et SAXS). Il s'est avéré que les particules les plus petites étaient les mieux dispersées. Enfin, un test de synthèse de NPM dans des solutions d'argile a permis d'obtenir une polydispersité plus faible en sortie de synthèse. / Magnetic nanocolloids are dispersions of magnetic nanostructures in a carrier fluid. Thanks to the original properties of both the liquid and the magnetic particles, these dispersions can be confined, moved, deformed and controlled by applying an external magnetic field. Such dispersions thus have many applications in nanoscience and nanotechnologies.We studied the dispersion of magnetic nanoparticles in deep eutectic solvents (DES). These solvents (DES), obtained by mixing a quaternary ammonium salt (e.g., choline chloride Ch) and a hydrogen bond donor (e.g., ethyleneglycol EG or Urea U) have properties similar to ionic liquids, and are also biodegradable. One of the questions about these dispersions is the nature of the forces implied in colloidal stability, since the DLVO model classically used in water cannot be invoked here due to the very high ionic strength of the solvent.In a first step, we have carefully characterized two DES ((ChEG (1:3) and ChU (1:2) in mol), measuring the density and viscosity for temperatures between 20 and 45°C. We could thus show the high association in these liquids.A protocol to disperse nanoparticles of maghemite (Fe2O3) or mixed ferrite (CoxZn1-xFe2O4) is then proposed, and the obtained dispersions are studied by dynamic light scattering and SAXS. The size polydispersity was reduced by size sorting, and it reveals that the smallest particles are the most easy to disperse in the DES.Last, a synthesis of NMP in clay dispersion was tested and showed promising results with a reduced size polydispersity.

Le complexe des lobes terminaux du système turbiditique du Congo, localisé à 760 km des côtes de l’Afrique Equatoriale et à 5000 m de profondeur, constitue un système sédimentaire unique pour étudier les transferts de matière organique dans l’Océan Atlantique. En effet, ce complexe, d’une superficie de 3000 km² environ, est actuellement le réceptacle final des apports turbiditiques, initiés dans le canyon du fleuve Congo. Cette thèse, qui s’inscrit dans le cadre du projet ANR-Congolobe, a pour objectif d’apporter des connaissances sur la composition biogéochimique de ces apports et d’apporter des conclusions sur leur(s) origine(s), leur distribution et leur devenir dans les sédiments. Pour ce faire, neuf carottes d’interface (~20 cm) et une carotte longue (~900 cm) prélevées en différents sites du complexe des lobes ont été étudiées. La stratégie employée a consisté (1) à réaliser une description des faciès et de la granulométrie des sédiments, (2) à réaliser une étude géochimique globale et moléculaire sur ces mêmes sédiments (%Corg, C/N, δ13Corg et δ15N, 137Cs, acides gras, tétraéthers) (3) à confronter les données acquises avec celles obtenues sur les sources initiales marines et terrestres par un modèle de mélange binaire (δ13Corg) et par une analyse discriminante (acides gras), (4) à considérer un site spécifique en tant que référence temporelle, (5) à combiner les données acquises à tous les sites dans une analyse multivariée pour appréhender le devenir de cette région à l’échelle millénaire. Tous les marqueurs considérés ont révélé que les sédiments des lobes constituent un véritable puits de matière organique particulaire terrigène en provenance du Congo. Les concentrations en carbone organique sont élevées dans les sédiments argilo-silteux (~3 à 5 %). 70 à 80 % de ce carbone organique dérive du fleuve et consiste en des débris végétaux et en de la matière organique altérée issue de l’érosion des sols, alors que les 20 à 30 % restants consistent en une matière organique marine très dégradée. Une analyse plus détaillée des biomarqueurs lipidiques suggère que la matière organique apportée par les turbidites est peu réactive, néanmoins, l’analyse des acides gras a permis de détecter la présence de composés marins frais dans certains échantillons. Une conclusion importante de cette étude est que tous les résultats portant sur la composition et la distribution de la matière organique dans les sédiments sont en accord avec les modalités de dépôt turbiditique (rapidité du transfert, fréquence des apports, épaisseur des dépôts) ainsi qu’avec les propriétés granulométriques des sédiments. Ces caractéristiques physiques permettent d’expliquer que la matière organique soit exceptionnellement bien préservée dans les couches anoxiques des sédiments, une observation valable à l’échelle des millénaires qui soulève l’intérêt de prendre en compte la région des lobes pour comprendre le devenir de la matière organique terrestre dans l’océan global. / The terminal lobe complex of the Congo deep-sea fan, which is a unique region to study the transfer of organic matter from the land to the Atlantic Ocean, is located 760 km off the Equatorial African coast and at 5,000 m depth. This region covers 3000 km2 and is the terminal receptacle of the particulate organic matter provided by turbidity currents originating from the Congo River canyon. This thesis is part of the Congolobe ANR-project and aims at providing information on the biogeochemical composition of these organic matter inputs to study their origin, distribution and fate in lobe complex sediments. Nine short sediment cores (~20 cm) and one long core (~900 cm) were collected in different sites of the lobes complex for different sediment analyses. The strategy of the study consists of the following five analytical steps: (1) to achieve a facies and granulometry description of the sediments; (2) to study the global and molecular geochemical characteristics of the sediments (%OC , C/N, δ13Corg, δ15N, 137Cs, fatty acids and tetraethers); (3) to compare these data to data from marine and terrestrial end-members using a binary mixing model (δ13Corg) and a discriminant analysis (fatty acids); (4) to consider a specific site as a time reference and (5) to discuss the fate of the sedimentary organic matter at the millennium time scale of the overall area by combining different data in a multivariate analysis. All the different proxies used in this study revealed that lobe sediments could be a sink for organic inputs from the Congo River. Organic carbon concentrations are high in silty-clay sediments (~3 to 5 %). Over the study region, 70 to 80 % of the organic carbon originate from the Congo River and consist of vegetal detritus and soil derived-OM. The remaining 20 to 30 % consists of highly degraded organic matter. A more detailed lipid biomarker analysis shows that the organic matter is poorly reactive; however, fatty acid analyses reveal the presence of fresh planktonic compounds in some samples. An important finding of this study is that the composition and the distribution of the organic matter in sediments are consistent with turbiditic deposition patterns (e.g., rapidity of transfer, frequency and thickness of deposits) as well as with the granulometry properties of the sediments from the terminal lobe complex. Due to the specific sediment characteristics, organic matter is exceptionally well preserved in the anoxic sediment layers, reaching back to millennial time scales. Hence, studying the lobe complex area is of great interest for a better understanding of the fate of terrestrial organic matter in the global ocean.

Ces dernières années, l'apprentissage profond a complètement changé le domaine de vision par ordinateur. Plus rapide, donnant de meilleurs résultats, et nécessitant une expertise moindre pour être utilisé que les méthodes classiques de vision par ordinateur, l'apprentissage profond est devenu omniprésent dans tous les problèmes d'imagerie, y compris l'imagerie médicale.Au début de cette thèse, la construction de réseaux de neurones adaptés à des tâches spécifiques ne bénéficiait pas encore de suffisamment d'outils ni d'une compréhension approfondie. Afin de trouver automatiquement des réseaux de neurones adaptés à des tâches spécifiques, nous avons ainsi apporté des contributions à l’optimisation d’hyper-paramètres de réseaux de neurones. Cette thèse propose une comparaison de certaines méthodes d'optimisation, une amélioration en performance d'une de ces méthodes, l'optimisation bayésienne, et une nouvelle méthode d'optimisation d'hyper-paramètres basé sur la combinaison de deux méthodes existantes : l'optimisation bayésienne et hyperband.Une fois équipés de ces outils, nous les avons utilisés pour des problèmes d'imagerie médicale : la classification de champs de vue en IRM, et la segmentation du rein en échographie 3D pour deux groupes de patients. Cette dernière tâche a nécessité le développement d'une nouvelle méthode d'apprentissage par transfert reposant sur la modification du réseau de neurones source par l'ajout de nouvelles couches de transformations géométrique et d'intensité.En dernière partie, cette thèse revient vers les méthodes classiques de vision par ordinateur, et nous proposons un nouvel algorithme de segmentation qui combine les méthodes de déformations de modèles et l'apprentissage profond. Nous montrons comment utiliser un réseau de neurones pour prédire des transformations globales et locales sans accès aux vérités-terrains de ces transformations. Cette méthode est validé sur la tâche de la segmentation du rein en échographie 3D. / In the last few years, deep learning has changed irrevocably the field of computer vision. Faster, giving better results, and requiring a lower degree of expertise to use than traditional computer vision methods, deep learning has become ubiquitous in every imaging application. This includes medical imaging applications. At the beginning of this thesis, there was still a strong lack of tools and understanding of how to build efficient neural networks for specific tasks. Thus this thesis first focused on the topic of hyper-parameter optimization for deep neural networks, i.e. methods for automatically finding efficient neural networks on specific tasks. The thesis includes a comparison of different methods, a performance improvement of one of these methods, Bayesian optimization, and the proposal of a new method of hyper-parameter optimization by combining two existing methods: Bayesian optimization and Hyperband.From there, we used these methods for medical imaging applications such as the classification of field-of-view in MRI, and the segmentation of the kidney in 3D ultrasound images across two populations of patients. This last task required the development of a new transfer learning method based on the modification of the source network by adding new geometric and intensity transformation layers.Finally this thesis loops back to older computer vision methods, and we propose a new segmentation algorithm combining template deformation and deep learning. We show how to use a neural network to predict global and local transformations without requiring the ground-truth of these transformations. The method is validated on the task of kidney segmentation in 3D US images.

La radiothérapie est un traitement de choix pour le cancer thoracique, l’une des principales causes de décès dans le monde. La planification de la radiothérapie nécessite de contourer non seulement la tumeur, mais également les organes à risque (OAR) situés près de la tumeur dans le thorax, tels que le coeur, les poumons, l’oesophage, etc. Cette segmentation permet de minimiser la quantité d’irradiation reçue pendant le traitement. Aujourd’hui, la segmentation de OAR est réalisée principalement manuellement par des cliniciens sur des images scanner (CT), malgré une prise en charge logicielle partielle. C’est une tâche complexe, sujette à la variabilité intra et interobservateur. Dans ce travail, nous présentons plusieurs méthodologies utilisant des techniques d’apprentissage profond pour segmenter automatiquement le coeur, la trachée, l’aorte et l’oesophage. En particulier, l’oesophage est particulièrement difficile à segmenter, en raison de l’absence de contraste et de variabilité de forme entre différents patients. Les réseaux profonds convolutionnels offrent aujourd’hui des performances de pointe en matière desegmentation sémantique, nous montrons d’abord comment un type spécifique d’architecture basée sur des skip connections peut améliorer la précision des résultats, par rapport à un réseau pleinement convolutionnel (FCN) standard. Dans une deuxième contribution, nous avons intégré des informations de contexte spatial au processus de segmentation, par le biais de réseaux collaboratifs, permettant les segmentations de chaque organe individuellement. Troisièmement, nous proposons une représentation différente des données, basée sur une carte de distance, utilisée en conjointement avec des réseaux adversariaux (GAN), comme un autre moyen de contraindre le contexte anatomique. Les méthodes proposées ont été évaluées sur une base d’images scanner de 60 patients. Les résultats montrent des résultats encourageants pour l’application clinique et souligne le potentiel des méthodes prenant en compte le contexte spatial dans la segmentation. / Radiotherapy is one of the options for treatment currently available for patients affected by cancer, one of the leading cause of deaths worldwide. Before radiotherapy, organs at risk (OAR) located near the target tumor, such as the heart, the lungs, the esophagus, etc. in thoracic cancer, must be outlined, in order to minimize the quantity of irradiation that they receive during treatment. Today, segmentation of the OAR is performed mainly manually by clinicians on Computed Tomography (CT) images, despite some partial software support. It is a tedious task, prone to intra and inter-observer variability. In this work, we present several frameworks using deep learning techniques to automatically segment the heart, trachea, aorta and esophagus. In particular, the esophagus is notably challenging to segment, due to the lack of surrounding contrast and shape variability across different patients. As deep networks and in particular fully convolutional networks offer now state of the art performance for semantic segmentation, we first show how a specific type of architecture based on skip connections can improve the accuracy of the results. As a second contribution, we demonstrate that context information can be of vital importance in the segmentation task, where we propose the use of two collaborative networks. Third, we propose a different, distance aware representation of the data, which is then used in junction with adversarial networks, as another way to constrain the anatomical context. All the proposed methods have been tested on 60 patients with 3D-CT scans, showing good performance compared with other methods.

Dans le domaine de l'apprentissage machine, les réseaux de neurones profonds sont devenus la référence incontournable pour un très grand nombre de problèmes. Ces systèmes sont constitués par un assemblage de couches, lesquelles réalisent des traitements élémentaires, paramétrés par un grand nombre de variables. À l'aide de données disponibles pendant une phase d'apprentissage, ces variables sont ajustées de façon à ce que le réseau de neurones réponde à la tâche donnée. Il est ensuite possible de traiter de nouvelles données. Si ces méthodes atteignent les performances à l'état de l'art dans bien des cas, ils reposent pour cela sur un très grand nombre de paramètres, et donc des complexités en mémoire et en calculs importantes. De fait, ils sont souvent peu adaptés à l'implémentation matérielle sur des systèmes contraints en ressources. Par ailleurs, l'apprentissage requiert de repasser sur les données d'entraînement plusieurs fois, et s'adapte donc difficilement à des scénarios où de nouvelles informations apparaissent au fil de l'eau. Dans cette thèse, nous nous intéressons dans un premier temps aux méthodes permettant de réduire l'impact en calculs et en mémoire des réseaux de neurones profonds. Nous proposons dans un second temps des techniques permettant d'effectuer l'apprentissage au fil de l'eau, dans un contexte embarqué. / In the field of machine learning, deep neural networks have become the inescapablereference for a very large number of problems. These systems are made of an assembly of layers,performing elementary operations, and using a large number of tunable variables. Using dataavailable during a learning phase, these variables are adjusted such that the neural networkaddresses the given task. It is then possible to process new data.To achieve state-of-the-art performance, in many cases these methods rely on a very largenumber of parameters, and thus large memory and computational costs. Therefore, they are oftennot very adapted to a hardware implementation on constrained resources systems. Moreover, thelearning process requires to reuse the training data several times, making it difficult to adapt toscenarios where new information appears on the fly.In this thesis, we are first interested in methods allowing to reduce the impact of computations andmemory required by deep neural networks. Secondly, we propose techniques for learning on thefly, in an embedded context.

Bien que les réseaux de neurones soient à présent utilisés dans la quasi-totalité des composants d’un système de reconnaissance de la parole, du modèle acoustique au modèle de langue, l’entrée de ces systèmes reste une représentation analytique et fixée de la parole dans le domaine temps-fréquence, telle que les mel-filterbanks. Cela se distingue de la vision par ordinateur, un domaine où les réseaux de neurones prennent en entrée les pixels bruts. Les mel-filterbanks sont le produit d’une connaissance précieuse et documentée du système auditif humain, ainsi que du traitement du signal, et sont utilisées dans les systèmes de reconnaissance de la parole les plus en pointe, systèmes qui rivalisent désormais avec les humains dans certaines conditions. Cependant, les mel-filterbanks, comme toute représentation fixée, sont fondamentalement limitées par le fait qu’elles ne soient pas affinées par apprentissage pour la tâche considérée. Nous formulons l’hypothèse qu’apprendre ces représentations de bas niveau de la parole, conjontement avec le modèle, permettrait de faire avancer davantage l’état de l’art. Nous explorons tout d’abord des approches d’apprentissage faiblement supervisé et montrons que nous pouvons entraîner un unique réseau de neurones à séparer l’information phonétique de celle du locuteur à partir de descripteurs spectraux ou du signal brut et que ces représentations se transfèrent à travers les langues. De plus, apprendre à partir du signal brut produit des représentations du locuteur significativement meilleures que celles d’un modèle entraîné sur des mel-filterbanks. Ces résultats encourageants nous mènent par la suite à développer une alternative aux mel-filterbanks qui peut être entraînée à partir des données. Dans la seconde partie de cette thèse, nous proposons les Time-Domain filterbanks, une architecture neuronale légère prenant en entrée la forme d’onde, dont on peut initialiser les poids pour répliquer les mel-filterbanks et qui peut, par la suite, être entraînée par rétro-propagation avec le reste du réseau de neurones. Au cours d’expériences systématiques et approfondies, nous montrons que les Time-Domain filterbanks surclassent systématiquement les melfilterbanks, et peuvent être intégrées dans le premier système de reconnaissance de la parole purement convolutif et entraîné à partir du signal brut, qui constitue actuellement un nouvel état de l’art. Les descripteurs fixes étant également utilisés pour des tâches de classification non-linguistique, pour lesquelles elles sont d’autant moins optimales, nous entraînons un système de détection de dysarthrie à partir du signal brut, qui surclasse significativement un système équivalent entraîné sur des mel-filterbanks ou sur des descripteurs de bas niveau. Enfin, nous concluons cette thèse en expliquant en quoi nos contributions s’inscrivent dans une transition plus large vers des systèmes de compréhension du son qui pourront être appris de bout en bout. / While deep neural networks are now used in almost every component of a speech recognition system, from acoustic to language modeling, the input to such systems are still fixed, handcrafted, spectral features such as mel-filterbanks. This contrasts with computer vision, in which a deep neural network is now trained on raw pixels. Mel-filterbanks contain valuable and documented prior knowledge from human auditory perception as well as signal processing, and are the input to state-of-the-art speech recognition systems that are now on par with human performance in certain conditions. However, mel-filterbanks, as any fixed representation, are inherently limited by the fact that they are not fine-tuned for the task at hand. We hypothesize that learning the low-level representation of speech with the rest of the model, rather than using fixed features, could push the state-of-the art even further. We first explore a weakly-supervised setting and show that a single neural network can learn to separate phonetic information and speaker identity from mel-filterbanks or the raw waveform, and that these representations are robust across languages. Moreover, learning from the raw waveform provides significantly better speaker embeddings than learning from mel-filterbanks. These encouraging results lead us to develop a learnable alternative to mel-filterbanks, that can be directly used in replacement of these features. In the second part of this thesis we introduce Time-Domain filterbanks, a lightweight neural network that takes the waveform as input, can be initialized as an approximation of mel-filterbanks, and then learned with the rest of the neural architecture. Across extensive and systematic experiments, we show that Time-Domain filterbanks consistently outperform melfilterbanks and can be integrated into a new state-of-the-art speech recognition system, trained directly from the raw audio signal. Fixed speech features being also used for non-linguistic classification tasks for which they are even less optimal, we perform dysarthria detection from the waveform with Time-Domain filterbanks and show that it significantly improves over mel-filterbanks or low-level descriptors. Finally, we discuss how our contributions fall within a broader shift towards fully learnable audio understanding systems.

Cette dernière décennie a donné lieu à la réémergence des méthodes d'apprentissage machine basées sur les réseaux de neurones formels sous le nom d'apprentissage profond. Bien que ces méthodes aient permis des avancées majeures dans le domaine de l'apprentissage machine, plusieurs obstacles à la possibilité d'industrialiser ces méthodes persistent, notamment la nécessité de collecter et d'étiqueter une très grande quantité de données ainsi que la puissance de calcul nécessaire pour effectuer l'apprentissage et l'inférence avec ce type de réseau neuronal. Dans cette thèse, nous proposons d'étudier l'adéquation entre des algorithmes d'inférence et d'apprentissage issus des réseaux de neurones biologiques pour des architectures matérielles massivement parallèles. Nous montrons avec trois contributions que de telles adéquations permettent d'accélérer drastiquement les temps de calculs inhérents au réseaux de neurones. Dans notre premier axe, nous réalisons l'étude d'adéquation du moteur BCVision de Brainchip SAS pour les plate-formes GPU. Nous proposons également l'introduction d'une architecture hiérarchique basée sur des cellules complexes. Nous montrons que l'adéquation pour GPU accélère les traitements par un facteur sept, tandis que l'architecture hiérarchique atteint un facteur mille. La deuxième contribution présente trois algorithmes de propagation de décharges neuronales adaptés aux architectures parallèles. Nous réalisons une étude complète des modèles computationels de ces algorithmes, permettant de sélectionner ou de concevoir un système matériel adapté aux paramètres du réseau souhaité. Dans notre troisième axe nous présentons une méthode pour appliquer la règle Spike-Timing-Dependent-Plasticity à des données images afin d'apprendre de manière non-supervisée des représentations visuelles. Nous montrons que notre approche permet l'apprentissage d'une hiérarchie de représentations pertinente pour des problématiques de classification d'images, tout en nécessitant dix fois moins de données que les autres approches de la littérature. / The last decade has seen the re-emergence of machine learning methods based on formal neural networks under the name of deep learning. Although these methods have enabled a major breakthrough in machine learning, several obstacles to the possibility of industrializing these methods persist, notably the need to collect and label a very large amount of data as well as the computing power necessary to perform learning and inference with this type of neural network. In this thesis, we propose to study the adequacy between inference and learning algorithms derived from biological neural networks and massively parallel hardware architectures. We show with three contribution that such adequacy drastically accelerates computation times inherent to neural networks. In our first axis, we study the adequacy of the BCVision software engine developed by Brainchip SAS for GPU platforms. We also propose the introduction of a coarse-to-fine architecture based on complex cells. We show that GPU portage accelerates processing by a factor of seven, while the coarse-to-fine architecture reaches a factor of one thousand. The second contribution presents three algorithms for spike propagation adapted to parallel architectures. We study exhaustively the computational models of these algorithms, allowing the selection or design of the hardware system adapted to the parameters of the desired network. In our third axis we present a method to apply the Spike-Timing-Dependent-Plasticity rule to image data in order to learn visual representations in an unsupervised manner. We show that our approach allows the effective learning a hierarchy of representations relevant to image classification issues, while requiring ten times less data than other approaches in the literature.

Les processus de décision markovien (MDP), le cadre mathématiques sous-jacent à la plupart des algorithmes de l'apprentissage par renforcement (RL) est souvent utilisé d'une manière qui suppose, à tort, que l'état de l'environnement d'un agent ne change pas pendant la sélection des actions. Puisque les systèmes RL basés sur les MDP classiques commencent à être appliqués dans les situations critiques pour la sécurité du monde réel, ce décalage entre les hypothèses sous-jacentes aux MDP classiques et la réalité du calcul en temps réel peut entraîner des résultats indésirables. Dans cette thèse, nous introduirons un nouveau cadre dans lequel les états et les actions évoluent simultanément, nous montrerons comment il est lié à la formulation MDP classique. Nous analyserons des algorithmes existants selon la nouvelle formulation en temps réel et montrerons pourquoi ils sont inférieurs, lorsqu'ils sont utilisés en temps réel. Par la suite, nous utiliserons ces perspectives pour créer un nouveau algorithme Real-Time Actor Critic qui est supérieur au Soft Actor Critic contrôle continu de l'état de l'art actuel, aussi bien en temps réel qu'en temps non réel. / Markov Decision Processes (MDPs), the mathematical framework underlying most algorithms in Reinforcement Learning (RL), are often used in a way that wrongfully assumes that the state of an agent's environment does not change during action selection. As RL systems based on MDPs begin to find application in real-world safety critical situations, this mismatch between the assumptions underlying classical MDPs and the reality of real-time computation may lead to undesirable outcomes. In this thesis, we introduce a new framework, in which states and actions evolve simultaneously, we show how it is related to the classical MDP formulation. We analyze existing algorithms under the new real-time formulation and show why they are suboptimal when used in real-time. We then use those insights to create a new algorithm, Real-Time Actor Critic (RTAC) that outperforms the existing state-of-the-art continuous control algorithm Soft Actor Critic both in real-time and non-real-time settings.