Il est avant-tout question, dans ce mémoire, de la modélisation du timbre grâce à des algorithmes d'apprentissage machine. Plus précisément, nous avons essayé de construire un espace de timbre en extrayant des caractéristiques du son à l'aide de machines de Boltzmann convolutionnelles profondes. Nous présentons d'abord un survol de l'apprentissage machine, avec emphase sur les machines de Boltzmann convolutionelles ainsi que les modèles dont elles sont dérivées. Nous présentons aussi un aperçu de la littérature concernant les espaces de timbre, et mettons en évidence quelque-unes de leurs limitations, dont le nombre limité de sons utilisés pour les construire. Pour pallier à ce problème, nous avons mis en place un outil nous permettant de générer des sons à volonté. Le système utilise à sa base des plug-ins qu'on peut combiner et dont on peut changer les paramètres pour créer une gamme virtuellement infinie de sons. Nous l'utilisons pour créer une gigantesque base de donnée de timbres générés aléatoirement constituée de vrais instruments et d'instruments synthétiques. Nous entrainons ensuite les machines de Boltzmann convolutionnelles profondes de façon non-supervisée sur ces timbres, et utilisons l'espace des caractéristiques produites comme espace de timbre. L'espace de timbre ainsi obtenu est meilleur qu'un espace semblable construit à l'aide de MFCC. Il est meilleur dans le sens où la distance entre deux timbres dans cet espace est plus semblable à celle perçue par un humain. Cependant, nous sommes encore loin d'atteindre les mêmes capacités qu'un humain. Nous proposons d'ailleurs quelques pistes d'amélioration pour s'en approcher. / This thesis presents a novel way of modelling timbre using machine learning algorithms. More precisely, we have attempted to build a timbre space by extracting audio features using deep-convolutional Boltzmann machines. We first present an overview of machine learning with an emphasis on convolutional Boltzmann machines as well as models from which they are derived. We also present a summary of the literature relevant to timbre spaces and highlight their limitations, such as the small number of timbres used to build them. To address this problem, we have developed a sound generation tool that can generate as many sounds as we wish. At the system's core are plug-ins that are parameterizable and that we can combine to create a virtually infinite range of sounds. We use it to build a massive randomly generated timbre dataset that is made up of real and synthesized instruments. We then train deep-convolutional Boltzmann machines on those timbres in an unsupervised way and use the produced feature space as a timbre space. The timbre space we obtain is a better space than a similar space built using MFCCs. We consider it as better in the sense that the distance between two timbres in that space is more similar to the one perceived by a human listener. However, we are far from reaching the performance of a human. We finish by proposing possible improvements that could be tried to close our performance gap.

L'ère numérique dans laquelle nous sommes entrés apporte une quantité importante de nouveaux défis à relever dans une multitude de domaines. Le traitement automatique de l'abondante information à notre disposition est l'un de ces défis, et nous allons ici nous pencher sur des méthodes et techniques adaptées au filtrage et à la recommandation à l'utilisateur d'articles adaptés à ses goûts, dans le contexte particulier et sans précédent notable du jeu vidéo multi-joueurs en ligne. Notre objectif est de prédire l'appréciation des niveaux par les joueurs. Au moyen d'algorithmes d'apprentissage machine modernes tels que les réseaux de neurones profonds avec pré-entrainement non-supervisé, que nous décrivons après une introduction aux concepts nécessaires à leur bonne compréhension, nous proposons deux architectures aux caractéristiques différentes bien que basées sur ce même concept d'apprentissage profond. La première est un réseau de neurones multi-couches pour lequel nous tentons d'expliquer les performances variables que nous rapportons sur les expériences menées pour diverses variations de profondeur, d'heuristique d'entraînement, et des méthodes de pré-entraînement non-supervisé simple, débruitant et contractant. Pour la seconde architecture, nous nous inspirons des modèles à énergie et proposons de même une explication des résultats obtenus, variables eux aussi. Enfin, nous décrivons une première tentative fructueuse d'amélioration de cette seconde architecture au moyen d'un fine-tuning supervisé succédant le pré-entrainement, puis une seconde tentative où ce fine-tuning est fait au moyen d'un critère d'entraînement semi-supervisé multi-tâches. Nos expériences montrent des performances prometteuses, notament avec l'architecture inspirée des modèles à énergie, justifiant du moins l'utilisation d'algorithmes d'apprentissage profonds pour résoudre le problème de la recommandation. / The age of information in which we have entered brings with it a whole new set of challenges to take up in many different fields. Making computers process this profuse information is one such challenge, and this thesis focuses on techniques adapted for automatically filtering and recommending to users items that will fit their tastes, in the somehow original context of an online multi-player game. Our objective is to predict players' ratings of the game's levels. We first introduce machine learning concepts necessary to understand the two architectures we then describe; both of which taking advantage of deep learning and unsupervised pre-training concepts to solve the recommendation problem. The first architecture is a multilayered neural network for which we try to explain different performances we get for different settings of depth, training heuristics and unsupervised pre-training methods, namely, straight, denoising and contrative auto-encoders. The second architecture we explore takes its roots in energy-based models. We give possible explanations for the various results it yields depending on the configurations we experimented with. Finally, we describe two successful improvements on this second architecture. The former is a supervised fine-tuning taking place after the unsupervised pre-training, and the latter is a tentative improvement of the fine-tuning phase by using a multi-tasking training criterion. Our experiments show promising results, especially with the architecture inspired from energy-based models, justifying the use of deep learning algorithms to solve the recommendation problem.

L'élastographie ultrasonore est une technique d'imagerie émergente destinée à cartographier les paramètres mécaniques des tissus biologiques, permettant ainsi d’obtenir des informations diagnostiques additionnelles pertinentes. La méthode peut ainsi être perçue comme une extension quantitative et objective de l'examen palpatoire. Diverses techniques élastographiques ont ainsi été proposées pour l'étude d'organes tels que le foie, le sein et la prostate et. L'ensemble des méthodes proposées ont en commun une succession de trois étapes bien définies: l'excitation mécanique (statique ou dynamique) de l'organe, la mesure des déplacements induits (réponse au stimulus), puis enfin, l'étape dite d'inversion, qui permet la quantification des paramètres mécaniques, via un modèle théorique préétabli. Parallèlement à la diversification des champs d'applications accessibles à l'élastographie, de nombreux efforts sont faits afin d'améliorer la précision ainsi que la robustesse des méthodes dites d'inversion. Cette thèse regroupe un ensemble de travaux théoriques et expérimentaux destinés à la validation de nouvelles méthodes d'inversion dédiées à l'étude de milieux mécaniquement inhomogènes. Ainsi, dans le contexte du diagnostic du cancer du sein, une tumeur peut être perçue comme une hétérogénéité mécanique confinée, ou inclusion, affectant la propagation d'ondes de cisaillement (stimulus dynamique). Le premier objectif de cette thèse consiste à formuler un modèle théorique capable de prédire l'interaction des ondes de cisaillement induites avec une tumeur, dont la géométrie est modélisée par une ellipse. Après validation du modèle proposé, un problème inverse est formulé permettant la quantification des paramètres viscoélastiques de l'inclusion elliptique. Dans la continuité de cet objectif, l'approche a été étendue au cas d'une hétérogénéité mécanique tridimensionnelle et sphérique avec, comme objectifs additionnels, l'applicabilité aux mesures ultrasonores par force de radiation, mais aussi à l'estimation du comportement rhéologique de l'inclusion (i.e., la variation des paramètres mécaniques avec la fréquence d'excitation). Enfin, dans le cadre de l'étude des propriétés mécaniques du sang lors de la coagulation, une approche spécifique découlant de précédents travaux réalisés au sein de notre laboratoire est proposée. Celle-ci consiste à estimer la viscoélasticité du caillot sanguin via le phénomène de résonance mécanique, ici induit par force de radiation ultrasonore. La méthode, dénommée ARFIRE (''Acoustic Radiation Force Induced Resonance Elastography'') est appliquée à l'étude de la coagulation de sang humain complet chez des sujets sains et sa reproductibilité est évaluée. / Ultrasound elastography is an emerging technology derived from the concept of manual palpation and dedicated to the mapping of biological tissue mechanical properties in a diagnostic context. Various elastographic approaches have been applied to the study of organs such as the liver, breast or prostate. All proposed techniques rely on a three-steps procedure: first, the tissue to be studied is mechanically excited, in a static or dynamic way. Induced displacements are then measured and used to estimate qualitatively or quantitatively mechanical properties of the medium. This step is called inversion. While application fields of elastography are constantly broadened, efforts are made to provide robust and accurate inversion algorithms. In this monography, theoretical and experimental works related to the development of new inversion methods dedicated to the study of mechanically inhomogeneous media in dynamic ultrasound elastography are provided. In the context of breast cancer diagnosis, a localized tumour can be assumed as a confined mechanical heterogeneity, also referred as an inclusion, which can disturb the propagation of shear waves (dynamic excitation). The first objective of this thesis is to provide a theoretical model to describe physical interactions occurring between incident shear waves and a tumour, here geometrically assumed as an ellipse. Once the theoretical model is validated, an inverse problem is formulated allowing further quantification of inclusion viscoelastic parameters. Aiming the development of realistic models, the previous work has been extended to the case of three dimensional spherical heterogeneities and adapted to the specific case of an acoustic radiation force excitation. Furthermore, the feasibility of assessing the medium rheological model (i.e., the frequency dependence of mechanical properties) is demonstrated. Finally, in the context of vascular diseases and blood coagulation, an inversion method based on the study of the mechanical resonance phenomenon induced by acoustic radiation force is proposed. The technique, termed ARFIRE (Acoustic Radiation Force Induced Resonance Elastography), is applied to human whole blood samples and the reproducibility of results is assessed.

Les volcans de boue, résultant de l'extrusion en surface de coulées boueuses riches en fluides, sont depuis longtemps étudiés à terre et en mer, principalement au sein des marges actives mais également sur les marges passives fortement sédimentées. L'intérêt de la communauté scientifique pour les volcans de boue sous-marins s'est développé du fait de leur importance potentielle dans de nombreux domaines, parmi lesquels : la stabilité des marges continentales (déstabilisations sédimentaires, risques sismique), les variations climatiques à plus ou moins long terme (dégagement de gaz à effet de serre dans l'hydrosphère et l'atmosphère), l'évolution des communautés biologiques profondes. L'analyse et la compréhension de ces structures présente enfin un fort intérêt économique notamment comme indicateurs de la présence et du comportement des hydrocarbures en offshore profond, ainsi qu'à travers le stockage d'une quantité de méthane importante sous forme d'hydrates de gaz, pouvant représenter une source énergétique potentielle.<br />Cette thèse fait partie des programmes internationaux et nationaux MEDINAUT et MEDINETH, dédiés à l'étude pluridisciplinaire du volcanisme boueux et des émissions de fluides en Méditerranée Orientale. En effet, une approche multidisciplinaire est requise pour comprendre les processus physico-chimiques d'interaction entre argilocinèse et phénomènes tels que : émissions de gaz, bactéries et communautés benthiques, stabilité des sédiments (débris flow) et tectonique récente ou active. <br />Le principal objectif de ce travail a été de déterminer les contrôles géologiques du volcanisme boueux dans cette région et les origines de la signature acoustique des produits de l'argilocinèse à travers l'acquisition, le traitement et l'interprétation de données géophysiques et géologiques aussi diverses que bathymétrie multifaisceaux, imagerie acoustique, sismique réflexion, gravimétrie, enregistrements de sonar tracté, ou encore vidéos et prélèvements “in situ” issus de plongées profondes. Ces données qui furent collectées durant diverses campagnes marines (ANAXIPROBE, PRISMED II, MEDINAUT, MEDINETH) sont détaillées au Chapitre 2. Cette thèse est divisée en deux parties: la première (Chapitres 3 et 4) examine la géologie et sédimentologie des dépôts argilocinétiques en Méditerranée Orientale, tandis que la seconde (Chapitre 5 et 6) est plus spécifiquement axée sur la déformation actuelle dans la région des Monts Anaximandre (à la jonction de l'Arc Héllenique et de l'Arc de Chypre) et ses relations avec la mise en place et l'évolution du volcanisme boueux.<br />Sédimentologie et géologie des dépôts d'argilocinèse en Méditerranée Orientale - Au Chapitre 3, les observations “in situ” de la surface des volcans de boue (analysées au travers des enregistrements vidéo acquis par caméra tractée ou submersible) ont révélé des caractéristiques communes aux suintements de fluides froids, tels qu'encroûtements carbonatées et faunes spécifiques. Les variations de rétrodiffusion du fond, observées sur les données acoustiques, ont pu être corrélées, grâce aux observations directes, à des variations d'activité des volcans de boue, exprimées par des changements lithologiques et des variations du degré de colonisation par la faune benthique. L'activité du volcanisme boueux présente en effet une grande variabilité liée à l'intensité des flux de fluides et, probablement, à l'âge des coulées boueuses et des suintements. La signature géophysique peut donc être directement attribuée aux variations d'activité du volcanisme boueux, mises en évidence à travers un certain nombre de paramètres principaux tels qu'émanations de fluides, éruptions de boue et peuplements biologiques, contrôlés par des dynamiques spatio-temporelles à différentes échelles.<br />Le Chapitre 4 discute l'environnement de dépôt, ainsi que l'âge et la profondeur de l'unité lithologique dont la brèche de boue est issue. L'analyse minéralogique de la matrice boueuse révèle un assemblage argileux similaire pour tous les échantillons, et dominé par la présence de smectite (jusqu'à 90% de la totalité des minéraux argileux). Ce cortège argileux est comparable aux unités terrigènes riches en smectite d'âge Messinien et démontre l'absence de transformations diagénétique, indiquant donc une faible profondeur de remobilisation pour le réservoir boueux. <br />Le contrôle tectonique du volcanisme boueux: exemple des Monts Anaximandre à la jonction de l'Arc Héllenique et de l'Arc de Chypre - Les Monts Anaximandre, représentent un complexe de trois monts sous-marins de plus de 1000 m de dénivelé détachés de la marge Turque. Ils forment avec les structures avoisinantes (la Ride de Florence et l'Angle d'Isparta au SW de la Turquie) une zone d'accommodation tectonique entre les déformations de la région Egéenne-Turque et la région chypriote. La déformation récente de la région est analysée dans le Chapitre 5 et indique que l'ajustement progressif de la collision s'effectue le long d'une large zone transpressive orientée NW-SE. Les volcans de boue se situent le long de la branche occidentale de l'Arc de Chypre (partie orientale des Monts Anaximandre et Ride de Florence) en association avec un réseau de failles normales à composante dextre orientées N150° parallèlement à la structure et de failles décrochantes senestres orientées N070°.<br />Le Chapitre 6 se concentre sur une analyse détaillée des relations entre les volcans de boue et les structures tectoniques à partir de données de sonar tracté couplé à un sondeur de sédiments (type O.R.E.Tech), obtenues lors de la campagne MEDINETH. La cartographie des failles associées à plusieurs volcans de boue des Monts Anaximandres et de la Ride de Florence indique que ceux-ci sont contrôlés structuralement. Les failles font office de conduit préférentiel pour l'expulsion de la boue et des fluides sous pression. Une relation avec les accidents majeurs et secondaires dans le champ de contraintes associé à la convergence a été mise en évidence. Cette analyse révèle le rôle fondamental des failles normales et décrochantes, suggérant que les contraintes extensives facilitent la remontée de la boue. <br />Le Chapitre 7 résume les principaux résultats des Chapitres 3 à 6 et les intègre dans le cadre du programme MEDMUD avec les résultats des analyses géochimiques et microbiologiques afin de déterminer les mécanismes à l'origine de l'apparition et de l'évolution des volcans de boue, ainsi que l'origine des phases solides et fluides du matériel extrudé.

Ces travaux de cette thèse s'inscrivent dans la thématique du développement de techniques de contrôle avancé des procédés dans l'industrie de la microélectronique. Leur but est la mise en place de boucles d'asservissement permettant d'ajuster les paramètres d'un procédé de fabrication en temps réel. Ces techniques ont été appliquées sur le bloc isolation des circuits de la technologie CMOS. L'utilisation de tranchées d'isolation peu profondes est la solution pour les technologies <0,25µm. L'influence de la morphologie du STI sur la génération des contraintes mécaniques est montrée. Des études statistiques ont permis de démontrer que la dispersion de la hauteur de marche (paramètre critique du module isolation) influence directement une dispersion de la tension de seuil des transistors parasites. Trois boucles de régulation sont proposées afin de réduire la dispersion de la hauteur de marche. L'indicateur électrique choisi pour le suivi des boucles de régulation R2R est la tension de seuil des transistors parasites. Les procédés concernés par ces régulations sont le dépôt CVD à haute densité plasma, le polissage mécano-chimique et la gravure humide. Les modèles physiques des procédés représentent le cœur d'une boucle de régulation et ont été déduis à partir de plans d'expériences.

La chronologie des recherches théoriques et numériques exposées dans cet ouvrage est étroitement liée à notre attachement à lexpérimental et aux préoccupations pratiques des grands projets de constructions hydrauliques. Les applications variées qui sont envisagées quotidiennement au HACH (Hydrodynamique Appliquée et Constructions Hydrauliques Secteur Mécanique des Solides, des Fluides et des Structures - Département ArGEnCo Université de Liège), dont plusieurs exemples sont présentés, ont permis didentifier aussi bien des pistes damélioration des modèles numériques existants au sein de la suite WOLF(suite logicielle intégrée développée par le HACH pour la modélisation et loptimisation des écoulements à surface libre), que des besoins en nouvelles potentialités de représentation. Cest de là que sont nés la plupart des développements détaillés ici, avec comme objectif principal laugmentation des capacités des logiciels du HACH pour laide à la gestion et au design douvrages hydrauliques. Le dimensionnement de structures hydrauliques, tout comme la majeure partie des problèmes touchant à lhydrodynamique des écoulements à surface libre rencontrés dans la pratique, nécessite des études à grande et petite échelles, à laide de modèles adaptés localement aux phénomènes représentés, et donc variables au sein dune même étude selon le point particulier examiné. Dautre part, loptimisation de la forme ou du fonctionnement douvrages hydrauliques requiert des outils de calibration robustes permettant une approche objective. Ces derniers doivent de plus être couplés à des logiciels de simulation dont la représentativité et les temps de calcul sont en accord avec les exigences de loptimisation. Ces deux constats principaux posent le cadre des recherches entreprises et sont à la base de la définition des objectifs du travail. Les premiers chapitres de développements sattachent à décrire le cadre numérique de la suite logicielle WOLF, et plus particulièrement des codes 1D et 2D. La rationalisation des temps de calcul des simulations filaires à grande échelle est améliorée à ce stade par limplémentation au sein du logiciel unidimensionnel dun schéma dintégration temporelle implicite, en parallèle du schéma explicite existant. De même, certaines améliorations sont déjà apportées au logiciel WOLF2D. Elles concernent lextension automatique du domaine de calcul en fonction des mailles immergées émergées, le traitement des termes sources de pente de fond et de frottement en accord avec une approche énergétique, la conservation volumique du modèle ainsi que la réorganisation de la filière de résolution des équations de façon à permettre une totale latitude dans le choix du modèle de calcul utilisé. Lenrichissement des potentialités de modélisation des outils de la suite WOLF est ensuite poursuivi par létablissement, limplémentation et lapplication à des cas théoriques et pratiques, dun modèle de turbulence adapté aux caractéristiques spécifiques de la simulation des écoulements intégrée sur la hauteur deau. Afin de dépasser les limitations, tant informatiques que de discrétisation, inhérentes à lutilisation dune taille de maille unique sur un domaine de simulation bidimensionnel, des développements sont entrepris pour permettre de mener les calculs bidimensionnels sur un maillage structuré cartésien constitué de plusieurs zones à la taille de maille différente. Dans le même ordre didée, des développements sont réalisés pour permettre lutilisation de lensemble des outils de modélisation disponibles au sein du logiciel WOLF2D de façon simultanée et automatique au sein dune même simulation. Létape ultime de ces développements est réalisée en couplant les modèles uni- et bidimensionnel au sein dune simulation unique. Une fois toutes ces étapes de développement des modèles hydrodynamiques franchies, un logiciel adapté de calage automatique de paramètres est mis au point. Utilisable avec nimporte quel code de la suite WOLF, il permet la calibration de lensemble des paramètres physiques présents au sein des logiciels hydrodynamiques, ainsi que la résolution de tout problème doptimisation ou de calibration à laide des mêmes modèles. La parallélisation de ce logiciel basé sur la méthode des Algorithmes Génétiques ouvre la porte à des applications denvergure, dont le dimensionnement hydraulique douvrages sur base de simulations bidimensionnelles découlements turbulents à surface libre sur maillage multibloc. A chaque étape, la validation des développements est réalisée de façon rigoureuse par la confrontation des résultats numériques à ceux de cas test, théoriques et expérimentaux, originaux ou proposés dans la littérature. De nombreux exemples dapplications pratiques illustrent l'ensemble des potentialités de modélisation développées et prouvent leur applicabilité et leur efficacité face aux problèmes pratiques rencontrés par les ingénieurs hydrauliciens./ The chronology of the theoretical and numerical researches outlined in this text is closely linked to our attachment to the physical modelling and to the practical concerns related to important hydraulic projects. The various applications carried out daily in the HACH (Applied Hydrodynamics and Hydraulic Constructions - Solid, Fluid and Structures Mechanics ArGEnCo Department University of Liege), several of the being presented here, enabled to identify the ways to improve the existing numerical models of WOLF (integrated software package developed by the HACH for free surface flows modelling), as well as needs in new representation potentialities. The most of the developments described in this text were born from there, with as main objective to increase the capacities of the HACHs models to help to the management and the design of hydraulic constructions. The hydraulic structures design, and the main part of the practical problems related to free surface flows hydrodynamics, requires both large and small scales studies, with reliable models locally suited to the represented phenomena, and thus variable in a single study depending on the particular point examined. On another hand, the shape and working optimization of hydraulic structures requires robust calibration tools allowing an objective approach. The latter have to be linked to simulation software with modelling capacities and computation times in agreement with the optimization requirements. Both these assessments specify the framework of the researches of this thesis and are at the roots of the definition of the objectives of this work. The first chapters of developments aim to describe the numerical framework of the WOLF package, and more particularly the 1D and 2D models. The rationalization of the computation times for large scale one-dimensional simulations is improved at this stage by implementing in the 1D solver an implicit time integration scheme in parallel to the existing explicit one. Similarly, some improvements have been brought to the solver WOLF2D. They concern the automatic extension of the computation domain regarding the wet and dry cells, the treatment of the slope and roughness source terms with an energetic approach, the water volume conservation as well as the reorganization of the equations resolution scheme in order to be totally free in the choice of the mathematical model to solve. The enrichment of the modelling potentialities of the WOLF software is then pursued by setting, implementing and applying an original turbulence model suited to the specific characteristics of the depth integrated flow modelling. In order to get over the computer and modelling limitations inherent in the use of a single mesh size to model a 2D domain, developments have been carried out to allow the realisation of two-dimensional computations on a structured Cartesian grid composed of several areas with different mesh sizes. In the same way, developments have been carried out to use the whole of the mathematical models available in WOLF2D simultaneously and automatically in a single simulation. The ultimate step of these developments consisted in linking the 1D and the 2D models in a single computation. Following all these steps of developments of hydrodynamic models, a suitable tool for parameters automatic calibration has been set up. Usable with any solver of the WOLF package, it allows the calibration of the whole of the physical parameters present in the hydrodynamic solvers, as well as the resolution of any calibration or optimization problem with these models. The final parallelisation of this Genetic Algorithms based tool opens the door to complex applications, such as the hydraulic design of structures on the basis of two-dimensional simulations of free surface turbulent flows on multiblock grid. At each step, the validation of the developments is rigorously performed through the comparison of the numerical results with those from test cases, theoretical or experimental, original or from the literature. Several practical applications examples illustrate the whole of the developed modelling potentialities and prove their applicability and efficiency facing the most of practical problems encountered by hydraulic engineers.

Cette thèse porte sur une classe d'algorithmes d'apprentissage appelés architectures profondes. Il existe des résultats qui indiquent que les représentations peu profondes et locales ne sont pas suffisantes pour la modélisation des fonctions comportant plusieurs facteurs de variation. Nous sommes particulièrement intéressés par ce genre de données car nous espérons qu'un agent intelligent sera en mesure d'apprendre à les modéliser automatiquement; l'hypothèse est que les architectures profondes sont mieux adaptées pour les modéliser. Les travaux de Hinton (2006) furent une véritable percée, car l'idée d'utiliser un algorithme d'apprentissage non-supervisé, les machines de Boltzmann restreintes, pour l'initialisation des poids d'un réseau de neurones supervisé a été cruciale pour entraîner l'architecture profonde la plus populaire, soit les réseaux de neurones artificiels avec des poids totalement connectés. Cette idée a été reprise et reproduite avec succès dans plusieurs contextes et avec une variété de modèles. Dans le cadre de cette thèse, nous considérons les architectures profondes comme des biais inductifs. Ces biais sont représentés non seulement par les modèles eux-mêmes, mais aussi par les méthodes d'entraînement qui sont souvent utilisés en conjonction avec ceux-ci. Nous désirons définir les raisons pour lesquelles cette classe de fonctions généralise bien, les situations auxquelles ces fonctions pourront être appliquées, ainsi que les descriptions qualitatives de telles fonctions. L'objectif de cette thèse est d'obtenir une meilleure compréhension du succès des architectures profondes. Dans le premier article, nous testons la concordance entre nos intuitions---que les réseaux profonds sont nécessaires pour mieux apprendre avec des données comportant plusieurs facteurs de variation---et les résultats empiriques. Le second article est une étude approfondie de la question: pourquoi l'apprentissage non-supervisé aide à mieux généraliser dans un réseau profond? Nous explorons et évaluons plusieurs hypothèses tentant d'élucider le fonctionnement de ces modèles. Finalement, le troisième article cherche à définir de façon qualitative les fonctions modélisées par un réseau profond. Ces visualisations facilitent l'interprétation des représentations et invariances modélisées par une architecture profonde. / This thesis studies a class of algorithms called deep architectures. We argue that models that are based on a shallow composition of local features are not appropriate for the set of real-world functions and datasets that are of interest to us, namely data with many factors of variation. Modelling such functions and datasets is important if we are hoping to create an intelligent agent that can learn from complicated data. Deep architectures are hypothesized to be a step in the right direction, as they are compositions of nonlinearities and can learn compact distributed representations of data with many factors of variation. Training fully-connected artificial neural networks---the most common form of a deep architecture---was not possible before Hinton (2006) showed that one can use stacks of unsupervised Restricted Boltzmann Machines to initialize or pre-train a supervised multi-layer network. This breakthrough has been influential, as the basic idea of using unsupervised learning to improve generalization in deep networks has been reproduced in a multitude of other settings and models. In this thesis, we cast the deep learning ideas and techniques as defining a special kind of inductive bias. This bias is defined not only by the kind of functions that are eventually represented by such deep models, but also by the learning process that is commonly used for them. This work is a study of the reasons for why this class of functions generalizes well, the situations where they should work well, and the qualitative statements that one could make about such functions. This thesis is thus an attempt to understand why deep architectures work. In the first of the articles presented we study the question of how well our intuitions about the need for deep models correspond to functions that they can actually model well. In the second article we perform an in-depth study of why unsupervised pre-training helps deep learning and explore a variety of hypotheses that give us an intuition for the dynamics of learning in such architectures. Finally, in the third article, we want to better understand what a deep architecture models, qualitatively speaking. Our visualization approach enables us to understand the representations and invariances modelled and learned by deeper layers.

L’accident thromboembolique veineux, tel que la thrombose veineuse profonde (TVP) ou thrombophlébite des membres inférieurs, est une pathologie vasculaire caractérisée par la formation d’un caillot sanguin causant une obstruction partielle ou totale de la lumière sanguine. Les embolies pulmonaires sont une complication mortelle des TVP qui surviennent lorsque le caillot se détache, circule dans le sang et produit une obstruction de la ramification artérielle irriguant les poumons. La combinaison d’outils et de techniques d’imagerie cliniques tels que les règles de prédiction cliniques (signes et symptômes) et les tests sanguins (D-dimères) complémentés par un examen ultrasonographique veineux (test de compression, écho-Doppler), permet de diagnostiquer les premiers épisodes de TVP. Cependant, la performance de ces outils diagnostiques reste très faible pour la détection de TVP récurrentes. Afin de diriger le patient vers une thérapie optimale, la problématique n’est plus basée sur la détection de la thrombose mais plutôt sur l’évaluation de la maturité et de l’âge du thrombus, paramètres qui sont directement corrélées à ses propriétés mécaniques (e.g. élasticité, viscosité). L’élastographie dynamique (ED) a récemment été proposée comme une nouvelle modalité d’imagerie non-invasive capable de caractériser quantitativement les propriétés mécaniques de tissus. L’ED est basée sur l’analyse des paramètres acoustiques (i.e. vitesse, atténuation, pattern de distribution) d’ondes de cisaillement basses fréquences (10-7000 Hz) se propageant dans le milieu sondé. Ces ondes de cisaillement générées par vibration externe, ou par source interne à l’aide de la focalisation de faisceaux ultrasonores (force de radiation), sont mesurées par imagerie ultrasonore ultra-rapide ou par résonance magnétique. Une méthode basée sur l’ED adaptée à la caractérisation mécanique de thromboses veineuses permettrait de quantifier la sévérité de cette pathologie à des fins d’amélioration diagnostique. Cette thèse présente un ensemble de travaux reliés au développement et à la validation complète et rigoureuse d’une nouvelle technique d’imagerie non-invasive élastographique pour la mesure quantitative des propriétés mécaniques de thromboses veineuses. L’atteinte de cet objectif principal nécessite une première étape visant à améliorer les connaissances sur le comportement mécanique du caillot sanguin (sang coagulé) soumis à une sollicitation dynamique telle qu’en ED. Les modules de conservation (comportement élastique, G’) et de perte (comportement visqueux, G’’) en cisaillement de caillots sanguins porcins sont mesurés par ED lors de la cascade de coagulation (à 70 Hz), et après coagulation complète (entre 50 Hz et 160 Hz). Ces résultats constituent les toutes premières mesures du comportement dynamique de caillots sanguins dans une gamme fréquentielle aussi étendue. L’étape subséquente consiste à mettre en place un instrument innovant de référence (« gold standard »), appelé RheoSpectris, dédié à la mesure de la viscoélasticité hyper-fréquence (entre 10 Hz et 1000 Hz) des matériaux et biomatériaux. Cet outil est indispensable pour valider et calibrer toute nouvelle technique d’élastographie dynamique. Une étude comparative entre RheoSpectris et la rhéométrie classique est réalisée afin de valider des mesures faites sur différents matériaux (silicone, thermoplastique, biomatériaux, gel). L’excellente concordance entre les deux technologies permet de conclure que RheoSpectris est un instrument fiable pour la mesure mécanique à des fréquences difficilement accessibles par les outils actuels. Les bases théoriques d’une nouvelle modalité d’imagerie élastographique, nommée SWIRE (« shear wave induced resonance dynamic elastography »), sont présentées et validées sur des fantômes vasculaires. Cette approche permet de caractériser les propriétés mécaniques d’une inclusion confinée (e.g. caillot sanguin) à partir de sa résonance (amplification du déplacement) produite par la propagation d’ondes de cisaillement judicieusement orientées. SWIRE a également l’avantage d’amplifier l’amplitude de vibration à l’intérieur de l’hétérogénéité afin de faciliter sa détection et sa segmentation. Finalement, la méthode DVT-SWIRE (« Deep venous thrombosis – SWIRE ») est adaptée à la caractérisation de l’élasticité quantitative de thromboses veineuses pour une utilisation en clinique. Cette méthode exploite la première fréquence de résonance mesurée dans la thrombose lors de la propagation d’ondes de cisaillement planes (vibration d’une plaque externe) ou cylindriques (simulation de la force de radiation par génération supersonique). DVT-SWIRE est appliquée sur des fantômes simulant une TVP et les résultats sont comparés à ceux donnés par l’instrument de référence RheoSpectris. Cette méthode est également utilisée avec succès dans une étude ex vivo pour l’évaluation de l’élasticité de thromboses porcines explantées après avoir été induites in vivo par chirurgie. / The venous thromboembolism such as the lower limb deep venous thrombosis (DVT) is a vascular pathology characterized by a blood clot formation that induces partial or total vessel lumen occlusion. Pulmonary embolism is a fatal complication of DVT where the clot detaches from the wall, circulates in the blood flow, and produces an obstruction of pulmonary arterial branches. The combination of clinical prediction rules (signs or symptoms) and blood tests (D-dimer testing) coupled to venous ultrasonography (i.e. compression ultrasonography, color Doppler) allows an accurate diagnosis of first DVT. Nevertheless, such clinical tools present poor results to detect recurrent thrombotic events. Then, in order to guide patients towards optimal therapy, the problem is no more to detect the presence of thrombus, but to evaluate its maturity and its age, which are correlated to their mechanical properties (e.g. elasticity, viscosity). The dynamic elastography (DE) has been recently proposed as a novel non-invasive imaging modality capable to characterize the quantitative mechanical properties of tissues. The DE is based on the analysis of acoustical parameters (i.e. velocity, attenuation, wave pattern) of low frequency (10-7000 Hz) shear waves propagating within the probed medium. Such shear waves generated by external vibration, or remotely using ultrasound beam focalisation (radiation force), were tracked using ultra-fast ultrasound or magnetic resonance imaging. A method based on DE and adapted to mechanical characterization of venous thrombosis may allow the quantification of diseases severity in order to improve the final diagnosis. This thesis presents the works related to the development and complete validation of a novel non-invasive elastography imaging method for the quantitative and reliable estimation of mechanical properties of venous thrombosis. In order to fulfil the main objective, it is first necessary to improve knowledge about mechanical behaviours of blood clot (coagulated blood) subjected to a dynamic solicitation similar to DE. The shear storage (elastic behaviour, G’) and loss (viscous behavior, G’’) moduli of porcine blood clots are measured by DE during the blood coagulation kinetics (at 70 Hz) and after completely coagulation (between 50 Hz and 160 Hz). These results are the first dynamic behaviour measurements of blood clots in such wide frequency range. The subsequent step consists in introducing an innovative reference instrument (« gold standard »), called RheoSpectris, dedicated to measure the hyper-frequency viscoelasticity (between 10 Hz and 1000 Hz) of materials and biomaterials. This tool is indispensable to validate new dynamic elastography techniques. A comparative study between RheoSpectris and classical rheometry is performed to validate the measurements on different materials (silicon, thermoplastic, biomaterials, gel). The excellent agreement between both technologies allows to conclude that RheoSpectris is a reliable instrument for mechanical measurements at high frequencies, which is not always possible with current tools. The theoretical basis of a novel elastographic imaging modality, labelled SWIRE (« shear wave induced resonance dynamic elastography ») is presented and validated on vascular phantoms. Such approach allows the characterization of mechanical properties of a confined inclusion (e.g. blood clot) from its resonance (displacement amplification) due to the propagation of judiciously oriented shear waves. SWIRE has also the advantage to amplify the vibration amplitude within the heterogeneity to help for its detection and segmentation. Finally, the method DVT-SWIRE ((« Deep venous thrombosis – SWIRE ») is adapted to the quantitative elasticity estimation of venous thrombosis in the context of clinical use. DVT-SWIRE exploits the first resonance frequency measured within the thrombosis during the plane (vibration of rigid plate) or cylindrical (simulating supersonic radiation force generation) shear waves propagation. The technique is applied on DVT phantoms and the results are compared to those given by the RheoSpectris reference instrument. This method is also used successfully in an ex vivo study for the elasticity assessment of explanted porcine thrombosis surgically induced in vivo.

Il est avant-tout question, dans ce mémoire, de la modélisation du timbre grâce à des algorithmes d'apprentissage machine. Plus précisément, nous avons essayé de construire un espace de timbre en extrayant des caractéristiques du son à l'aide de machines de Boltzmann convolutionnelles profondes. Nous présentons d'abord un survol de l'apprentissage machine, avec emphase sur les machines de Boltzmann convolutionelles ainsi que les modèles dont elles sont dérivées. Nous présentons aussi un aperçu de la littérature concernant les espaces de timbre, et mettons en évidence quelque-unes de leurs limitations, dont le nombre limité de sons utilisés pour les construire. Pour pallier à ce problème, nous avons mis en place un outil nous permettant de générer des sons à volonté. Le système utilise à sa base des plug-ins qu'on peut combiner et dont on peut changer les paramètres pour créer une gamme virtuellement infinie de sons. Nous l'utilisons pour créer une gigantesque base de donnée de timbres générés aléatoirement constituée de vrais instruments et d'instruments synthétiques. Nous entrainons ensuite les machines de Boltzmann convolutionnelles profondes de façon non-supervisée sur ces timbres, et utilisons l'espace des caractéristiques produites comme espace de timbre. L'espace de timbre ainsi obtenu est meilleur qu'un espace semblable construit à l'aide de MFCC. Il est meilleur dans le sens où la distance entre deux timbres dans cet espace est plus semblable à celle perçue par un humain. Cependant, nous sommes encore loin d'atteindre les mêmes capacités qu'un humain. Nous proposons d'ailleurs quelques pistes d'amélioration pour s'en approcher. / This thesis presents a novel way of modelling timbre using machine learning algorithms. More precisely, we have attempted to build a timbre space by extracting audio features using deep-convolutional Boltzmann machines. We first present an overview of machine learning with an emphasis on convolutional Boltzmann machines as well as models from which they are derived. We also present a summary of the literature relevant to timbre spaces and highlight their limitations, such as the small number of timbres used to build them. To address this problem, we have developed a sound generation tool that can generate as many sounds as we wish. At the system's core are plug-ins that are parameterizable and that we can combine to create a virtually infinite range of sounds. We use it to build a massive randomly generated timbre dataset that is made up of real and synthesized instruments. We then train deep-convolutional Boltzmann machines on those timbres in an unsupervised way and use the produced feature space as a timbre space. The timbre space we obtain is a better space than a similar space built using MFCCs. We consider it as better in the sense that the distance between two timbres in that space is more similar to the one perceived by a human listener. However, we are far from reaching the performance of a human. We finish by proposing possible improvements that could be tried to close our performance gap.

L'ère numérique dans laquelle nous sommes entrés apporte une quantité importante de nouveaux défis à relever dans une multitude de domaines. Le traitement automatique de l'abondante information à notre disposition est l'un de ces défis, et nous allons ici nous pencher sur des méthodes et techniques adaptées au filtrage et à la recommandation à l'utilisateur d'articles adaptés à ses goûts, dans le contexte particulier et sans précédent notable du jeu vidéo multi-joueurs en ligne. Notre objectif est de prédire l'appréciation des niveaux par les joueurs. Au moyen d'algorithmes d'apprentissage machine modernes tels que les réseaux de neurones profonds avec pré-entrainement non-supervisé, que nous décrivons après une introduction aux concepts nécessaires à leur bonne compréhension, nous proposons deux architectures aux caractéristiques différentes bien que basées sur ce même concept d'apprentissage profond. La première est un réseau de neurones multi-couches pour lequel nous tentons d'expliquer les performances variables que nous rapportons sur les expériences menées pour diverses variations de profondeur, d'heuristique d'entraînement, et des méthodes de pré-entraînement non-supervisé simple, débruitant et contractant. Pour la seconde architecture, nous nous inspirons des modèles à énergie et proposons de même une explication des résultats obtenus, variables eux aussi. Enfin, nous décrivons une première tentative fructueuse d'amélioration de cette seconde architecture au moyen d'un fine-tuning supervisé succédant le pré-entrainement, puis une seconde tentative où ce fine-tuning est fait au moyen d'un critère d'entraînement semi-supervisé multi-tâches. Nos expériences montrent des performances prometteuses, notament avec l'architecture inspirée des modèles à énergie, justifiant du moins l'utilisation d'algorithmes d'apprentissage profonds pour résoudre le problème de la recommandation. / The age of information in which we have entered brings with it a whole new set of challenges to take up in many different fields. Making computers process this profuse information is one such challenge, and this thesis focuses on techniques adapted for automatically filtering and recommending to users items that will fit their tastes, in the somehow original context of an online multi-player game. Our objective is to predict players' ratings of the game's levels. We first introduce machine learning concepts necessary to understand the two architectures we then describe; both of which taking advantage of deep learning and unsupervised pre-training concepts to solve the recommendation problem. The first architecture is a multilayered neural network for which we try to explain different performances we get for different settings of depth, training heuristics and unsupervised pre-training methods, namely, straight, denoising and contrative auto-encoders. The second architecture we explore takes its roots in energy-based models. We give possible explanations for the various results it yields depending on the configurations we experimented with. Finally, we describe two successful improvements on this second architecture. The former is a supervised fine-tuning taking place after the unsupervised pre-training, and the latter is a tentative improvement of the fine-tuning phase by using a multi-tasking training criterion. Our experiments show promising results, especially with the architecture inspired from energy-based models, justifying the use of deep learning algorithms to solve the recommendation problem.