Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

La thèse s'intéresse à trois problèmes de modélisation non-linéaire : la classification (ou reconnaissance de formes), la régression (ou approximation de fonctions) et l'identification de systèmes hybrides. Parmi les approches existantes dans la littérature, les machines à vecteurs de support (Support Vector Machines, SVMs) fournissent un cadre général pour la classification et la régression non-linéaires. Ces méthodes récentes, issues de la théorie de l'apprentissage statistique, permettent d'obtenir des modèles boîtes noires, conduisant à de bonnes performances en généralisation, par optimisation convexe. L'étude se concentre dans un premier temps sur l'évolution de ces modèles vers des modèles de type boîte grise, permettant de bénéficier à la fois de la capacité d'approximation universelle des modèles boîtes noires et de connaissances disponibles a priori. Dans ce cadre, la thèse propose une approche générale, permettant d'inclure un grand nombre de connaissances diverses dans l'apprentissage SVM pour la régression, tout en conservant un apprentissage par optimisation convexe. La dernière partie de la thèse propose ensuite d'étendre les SVMs à l'identification de systèmes hybrides (systèmes commutant entre plusieurs modes de fonctionnement). Dans ce contexte, les problèmes de classification et de régression sont liés de manière indissociable. Une méthode basée sur l'optimisation non-convexe est proposée pour résoudre simultanément ces problèmes. Celle-ci permet notamment d'identifier des systèmes hybrides possédant des non-linéarités arbitraires et inconnues.

Ces travaux concernent la localisation et la reconstruction de surfaces cylindriques sur lesquelles sont projetées ou plaquées des scènes que le capteur perçoit comme des images. Du fait d'une étude limitée à la vision monoculaire, l'utilisation de connaissances a priori est nécessaire. On se propose d'approfondir des méthodes intégrant des contours contenus dans l'image, qui sont supposés être des projections de sections de Cylindres Généralisés Homogènes à axe Droit (CGHD). Les résultats sont appliqués principalement au domaine des oeuvres d'art comme les peintures sur voutes ou les fresques sur colonnes. Compte tenu de la limitation du champ d'observation des capteurs, nous sommes aussi amenés à aborder le problème de mosaïque de surfaces. Dans un premier temps nous présentons un ensemble de définitions concernant le modèle d'une caméra et les surfaces cylindriques généralisées, nous développons les connaissances a priori utilisées et le contexte d'application reliant le traitement d'images et les oeuvres d'art. Nous décrivons alors des mèthodes de localisation de Cylindres Généralisés Uniformes à axe Droit (CGUD) dans le repère de la caméra. Nous présentons deux mèthodes de détection de la projection de l'axe d'un CGUD, puis nous décrivons comment obtenir un deuxième axe dans l'image. Nous interprétons alors la signification de ces deux axes. Nous décrivons ensuite une méthode de reconstruction 3D de CGUD pouvant être étendue aux CGHD de sections fermées circulaires ou elliptiques, ou de sections ouvertes paraboliques ou elliptiques. Dans un premier temps, nous démontrons que l'évolution des courbures des ellipses dans l'image, projections de sections du CGUD de sections circulaires, est fonction linéaire de l'altitude de la section dans l'espace 3D. Nous étendons ces travaux aux problèmes de mosaïques de surfaces cylindriques. Nous analysons les distorsions dues à la projection perspective sur le plan image d'une scène issue d'une surface cylindrique. Nous présentons aussi une estimation du nombre de vues d'un CGUD nécessaire pour obtenir une scène complète. Tout au long de ces travaux, des résultats issus d'images synthètiques ou de peintures illustrent les méthodes développées.

En imagerie nucléaire (scintigraphie, TEMP, TEP), les diagnostics sont fréquemment faits à l'aide des courbes d'activité temporelles des différents organes et tissus étudiés. Ces courbes représentent l'évolution de la distribution d'un traceur radioactif injecté dans le patient. Leur obtention est compliquée par la superposition des organes et des tissus dans les séquences d'images 2D, et il convient donc de séparer les différentes contributions présentes dans les pixels. Le problème de séparation de sources sous-jacent étant sous-déterminé, nous proposons d'y faire face dans cette thèse en exploitant différentes connaissances a priori d'ordre spatial et temporel sur les sources. Les principales connaissances intégrées ici sont les régions d'intérêt (ROI) des sources qui apportent des informations spatiales riches. Contrairement aux travaux antérieurs qui ont une approche binaire, nous intégrons cette connaissance de manière robuste à la méthode de séparation, afin que cette dernière ne soit pas sensible aux variations inter et intra-utilisateurs dans la sélection des ROI. La méthode de séparation générique proposée prend la forme d'une fonctionnelle à minimiser, constituée d'un terme d'attache aux données ainsi que de pénalisations et de relâchements de contraintes exprimant les connaissances a priori. L'étude sur des images de synthèse montrent les bons résultats de notre approche par rapport à l'état de l'art. Deux applications, l'une sur les reins, l'autre sur le cœur illustrent les résultats sur des données cliniques réelles. / In nuclear imaging (scintigraphy, SPECT, PET), diagnostics are often made with time activity curves (TAC) of organs and tissues. These TACs represent the dynamic evolution of tracer distribution inside patient's body. Extraction of TACs can be complicated by overlapping in the 2D image sequences, hence source separation methods must be used in order to extract TAC properly. However, the underlying separation problem is underdetermined. We propose to overcome this difficulty by adding some spatial and temporal prior knowledge about sources on the separation process. The main knowledge used in this work is region of interest (ROI) of organs and tissues. Unlike state of the art methods, ROI are integrated in a robust way in our method, in order to face user-dependancy in their selection. The proposed method is generic and minimize an objective function composed with a data fidelity criterion, penalizations and relaxations expressing prior knowledge. Results on synthetic datasets show the efficiency of the proposed method compare to state of the art methods. Two clinical applications on the kidney and on the heart are also adressed.

Les modèles de réseaux de neurones et en particulier les modèles profonds sont aujourd'hui l'un des modèles à l'état de l'art en apprentissage automatique et ses applications. Les réseaux de neurones profonds récents possèdent de nombreuses couches cachées ce qui augmente significativement le nombre total de paramètres. L'apprentissage de ce genre de modèles nécessite donc un grand nombre d'exemples étiquetés, qui ne sont pas toujours disponibles en pratique. Le sur-apprentissage est un des problèmes fondamentaux des réseaux de neurones, qui se produit lorsque le modèle apprend par coeur les données d'apprentissage, menant à des difficultés à généraliser sur de nouvelles données. Le problème du sur-apprentissage des réseaux de neurones est le thème principal abordé dans cette thèse. Dans la littérature, plusieurs solutions ont été proposées pour remédier à ce problème, tels que l'augmentation de données, l'arrêt prématuré de l'apprentissage ("early stopping"), ou encore des techniques plus spécifiques aux réseaux de neurones comme le "dropout" ou la "batch normalization". Dans cette thèse, nous abordons le sur-apprentissage des réseaux de neurones profonds sous l'angle de l'apprentissage de représentations, en considérant l'apprentissage avec peu de données. Pour aboutir à cet objectif, nous avons proposé trois différentes contributions. La première contribution, présentée dans le chapitre 2, concerne les problèmes à sorties structurées dans lesquels les variables de sortie sont à grande dimension et sont généralement liées par des relations structurelles. Notre proposition vise à exploiter ces relations structurelles en les apprenant de manière non-supervisée avec des autoencodeurs. Nous avons validé notre approche sur un problème de régression multiple appliquée à la détection de points d'intérêt dans des images de visages. Notre approche a montré une accélération de l'apprentissage des réseaux et une amélioration de leur généralisation. La deuxième contribution, présentée dans le chapitre 3, exploite la connaissance a priori sur les représentations à l'intérieur des couches cachées dans le cadre d'une tâche de classification. Cet à priori est basé sur la simple idée que les exemples d'une même classe doivent avoir la même représentation interne. Nous avons formalisé cet à priori sous la forme d'une pénalité que nous avons rajoutée à la fonction de perte. Des expérimentations empiriques sur la base MNIST et ses variantes ont montré des améliorations dans la généralisation des réseaux de neurones, particulièrement dans le cas où peu de données d'apprentissage sont utilisées. Notre troisième et dernière contribution, présentée dans le chapitre 4, montre l'intérêt du transfert d'apprentissage ("transfer learning") dans des applications dans lesquelles peu de données d'apprentissage sont disponibles. L'idée principale consiste à pré-apprendre les filtres d'un réseau à convolution sur une tâche source avec une grande base de données (ImageNet par exemple), pour les insérer par la suite dans un nouveau réseau sur la tâche cible. Dans le cadre d'une collaboration avec le centre de lutte contre le cancer "Henri Becquerel de Rouen", nous avons construit un système automatique basé sur ce type de transfert d'apprentissage pour une application médicale où l'on dispose d’un faible jeu de données étiquetées. Dans cette application, la tâche consiste à localiser la troisième vertèbre lombaire dans un examen de type scanner. L’utilisation du transfert d’apprentissage ainsi que de prétraitements et de post traitements adaptés a permis d’obtenir des bons résultats, autorisant la mise en oeuvre du modèle en routine clinique. / Neural network models and deep models are one of the leading and state of the art models in machine learning. They have been applied in many different domains. Most successful deep neural models are the ones with many layers which highly increases their number of parameters. Training such models requires a large number of training samples which is not always available. One of the fundamental issues in neural networks is overfitting which is the issue tackled in this thesis. Such problem often occurs when the training of large models is performed using few training samples. Many approaches have been proposed to prevent the network from overfitting and improve its generalization performance such as data augmentation, early stopping, parameters sharing, unsupervised learning, dropout, batch normalization, etc. In this thesis, we tackle the neural network overfitting issue from a representation learning perspective by considering the situation where few training samples are available which is the case of many real world applications. We propose three contributions. The first one presented in chapter 2 is dedicated to dealing with structured output problems to perform multivariate regression when the output variable y contains structural dependencies between its components. Our proposal aims mainly at exploiting these dependencies by learning them in an unsupervised way. Validated on a facial landmark detection problem, learning the structure of the output data has shown to improve the network generalization and speedup its training. The second contribution described in chapter 3 deals with the classification task where we propose to exploit prior knowledge about the internal representation of the hidden layers in neural networks. This prior is based on the idea that samples within the same class should have the same internal representation. We formulate this prior as a penalty that we add to the training cost to be minimized. Empirical experiments over MNIST and its variants showed an improvement of the network generalization when using only few training samples. Our last contribution presented in chapter 4 showed the interest of transfer learning in applications where only few samples are available. The idea consists in re-using the filters of pre-trained convolutional networks that have been trained on large datasets such as ImageNet. Such pre-trained filters are plugged into a new convolutional network with new dense layers. Then, the whole network is trained over a new task. In this contribution, we provide an automatic system based on such learning scheme with an application to medical domain. In this application, the task consists in localizing the third lumbar vertebra in a 3D CT scan. A pre-processing of the 3D CT scan to obtain a 2D representation and a post-processing to refine the decision are included in the proposed system. This work has been done in collaboration with the clinic "Rouen Henri Becquerel Center" who provided us with data