Le développement récent de l'apprentissage profond a permis une importante amélioration des résultats dans le domaine de l'analyse d'image. Cependant, la conception d'architectures d'apprentissage profond à même de résoudre efficacement les tâches d'analyse d'image est loin d'être simple. De plus, le succès des approches d'apprentissage profond dépend fortement de la disponibilité de données en grande quantité étiquetées manuellement (par des humains), ce qui est à la fois coûteux et peu pratique lors du passage à grande échelle. Dans ce contexte, l'objectif de cette thèse est d'explorer des approches basées sur l'apprentissage profond pour certaines tâches de compréhension de l'image qui permettraient d'augmenter l'efficacité avec laquelle celles-ci sont effectuées ainsi que de rendre le processus d'apprentissage moins dépendant à la disponibilité d'une grande quantité de données annotées à la main. Nous nous sommes d'abord concentrés sur l'amélioration de l'état de l'art en matière de détection d'objets. Plus spécifiquement, nous avons tenté d'améliorer la capacité des systèmes de détection d'objets à reconnaître des instances d'objets (même difficiles à distinguer) en proposant une représentation basée sur des réseaux de neurone convolutionnels prenant en compte le aspects multi-région et de segmentation sémantique, et capable de capturer un ensemble diversifié de facteurs d'apparence discriminants. De plus, nous avons visé à améliorer la précision de localisation des systèmes de détection d'objets en proposant des schémas itératifs de détection d'objets et un nouveau modèle de localisation pour estimer la boîte de délimitation d'un objet. En ce qui concerne le problème de l'étiquetage des images à l'échelle du pixel, nous avons exploré une famille d'architectures de réseaux de neurones profonds qui effectuent une prédiction structurée des étiquettes de sortie en apprenant à améliorer (itérativement) une estimation initiale de celles-ci. L'objectif est d'identifier l'architecture optimale pour la mise en œuvre de tels modèles profonds de prévision structurée. Dans ce contexte, nous avons proposé de décomposer la tâche d'amélioration de l'étiquetage en trois étapes : 1) détecter les estimations initialement incorrectes des étiquettes, 2) remplacer les étiquettes incorrectes par de nouvelles étiquettes, et finalement 3) affiner les étiquettes renouvelées en prédisant les corrections résiduelles. Afin de réduire la dépendance à l'effort d'annotation humaine, nous avons proposé une approche d'apprentissage auto-supervisée qui apprend les représentations sémantiques d'images à l'aide d'un réseau de neurones convolutionnel en entraînant ce dernier à reconnaître la rotation 2d qui est appliquée à l'image qu'il reçoit en entrée. Plus précisément, les caractéristiques de l'image tirées de cette tâche de prédiction de rotation donnent de très bons résultats lorsqu'elles sont transférées sur les autres tâches de détection d'objets et de segmentation sémantique, surpassant les approches d'apprentissage antérieures non supervisées et réduisant ainsi l'écart avec le cas supervisé. Enfin, nous avons proposé un nouveau système de reconnaissance d'objets qui, après son entraînement, est capable d'apprendre dynamiquement de nouvelles catégories à partir de quelques exemples seulement (typiquement, seulement un ou cinq), sans oublier les catégories sur lesquelles il a été formé. Afin de mettre en œuvre le système de reconnaissance proposé, nous avons introduit deux nouveautés techniques, un générateur de poids de classification basé sur l'attention et un modèle de reconnaissance basé sur un réseau neuronal convolutionnel dont le classificateur est implémenté comme une fonction de similarité cosinusienne entre les représentations de caractéristiques et les vecteurs de classification / Recent development in deep learning have achieved impressive results on image understanding tasks. However, designing deep learning architectures that will effectively solve the image understanding tasks of interest is far from trivial. Even more, the success of deep learning approaches heavily relies on the availability of large-size manually labeled (by humans) data. In this context, the objective of this dissertation is to explore deep learning based approaches for core image understanding tasks that would allow to increase the effectiveness with which they are performed as well as to make their learning process more annotation efficient, i.e., less dependent on the availability of large amounts of manually labeled training data. We first focus on improving the state-of-the-art on object detection. More specifically, we attempt to boost the ability of object detection systems to recognize (even difficult) object instances by proposing a multi-region and semantic segmentation-aware ConvNet-based representation that is able to capture a diverse set of discriminative appearance factors. Also, we aim to improve the localization accuracy of object detection systems by proposing iterative detection schemes and a novel localization model for estimating the bounding box of the objects. We demonstrate that the proposed technical novelties lead to significant improvements in the object detection performance of PASCAL and MS COCO benchmarks. Regarding the pixel-wise image labeling problem, we explored a family of deep neural network architectures that perform structured prediction by learning to (iteratively) improve some initial estimates of the output labels. The goal is to identify which is the optimal architecture for implementing such deep structured prediction models. In this context, we propose to decompose the label improvement task into three steps: 1) detecting the initial label estimates that are incorrect, 2) replacing the incorrect labels with new ones, and finally 3) refining the renewed labels by predicting residual corrections w.r.t. them. We evaluate the explored architectures on the disparity estimation task and we demonstrate that the proposed architecture achieves state-of-the-art results on the KITTI 2015 benchmark.In order to accomplish our goal for annotation efficient learning, we proposed a self-supervised learning approach that learns ConvNet-based image representations by training the ConvNet to recognize the 2d rotation that is applied to the image that it gets as input. We empirically demonstrate that this apparently simple task actually provides a very powerful supervisory signal for semantic feature learning. Specifically, the image features learned from this task exhibit very good results when transferred on the visual tasks of object detection and semantic segmentation, surpassing prior unsupervised learning approaches and thus narrowing the gap with the supervised case.Finally, also in the direction of annotation efficient learning, we proposed a novel few-shot object recognition system that after training is capable to dynamically learn novel categories from only a few data (e.g., only one or five training examples) while it does not forget the categories on which it was trained on. In order to implement the proposed recognition system we introduced two technical novelties, an attention based few-shot classification weight generator, and implementing the classifier of the ConvNet based recognition model as a cosine similarity function between feature representations and classification vectors. We demonstrate that the proposed approach achieved state-of-the-art results on relevant few-shot benchmarks

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Nous nous intéressons au problème de la prédiction de l’occurrence d’une baisse de prix pour fournir un conseil à l’achat immédiat ou reporté d’un voyage sur un site web de comparaison des prix. La méthodologie proposée repose sur l’apprentissage statistique d’un modèle d’évolution du prix à partir de l’information conjointe d’attributs du voyage considéré et d’observations passées du prix et de la "popularité" celui-ci. L’originalité principale consiste à représenter l’évolution des prix par le processus ponctuel inhomogène des sauts de celui-ci. A partir d’une base de données constituée par liligo.com, nous mettons en oeuvre une méthode d’apprentissage d’un modèle d’évolution des prix. Ce modèle permet de fournir un prédicteur de l’occurrence d’une baisse du prix sur une période future donnée et donc de prodiguer un conseil d’achat ou d’attente au client. / The goal of this paper is to consider the design of decision-making tools in the context of varying travel prices from the customer’s perspective. Based on vast streams of heterogeneous historical data collected through the internet, we describe here two approaches to forecasting travel price changes at a given horizon, taking as input variables a list of descriptive characteristics of the flight, together with possible features of the past evolution of the related price series. Though heterogeneous in many respects ( e.g. sampling, scale), the collection of historical prices series is here represented in a unified manner, by marked point processes (MPP). State-of-the-art supervised learning algorithms, possibly combined with a preliminary clustering stage, grouping flights whose related price series exhibit similar behavior, can be next used in order to help the customer to decide when to purchase her/his ticket.

Analyse intégrative de données génomiques et pharmacologiques pour améliorer la prédiction de la réponse aux thérapies cibléesL'utilisation de thérapies ciblées dans le contexte de la médecine personnalisée du cancer a permis d’améliorer le traitement des patients dans différents types de cancer. Cependant, alors que la décision thérapeutique est basée sur une unique altération moléculaire (par exemple une mutation ou un changement du nombre de copies d’un gène), les tumeurs montrent différents degrés de réponse. Dans cette thèse, nous démontrons que la décision thérapeutique basée sur une unique altération n’est pas optimale et nous proposons un modèle mathématique intégrant des données génomiques et pharmacologiques pour identifier de nouveaux biomarqueurs prédictifs de la réponse thérapeutique. Le modèle a été construit à partir de deux bases de données de lignées cellulaires (the Genomics of Drug Sensitivity in Cancer, GDSC and the Cancer Cell Line Encyclopedia, CCLE) et validé avec des données de lignées et des données cliniques. De plus, nous avons également développé une nouvelle méthode pour améliorer la détection des mutations somatiques à partir de données de séquençage d'exomes complets et proposons un nouvel outil, cmDetect, disponible gratuitement pour la communauté scientifique. / Integrated analysis of genomic and pharmacological data to better predict the response to targeted therapiesThe use of targeted therapies in the context of cancer personalized medicine has shown great improvement of patients’ treatment in different cancer types. However, while the therapeutic decision is based on a single molecular alteration (for example a mutation or a gene copy number change), tumors will show different degrees of response. In this thesis, we demonstrate that a therapeutic decision based on a unique alteration is not optimal and we propose a mathematical model integrating genomic and pharmacological data to identify new single predictive biomarkers as well as combinations of biomarkers of therapy response. The model was trained using two public large-scale cell line data sets (the Genomics of Drug Sensitivity in Cancer, GDSC and the Cancer Cell Line Encyclopedia, CCLE) and validated with cell line and clinical data. Additionally, we also developed a new method for improving the detection of somatic mutations using whole exome sequencing data and propose a new tool, cmDetect, freely available to the scientific community.

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

La fréquentation des garderies améliore la préparation scolaire et la réussite scolaire, en particulier pour les enfants issus de ménages socio-économiques défavorisés. Plus généralement, la garderie pourrait réduire les contributions de l’environnement familial à la préparation scolaire. Dans ce mémoire, j’ai utilisé un échantillon prospectif, populationnel et génétiquement descriptif de 648 paires de jumeaux pour effectuer une analyse d'interaction gènes-environnement et évaluer comment la fréquentation de la garderie modère les contributions génétiques, de l'environnement partagé et de l'environnement unique à la préparation scolaire. J’ai montré qu'un nombre élevé d'heures de fréquentation de la garderie diminue la contribution de l'environnement partagé (mais pas de la génétique et de l'environnement unique) à la préparation scolaire. Certaines recherches antérieures avaient démontré que les garderies diminuent l'impact des caractéristiques familiales spécifiques négatives (p. ex. statut socio-économique faible, faible stimulation maternelle, faible scolarité maternelle). Mes résultats supportent l’idée que la fréquentation de la garderie est associée plus généralement à une diminution de l'influence totale de la famille sur les habiletés scolaires. Ainsi, la garderie pourrait agir comme un environnement normalisateur, en diminuant les différences entre les familles et en protégeant d'un environnement familial moins stimulant. Ces résultats présentent la garderie comme un moyen d'assurer que chaque enfant ait une chance égale d'apprendre avant l'entrée à l'école. Cependant, sa nonuniversalité et son accès restreint créent une situation pernicieuse dans laquelle les enfants issus de familles à faible niveau socio-économique sont moins susceptibles de s'inscrire à la garderie, bien que ce soient eux qui en bénéficieraient le plus. / Daycare attendance improves school readiness and school achievement, especially for children from disadvantaged socio-economic households. More broadly, daycare could potentially decrease the total family contribution to school readiness. In this study, we used a prospective, population-based and genetically descriptive sample of 648 pairs of twins to compute a gene-environment interaction analysis. We assessed how daycare attendance moderates genetic, shared environmental and unshared environmental contributions to school readiness. We show that a high number of hours per week decreases the shared environmental contributions to school readiness (but not the genetic and unique environmental contributions). Past researches have shown that formal daycare reduces the impact of negative specific family characteristics (e.g., low socio-economic status, low maternal stimulation, low maternal education). Our results support the idea that daycare attendance decreases more generally the family-wide influence on school abilities. Daycare could potentially act as a normalizing environment, decreasing differences between families and possibly buffering from the negative effect of less stimulating home environments. These results pose daycare as a way to ensure every child has an equal opportunity of learning before school entry. However, its non-universality and its restricted access create a deleterious situation in which children from lower socio-economic status families are less likely to enroll in daycare, but they are the ones who would benefit the most from it.

Le rendement scolaire est un élément essentiel pour le succès socioéconomique, le bien-être personnel et la santé physique des individus. Par conséquent, il est nécessaire de bien comprendre les facteurs associés et les déterminants du rendement scolaire. Alors qu’il est clair que les habiletés cognitives fluides (habiletés cognitives visuo-spatiales, flexibilité cognitive, mémoire à court terme) et cristallisées (connaissances précoces des lettres et des nombres) sont de bons prédicteurs du rendement scolaire, les processus qui sous-tendent leurs associations avec le rendement scolaire sont encore ambigus. Dans le cadre de la présente thèse de doctorat, deux échantillons populationnels ont été utilisés pour documenter le rôle médiateur des habiletés cristallisées préscolaires sur la relation entre les habiletés fluides préscolaires et le rendement scolaire au primaire. Les modèles d’équations structurelles ont montré que les habiletés cristallisées préscolaires sont un médiateur de la relation entre les habiletés fluides et le rendement scolaire au début du primaire. En d’autres mots, l’association entre les habiletés fluides et le rendement scolaire est expliquée par les habiletés cristallisées. Les résultats montrent également que les habiletés cristallisées prédisent le rendement scolaire au-delà des habiletés fluides, mais seulement au début du primaire. De plus, des modélisations génétiques effectuées sur le rendement scolaire au primaire montrent que celui-ci est majoritairement expliqué par des facteurs génétiques et que le rôle de ces facteurs génétiques augmente au début du primaire, au détriment des facteurs environnementaux. Les résultats révèlent aussi des facteurs génétiques et environnementaux qui sont communs aux habiletés cognitives préscolaires et au rendement scolaire durant tout le primaire. De plus, des facteurs génétiques indépendants des habiletés fluides sont communs aux habiletés cristallisées et au rendement scolaire. Ensemble, ces résultats mettent en évidence le rôle central des habiletés cristallisées pour le rendement scolaire futur et renforcent l’importance d’intervenir durant la période préscolaire pour éviter le développement de difficultés académiques futures.

La prédiction in silico de la structure tridimensionnelle d'une protéine à partir de sa séquence en acides aminés constitue un défi scientifique d'intérêt majeur. Il est à présent admis que les structures protéiques peuvent être décrites à partir d'un répertoire limité de structures locales récurrentes. Cette observation a conduit au développement de techniques de prédiction de la structure 3D par assemblage de fragments. Ces techniques sont aujourd'hui parmi les plus performantes. Dans ce contexte, la prédiction des structures locales constitue une première étape vers la prédiction de la structure 3D globale d'une protéine. Mon travail de thèse porte principalement sur l'étude des structures protéiques locales à travers deux thèmes : (i) la prédiction des structures locales à partir de la séquence et (ii) l'analyse de la prédictibilité des structures locales en fonction de la flexibilité des structures protéiques. Ces études reposent sur une bibliothèque de 120 fragments chevauchants de 11 résidus de long précédemment développée au sein du laboratoire. Une méthode de prédiction des structures locales à partir de la séquence avait également été mise en place et permettait d'obtenir un taux de prédiction correct de 51 %. La prise en compte de données évolutionnaires couplée à l'utilisation de Machines à Vecteurs de Support a permis d'améliorer la prédiction des structures locales jusqu'à 63 % de prédiction correctes. De plus, un indice de confiance permettant d'évaluer directement la qualité de la prédiction et ainsi d'identifier les régions plus ardues à prédire a été mis au point. Par ailleurs, la structure des protéines n'est pas rigide. Ainsi, j'ai étendu notre analyse à l'étude la prédictibilité structurale des séquences d'acides aminés en fonction de leur flexibilité structurale au sein des protéines. Une analyse des propriétés dynamiques des structures locales a été menée en s'appuyant sur (i) les B-facteurs issus des expériences de cristallographie et (ii) les fluctuations du squelette polypeptidique observées lors de simulations de dynamique moléculaire. Ces analyses de la relation flexibilité-structure locale ont conduit au développement d'une stratégie de prédiction originale de la flexibilité à partir de la séquence. Nos différentes approches constituent une première étape vers la prédiction de la structure tridimensionnelle globale d'une protéine.

Le domaine de recherche dans lequel s'inscrit ce travail de thèse est la théorie de la prédiction des suites individuelles. Cette dernière considère les problèmes d'apprentissage séquentiel pour lesquels on ne peut ou ne veut pas modéliser le problème de manière stochastique, et fournit des stratégies de prédiction très robustes. Elle englobe aussi bien des problèmes issus de la communauté du machine learning que de celle de la théorie des jeux répétés, et ces derniers sont traités avec des méthodes statistiques, incluant par exemple les techniques de concentration de la mesure ou de l'estimation adaptative. Les résultats obtenus aboutissent, entre autres, à des stratégies de minimisation des regrets externe et interne dans les jeux à information incomplète, notamment les jeux répétés avec signaux. Ces stratégies s'appliquent au problème d'ajustement séquentiel des prix de vente, ou d'allocation séquentielle de bande passante. Le regret interne est ensuite plus spécifiquement étudié, d'abord dans le cadre de l'investissement séquentiel dans le marché boursier, pour lequel des simulations sur des données historiques sont proposées, puis pour l'apprentissage des équilibres corrélés des jeux infinis à ensembles de stratégies convexes et compacts.

Nous assistons actuellement à une explosion de la quantité des données visuelles. Par exemple, plusieurs millions de photos sont partagées quotidiennement sur les réseaux sociaux. Les méthodes d'interprétation d'images vise à faciliter l'accès à ces données visuelles, d'une manière sémantiquement compréhensible. Dans ce manuscrit, nous définissons certains buts détaillés qui sont intéressants pour les taches d'interprétation d'images, telles que la classification ou la recherche d'images, que nous considérons dans les trois chapitres principaux. Tout d'abord, nous visons l'exploitation de la nature multimodale de nombreuses bases de données, pour lesquelles les documents sont composés d'images et de descriptions textuelles. Dans ce but, nous définissons des similarités entre le contenu visuel d'un document, et la description textuelle d'un autre document. Ces similarités sont calculées en deux étapes, tout d'abord nous trouvons les voisins visuellement similaires dans la base multimodale, puis nous utilisons les descriptions textuelles de ces voisins afin de définir une similarité avec la description textuelle de n'importe quel document. Ensuite, nous présentons une série de modèles structurés pour la classification d'images, qui encodent explicitement les interactions binaires entre les étiquettes (ou labels). Ces modèles sont plus expressifs que des prédicateurs d'étiquette indépendants, et aboutissent à des prédictions plus fiables, en particulier dans un scenario de prédiction interactive, où les utilisateurs fournissent les valeurs de certaines des étiquettes d'images. Un scenario interactif comme celui-ci offre un compromis intéressant entre la précision, et l'effort d'annotation manuelle requis. Nous explorons les modèles structurés pour la classification multi-étiquette d'images, pour la classification d'image basée sur les attributs, et pour l'optimisation de certaines mesures de rang spécifiques. Enfin, nous explorons les classifieurs par k plus proches voisins, et les classifieurs par plus proche moyenne, pour la classification d'images à grande échelle. Nous proposons des méthodes d'apprentissage de métrique efficaces pour améliorer les performances de classification, et appliquons ces méthodes à une base de plus d'un million d'images d'apprentissage, et d'un millier de classes. Comme les deux méthodes de classification permettent d'incorporer des classes non vues pendant l'apprentissage à un coût presque nul, nous avons également étudié leur performance pour la généralisation. Nous montrons que la classification par plus proche moyenne généralise à partir d'un millier de classes, sur dix mille classes à un coût négligeable, et les performances obtenus sont comparables à l'état de l'art.