Spelling suggestions: "subject:"apprentissage automatique"" "subject:"dapprentissage automatique""
171 |
Prédiction de la variabilité spatiale de la disponibilité en biomasse résiduelle à l'aide de l'apprentissage automatiqueOuliz, Rhita 24 April 2018 (has links)
La biomasse forestière résiduelle correspond à la biomasse ligneuse laissée sur le parterre de la forêt après une coupe. Cette biomasse peut servir comme source d’énergie renouvelable, à un prix pouvant être, dans certaines conditions, compétitif relativement à d’autres sources d’énergie. Le succès de l’utilisation de ce type de biomasse tient en partie à une gestion efficace de son réseau d’approvisionnement. Ainsi, la gestion du risque de rupture d’approvisionnement de la biomasse forestière résiduelle est essentielle pour garantir le potentiel d’expansion d’un réseau de distribution aux clients. Le présent mémoire vise à améliorer la rentabilité d’approvisionnement de la biomasse forestière résiduelle par le biais d’une gestion efficace des sources d’erreur relatives à l’estimation de la disponibilité en biomasse. Il s’agit d’estimer la variabilité spatiale de la biomasse résiduelle avec une précision acceptable en optant pour les techniques de l’apprentissage automatique (en anglais, machine learning). L’apprentissage automatique est une tentative pour reproduire la notion d’apprentissage. Il s’agit de concevoir des algorithmes capables d’apprendre à partir des exemples ou des échantillons, afin de prédire les valeurs des cibles. Dans notre cas d’étude, la méthode KNN nous permettra d’estimer la quantité de la biomasse résiduelle des unités de surface cibles (polygones) à partir des k placettes-échantillons voisines. Pour ce faire, nous estimerons, dans un premier temps, la variabilité spatiale de la disponibilité en biomasse résiduelle en utilisant la méthode d’apprentissage automatique k-plus proches voisins (en anglais, k-nearest neighbors : KNN). Nous déterminerons ensuite l’erreur de notre estimation en utilisant la méthode bootstrap. Finalement, nous développerons une spatialisation de la quantité de biomasse forestière résiduelle en tenant compte de l’erreur d’estimation. Les résultats d’estimation obtenus, dans le cadre de cette recherche, indiquent une précision allant de 59,5 % à 71 % et centrée autour de 65,4 %. Notre méthodologie a permis ainsi d’obtenir des résultats pertinents comparativement à l’étude de Bernier et al. (2010) qui ont estimés le volume de biomasse forestière avec la méthode KNN et ont eu comme résultat une précision d’estimation égale à 19 %. L’utilisation de cette méthode pourra aussi être pertinente pour l’estimation de la biomasse forestière marchande et pour la prédiction de la biomasse forestière totale par essence d’arbres. / Residual forest biomass is the woody biomass left over on the forest floor after harvesting. This biomass can be used as a source of renewable energy, at a price that may be, under certain conditions, competitive relative to other energy sources. The success of the use of residual forest biomass depends in part on an effective management of its supply chain. Thus, the risk management of supply disruption of residual forest biomass is essential to ensure the potential for expansion of a customer’s distribution network. This project aims to improve the supply chain profitability of residual forest biomass through effective management of sources of error related to the estimation of the availability of biomass. This is the estimation of the spatial variability of residual biomass with acceptable accuracy by using machine learning techniques. Machine learning is an attempt to replicate the concept of learning. It consists to design algorithms capable to learn from examples or samples in order to predict the values of targets In our case study, the KNN method will allow us to estimate residual biomass of the target area units (polygons) from the k nearest neighbour plots. To this effect, we will estimate initially the spatial variability in the availability of residual biomass using the machine learning method KNN (k nearest neighbours). We then determine the error of our estimation using a bootstrap method. Finally, we will develop the location of the residual forest biomass quantity taking into account the estimation error. The estimation results obtained in the framework of this research indicate an accuracy of 59,5 % to 71 % centred around 65,4 % with an estimation error of 29 % to 34,5 %. Our methodology has yielded relevant results compared with the study of Bernier et al. (2010) which has had accuracy of estimation equal to 19% of forest biomass volume using the KNN method. The use of this method may also be relevant for estimating the commercial forest biomass and for the prediction of forest biomass of each tree species.
|
172 |
Détection précoce de ravageurs sur les plantes de cannabis par imagerie multispectrale : intelligence artificielle et apprentissage automatiqueSi Ahmed, Ahmed 30 April 2024 (has links)
Ce mémoire porte sur l'étude de nouvelles méthodes de détection précoce des maladies sur les plantes du cannabis avec de l'imagerie par tests non-destructifs. Ces méthodes permettent la détection des ravageurs sur les plantes du cannabis à l'état précoce à partir d'images multispectrales et ainsi facilitent l'automatisation de l'inspection et la surveillance des cultures. Le travail se sépare en trois parties. Premièrement, les différentes techniques utilisées dans ce domaine pour la détection des plantes malades ainsi que la surveillance de celle-ci seront détaillées. Ensuite, il sera question d'un article publié dans le cadre de la conférence SPIE Defense + Commercial Sensing (Ahmed, et al., 2023). Cet article propose une nouvelle méthode pour la détection précoce des maladies sur les plants de cannabis en utilisant l'intelligence artificielle et l'imagerie multispectrale. À ce jour, il s'agit du premier article disponible avec cette méthode testée sur des plants du cannabis. Il permet d'introduire le reste de ce mémoire puisque le travail fait dans le cadre de cet article a directement contribué au reste de la recherche. Il sera ensuite question du travail effectué pour obtenir des images multispectrales avec la caméra multispectrale Micasense Red-Edge. Nous parlerons de la nouvelle méthode qui a été appliquée pour réussir la détection. Pour terminer, nous montrerons les résultats de ce projet sous la forme de graphes et de tableaux des différentes prédictions
|
173 |
Statistical learning applied to cardiology : discriminative clustering and aortic stenosis phenogroupsOhl, Louis 28 June 2024 (has links)
La sténose de la valve aortique (SA) est une maladie chronique progressive dont la prévalence risque de tripler dans les décennies à venir en Amérique du Nord et par conséquent ses impacts en santé et économie. À l'heure actuelle, aucun médicament contre la SA n'est disponible. La nécessité de pharmacothérapies adaptées pousse donc à l'exploration des différentes causes de la progression de la SA chez les patients. Bien qu'il existe déjà certaines sous-catégories de la SA, ces dernières sont difficiles à identifier et par conséquent à cibler par une thérapie. Afin de découvrir et identifier des causes potentielles de la SA, nous formulons la recherche de ces phénogroupes en tant que problème de partitionement. Le partitionnement est un problème issu du domaine d'apprentissage automatique consistant à répartir de multiples observations en groupes nommés clusters selon leurs similarités. Afin d'accompagner ce problème d'apprentissage automatique, nous utilisons l'étude sur le progression des déterminants métaboliques de la SA (étude PROGRESSA). L'étude PROGRESSA comprend trois modalités : clinicopathologique, protéomique et radiomique pour 351 patients avec suivi annuel. La structure de PROGRESSA est complexe : elle est de grande dimension avec des variables de natures différentes. De plus, les différentes modalités ne se recouvrent pas nécessairement. Dans ce contexte, nous formulons le problème de partitionnement à travers un prisme discriminatif, ce qui permet d'intégrer avec facilité des modèles d'apprentissage profond, notamment pour manipuler des données grande dimensions. Ces dernières années ont été marquées par l'arrivée de méthodes de partitionnement profonds, souvent basés sur la maximisation de l'information mutuellee. Cependant, les récents succès de ces méthodes sont souvent spécifique à un type unique de données et ne permettent donc pas d'anticiper leur applicabilité à un problème multi-source. Afin de construire une solution pour le problème de partitionnement multi-source, cette thèse s'orchestre autour du développement d'un ensemble de méthodes de clustering nommé information mutuelle généralisée (GEMINI) à partir du Chapitre 2. Cet ensemble de méthodes permet d'utiliser n'importe quelle architecture de réseau de neurones profonds sur des données de natures variées. Nous montrons également comment cette méthode peut être améliorée pour incorporer des méchanismes de sélections de vaiables afin de faciliter l'interprétation des clusters au Chapitre 3 : Sparse GEMINI. Puis nous complètons le spectre des modèles entraînables par GEMINI avec l'introduction d'arbres non supervisés donnant un clustering avec explication intégrée dans le chapitre 4. Enfin, nous terminons cette thèse avec un pipeline intégrant divers variants de GEMINI pour la découverte de phénogroupes de la SA dans l'étude PROGRESSA au Chapitre 5. Certains de ces phénogroupes montrent une mortalité accentuée et sont caractérisés par des marqueurs spécifiques, par exemple liés aux lipoprotéines, au diabète ou à la bicuspidie des valves aortiques. Ces phénogroupes peuvent ainsi être ciblés par des thérapies spécifiques afin de réduire le risque de progression de la maladie. / Aortic valve stenosis (AS) is a chronic progressive disease whose prevalence is likely to triple in the coming decades in North America, with a consequent impact on health and the economy. However, efficient drug therapies for this disease are not available. The need for appropriate medication is therefore driving the exploration of the various causes of AS progression in patients. There exist a few sub-categories of the disease that could be differently targeted by drugs, but they are hard to define and identify. To alleviate the finding of different possible causes of AS, we formulate the search of phenogroup (i.e. disease subtypes) as a clustering problem. Clustering is a family of approaches from machine learning that consists in gathering multiple observations deemed similar in categories called clusters. To support this machine learning problem instance, we employ the metabolic determinants of the progression of AS study (PROGRESSA study). The PROGRESSA dataset comprises 3 modalities: clinicopathological, proteomics and radiomics data for 351 patients with yearly follow-ups. The structure of the PROGRESSA study is challenging for current clustering algorithms: it is high-dimensional with mixed data types. Moreover, the different modalities of the data do not necessarily overlap, making it to a multi-source clustering problem. In this context, we formulate the clustering problem through the lens of discriminative clustering: a point of view that leverages the easy integration of deep learning models for handling and concatenating high-dimensional data. Within this framework, the last decade witnessed the impressive rise of deep clustering methods that often involves the maximisation of mutual information. However, the recent success of deep clustering models are often over-specified for one type of data and therefore hardly account for multi-modal data. To pave the way for a multi-source discriminative clustering algorithm, we developed a set of discriminative clustering methods called generalised mutual information (GEMINI) in Chapter 2. Thanks to its discriminative construction, this set of methods can be used with any deep neural network architecture on data of various types. We also show how this method can be improved to incorporate variable selection mechanisms to facilitate the interpretation of clusters in Chapter 3: Sparse GEMINI. Then, we complete the spectrum of models trainable by GEMINI in Chapter 4 with the introduction of unsupervised trees giving a clustering with integrated explanation. Finally, we conclude this thesis in Chapter 5 with a pipeline integrating various GEMINI variants for the discovery of AS phenogroups in the PROGRESSA study. Some of these phenogroups show increased mortality and are characterised by specific markers, for example linked to lipoproteins, diabetes or bicuspid aortic valves. These phenogroups can therefore be targeted by specific therapies to reduce the risk of disease progression.
|
174 |
Deep learning algorithms for database-driven peptide searchZumer, Jeremie 09 1900 (has links)
Modern proteomics – the large-scale analysis of proteins (Graves and Haystead, 2002) – relies heavily on the analysis of complex raw experimental, time series-like data. In a typical shotgun mass spectrometry workflow where the goal is to identify proteins in solution, a complex protein mixture is prepared, digested, fractionated for example by mass range, ionized and injected into a mass spectrometer, resulting in a so-called mass spectrum which, in tandem mass spectrometry, achieves obtain amino acid-resolution signals for the detected peptides. The spectrum must be cleaned up to become suitable for further analysis, then the peaks defined by the m/z to intensity values in the spectrum can be matched to some expected peak sequence from a set of candidate peptides (which are often simply in silico digests from the source specie’s proteome), which is the process of peptide identification proper. In this work, we select and solve some current limitations in the computational side of peptide identification research. We first introduce a new, research-oriented search engine. A major question at the boundary of current proteomics research is the integration and viability of new deep learning-driven algorithms for identification. Very little work has been done on this topic so far, with Prosit (Gessulat et al., 2019) being the only such software to see integration in an existing search engine, as far as we are aware (although rescoring algorithms like Percolator (Käll et al., 2007), which typically use more classical machine learning algorithms, have been in routine use for a while by now, they are merely applied as a postprocessing step and not integrated in the engine per se). To investigate this, we develop and present a new deep learning algorithm that performs peptide length prediction from a spectrum (a first, as far as we are aware). We compute metrics based on this prediction that we use during rescoring, and demonstrate consistently improved peptide identifications. Moreover, we propose a new full spectrum prediction algorithm (in line with PredFull (Liu et al., 2020) rather than Prosit) and a novel, random forest-based rescoring algorithm and paradigm, which we integrate within our search engine. Altogether, the deep learning tools we propose show an increase of over 20% in peptide identification rates at a 1% false discovery rate (FDR) threshold. These results provide strong evidence that deep learning-based tools proposed for proteomics can greatly improve peptide identifications. / La protéomique moderne – l’analyse à grande échelle des protéines (Graves and Haystead,
2002) - dépend fortement de l’analyse de données expérimentales de série chronologique
complexes. Dans un flux de travail typique de spectrométrie de masse en shotgun, où l’objectif
est d’identifier les protéines en solution, un mélange complexe de protéines est préparé, digéré,
fractionné par exemple par catégorie de masse ou par hydrophobicité, ionisé et injecté dans
un spectromètre de masse, ce qui donne ce que l’on appel un spectre de masse. Dans le
mode de spectrométrie de masse en tandem, il représente des signaux à la résolution des
acides aminés sur les peptides présentes. Le spectre doit être nettoyé pour se prêter à une
analyse plus approfondie, puis les pics définis par les couples de valeurs m/z et d’intensité
dans le spectre peuvent être mis en correspondance avec une séquence de pics attendue selon
la séquence hypothétique du peptide présent dans le spectre (qui sont souvent obtenus par
digestions in-silico du protéome de l’espèce source) ; il s’agit du processus d’identification des
peptides proprement dit.
Dans ce travail, nous sélectionnons et résolvons certaines limitations actuelles spécifiques
au côté informatique de la recherche sur l’identification des peptides. Nous introduisons
d’abord un nouveau moteur d’identification axé sur la recherche. Une question majeure à
la frontière actuelle en protéomique est l’intégration et la viabilité de nouveaux algorithmes
basés sur l’apprentissage profond dans un contexte d’identification. Très peu de travail a été
effectué sur ce sujet jusqu’à présent, Prosit (Gessulat et al., 2019) étant le seul logiciel de
ce type à voir l’intégration dans un moteur de recherche préexistant, au meilleures de nos
connaissances (bien que des algorithmes de rescoring comme Percolator (Käll et al., 2007) ,
qui utilisent généralement des algorithmes d’apprentissage automatique plus classiques, sont
habituellement utilisés depuis un certain temps maintenant, ils sont simplement appliqués
comme étape de post-traitement et non intégrés dans le moteur). Pour étudier ce problème,
nous développons et présentons un nouvel algorithme d’apprentissage en profondeur qui effectue
la prédiction de la longueur des peptides à partir d’un spectre (le premier algorithme
de ce type), et calculons des métriques basées sur cette prédiction. Nous utilisons l’algorithme
résultant pour démontrer des identifications de peptides constamment améliorées après intégration
dans notre engin. De plus, nous proposons un nouvel algorithme de prédiction de
5
spectres complets (conforme à PredFull (Liu et al., 2020) plutôt qu’à Prosit) ainsi qu’un
nouvel algorithme et paradigme de rescoring basé sur la forêt aléatoire, que nous intégrons
encore à notre moteur de recherche. En somme, les outils d’apprentissage en profondeur
que nous proposons démontrent une amélioration de plus de 20% des taux d’identification
de peptides à un seuil de taux de fausse découverte (FDR) de 1%. Ces résultats suggèrent
pour la première fois que les algorithmes d’apprentissage profonds proposés en protéomique
peuvent en effet largement améliorer les identifications.
|
175 |
Détection de menaces internes par apprentissage automatique non superviséBertrand, Simon 14 June 2023 (has links)
Titre de l'écran-titre (visionné le 5 juin 2023) / Les menaces internes, ou en anglais Insider Threat, surviennent lorsqu'un individu ayant des accès privilégiés au sein d'une organisation les utilise d'une façon causant du tort à l'organisation. L'employé peut réaliser ces actions dangereuses de façon intentionnelle ou non intentionnelle. Les menaces internes sont très variées ce qui les rend particulièrement complexes à détecter. La confidentialité, l'intégrité et la disponibilité des données sont des préoccupations croissantes pour les organisations d'aujourd'hui. Malgré tout, l'étendue de l'impact des menaces internes est souvent sous-estimée. En effet, même si les menaces internes ne représentent qu'une fraction de toutes les cyberattaques, les dangers en lien avec les menaces internes sont réels. Dans un premier lieu, les attaques internes peuvent causer plus de dommages aux organisations que les attaques traditionnelles. Ceci s'explique en partie par la grande connaissance de l'organisation, ainsi que les accès privilégiés, qu'ont les employés réalisant ces attaques. Ces derniers sont donc en mesure de facilement perpétrer des actions dangereuses sans éveiller de soupçons. De plus, dans les dernières années, plusieurs études suggèrent que la majorité des organisations souffrent de menaces internes chaque année [2]. La détection de menaces internes est ainsi un problème pertinent qui attire beaucoup de chercheurs. Une des stratégies couramment utilisée pour faire la détection de menaces internes est de modéliser les comportements des employés d'une organisation et d'identifier toute divergence significative comme une menace potentielle. Pour ce faire, les journaux d'audit, décrivant tous les évènements réalisés par les membres d'une organisation dans le réseau informatique, sont des sources d'informations privilégiées dans le domaine pour apprendre les comportements typiques des utilisateurs. Dans ce mémoire, nous présentons deux solutions originales de détection de menaces internes utilisant des journaux d'audit et des techniques d'apprentissage automatique non supervisé afin d'apprendre les comportements utilisateur et détecter les comportements malicieux. Les deux solutions présentent des résultats compétitifs par rapport à l'état de l'art, et ce en offrant des caractéristiques qui facilitent leur implémentation dans de vraies organisations. / Insider threats occur when a privileged member of an organization wrong fully uses his access in a way that causes harm to his organization. Those damaging actions can be intentional, as in the case of theft or sabotage, however, un intentional dangerous actions are also to be considered, which adds to the complexity of the insider threat. The insider threat is a broad type of cyber menace, making its detection particularly difficult. For organizations, the confidentiality, integrity, and availability of their information are an increasing concern. Yet many under estimate the magnitude of the insider threats against the maintenance of those ideals. Indeed, even though insider threats are only a fraction of all existing cyber threats, this type of menace presents a real and unique danger for organizations. Firstly, an insider threat can be more damaging to an organization than a traditional cyberattack. This is mainly explicable by the privileged accesses and great domain knowledge that the insider possesses over an outsider. The insider has then a better opportunity to use his access and domain knowledge to carry out efficiently and quietly the attack. Moreover, over the last few years, some reports suggest that most institutions yearly suffer from that kind of cyber threat [2]. Insider threat detection is therefore a relevant problem that attracted many researchers to deploy their efforts in the last decades. One common strategy to detect malicious insiders is by modeling the behaviors of the users and identifying any significant divergence as a potential threat. In that matter, audit data, describing the activity of every member of an organization in the network, are regularly chosen to learn user behaviors using statistical or machine learning models. In the present work, we propose two insider threat detection systems that leverage audit data to learn user behaviors and detect divergent conduct in an unsupervised fashion. Both solutions are competitive with state-of-the-art techniques, and were developed considering many challenges in the field, like being easy to implement in a real-world scenario and considering events dependencies.
|
176 |
Fingerprint-based localization in massive MIMO systems using machine learning and deep learning methodsMoosavi, Seyedeh Samira 20 July 2021 (has links)
À mesure que les réseaux de communication sans fil se développent vers la 5G, une énorme quantité de données sera produite et partagée sur la nouvelle plate-forme qui pourra être utilisée pour promouvoir de nouveaux services. Parmis ceux-ci, les informations de localisation des terminaux mobiles (MT) sont remarquablement utiles. Par exemple, les informations de localisation peuvent être utilisées dans différents cas de services d'enquête et d'information, de services communautaires, de suivi personnel, ainsi que de communications sensibles à la localisation. De nos jours, bien que le système de positionnement global (GPS) des MT offre la possibilité de localiser les MT, ses performances sont médiocres dans les zones urbaines où une ligne de vue directe (LoS) aux satellites est bloqué avec de nombreux immeubles de grande hauteur. En outre, le GPS a une consommation d'énergie élevée. Par conséquent, les techniques de localisation utilisant la télémétrie, qui sont basées sur les informations de signal radio reçues des MT tels que le temps d'arrivée (ToA), l'angle d'arrivée (AoA) et la réception de la force du signal (RSS), ne sont pas en mesure de fournir une localisation de précision satisfaisante. Par conséquent, il est particulièrement difficile de fournir des informations de localisation fiables des MT dans des environnements complexes avec diffusion et propagation par trajets multiples. Les méthodes d'apprentissage automatique basées sur les empreintes digitales (FP) sont largement utilisées pour la localisation dans des zones complexes en raison de leur haute fiabilité, rentabilité et précision et elles sont flexibles pour être utilisées dans de nombreux systèmes. Dans les réseaux 5G, en plus d'accueillir plus d'utilisateurs à des débits de données plus élevés avec une meilleure fiabilité tout en consommant moins d'énergie, une localisation de haute précision est également requise. Pour relever un tel défi, des systèmes massifs à entrées multiples et sorties multiples (MIMO) ont été introduits dans la 5G en tant que technologie puissante et potentielle pour non seulement améliorer l'efficacité spectrale et énergétique à l'aide d'un traitement relativement simple, mais également pour fournir les emplacements précis des MT à l'aide d'un très grand nombre d'antennes associées à des fréquences porteuses élevées. Il existe deux types de MIMO massifs (M-MIMO), soit distribué et colocalisé. Ici, nous visons à utiliser la méthode basée sur les FP dans les systèmes M-MIMO pour fournir un système de localisation précis et fiable dans un réseau sans fil 5G. Nous nous concentrons principalement sur les deux extrêmes du paradigme M-MIMO. Un grand réseau d'antennes colocalisé (c'est-à-dire un MIMO massif colocalisé) et un grand réseau d'antennes géographiquement distribué (c'est-à-dire un MIMO massif distribué). Ensuite, nous ex trayons les caractéristiques du signal et du canal à partir du signal reçu dans les systèmes M-MIMO sous forme d'empreintes digitales et proposons des modèles utilisant les FP basés sur le regroupement et la régression pour estimer l'emplacement des MT. Grâce à cette procédure, nous sommes en mesure d'améliorer les performances de localisation de manière significative et de réduire la complexité de calcul de la méthode basée sur les FP. / As wireless communication networks are growing into 5G, an enormous amount of data will be produced and shared on the new platform, which can be employed in promoting new services. Location information of mobile terminals (MTs) is remarkably useful among them, which can be used in different use cases of inquiry and information services, community services, personal tracking, as well as location-aware communications. Nowadays, although the Global Positioning System (GPS) offers the possibility to localize MTs, it has poor performance in urban areas where a direct line-of-sight (LoS) to the satellites is blocked by many tall buildings. Besides, GPS has a high power consumption. Consequently, the ranging based localization techniques, which are based on radio signal information received from MTs such as time-of-arrival (ToA), angle-of-arrival (AoA), and received signal strength (RSS), are not able to provide satisfactory localization accuracy. Therefore, it is a notably challenging problem to provide precise and reliable location information of MTs in complex environments with rich scattering and multipath propagation. Fingerprinting (FP)-based machine learning methods are widely used for localization in complex areas due to their high reliability, cost-efficiency, and accuracy and they are flexible to be used in many systems. In 5G networks, besides accommodating more users at higher data rates with better reliability while consuming less power, high accuracy localization is also required in 5G networks. To meet such a challenge, massive multiple-input multiple-output (MIMO) systems have been introduced in 5G as a powerful and potential technology to not only improve spectral and energy efficiency using relatively simple processing but also provide an accurate locations of MTs using a very large number of antennas combined with high carrier frequencies. There are two types of massive MIMO (M-MIMO), distributed and collocated. Here, we aim to use the FP-based method in M-MIMO systems to provide an accurate and reliable localization system in a 5G wireless network. We mainly focus on the two extremes of the M-MIMO paradigm. A large collocated antenna array (i.e., collocated M-MIMO ) and a large geographically distributed antenna array (i.e., distributed M-MIMO). Then, we extract signal and channel features from the received signal in M-MIMO systems as fingerprints and propose FP-based models using clustering and regression to estimate MT's location. Through this procedure, we are able to improve localization performance significantly and reduce the computational complexity of the FP-based method.
|
177 |
Mineral identification using data-mining in hyperspectral infrared imageryYousefi, Bardia 05 July 2018 (has links)
Les applications de l’imagerie infrarouge dans le domaine de la géologie sont principalement des applications hyperspectrales. Elles permettent entre autre l’identification minérale, la cartographie, ainsi que l’estimation de la portée. Le plus souvent, ces acquisitions sont réalisées in-situ soit à l’aide de capteurs aéroportés, soit à l’aide de dispositifs portatifs. La découverte de minéraux indicateurs a permis d’améliorer grandement l’exploration minérale. Ceci est en partie dû à l’utilisation d’instruments portatifs. Dans ce contexte le développement de systèmes automatisés permettrait d’augmenter à la fois la qualité de l’exploration et la précision de la détection des indicateurs. C’est dans ce cadre que s’inscrit le travail mené dans ce doctorat. Le sujet consistait en l’utilisation de méthodes d’apprentissage automatique appliquées à l’analyse (au traitement) d’images hyperspectrales prises dans les longueurs d’onde infrarouge. L’objectif recherché étant l’identification de grains minéraux de petites tailles utilisés comme indicateurs minéral -ogiques. Une application potentielle de cette recherche serait le développement d’un outil logiciel d’assistance pour l’analyse des échantillons lors de l’exploration minérale. Les expériences ont été menées en laboratoire dans la gamme relative à l’infrarouge thermique (Long Wave InfraRed, LWIR) de 7.7m à 11.8 m. Ces essais ont permis de proposer une méthode pour calculer l’annulation du continuum. La méthode utilisée lors de ces essais utilise la factorisation matricielle non négative (NMF). En utlisant une factorisation du premier ordre on peut déduire le rayonnement de pénétration, lequel peut ensuite être comparé et analysé par rapport à d’autres méthodes plus communes. L’analyse des résultats spectraux en comparaison avec plusieurs bibliothèques existantes de données a permis de mettre en évidence la suppression du continuum. Les expérience ayant menés à ce résultat ont été conduites en utilisant une plaque Infragold ainsi qu’un objectif macro LWIR. L’identification automatique de grains de différents matériaux tels que la pyrope, l’olivine et le quartz a commencé. Lors d’une phase de comparaison entre des approches supervisées et non supervisées, cette dernière s’est montrée plus approprié en raison du comportement indépendant par rapport à l’étape d’entraînement. Afin de confirmer la qualité de ces résultats quatre expériences ont été menées. Lors d’une première expérience deux algorithmes ont été évalués pour application de regroupements en utilisant l’approche FCC (False Colour Composite). Cet essai a permis d’observer une vitesse de convergence, jusqu’a vingt fois plus rapide, ainsi qu’une efficacité significativement accrue concernant l’identification en comparaison des résultats de la littérature. Cependant des essais effectués sur des données LWIR ont montré un manque de prédiction de la surface du grain lorsque les grains étaient irréguliers avec présence d’agrégats minéraux. La seconde expérience a consisté, en une analyse quantitaive comparative entre deux bases de données de Ground Truth (GT), nommée rigid-GT et observed-GT (rigide-GT: étiquet manuel de la région, observée-GT:étiquetage manuel les pixels). La précision des résultats était 1.5 fois meilleur lorsque l’on a utlisé la base de données observed-GT que rigid-GT. Pour les deux dernières epxérience, des données venant d’un MEB (Microscope Électronique à Balayage) ainsi que d’un microscopie à fluorescence (XRF) ont été ajoutées. Ces données ont permis d’introduire des informations relatives tant aux agrégats minéraux qu’à la surface des grains. Les résultats ont été comparés par des techniques d’identification automatique des minéraux, utilisant ArcGIS. Cette dernière a montré une performance prometteuse quand à l’identification automatique et à aussi été utilisée pour la GT de validation. Dans l’ensemble, les quatre méthodes de cette thèse représentent des méthodologies bénéfiques pour l’identification des minéraux. Ces méthodes présentent l’avantage d’être non-destructives, relativement précises et d’avoir un faible coût en temps calcul ce qui pourrait les qualifier pour être utilisée dans des conditions de laboratoire ou sur le terrain. / The geological applications of hyperspectral infrared imagery mainly consist in mineral identification, mapping, airborne or portable instruments, and core logging. Finding the mineral indicators offer considerable benefits in terms of mineralogy and mineral exploration which usually involves application of portable instrument and core logging. Moreover, faster and more mechanized systems development increases the precision of identifying mineral indicators and avoid any possible mis-classification. Therefore, the objective of this thesis was to create a tool to using hyperspectral infrared imagery and process the data through image analysis and machine learning methods to identify small size mineral grains used as mineral indicators. This system would be applied for different circumstances to provide an assistant for geological analysis and mineralogy exploration. The experiments were conducted in laboratory conditions in the long-wave infrared (7.7μm to 11.8μm - LWIR), with a LWIR-macro lens (to improve spatial resolution), an Infragold plate, and a heating source. The process began with a method to calculate the continuum removal. The approach is the application of Non-negative Matrix Factorization (NMF) to extract Rank-1 NMF and estimate the down-welling radiance and then compare it with other conventional methods. The results indicate successful suppression of the continuum from the spectra and enable the spectra to be compared with spectral libraries. Afterwards, to have an automated system, supervised and unsupervised approaches have been tested for identification of pyrope, olivine and quartz grains. The results indicated that the unsupervised approach was more suitable due to independent behavior against training stage. Once these results obtained, two algorithms were tested to create False Color Composites (FCC) applying a clustering approach. The results of this comparison indicate significant computational efficiency (more than 20 times faster) and promising performance for mineral identification. Finally, the reliability of the automated LWIR hyperspectral infrared mineral identification has been tested and the difficulty for identification of the irregular grain’s surface along with the mineral aggregates has been verified. The results were compared to two different Ground Truth(GT) (i.e. rigid-GT and observed-GT) for quantitative calculation. Observed-GT increased the accuracy up to 1.5 times than rigid-GT. The samples were also examined by Micro X-ray Fluorescence (XRF) and Scanning Electron Microscope (SEM) in order to retrieve information for the mineral aggregates and the grain’s surface (biotite, epidote, goethite, diopside, smithsonite, tourmaline, kyanite, scheelite, pyrope, olivine, and quartz). The results of XRF imagery compared with automatic mineral identification techniques, using ArcGIS, and represented a promising performance for automatic identification and have been used for GT validation. In overall, the four methods (i.e. 1.Continuum removal methods; 2. Classification or clustering methods for mineral identification; 3. Two algorithms for clustering of mineral spectra; 4. Reliability verification) in this thesis represent beneficial methodologies to identify minerals. These methods have the advantages to be a non-destructive, relatively accurate and have low computational complexity that might be used to identify and assess mineral grains in the laboratory conditions or in the field.
|
178 |
Mesures d’insertion sociale destinées aux détenus québécois et récidive criminelle : une approche par l'apprentissage automatiqueIriart, Alejandro 26 January 2021 (has links)
Dans ce mémoire, nous essayons de déterminer l’influence réelle des programmes de réinsertion sociale sur le risque de récidive. Pour ce faire, nous analysons, à l’aide d’une approche d’apprentissage automatique une base de données fournie par le Ministère de la Sécurité publique (MSP) où nous retrouvons le parcours carcéral de 97 140 détenus de 2006 jusqu’en 2018. Notre analyse se concentre uniquement sur les détenus ayant transigé dans la prison de la ville de Québec. Pour faire notre analyse, nous utilisons l’approche des Generalized Random Forests (GRF) développée par Athey et al. (2019) sur les caractéristiques des détenus ainsi que leurs résultats au LS/CMI, un test psychométrique ayant pour but de déterminer leurs besoins criminogènes, afin d’estimer l’effet de traitement individuel de la participation à des programmes. Nous en profitons aussi pour déterminer quelles sont les variables influençant le plus l’effet de traitement en utilisant une fonction de ce même algorithme qui calcule l’importance relative de chacune des variables pour faire la prédiction. Ceci est une approche révolutionnaire, car elle nous permet de faire de l’inférence sur nos résultats. En comparant les participants et les non-participants, nous avons pu démontrer que le fait de participer à un programme diminue le risque de récidiver d’environ 6.9% pour une période d’épreuve de deux ans. Le fait de participer à un programme semble toujours diminuer de manière significative la récidive. Nous avons aussi déterminé qu’au niveau des caractéristiques personnelles, ce sont l’âge, la nature de l’infraction ainsi que le nombre d’années d’études qui sont les principaux prédicteurs de l’effet causal. Pour ce qui est du LS/CMI, seulement certaines sections du questionnaire ont un vrai pouvoir prédictif alors que d’autres, comme celle sur les loisirs, n’en ont pas. À la lumière de nos résultats, nous croyons qu’un instrument plus performant étant capable de prédire la récidive peut être créé en focalisant sur les variables ayant le plus grand pouvoir prédictif. Ces avancées permettront de mieux conseiller les prisonniers sur les programmes qu’ils devraient suivre lors de leur prise en charge par les centres de détention, et ainsi augmenter leurs chances d’être mieux réintégrés en société. / In this master thesis, we tried to determine the real influence of social rehabilitation programs on the risk of recidivism. To do this, we used a machine learning algorithm to analyze a database provided by the Quebec Ministry of Public Security (MSP). In this database, we are able to follow the numerous incarcerations of 97,140 prisoners from 2006 to 2018. Our analysis focuses only on inmates who have served in the prison in Quebec City. The approach we used is named Generalized Random Forests (GRF) and was developed by Athey et al. (2019). Our main analysis focuses not only on the characteristics of the prisoners, but also on the results they obtained when they were subjected to the LS/CMI, an extensive questionnaire aimed at determining the criminogenic needs and the risk level of the inmates . We also determined which variables have the most influence on predicting the treatment effect by using a function of the same algorithm that calculates the relative importance of each of the variables to make a prediction. By comparing participants and non-participants, we were able to demonstrate that participating in a program reduces the risk of recidivism by approximately 6.9% for a two-year trial period. Participating in a program always reduces significantly recidivism no matter the definition of recidivism used. We also determined that in terms of personal characteristics, it is the age, the nature of the offence and the number of years of study that are the main predictors for the individual causal effects. As for the LS/CMI, only a few sections of the questionnaire have real predictive power while others, like the one about leisure, do not. In light of our results, we believe that a more efficient instrument capable of predicting recidivism can be created by focusing on the newly identified variables with the greatest predictive power. A better instrument will make it possible to provide better counselling to prisoners on the programs they should follow, and thus increase their chances of being fully rehabilitated.
|
179 |
Calage robuste et accéléré de nuages de points en environnements naturels via l'apprentissage automatiqueLatulippe, Maxime 19 April 2018 (has links)
En robotique mobile, un élément crucial dans la réalisation de la navigation autonome est la localisation du robot. En utilisant des scanners laser, ceci peut être réalisé en calant les nuages de points consécutifs. Pour ce faire, l’utilisation de points de repères appelés descripteurs sont généralement efficaces, car ils permettent d’établir des correspondances entre les nuages de points. Cependant, nous démontrons que dans certains environnements naturels, une proportion importante d’entre eux peut ne pas être fiable, dégradant ainsi les performances de l’alignement. Par conséquent, nous proposons de filtrer les descripteurs au préalable afin d’éliminer les nuisibles. Notre approche consiste à utiliser un algorithme d’apprentissage rapide, entraîné à la volée sous le paradigme positive and unlabeled learning sans aucune intervention humaine nécessaire. Les résultats obtenus montrent que notre approche permet de réduire significativement le nombre de descripteurs utilisés tout en augmentant la proportion de descripteurs fiables, accélérant et augmentant ainsi la robustesse de l’alignement. / Localization of a mobile robot is crucial for autonomous navigation. Using laser scanners, this can be facilitated by the pairwise alignment of consecutive scans. For this purpose, landmarks called descriptors are generally effective as they facilitate point matching. However, we show that in some natural environments, many of them are likely to be unreliable. The presence of these unreliable descriptors adversely affects the performances of the alignment process. Therefore, we propose to filter unreliable descriptors as a prior step to alignment. Our approach uses a fast machine learning algorithm, trained on-the-fly under the positive and unlabeled learning paradigm without the need for human intervention. Our results show that the number of descriptors can be significantly reduced, while increasing the proportion of reliable ones, thus speeding up and improving the robustness of the scan alignment process.
|
180 |
Multi-view Machine Learning And Its Applications To Multi-Omic TasksBauvin, Baptiste 16 January 2024 (has links)
Titre de l'écran-titre (visionné le 10 janvier 2024) / Cette thèse se situe à l'intersection de plusieurs domaines d'études. Elle traite principalement d'apprentissage automatique, un champ d'études de l'intelligence artificielle. Plus particulièrement, elle se focalise sur la classification supervisée, un cas particulier où l'objectif est de séparer des exemples dans des classes, pour lequel on utilise des exemples étiquetés sur lesquels on apprend un classifieur. Plus précisément, nous nous concentrons sur l'apprentissage multi-vues, pour lequel les classifieurs ont accès à plusieurs types de données. De plus, cette thèse traite de l'application de l'apprentissage multivue à des données biologiques. Les données dites -omiques, qui regroupent plusieurs analyses d'un échantillon sanguin, décrivant une grande variété de processus naturels sont notre axe principal. Ces données présentent plusieurs défis, que nous explorons tout au long de cette thèse. Pour ce faire, nous présentons également plusieurs outils spécifiquement conçus pour comparer des algorithmes d'apprentissage automatique sur des données multivues. En effet, si le domaine monovue peut se reposer sur un grand nombre d'outils robustes, ils ne sont pas utilisables dans le paradigme multivues. Ainsi une partie de ce doctorat a été dédiée au développement d'outils de qualité pour l'apprentissage multivues. En outre, nos analyses expérimentales sur les données réelles nous ont suggéré que le développement d'algorithmes spécifiques pour le multivues était moins une priorité que la conception d'approches relevant les défis des données -omiques. Ainsi, la seconde partie de cette thèse est consacrée à l'étude des méthodes d'ensembles monovues. Ce domaine regroupe tous les algorithmes construits par l'agrégation de plusieurs sous-méthodes tels que les votes de majorité, particulièrement intéressants pour l'application sur les données -omiques. De ce fait, nous proposons deux nouveaux algorithmes basés sur la méthode gloutonne pour apprendre sur des données en grande dimension. Le premier, CB-Boost, se repose sur l'optimisation efficace d'une quantité théorique, la C-borne, permettant de construire des votes de majorité performants et robustes. Le second, SamBA, est une généralisation du boosting permettant de prendre en compte des expertises locales dans son modèle pour se reposer sur une fonction de décision particulièrement parcimonieuse et interprétable. / This thesis lies at the intersection of multiple fields of study. It mainly focuses on machine learning, a domain of artificial intelligence. More specifically, we study supervised classification, which goal is to separate samples in several classes, relying on labelled samples on which a classifier is fitted. More precisely, we focus on multi-view machine learning, for which the classifiers can access multiple data types. In addition, this thesis studies the application of multi-view machine learning on biological data. More particularly, we focus on -omics data, a set of biological data that regroups several analyses derived from a biological sample, covering a large range of natural processes. This type of data is characterized by multiple challenges that we explore in this thesis. To do so, we present several tools designed specifically to allow the comparison of machine learning algorithms on multi-view data. Indeed, if the mono-view case can rely on a large number of robust libraries, they are not compatible with multi-view learning. As a consequence, a section of this thesis is dedicated to present python tools for multi-view learning. Furthermore, our experimental studies on real-life -omic data suggested that the design of multi-view specific algorithms was less of a priority than the conception of approaches specifically designed to tackle the challenges of -omic data. As a consequence, the second part of this thesis is dedicated to the study of mono-view ensemble methods. This domain regroups all the algorithms built from the aggregation of several sub-methods, such as majority votes. It is particularly interesting and useful for applications on -omic data. Consequently, we propose two algorithms based on greedy optimization, designed to learn on large dimension data. The first one, CB-Boost relies on the efficient optimization of a theoretical quantity, the C-bound, to build accurate and robust majority votes. The second one, SamBA, is a generalization of the boosting framework allowing local expertise in its model, with the objective of outputting particularly sparse and interpretable decision functions.
|
Page generated in 0.1054 seconds