Les Big Data mettent en évidence tous les défauts du paradigme de l'informatique classique. Au contraire, le Neuro-Inspiré traite les Big Data comme ressources pour progresser. Dans cette thèse, nous adoptons les principes de Hierarchical Temporal Memory (HTM) comme références neuroscientifiques et nous élaborons sur la façon dont le Bayesian Machine Learning (BML) mène les approches dans le Neuro-Inspiré à s’unifier et à atteindre nos objectives: (i) la simplification et l'amélioration des algorithmes de BML et (ii) l'approche au Neuro-Inspiré avec une prospective Ultra-Low-Power. Donc, nous nous efforçons d'apporter le traitement intelligent proche aux sources de données et de populariser le BML sur l'électronique strictement limitées tels que les appareils portables, mettable et implantables. Cependant, les algorithmes de BML ont besoin d’être optimisés. En fait, leur mise en œuvre en HW est ni efficaces, ni réalisables en raison de la mémoire, la puissance de calcul requises. Nous proposons un algorithme moins complexe, en ligne, distribué et non paramétrique et montrons de meilleurs résultats par rapport aux solutions de l’état de l’art. En fait, nous gagnons deux ordres de grandeur de réduction en complexité au niveau algorithmique et un autre ordre de grandeur grâce à des techniques traditionnelles d'optimisation HW. En particulier, nous concevons une preuve de concept sur une plateforme FPGA pour l'analyse en temps réel d’un flux de données. Enfin, nous démontrons d’être en mesure de résumer les ultimes découvertes du domaine du BML sur un algorithme généralement valide qui peut être mis en œuvre en HW et optimisé pour des applications avec des ressources limitées. / Big Data highlights all the flaws of the conventional computing paradigm. Neuro-Inspired computing and other data-centric paradigms rather address Big Data to as resources to progress. In this dissertation, we adopt Hierarchical Temporal Memory (HTM) principles and theory as neuroscientific references and we elaborate on how Bayesian Machine Learning (BML) leads apparently totally different Neuro-Inspired approaches to unify and meet our main objectives: (i) simplifying and enhancing BML algorithms and (ii) approaching Neuro-Inspired computing with an Ultra-Low-Power prospective. In this way, we aim to bring intelligence close to data sources and to popularize BML over strictly constrained electronics such as portable, wearable and implantable devices. Nevertheless, BML algorithms demand for optimizations. In fact, their naïve HW implementation results neither effective nor feasible because of the required memory, computing power and overall complexity. We propose a less complex on-line, distributed nonparametric algorithm and show better results with respect to the state-of-the-art solutions. In fact, we gain two orders of magnitude in complexity reduction with only algorithm level considerations and manipulations. A further order of magnitude in complexity reduction results through traditional HW optimization techniques. In particular, we conceive a proof-of-concept on a FPGA platform for real-time stream analytics. Finally, we demonstrate we are able to summarize the ultimate findings in Machine Learning into a generally valid algorithm that can be implemented in HW and optimized for strictly constrained applications.

L’évolution des technologies électroniques (miniaturisation, diminution des coûts) a permis aux GNSS (systèmes de navigation par satellites) d’être de plus en plus accessibles et doncutilisés au quotidien, par exemple par le biais d’un smartphone, ou de récepteurs disponibles dans le commerce à des prix raisonnables (récepteurs bas-coûts). Ces récepteurs fournissent à l’utilisateur plusieurs informations, comme par exemple sa position et sa vitesse, ainsi que des mesures des temps de propagation entre le récepteur et les satellites visibles entre autres. Ces récepteurs sont donc devenus très répandus pour les utilisateurs souhaitant évaluer des techniques de positionnement sans développer tout le hardware nécessaire. Les signaux issus des satellites GNSS sont perturbés par de nombreuses sources d’erreurs entre le moment où ils sont traités par le récepteurs pour estimer la mesure correspondante. Il est donc nécessaire decompenser chacune des ces erreurs afin de fournir à l’utilisateur la meilleure position possible. Une des sources d’erreurs recevant beaucoup d’intérêt, est le phénomène de réflexion des différents signaux sur les éventuels obstacles de la scène dans laquelle se trouve l’utilisateur, appelé multitrajets. L’objectif de cette thèse est de proposer des algorithmes permettant de limiter l’effet des multitrajets sur les mesures GNSS. La première idée développée dans cette thèse est de supposer que ces signaux multitrajets donnent naissance à des biais additifs parcimonieux. Cette hypothèse de parcimonie permet d’estimer ces biais à l’aide de méthodes efficaces comme le problème LASSO. Plusieurs variantes ont été développés autour de cette hypothèse visant à contraindre le nombre de satellites ne souffrant pas de multitrajet comme non nul. La deuxième idée explorée dans cette thèse est une technique d’estimation des erreurs de mesure GNSS à partir d’une solution de référence, qui suppose que les erreurs dues aux multitrajets peuvent se modéliser à l’aide de mélanges de Gaussiennes ou de modèles de Markov cachés. Deux méthodes de positionnement adaptées à ces modèles sont étudiées pour la navigation GNSS.

Dans notre travail de mémoire, nous présentons l'approche bayésienne empirique dans l'inférence statistique. Les premiers articles dans ce domaine ont été publiés par Rabbins (1951, 1955, 1980). Robbins a utilisé une méthode non paramétrique (Maritz et Lwin (1989)) pour estimer la densité marginale. Plus tard, Morris (1983) a introduit l'approche paramétrique bayésienne empirique (voir aussi Efron et Morris (1973) (a), Casella (1985)). Nous décrivons les deux approches pour l'estimation de la moyenne de la loi gaussienne, de la loi de Poisson et de la loi exponentielle. Pour le cas gaussien, nous adaptons une méthodologie proposée par Angers (1992) pour l'estimation bayésienne hiérarchique à l'estimation bayésienne empirique dans le but d'obtenir des estimations plus robustes. Nous nous intéressons à l'estimation de la moyenne gaussienne et de la moyenne de la loi de Poisson quand les tailles des groupes sont inégales. Pour le cas gaussien, nous utilisons un estimateur du type James-Stein d'après Berger et Bock (1976) pour incorporer les tailles inégales. Dans le cas de la loi de Poisson, nous utilisons une méthode proposée par Maritz et Lwin (1989). Nous étudions également les estimateurs bayésiens empiriques pour estimer une moyenne exponentielle. Pour ce cas, nous avons introduit un nouvel estimateur bayésien empirique qui semble prometteur. Dans le cas gaussien, nous illustrons les approches en utilisant des banques de données pertinentes. Dans les autres cas, nous effectuons les études de simulation. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Analyse bayésienne, bayésien empirique, estimateur de stein, estimateur minimax, plans d'expérience non équilibrés.

En phase de préparation d'un processus de fouille de données, une part importante<br />du travail est consacrée à la construction et à la sélection des variables descriptives.<br />L'approche filtre univariée usuellement adoptée nécessite l'emploi d'une méthode<br />d'évaluation d'une variable. Nous considérons la question de l'évaluation supervisée d'une<br />variable séquentielle. Pour résoudre ce problème, nous montrons qu'il suffit de résoudre<br />un problème plus général : celui de l'évaluation supervisée d'une mesure de similitude.<br /><br />Nous proposons une telle méthode d'évaluation. Pour l'obtenir, nous formulons le<br />problème en un problème de recherche d'une partition de Voronoi informative. Nous<br />proposons un nouveau critère d'évaluation supervisée de ces partitions et une nouvelle<br />heuristique de recherche optimisée. Le critère prévient automatiquement le risque de surapprentissage<br />et l'heuristique trouve rapidement une bonne solution. Au final, la méthode<br />réalise une estimation non paramétrique robuste de la densité d'une variable cible catégorielle<br />conditionnellement à une mesure de similitude définie à partir d'une variable descriptive.<br /><br />La méthode a été testée sur de nombreux jeux de données. Son utilisation permet<br />de répondre à des questions comme : quel jour de la semaine ou quelle tranche horaire<br />sur la semaine discrimine le mieux le segment auquel appartient un foyer à partir de sa<br />consommation téléphonique fixe ? Quelle série de mesures permet de quantifier au mieux l'appétence à un nouveau service ?

Étant donné les progrès majeurs de l'intelligence artificielle (IA) au cours des dernières années, de plus en plus de domaines d'application adoptent les outils proposés par l'IA afin d'accomplir une multitude de tâches. Considérant l'importance de ces tâches dans des domaines comme la santé et l'énergie, il est nécessaire d'être en mesure de garantir le bon fonctionnement des algorithmes d'IA. Plusieurs résultats proposés dans la littérature visent à garantir la bonne performance de certains algorithmes. Toutefois, l'existence d'erreurs au sein de la littérature scientifique est inévitable dû aux milliers d'articles qui sont publiés chaque année. Bien que plusieurs de ces erreurs aient des conséquences mineures, certaines, en revanche, peuvent avoir un impact considérable sur l'état des connaissances scientifiques ainsi qu'en pratique. Par conséquent, il est important d'identifier et de comprendre ces erreurs dès qu'elles sont identifiées. Dans ce mémoire, nous abordons deux erreurs identifiées dans la littérature liée à l'usage de la statistique bayésienne dans une approche visant à identifier ces erreurs, comprendre leur nature tant au niveau de la théorique que de l'intuition et explorer les implications de ces erreurs pour la recherche en IA. La première erreur concerne l'optimalité $\mathcal{C}$-borne dans le cadre de la classification binaire. Nous parvenons à démontrer que pour des problèmes bruités, cette borne ne peut pas atteindre la valeur théorique optimale et utilisons cette analyse afin de démontrer théoriquement la meilleure valeur que peut produire cette borne selon le problème de classification. La seconde erreur concerne la garantie théorique de la convergence de l'algorithme ADD-GP-UCB dans le cadre de l'optimisation bayésienne. Bien que cette erreur ait été soulevée par le passé, celle-ci n'a jamais été proprement abordée dans la littérature. Nous parvenons ainsi à démontrer l'invalidité de la preuve tout en explicitant une multitude de raisonnements fallacieux identifiés dans la littérature concernant cet algorithme. / Given the significant progress of artificial intelligence (AI) in recent years, an increasing number of application domains are adopting AI tools to perform a multitude of tasks. Considering the importance of these tasks in areas such as health and energy, it is necessary to ensure the proper behavior of these AI algorithms. Several results proposed in the literature aim to guarantee the proper performance of certain algorithms. However, due to the thousands of articles published each year, errors in scientific literature are inevitable. Although many of these errors are of minor consequences, some can have a significant impact regarding general scientific knowledge as well as in practice. Therefore, it is important to address and understand these errors as soon as they are identified. In this paper, we address two errors identified in the literature related to the use of Bayesian statistics. Our approach aims to identify these errors, understand their nature both on a theoretical and an intuitive level, and explore their implications in the field of AI. The first error concerns the optimality of the $\mathcal{C}$-bound, a bound used in the context of binary classification. We demonstrate that in a noisy setting, this bound cannot reach an optimal value. Our analysis leads to the proof of the best value the $\mathcal{C}$-bound can achieve for a given classification problem. The second error concerns the convergence of the ADD-GP-UCB algorithm in the context of Bayesian optimization. Although this error has been raised in the past, it has never been properly addressed in the literature. We manage to demonstrate that the proposed proof is invalid while also shining light on a multitude of fallacious statements found in the literature concerning this algorithm.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

En IRMf, les conclusions de paradigmes expérimentaux restent encore sujettes à caution dans la mesure où elles supposent une connaissance a priori du couplage neuro-vasculaire, c’est-à- dire de la fonction de réponse hémodynamique qui modélise le lien entre la stimulation et le signal mesuré. Afin de mieux appréhender les changements neuronaux et vasculaires induits par la réalisation d’une tâche cognitive en IRMf, il apparaît donc indispensable d’étudier de manière approfondie les caractéristiques de la réponse hémodynamique. Cette thèse apporte un nouvel éclairage sur cette étude, en s’appuyant sur une méthode originale d’analyse intra-sujet des données d’IRMf : la Détection-Estimation Conjointe (« Joint Detection-Estimation » en anglais, ou JDE). L’approche JDE modélise de façon non paramétrique et multivariée la réponse hémodynamique, tout en détectant conjointement les aires cérébrales activées en réponse aux stimulations d’un paradigme expérimental. La première contribution de cette thèse a été centrée sur l’analyse approfondie de la variabilité hémodynamique, tant inter-individuelle qu’inter-régionale, au niveau d’un groupe de jeunes adultes sains. Ce travail a permis de valider la méthode JDE au niveau d’une population et de mettre en évidence la variabilité hémodynamique importante apparaissant dans certaines régions cérébrales : lobes pariétal, temporal, occipital, cortex moteur. Cette variabilité est d’autant plus importante que la région est impliquée dans des processus cognitifs plus complexes.Un deuxième axe de recherche a consisté à se focaliser sur l’étude de l’organisation hémodynamique d’une aire cérébrale particulièrement importante chez les êtres humains, la région du langage. Cette fonction étant liée à la capacité d’apprentissage de la lecture, deux groupes d’enfants sains, âgés respectivement de 6 et 9 ans, en cours d’apprentissage ou de consolidation de la lecture, ont été choisis pour mener cette étude. Deux apports méthodologiques importants ont été proposés. Tout d’abord, une extension multi-sessions de l’approche JDE (jusqu’alors limitée au traitement de données mono-session en IRMf) a été mise au point afin d’améliorer la robustesse et la reproductibilité des résultats. Cette extension a permis de mettre en évidence, au sein de la population d’enfants, l’évolution de la réponse hémodynamique avec l’âge, au sein de la région du sillon temporal supérieur. Ensuite, un nouveau cadre a été développé pour contourner l’une des limitations de l’approche JDE « standard », à savoir la parcellisation a priori des données en régions fonctionnellement homogènes. Cette parcellisation est déterminante pour la suite de l’analyse et a un impact sur les résultats hémodynamiques. Afin de s’affranchir d’un tel choix, l’alternative mise au point combine les résultats issus de différentes parcellisations aléatoires des données en utilisant des techniques de «consensus clustering». Enfin, une deuxième extension de l’approche JDE a été mise en place pour estimer la forme de la réponse hémodynamique au niveau d’un groupe de sujets. Ce modèle a pour l’instant été validé sur simulations, et nous prévoyons de l’appliquer sur les données d’enfant pour améliorer l’étude des caractéristiques temporelles de la réponse BOLD dans les réseaux du langage.Ce travail de thèse propose ainsi d’une part des contributions méthodologiques nouvelles pour caractériser la réponse hémodynamique en IRMf, et d’autre part une validation et une application des approches développées sous un éclairage neuroscientifique. / In fMRI, the conclusions of experimental paradigms remain unreliable as far as they supposesome a priori knowledge on the neuro-vascular coupling which is characterized by thehemodynamic response function modeling the link between the stimulus input and the fMRIsignal as output. To improve our understanding of the neuronal and vascular changes inducedby the realization of a cognitive task given in fMRI, it seems thus critical to study thecharacteristics of the hemodynamic response in depth.This thesis gives a new perspective on this topic, supported by an original method for intra-subjectanalysis of fMRI data : the Joint Detection-Estimation (or JDE). The JDE approachmodels the hemodynamic response in a not parametric and multivariate manner, while itjointly detects the cerebral areas which are activated in response to stimulations deliveredalong an experimental paradigm.The first contribution of this thesis is centered on the thorough analysis of the interindividualand inter-regiona hemodynamic variability from a population of young healthyadults. This work has allowed to validate the JDE method at the group level and to highlightthe striking hemodynamic variability in some cerebral regions : parietal, temporal, occipitallobes, motor cortex. This variability is much more important as the region is involved in morecomplex cognitive processes.The second research axis has consisted in focusing on the study of the hemodynamic orga-nizationof a particularly important cerebral area in Humans, the language system. Becausethis function embeds the reading learning ability, groups of healthy children of 6 and 9 yearsold respectively, who were in the process of learning or of strenghting reading, were chosen forthis study. Two important methodological contributions have been proposed. First, a multi-sessionsextension of the JDE approach (until now limited to the processing of mono-sessiondata in fMRI) was worked out in order to improve the robustness and the reproducibility ofthe results. Then, a new framework was developed to overcome the main shortcoming of theJDE approach. The latter indeed relies on a prior parcellation of the data in functionally ho-mogeneousregions, the choice of which is critical for the subsequent inference and impacts thehemodynamic results. In order to avoid this a priori choice, the finalized alternative combinesthe results from various random data fragmentations by using “consensus clustering”.Finally, a second extension of the JDE approach was developed in order to robustly estimatethe shape of the hemodynamic response at the group level. So far, this model was validatedon simulations, and we plan to apply it on children data to improve the study of the BOLDresponse temporal characteristics in the language areas. Thus, this PhD work proposes onone hand new methodological contributions to characterize the hemodynamic response infMRI, and on the other hand a validation and a neuroscientific application of the proposedapproaches.

Les méthodes d'apprentissage statistiques exploitent des exemples, pour enseigner un comportement à un modèle prédictif. La classification supervisée requiert des exemples étiquetés. En pratique, l'étiquetage des exemples peut se révélé coûteux. Dans certain cas, l'étiquetage implique un expert humain, un instrument de mesure, un temps de calcul élevé...etc. Les méthodes d'apprentissage actif réduisent le coût de préparation des données d'apprentissage. Ces méthodes cherchent à étiqueter uniquement les exemples les plus utiles à l'apprentissage d'un modèle. Les travaux présentés dans ce manuscrit sont réalisés dans le cadre de l'échantillonnage sélectif, qui n'autorise pas les stratégies actives à générer de nouveaux exemples d'apprentissage. Les stratégies actives de la littérature utilisent généralement des modèles globaux à l'espace des variables d'entrées. Nous proposons dans ce manuscrit une stratégie originale qui effectue un partitionnement dichotomique récursif de l'espace d'entrée. Cette stratégie met en compétition les modèles locaux à chacune des zones, pour choisir les exemples à étiqueter. Notre stratégie décide “quand” couper une zone et “où” la couper. Une amélioration possible consiste `a exploiter une méthode de discrétisation pour prendre ces deux décisions. L'extension de l'approche de discrétisation MODL au cas de l'apprentissage semi-supervisé constitue un des apports majeurs de cette thèse. Nous proposons une deuxième amélioration qui consiste à sélectionner, localement à la meilleure zone, l'exemple le plus utile à l'apprentissage du modèle local. Nous proposons une stratégie active originale, qui maximise la probabilité des modèles de discrétisation connaissant les données et l'exemple candidat à l'étiquetage.

La détection et la segmentation de formes dans les images à partir d'un échantillon nécessitent de combiner une analyse statistique des données à une analyse morphologique de l'image. L'analyse statique a pour objectif un calcul local de la similarité de l'image au modèle ; l'analyse morphologique vient compléter ce dispositif en permettant la prise en compte de l'information géométrique pour finaliser les étapes de détection et de segmentation. Les images étudiées sont des images multivaluées : images couleur, images multimodalité ou pile d'images émergeant d'une analyse multiéchelle d'une image scalaire... Le passage de l'image scalaire à l'image multivaluée pose des difficultés fondamentales, notamment pour l'analyse morphologique qui requiert de disposer d'un ordre total sur les valeurs manipulées. Contrairement aux scalaires, deux vecteurs ne sont pas comparables. La plupart des opérateurs définis dans le cas scalaire ne trouvent pas d'équivalent immédiat dans le cas vectoriel. Travailler à partir d'un échantillon permet de déverrouiller la situation, chaque élément de l'image multivaluée pouvant être ordonné selon sa similarité à l'échantillon. Sous réserve d'une relation univoque entre les vecteurs et leur rang dans l'espace des similarités, tous les opérateurs définis pour les images scalaires peuvent alors êtres étendus aux images vectorielles. Des applications sur les images couleur et sur des images médicales sont présentées. Une librairie "Open Source" (vmorph) a été réalisée afin détendre les opérateurs de morphologie mathématique aux vecteurs sur la base de nos travaux.

La robustesse d'une inférence a posteriori face à des valeurs aberrantes est étudiée, dans un cadre de régression linéaire bayésienne. Il est montré que le modèle de régression linéaire simple avec une constante nulle peut être vu comme un problème d'inférence sur des paramètres de position-échelle. Un lien est alors effectué avec la théorie de robustesse de Desgagné (2011). En présence minoritaire de données aberrantes, une convergence en loi des densités a posteriori vers celles excluant les valeurs extrêmes, lorsque celles-ci tendent vers plus ou moins l'infini, est garantie sous une condition relative à des ailes suffisamment relevées de la densité des erreurs. Il est démontré que les estimations par maximum de vraisemblance sont eux aussi robustes. De plus, une nouvelle famille de densités, appelée DL-GEP, est proposée afin de guider l'utilisateur dans une recherche de distributions respectant le critère de robustesse. Les résultats théoriques sont illustrés d'abord à l'aide d'un exemple basé sur des données simulées, puis par une étude de cas s'appuyant sur des données financières, où les considérations pratiques sont abordées. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Inférence bayésienne, robustesse, régression linéaire, valeurs aberrantes, paramètres de position-échelle, distributions à ailes relevées, fonctions à variation L-exponentielle, famille de densités DL-GEP.