L’objectif de ces travaux de doctorat est de développer un modèle prédictif capable de prévoir correctement les concentrations en polluants du jour pour le lendemain en Corse. Nous nous sommes intéressés aux PM10 et à l’ozone, les deux polluants les plus problématiques sur l’île. Le modèle devait correspondre aux contraintes d’un usage opérationnel au sein d’une petite structure, comme Qualitair Corse, l’association locale de surveillance de la qualité de l’air.La prévision a été réalisée à l’aide de réseaux de neurones artificiels. Ces modèles statistiques offrent une grande précision tout en nécessitant peu de ressources informatiques. Nous avons choisi le Perceptron MultiCouche (PMC), avec en entrée à la fois des mesures de polluants, des mesures météorologiques, et des sorties de modèles de chimie-transport (CHIMERE via la plate-forme AIRES) et de modèles météorologiques (AROME).La configuration des PMC a été optimisée avant leur apprentissage automatique, en conformité avec le principe de parcimonie. Pour en améliorer les performances, une étude de sélection de variables a été au préalable menée. Nous avons comparé l’usage d’algorithmes génétiques, de recuits simulés et d’analyse en composantes principales afin d’optimiser le choix des variables d’entrées. L’élagage du PMC a été également mis en œuvre.Nous avons ensuite proposé un nouveau type de modèle hybride, combinaison d’un classifieur et de plusieurs PMC, chacun spécialisé sur un régime météorologique particulier. Ces modèles, qui demandent un large historique de données d’apprentissage, permettent d’améliorer la prévision des valeurs extrêmes et rares, correspondant aux pics de pollution. La classification non-supervisée a été menée avec des cartes auto-organisatrices couplées à l’algorithme des k-means, ainsi que par classification hiérarchique ascendante. L’analyse de sensibilité à été menée grâce à l’usage de courbes ROC.Afin de gérer les jeux de données utilisés, de mener les expérimentations de manière rigoureuse et de créer les modèles destinés à l’usage opérationnel, nous avons développé l’application « Aria Base », fonctionnant sous Matlab à l’aide de la Neural Network Toolbox.Nous avons également développé l’application « Aria Web » destinée à l’usage quotidien à Qualitair Corse. Elle est capable de mener automatiquement les prévisions par PMC et de synthétiser les différentes informations qui aident la prévision rendues disponibles sur internet par d’autres organismes. / The objective of this doctoral work is to develop a forecasting model able to correctly predict next day pollutant concentrations in Corsica. We focused on PM10 and ozone, the two most problematic pollutants in the island. The model had to correspond to the constraints of an operational use in a small structure like Qualitair Corse, the local air quality monitoring association.The prediction was performed using artificial neural networks. These statistical models offer a great precision while requiring few computing resources. We chose the MultiLayer Perceptron (MLP), with input data coming from pollutants measurements, meteorological measurements, chemical transport model (CHIMERE via AIRES platform) and numerical weather prediction model (AROME).The configuration of the MLP was optimized prior to machine learning, in accordance with the principle of parsimony. To improve forecasting performances, we led a feature selection study. We compared the use of genetic algorithms, simulated annealing and principal component analysis to optimize the choice of input variables. The pruning of the MLP was also implemented.Then we proposed a new type of hybrid model, combination of a classification model and various MLPs, each specialized on a specific weather pattern. These models, which need large learning datasets, allow an improvement of the forecasting for extreme and rare values, corresponding to pollution peaks. We led unsupervised classification with self organizing maps coupled with k-means algorithm, and with hierarchical ascendant classification. Sensitivity analysis was led with ROC curves.We developed the application “Aria Base” running with Matlab and its Neural Network Toolbox, able to manage our datasets, to lead rigorously the experiments and to create operational models.We also developed the application “Aria Web” to be used daily by Qualitair Corse. It is able to lead automatically the prevision with MLP, and to synthesize forecasting information provided by other organizations and available on the Internet.

Les réseaux neuronaux sont remarquablement performants pour une grande variété de tâches d'apprentissage automatique et ont eu un impact profond sur la définition même de l'intelligence artificielle (IA). Cependant, malgré leur rôle important dans l'état actuel de l'IA, il est important de réaliser que nous sommes encore loin d'atteindre une intelligence de niveau humain. Une étape cruciale à l'amélioration de la performance des réseaux neuronaux consiste à faire progresser notre compréhension théorique, qui est en retard par rapport aux développements pratiques. Les dynamiques d'optimisation complexes des réseaux neuronaux, qui résultent d’interactions en haute dimension entre les nombreux paramètres du réseau, constituent un défi majeur pour l'élaboration des fondements théoriques de l'apprentissage profond. Ces dynamiques non triviales donnent lieu à des comportements empiriques déroutants qui, dans certains cas, contrastent fortement avec les prédictions théoriques. L'absence de surapprentissage dans les réseaux sur-paramétrés, leur recours à des corrélations fallacieuses et les courbes de généralisation non monotones font partie des comportements de généralisation des réseaux neuronaux qui laissent perplexe. Dans cette thèse, notre objectif est d'étudier certains de ces phénomènes perplexes en tant que pièces différentes d'un même casse-tête; un casse-tête dans lequel chaque phénomène sert de signal d'orientation pour développer une meilleure compréhension des réseaux neuronaux. Nous présentons trois articles en vue d’atteindre cet objectif; Le premier article sur multi-scale feature learning dynamics étudie les raisons qui sous-tendent la courbe de généralisation à double descente observée dans les réseaux neuronaux modernes. L'une des principales conclusions est que la double descente à travers les époques peut être attribuée à l'apprentissage de traits caractéristiques distincts à différentes échelles : Alors que les représentations faciles/rapides à apprendre sont en sur-apprentissage, les représentations plus complexes/lentes commencent à bien apprendre, ce qui entraîne une deuxième descente de l'erreur sur l’ensemble de test. Le deuxième article sur la famine de gradient identifie un phénomène fondamental qui peut entraîner une inclination à l'apprentissage dans les réseaux neuronaux. La famine de gradient se produit lorsqu'un réseau neuronal apprend à minimiser la perte en ne capturant qu'un sous-ensemble des traits caractéristiques pertinents à la classification, malgré la présence d'autres traits caractéristiques informatifs qui ne sont pas découverts. La famine de gradient a des conséquences bénéfiques et néfastes dont nous discutons. Le troisième article sur les méthodes simples de ré-équilibrage des données présente une étude empirique sur le problème de la généralisation à des groupes sous-représentés lorsque les données d'entraînement souffrent de déséquilibres importants. Ce travail porte sur les modèles qui généralisent bien en moyenne mais ne parviennent pas à généraliser à des groupes minoritaires. Notre principale conclusion est que des méthodes simples de ré-équilibrage de données permettent d'atteindre l’état de l’art pour la précision sur les groupes minoritaires, ce qui appelle à une examination plus approfondie des valeurs de référence et des méthodes de recherche sur la généralisation en-dehors du support de la distribution. Nos résultats permettent de mieux comprendre la mécanique interne des réseaux neuronaux et d'identifier les obstacles à la construction de modèles plus fiables, et ont des implications pratiques quant à l'entraînement des réseaux neuronaux. / Neural networks perform remarkably well in a wide variety of machine learning tasks and have had a profound impact on the very definition of artificial intelligence (AI). However, despite their significant role in the current state of AI, it is important to realize that we are still far from achieving human-level intelligence. A critical step in further improving neural networks is to advance our theoretical understanding which is in fact lagging behind our practical developments. A key challenge in building theoretical foundations for deep learning is the complex optimization dynamics of neural networks, resulting from the high-dimensional interactions between a large number of network parameters. Such non-trivial dynamics lead to puzzling empirical behaviors that, in some cases, appear in stark contrast with existing theoretical predictions. Lack of overfitting in over-parameterized networks, their reliance on spurious correlations, and double-descent generalization curves are among the perplexing generalization behaviors of neural networks. In this dissertation, our goal is to study some of these perplexing phenomena as different pieces of the same puzzle. A puzzle in which every phenomenon serves as a guiding signal towards developing a better understanding of neural networks. We present three articles towards this goal; The first article on multi-scale feature learning dynamics investigates the reasons underlying the double-descent generalization curve observed in modern neural networks. A central finding is that epoch-wise double descent can be attributed to distinct features being learned at different scales: as fast-learning features overfit, slower-learning features start to fit, resulting in a second descent in test error. The second article on gradient starvation identifies a fundamental phenomenon that can result in a learning proclivity in neural networks. Gradient starvation arises when a neural network learns to minimize the loss by capturing only a subset of features relevant for classification, despite the presence of other informative features which fail to be discovered. We discuss how gradient starvation can have both beneficial and adverse consequences on generalization performance. The third article on simple data balancing methods conducts an empirical study on the problem of generalization to underrepresented groups when the training data suffers from substantial imbalances. This work looks into models that generalize well on average but fail to generalize to minority groups of examples. Our key finding is that simple data balancing methods already achieve state-of-the-art accuracy on minority groups which calls for closer examination of benchmarks and methods for research in out-of-distribution generalization. These three articles take steps towards bringing insights into the inner mechanics of neural networks, identifying the obstacles in the way of building reliable models, and providing practical suggestions for training neural networks.

Titre de l'écran-titre (visionné le 18 mars 2024) / La fréquence et l'ampleur des dommages causés par les inondations au Canada augmentent chaque année, nécessitant des solutions préventives. Les étages inférieurs des bâtiments sont particulièrement vulnérables, justifiant la nécessité de détecter avec précision les ouvertures comme les portes et les fenêtres. Les nuages de points obtenus par télémétrie mobile sont bien adaptés pour identifier la présence de ces ouvertures sur les façades de bâtiments. Toutefois, la présence d'occlusions dans les nuages de points causées par des objets obstruant le faisceau LiDAR rend cette tâche complexe. Le présent projet de maîtrise vise à répondre à cette problématique en proposant une approche pour détecter et caractériser les occlusions dans les scènes acquises dans les milieux résidentiels et ruraux. La conception de la méthode est articulée autour de deux volets : la segmentation sémantique pour étiqueter le nuage de points et la détection d'occlusions par lancer de rayons. La méthode a été validée à partir de données simulées car elles permettent un contrôle total sur l'environnement et facilitent la visualisation des résultats. Cette analyse a ensuite été transposée sur les résultats obtenus à partir du nuage de points réel. Les résultats obtenus par la méthode proposée ont démontré une capacité à détecter la présence d'occlusions dans les milieux résidentiels et ruraux. La combinaison de la segmentation sémantique pour l'étiquetage du nuage de points avec la détection d'occlusions par lancers de rayons a permis une identification robuste des occlusions. Ces résultats soulignent l'efficacité de la solution dans des contextes réalistes, renforçant ainsi sa pertinence pour la détection précise des ouvertures sur les façades, une étape cruciale pour évaluer les risques liés aux inondations. La transposition réussie de l'analyse des données simulées aux résultats du nuage de points réel valide la robustesse de l'approche et son applicabilité dans des scénarios du monde réel. / The frequency and extent of flood damage in Canada increases every year, necessitating preventive solutions. The lower floors of buildings are particularly vulnerable, justifying the need for accurate detection of openings such as doors and windows. Point clouds obtained by mobile telemetry are suitable for identifying the presence of such openings on building facades. However, the presence of occlusions in the point clouds caused by objects obstructing the LiDAR beam makes this a complex task. The present Master's project aims to address this issue by proposing an approach for detecting and characterizing occlusions in scenes acquired in residential and rural environments. The method was designed around two components: semantic segmentation to label the point cloud, and occlusion detection using ray tracing. The method was validated using simulated data, as these allow total control over the environment and facilitate visualization of the results. This analysis was then transposed to results obtained from the real point cloud. The results obtained by the proposed method demonstrated an ability to detect the presence of occlusions in residential and rural environments. Combining semantic segmentation for point cloud labeling with occlusion detection by ray-tracing enabled robust occlusion identification. These results underline the effectiveness of the solution in realistic contexts, reinforcing its relevance for the accurate detection of facade openings, a crucial step in assessing flood risks. The successful transposition of simulated data analysis to real point cloud results validates the robustness of the approach and its applicability in real-world scenarios.

Thèse ou mémoire avec insertion d'articles / L'expansion rapide de l'Internet des Objets Médicaux (IoMT) englobe une variété de technologies connectées dans le domaine de la santé. Toutefois, les dispositifs de mesure actuels, notamment les bracelets connectés, présentent des limitations qui entravent l'adoption généralisée de l'IoMT et leur utilisation pour la mesure précise et fiable de l'état de santé. Ces limitations se manifestent dans la nécessité d'une transmission continue des données vers des services distants, souvent dépendante de l'utilisation d'un smartphone ou d'une connexion Internet. De plus, l'utilisation prédominante de montres commerciales dans l'IoMT soulève des défis majeurs, tels que la dépendance énergétique liée à une connectivité Internet intensive, la nécessité fréquente de recharges, et le risque de surcharge d'informations due à un affichage continu des données. Une autre contrainte significative dans le contexte de l'IoMT est la dépendance à des serveurs locaux (edge servers) pour la réalisation d'opérations cruciales. De nombreuses applications nécessitent ces serveurs périphériques pour effectuer des traitements locaux, améliorant ainsi la réactivité du système et réduisant la dépendance aux ressources cloud. Cependant, cette dépendance introduit de nouveaux défis en termes de gestion des données, de sécurité et de latence. Cette recherche s'inscrit dans un contexte complexe où l'IoMT, malgré ses avantages potentiels, doit surmonter des obstacles liés à la transmission de données, à la dépendance énergétique des dispositifs, et à la nécessité d'une infrastructure robuste, telle que les serveurs locaux, pour réaliser des opérations cruciales. Ces défis sont particulièrement prégnants dans le cadre de l'extraction des signes vitaux et l'étude de l'activité physique humaine. Pour répondre à ces défis, ce projet de recherche vise à concevoir un bracelet intelligent intégrant des circuits analogiques-numériques pour l'acquisition brute de signaux physiologiques. L'objectif est d'extraire plusieurs signes vitaux, d'optimiser l'utilisation des capteurs en fonction de l'activité et des signes vitaux, d'effectuer des opérations complexes à grande vitesse avec une faible latence et une consommation d'énergie limitée. Le bracelet sera configurable et adaptable, utilisant une transmission sans fil efficace tout en conservant la trace de l'évolution des signes vitaux. Il en résulte trois grands axes de recherches. Un premier axe de recherche a permis de démontrer un système novateur d'analyse en temps réel de douze mouvements de l'activité physique humaine grâce à l'intégration d'apprentissage machine dans le capteur. Ce système, en utilisant les données brutes des capteurs inertiel, a permis de réduire considérablement les coûts computationnels tout en améliorant la précision de la machine à vecteur de support à noyau gaussien par l'utilisation d'une Normalisation Sphérique Multi-Mapping (NSMM) visant à améliorer la dispersion des données. Les résultats montrent une rétroaction de prédiction rapide avec une latence inférieure à 20 ms et une consommation d'énergie modérée tout en offrant une précision de 98.28%. De manière similaire, le deuxième axe de recherche s'est concentré sur le développement d'un bracelet intelligent intégrant plusieurs algorithmes d'IA permettant d'extraire en temps réel des signes vitaux, même lors d'artefacts de mouvement. Ces algorithmes, spécifiquement optimisés pour minimiser l'utilisation de la RAM et des ressources matérielles, permettent une mesure précise du rythme cardiaque, de la fréquence respiratoire et de la saturation en oxygène. L'introduction d'un algorithme intelligent de fusion de domaines maintien des performances élevées pour l'extraction des signes vitaux tout en réduisant l'utilisation de la RAM, même en présence d'artefacts de mouvement. Par ailleurs, le troisième axe de recherche a innové en déployant un modèle d'apprentissage automatique, une machine à vecteur support à noyau linéaire, embarqué dans un dispositif portable pour détecter en temps réel les chutes. L'optimisation du modèle a considérablement réduit l'utilisation de la RAM de 97.9%, tout en maintenant une précision élevée de 96.4% dans la détection des chutes. Bien que cette optimisation entraîne une légère augmentation de la latence, celle-ci reste inférieure à 132 ms, garantissant une détection efficace des chutes. En conclusion, ces recherches contribuent au développement de dispositifs portables intelligents intégrant l'apprentissage automatique pour la surveillance médicale en temps réel. Les méthodes innovantes, les algorithmes optimisés et les déploiements embarqués ouvrent des perspectives pratiques, notamment dans la prévention des blessures, les soins aux personnes âgées et la surveillance continue de la santé. Ces résultats enrichissent l'évolution de l'IoMT, en fournissant des solutions adaptées et efficaces aux contraintes des dispositifs portables. / The rapid expansion of the Internet of Medical Things (IoMT) encompasses a variety of connected technologies in the healthcare sector. However, current measurement devices, notably wearable devices like smartwatches, have limitations that hinder the widespread adoption of IoMT and their use for precise and reliable health monitoring. These limitations include the need for continuous data transmission to remote services, often reliant on a smartphone or Internet connection. Additionally, the prevalent use of commercial watches in IoMT poses major challenges, such as energy dependence due to intensive Internet connectivity, frequent recharging needs, and the risk of information overload from continuous data display. Another significant constraint in the IoMT context is the reliance on edge servers for crucial operations. Many applications require these peripheral servers for local processing, improving system responsiveness and reducing dependence on cloud resources. However, this dependence introduces new challenges in terms of data management, security, and latency. This research addresses a complex context where IoMT, despite its potential benefits, must overcome obstacles related to data transmission, device energy dependence, and the need for a robust infrastructure, such as edge servers, to perform critical operations. These challenges are particularly prevalent in vital signs extraction and human physical activity studies. To address these challenges, this research project aims to design a smart bracelet integrating analog-todigital circuits for raw physiological signal acquisition. The goal is to extract multiple vital signs, optimize sensor use based on activity and vital signs, perform complex operations at high speed with low latency and limited energy consumption. The bracelet will be configurable and adaptable, using efficient wireless transmission while keeping track of vital signs evolution. As a result, three main research axes emerge. The first axis demonstrates an innovative realtime analysis system for twelve human physical activity movements through machine learning integration into the sensor. Using raw inertial sensor data, this system significantly reduces computational costs while improving the accuracy of the Gaussian kernel support vector machine through the use of Multi-Mapping Spherical Normalization (MMSN) to improve data dispersion. The results show rapid prediction feedback with latency below 20 ms and moderate energy consumption while offering 98.28% accuracy. Similarly, the second research axis focused on developing a smart bracelet integrating multiple AI algorithms for real-time ex traction of vital signs, even during motion artifacts. These algorithms, specifically optimized to minimize RAM and hardware resource usage, allow for precise measurement of heart rate, respiratory rate, and oxygen saturation. The introduction of an intelligent domain fusion algorithm maintains high performance for vital signs extraction while reducing RAM usage, even in the presence of motion artifacts. Furthermore, the third research axis innovated by deploying a machine learning model, a linear kernel support vector machine, embedded in a wearable device for real-time fall detection. Model optimization significantly reduced RAM usage by 97.9%, while maintaining high detection accuracy of 96.4% for falls. Although this optimization leads to a slight increase in latency, it remains below 132 ms, ensuring effective fall detection. In conclusion, this research contributes to the development of smart wearable devices integrating machine learning for real-time medical monitoring. The innovative methods, optimized algorithms, and embedded deployments offer practical prospects, particularly in injury prevention, elderly care, and continuous health monitoring. These results enrich the evolution of IoMT by providing tailored and effective solutions to the constraints of wearable devices.

Titre de l'écran-titre (visionné le 30 mai 2023) / Ce travail s'inscrit dans un projet de plus grande envergure, concernant la détection de polypharmacie potentiellement inappropriée, c'est-à-dire les combinaisons de 5 médicaments ou plus pris par un individu dans un court laps de temps entrainant des effets de santé indésirables. L'objectif de ce travail est de trouver une méthode efficace et rapide pour extraire un nombre raisonnable de lois d'association de qualité. Ici nos lois d'association mettent en relation des combinaisons de médicaments et des états médicaux. Nous nous sommes intéressés aux mesures permettant de juger la qualité d'une loi d'association ainsi que leur pertinence dans le projet. Ensuite, nous avons mis au point plusieurs méthodes permettant de miner des lois d'association. La première est une métaheuristique basée sur la période géologique appelée l'explosion cambrienne. Les métaheuristiques sont des algorithmes d'optimisation utilisant des processus stochastiques pour faire converger une population (un ensemble de solutions) vers l'optimum d'une fonction. Nous avons ensuite envisagé l'utilisation de réseaux de neurones profonds, plus précisément des auto-encodeurs. Nous avons alors créé l'algorithme ARM-AE qui utilise les auto-encodeurs et obtient de bonnes performances et surpasse les méthodes classiques sur plusieurs mesures de performance. Finalement, nous avons appliqué ARM-AE sur le jeu de données massives en santés de l'INSPQ (Institut national de santé publique du Québec) et nous fournissons une analyse des lois trouvées d'un point de vue statistique et médical. / This work is part of a larger project regarding the detection of potentially inappropriate polypharmacy leading to negative health effects in Quebec seniors. Polypharmacy is most often defined as a combinations of five or more medications taken at the same time by an individual. The objective of this work is to find an efficient and fast method to find a reasonable number of quality association rules. An association rule is an implication of the form A ⇒ C, which can be read as ”If A then C”, with A and C two sets of items, here the items are drugs and medical outcomes. We are interested in measures that allow to judge the quality of an association rule, as well as their relevance in the project. Then we develop several methods to mine association rules. The first one is a metaheuristic based on the geological period called the Cambrian explosion. Metaheuristics are optimisation algorithms using stochastic processes to converge a population (a set of solutions) to the optimum of a function. We then consider using deep neural networks, more precisely auto-encoders. We create the ARM-AE algorithm which uses auto-encoders and presents good performances and has several advantages over classical methods. Finally we apply ARM-AE on the massive healthcare dataset of the INSPQ (Institutnational de santé publique du Québec), and we provide an analysis of the rules found from a statistical and a medical point of view.

Ce document présente les approches suivies et les résultats des investigations théoriques et expérimentales entreprises dans le cadre de l'étude du procédé de crêpage du papier depuis le début de la maîtrise faite en collaboration avec Kruger Produits Ltée. L'objectif du projet est de mieux comprendre les phénomènes reliant la qualité du papier a l'état d'usure des lames de crêpage. À cette fin, une méthode expérimentale basée sur les techniques de mesure par émission acoustique afin de suivre en temps réel le comportement mécanique et l'état d'usure des lames est proposée. Ce suivi en temps réel permet d'identifier par émission acoustique les mécanismes reliés à l'usure des lames par friction et d'établir une corrélation entre le comportement mécanique de la lame et les différents paramètres de qualité du papier, dont le crêpage. Ce mémoire présente donc en premier lieu la problématique du projet, les éléments fondamentaux qui entrent en jeu lors du procédé de crêpage, la description des lames utilisées dans le procédé industriel, l'analyse des principes de base des phénomènes d'usure des lames en relation avec les aspects métallurgiques du matériau et enfin, les principes du suivi de l'usure par la technique d'émission acoustique et le traitement numérique des signaux. La deuxième partie du mémoire s'attarde sur les procédures expérimentales suivies et sur la synthèse des résultats obtenus. La troisième partie présente la conclusion sur les résultats obtenus à partir de laquelle une série de recommandations sont mises de l'avant afin de permettre à l'entreprise d'améliorer l'opération de crêpage du papier.

Cette thèse propose des approches neuromimétiques d'identification et de commande avec des applications directes au Filtre Actif Parallèle (FAP) et au Moteur Synchrone à Aiment Permanent (MSAP). Une structure neuronale complète a été développée pour réaliser toutes les fonctionnalités d'un FAP pour compenser des harmoniques de courant. La phase instantanée et les composantes symétriques d'un système triphasé de tensions ou de courants ont été estimées avec une boucle à verrouillage de phase neuronale. L'identification des harmoniques de courant a été réalisée avec des réseaux de neurones de type Adaline opérant dans les différents repères. Plusieurs schémas de commande ont été développés pour réinjecter les courants de compensation à l'aide d'un onduleur. Ils sont basés sur des techniques neuromimétiques, sur la logique floue, ou sur leur association. Une approche neuronale a été développée pour commander une MSAP à distribution quelconque avec des contraintes prédéterminées réduisant les ondulations du couple. Elle consiste en des schémas de commande directe en couple ou en vitesse pour obtenir les courants statoriques optimaux qui donnent exactement le couple électromagnétique (ou la vitesse) désiré et qui réduisent au maximum les pertes par effet Joule. Ces commandes intègrent deux blocs neuronaux, l'un dédié au calcul des courants optimaux et l'autre pour assurer leur génération à travers un onduleur de tension. Toutes les approches neuromimétiques ont été validées par des tests de simulation et des essais expérimentaux. Des comparaisons avec les méthodes de commande classique démontrent des caractéristiques supérieures en termes de performance et de robustesse.

Depuis que les Hommes communiquent, le besoin de dissimuler tout ou partie de la communication existe. On peut citer au moins deux formes de dissimulation d'un message au sein d'une communication: Dans le premier cas, le message à envoyer peut lui même être modifié, de telle sorte que seul le destinataire puisse le décoder. La cryptographie s'emploie par exemple à cette tâche. Une autre forme est celle de la stéganographie, qui vise à dissimuler le message au sein d'un document. Et de même que pour la cryptographie dont le pendant est la cryptanalyse visant à décrypter le message, la stéganalyse est à l'opposé de la stéganographie et se charge de détecter l'existence d'un message. Le terme de stéganalyse peut également désigner l'importante classe de problèmes liés à la détection de l'existence du message mais aussi à l'estimation de sa taille (stéganalyse quantitative) ou encore de son contenu. Dans cette thèse, l'accent est tout d'abord mis sur le problème classique de stéganalyse (détection de la présence du message). Une méthodologie permettant d'obtenir des résultats statistiquement fiables dans ce contexte est proposée. Il sagit tout d'abord d'estimer le nombre d'échantillons (ici des images) suffisant à l'obtention de résultats pertinents, puis de réduire la dimensionalité du problème par une approche basée sur la sélection de variables. Dans le contexte de la stéganalyse, la plupart des variables obtenues peuvent être interprétées physiquement, ce qui permet une interprétation de la sélection de variables obtenue: les variables sélectionnées en premier réagissent vraisemblablement de façon importante aux changements causés par la présence du message. Leur analyse peut permettre de comprendre le fonctionnement et les faiblesses de l'algorithme de stéganographie utilisé, par exemple. Cette méthodologie peut s'avérer complexe en termes de calculs et donc nécessiter des temps d'éxecution importants. Pour pallier à ce problème, un nouveau modèle pour le "Machine Learning" est proposé, l'OP-ELM. L'OPELM est constitué d'un Réseau de Neurones au sein duquel des projections aléatoires sont utilisées. Les neurones sont ensuite classés par pertinence vis à vis du problème, et seuls les plus pertinents sont conservés. Cette structure de modèle parvient à obtenir des performances similaires à celles de l'état de l'art dans le domaine du "Machine Learning". Enfin, le modèle OP-ELM est utilisé dans le cadre de la stéganalyse quantitative, cette fois (l'estimation de la taille du message). Une approche nouvelle sur ce problème est utilisée, faisant appel à une technique de ré-insertion d'un message au sein d'une image considérée comme suspecte. En répétant ce processus de ré-insertion un certain nombre de fois, et pour des messages connus de tailles différentes, il est possible d'estimer la taille du message original utilisé par l'expéditeur. De plus, par l'utilisation de la largeur de l'intervalle de confiance obtenu sur la taille du message original, une mesure de la difficulté intrinsèque à l'image est présentée. Ceci permet d'estimer la fiabilité de la prédiction obtenue pour la taille du message original.

Ce document tente de promouvoir, au travers de recherches passées et de propositions nouvelles, un cadre computationel pour l'étude de la cognition. En ce sens, la notion de calculs numériques distribués et adaptatifs est détaillée afin de mieux comprendre pourquoi nous pouvons prétendre à la légitimité dans les modèles numériques que nous concevons pour décrire la Biologie et le Vivant.

La recherche d'informations s'intéresse, entre autres, à répondre à des questions comme: est-ce qu'un document est pertinent à une requête ? Est-ce que deux requêtes ou deux documents sont similaires ? Comment la similarité entre deux requêtes ou documents peut être utilisée pour améliorer l'estimation de la pertinence ? Pour donner réponse à ces questions, il est nécessaire d'associer chaque document et requête à des représentations interprétables par ordinateur. Une fois ces représentations estimées, la similarité peut correspondre, par exemple, à une distance ou une divergence qui opère dans l'espace de représentation. On admet généralement que la qualité d'une représentation a un impact direct sur l'erreur d'estimation par rapport à la vraie pertinence, jugée par un humain. Estimer de bonnes représentations des documents et des requêtes a longtemps été un problème central de la recherche d'informations. Le but de cette thèse est de proposer des nouvelles méthodes pour estimer les représentations des documents et des requêtes, la relation de pertinence entre eux et ainsi modestement avancer l'état de l'art du domaine. Nous présentons quatre articles publiés dans des conférences internationales et un article publié dans un forum d'évaluation. Les deux premiers articles concernent des méthodes qui créent l'espace de représentation selon une connaissance à priori sur les caractéristiques qui sont importantes pour la tâche à accomplir. Ceux-ci nous amènent à présenter un nouveau modèle de recherche d'informations qui diffère des modèles existants sur le plan théorique et de l'efficacité expérimentale. Les deux derniers articles marquent un changement fondamental dans l'approche de construction des représentations. Ils bénéficient notamment de l'intérêt de recherche dont les techniques d'apprentissage profond par réseaux de neurones, ou deep learning, ont fait récemment l'objet. Ces modèles d'apprentissage élicitent automatiquement les caractéristiques importantes pour la tâche demandée à partir d'une quantité importante de données. Nous nous intéressons à la modélisation des relations sémantiques entre documents et requêtes ainsi qu'entre deux ou plusieurs requêtes. Ces derniers articles marquent les premières applications de l'apprentissage de représentations par réseaux de neurones à la recherche d'informations. Les modèles proposés ont aussi produit une performance améliorée sur des collections de test standard. Nos travaux nous mènent à la conclusion générale suivante: la performance en recherche d'informations pourrait drastiquement être améliorée en se basant sur les approches d'apprentissage de représentations. / Information retrieval is generally concerned with answering questions such as: is this document relevant to this query? How similar are two queries or two documents? How query and document similarity can be used to enhance relevance estimation? In order to answer these questions, it is necessary to access computational representations of documents and queries. For example, similarities between documents and queries may correspond to a distance or a divergence defined on the representation space. It is generally assumed that the quality of the representation has a direct impact on the bias with respect to the true similarity, estimated by means of human intervention. Building useful representations for documents and queries has always been central to information retrieval research. The goal of this thesis is to provide new ways of estimating such representations and the relevance relationship between them. We present four articles that have been published in international conferences and one published in an information retrieval evaluation forum. The first two articles can be categorized as feature engineering approaches, which transduce a priori knowledge about the domain into the features of the representation. We present a novel retrieval model that compares favorably to existing models in terms of both theoretical originality and experimental effectiveness. The remaining two articles mark a significant change in our vision and originate from the widespread interest in deep learning research that took place during the time they were written. Therefore, they naturally belong to the category of representation learning approaches, also known as feature learning. Differently from previous approaches, the learning model discovers alone the most important features for the task at hand, given a considerable amount of labeled data. We propose to model the semantic relationships between documents and queries and between queries themselves. The models presented have also shown improved effectiveness on standard test collections. These last articles are amongst the first applications of representation learning with neural networks for information retrieval. This series of research leads to the following observation: future improvements of information retrieval effectiveness has to rely on representation learning techniques instead of manually defining the representation space.