Le temps est une dimension universelle traitée par les systèmes sensoriels, qui est essentielle pour attribuer un sens à des stimuli comme la parole ou la musique pour l'audition. Cependant, les mécanismes requis pour le traitement temporel restent en grande part méconnus. Dans cette thèse, nous avons examiné un type de mécanisme faisant sans doute partie intégrante de tout traitement temporel : la formation de nouvelles traces mnésiques pour l’information temporelle. Nous avons étudié principalement la modalité auditive, mais aussi d'autres modalités sensorielles, comme le toucher, la vision, et la stimulation électrique directe du système auditif périphérique avec un implant cochléaire. Toutes les expériences ont utilisé un nouveau paradigme expérimental, adapté de précédentes études conçues pour étudier la mémoire auditive (Agus, Thorpe, & Pressnitzer, 2010). Au lieu d'utiliser du bruit comme stimulus, nous avons utilisé des séquences d’intervalles de temps irréguliers délimités par de brèves impulsions d'énergie, adaptées à la modalité étudiée. Dans une première série d'expériences, nous avons étudié la modalité auditive chez des auditeurs normo-entendants, en utilisant des trains de clics audio comme stimuli. Nous avons démontré, pour la première fois, un apprentissage rapide de sons contenant uniquement des informations temporelles. Dans une seconde série d'expériences, nous avons appliqué le même paradigme à trois modalités sensorielles (audition, toucher et vision), en utilisant des clics audio, des impulsions de mouvement au bout des doigts, et des flashs de lumière pour délimiter les intervalles de temps dans les différences modalités. Nous avons observé des formes qualitativement similaires d'apprentissage perceptif pour les trois modalités, avec un apprentissage rapide dans tous les cas, ainsi qu'un transfert d'apprentissage au toucher ou à la vision pour des séquences initialement apprises de façon auditive. Dans une troisième série d'expériences, nous avons testé des malentendants stimulés électriquement par leur implant cochléaire avec des séquences d'impulsions irrégulières. Nous avons trouvé des indications d’une plasticité préservée pour l'apprentissage rapide des informations temporelles chez ces auditeurs. Enfin, nous présentons des résultats préliminaires en utilisant une nouvelle technique susceptible de révéler certains des mécanismes neuronaux sous-jacents à l'apprentissage perceptuel rapide. Nous avons mesuré la dilatation pupillaire pendant que les auditeurs effectuaient la tâche de mémoire auditive et observé des changements systématiques de la taille de la pupille avec l'apprentissage. En conclusion, la thèse montre une capacité remarquable des systèmes perceptifs à apprendre des séquences temporelles complexes lorsqu'elles apparaissent plusieurs fois dans l'environnement, et suggère de nouvelles méthodes expérimentales pour étudier plus avant les mécanismes neuronaux sous-jacents. / Time is a universal feature of all information processed by sensory systems, and temporal patterning is often essential for attributing meaning to external stimuli such as speech or music in audition. However, many of the mechanisms needed for temporal processing are still unclear. In this thesis, we investigated one type of mechanism arguably integral to any kind of temporal processing: the formation of novel memories for temporal patterns. We studied mainly the auditory modality, but also other sensory modalities such touch, vision, and electric hearing with a cochlear implant. All experiments used a novel experimental paradigm, adapted from a previous study designed to explore auditory memory of random noise (Agus, Thorpe, & Pressnitzer, 2010). Instead of using noise as the complex stimulus to learn, we used irregular time patterns made of random time intervals delineated by modality-adapted brief energy pulses. In a first series of experiments, we investigated the auditory modality in normal hearing listeners, using click trains as stimuli. We demonstrated for the first time a rapid learning of stimuli containing solely temporal cues. In a second series of experiments, we applied the same paradigm to multiple sensory modalities (audition, touch, and vision), using audio clicks, motion pulses to the fingertips, and light to delineate time intervals. We found a qualitatively similar forms of perceptual learning for all three modalities, with rapid learning in all cases, as well as a transfer of learning to touch or vision for patterns learnt initially learnt in audition. In a third series of experiments, we tested hearing impaired listeners stimulated through their cochlear implant with sequences of electrical pulses. We found evidence for preserved plasticity for the rapid learning of time patterns in those listeners. Finally, we present preliminary data using a novel technique for studying the underlying neural mechanisms of rapid perceptual learning. We measured pupil dilation while listeners performed the memory task and observed systematic changes in pupil size with perceptual learning. In conclusion, the thesis shows a remarkable ability of perceptual systems to learn complex time patterns as they re-occur in the environment, and suggests new experimental methods to further study the underlying neural mechanisms.

L'évolution de la gastrite et des lésions précancéreuses suit une cascade de plusieurs étapes. Les modifications des tissus pathologiques affichent de faibles variations par rapport à la muqueuse normale d'un point de vue macroscopique. Même si certaines variations pourraient être identifiées, cela reste fortement subjectif. Le diagnostic classique des maladies de l'estomac est divisé en deux procédures. Le premier est une gastroendoscopie où l'estomac est visuellement exploré sous une lumière blanche. Le second est la biopsie pour l'analyse histologique. Cette procédure a une forte probabilité d'établir le diagnostic correct mais il dépend fortement de la sélection correcte des échantillons de tissus endommagés. Ce travail porte sur l'étude de la muqueuse gastrique par imagerie multispectrale. La contribution principale est l'étude clinique de l'imagerie multispectrale afin de différencier les pathologies mal diagnostiquées ou qui ne peuvent être diagnostiquées que par l'analyse histologique. A cet effet, nous avons effectué (1) une étude ex-vivo dans un modèle de souris de l'infection de Helicobacter pylori dans le but d'identifier les longueurs d'onde qui pourraient être utilisées pour le diagnostic. (2) Nous proposons deux prototypes compatibles avec les gastroendoscopes actuels pour acquérir des images multispectrales du tissu gastrique : le premièr est basé sur une roue à filtres et le second sur une caméra multispectrale avec sept canaux. De plus, (3) nous présentons une méthodologie pour identifier les tissus pathologiques, qui est basé sur des caractéristiques statistiques extraites des spectres acquis, classées en fonction de leur pouvoir discriminants et une classification supervisée, où nous cherchons la meilleure performance de trois algorithmes de classification: le plus proche voisin, un réseaux de neurones et une Support Vector Machine avec une évaluation de la performance rigoureuse en utilisant une validation de type Leave One Patient Out Cross Validation. Les résultats démontrent la pertinence de l’imagerie multispectrale comme un outil supplémentaire pour un diagnostic objectif. / The evolution of gastritis into precancerous lesions follows a cascade of multiplestages. The modifications of the pathological tissues display low variations with respect to normal mucosa from a macroscopical point of view. Even though some features could be identified, they remain strongly subjective. The current gold standard for diagnosis of gastric diseases is divided in two procedures. The first one is gastroendoscopy where the stomach is visually explored under white light. The second one is biopsy collection for histological analysis. This procedure has a high probability of establishing the correct diagnosis but it strongly depends on the accurate collection of samples from damaged tissues. This doctoral work focuses on the study of gastric mucosa by multispectral imaging. The main contribution is the clinical study of multispectral imaging to differentiate pathologies poorly diagnosed or that can only be diagnosed by histological analysis. For this purpose, we performed (1) ex vivo studies in a mice model of infection of Helicobacter pylori in order to identify the wavelengths which could be used for diagnosis. (2) We propose two prototypes compatible with current gastroendoscopes to acquire multispectral images from gastric tissue: the first one is based on a filter wheel and the second one on a multispectral camera with seven channels. Additionally, (3) we present a methodology to identify pathological tissues, which is based on statistical features extracted from the acquired spectra, ranked according to their discriminative power and a supervised classification, where we search for the best performance of three classification algorithms: Nearest Neighbor, Neural Networks and Support Vector Machine with a rigorous performance evaluation by using leave one patient out cross validation. The results demonstrate the relevance of multispectral imaging as an additional tool for an objective diagnosis.

Cette thèse se concerne avec de tâches de la recherche et la classification d'images. Ces tâches sont résolues par l'apprentissage des modèles statistiques donnée une représentation du contenu visuel de l'image et une mesure de ressemblance entre les images. Ici nous visons à améliorer les performances du tâches en étendant le sac-de-mots représentation de l'image, tout en utilisant modèles statistiques et des mesures de similarité entre les images déjà existants. Nous adaptons la représentation d'image en fonction d'une tâche donnée. Nous avons d'abord explorer la tâche de reclassement d'images, en contexte de la recherche d'images, dont le but est de trier les images récupérées par une requête textuelle afin que les images pertinentes pour ce requête sont classés au-dessus les autres images. Inspiré par le méthodes de reclassement de documents textuelles nous avons développé une représentation qui dépend du contenu visuel de l'image, mais également sur la requête textuelle utilisée pour récupérer l'image. Ensuite, nous adaptons la représentation pour la tâche de classification d'images, qui vise à attribuer une ou plusieurs étiquettes d'une image liée à la contenu visuel de l'image. Nous avons adaptée de la représentation en apprenant un vocabulaire visuel, spécifiquement pour la tâche de classification. Nous avons également introduit une nouvelle représentation qui encode les informations sur la disposition spatiale des parties d'image, de manière beaucoup plus compacte que les représentations actuellement utilisés pour codage de l'agencement spatial. Toutes les représentations développées sont compacts, rapides à construire et obtient bons résultats en utilisent des modèles linéaires. Nous montrons des améliorations sur plusieurs bases des images complexes en comparaison avec des méthodes de l'état de l'art. Pour les tâches de recherche et classification d'images nous avons montré que l'adaptation de la représentation à la tâche améliore les performances.

The amount of data available on the web is constantly growing, and e-commerce websites are no exception. Considering the abundance of available information, finding offers for the same product in the catalogue of different retailers represents a challenge. This problem is an interesting one and addresses the needs of multiple actors. A customer is interested in finding the best deal for the product they want to buy. A retailer wants to keep up to date with the competition and adapt its pricing strategy accordingly. Various services already offer the possibility of finding duplicate products in catalogues of e-commerce retailers, but their solutions are based on matching a Global Trade Identification Number (GTIN). This strategy is limited because a GTIN may not be made publicly available by a competitor, may be different for the same product exported by the manufacturer to different markets or may not even exist for low-value products. The field of Entity Resolution (ER), a sub-branch of Natural Language Processing (NLP), focuses on solving the issue of matching duplicate database entries when a deterministic identifier is not available. We investigate various solutions from the the field and present a new model called Spring R-SupCon that focuses on low volume datasets. Our work builds upon the recently introduced model, R-SupCon, introducing a new learning scheme that improves R-SupCon’s performance by up to 74.47% F1 score, and surpasses Ditto by up 12% F1 score for low volume datasets. Moreover, our experiments show that smaller language models can be used for ER with minimal loss in performance. This has the potential to extend the adoption of Transformer-based solutions to companies and markets where datasets are difficult to create, like it is the case for the Swedish marketplace Fyndiq. / Mängden data på internet växer konstant och e-handeln är inget undantag. Konsumenter har idag många valmöjligheter varifrån de väljer att göra sina inköp från. Detta gör att det blir svårare och svårare att hitta det bästa erbjudandet. Även för återförsäljare ökar svårigheten att veta vilken konkurrent som har lägst pris. Det finns tillgängliga lösningar på detta problem men de använder produktunika identifierare såsom Global Trade Identification Number (förkortat “GTIN”). Då det finns en rad utmaningar att bara förlita sig på lösningar som baseras på GTIN behövs ett alternativt tillvägagångssätt. GTIN är exempelvis inte en offentlig information och identifieraren kan dessutom vara en annan när samma produkt erbjuds på en annan marknad. Det här projektet undersöker alternativa lösningar som inte är baserade på en deterministisk identifierare. Detta projekt förlitar sig istället på text såsom produktens namn för att fastställa matchningar mellan olika erbjudanden. En rad olika implementeringar baserade på maskininlärning och djupinlärning studeras i detta projekt. Projektet har dock ett särskilt fokus på “Transformer”-baserade språkmodeller såsom BERT. Detta projekt visar hur man generera proprietär data. Projektet föreslår även ett nytt inlärningsschema och bevisar dess fördelar. / Le volume des données qui se trouve sur l’internet est en une augmentation constante et les commerces électroniques ne font pas note discordante. Le consommateur a aujourd’hui beaucoup des options quand il decide d’où faire son achat. Trouver le meilleur prix devient de plus en plus difficile. Les entreprises qui gerent cettes plates-formes ont aussi la difficulté de savoir en tous moments lesquels de ses concurrents ont le meilleur prix. Il y-a déjà des solutions en ligne qui ont l’objectif de résoudre ce problème, mais ils utilisent un identifiant de produit unique qui s’appelle Global Trade identification number (ou GTIN). Plusieurs difficultés posent des barriers sur cette solution. Par exemple, GTIN n’est pas public peut-être, ou des GTINs différents peut-être assigne par la fabricante au même produit pour distinguer des marchés différents. Ce projet étudie des solutions alternatives qui ne sont pas basées sur avoir un identifiant unique. On discute des methods qui font la décision en fonction du nom des produits, en utilisant des algorithmes d’apprentissage automatique ou d’apprentissage en profondeur. Le projet se concentre sur des solutions avec ”Transformer” modèles de langages, comme BERT. On voit aussi comme peut-on créer un ensemble de données propriétaire pour enseigner le modèle. Finalement, une nouvelle method d’apprentissage est proposée et analysée.

Cette thèse porte sur la conception et le test des premiers circuits CMOS auto-adaptatifs nanométriques dédiés aux applications automobiles, avioniques et aérospatiales, dans des environnements à forte contrainte car soumis à des compromis entre vitesse (performance), consommation (Low Power) et vieillissement (Wearout). Des solutions innovantes ont été développées avec des boucles de régulation dynamiques pour optimiser la consommation des différents éléments (niveau de conception) et des blocs (système), tout en assurant leur bon fonctionnement. La validation des solutions a été réalisée étape par étape dans la chaîne de conception, en se concentrant d'abord sur le développement d'un premier démonstrateur en technologie CMOS (M40) 40 nm pour les applications automobiles de STMicroelectronics. Différentes manières d'anticiper les erreurs ont été comparées en conservant la détection de retard IS2M dans les chemins critiques. Une modélisation théorique des boucles de contrôle a abouti à un outil de simulation basé sur des chaînes de Markov discrètes dans le temps (DTMC). Cette modélisation a été confrontée avec succès à des mesures de silicium démontrant que les solutions sélectionnées offraient une réduction de la puissance consommée par 2 avec des performances et une fiabilité égales. Dans la dernière partie, les solutions proposees sont testees sur un demonstrateur CMOS FDSOI 28nm, afin de valider la pertinence de l'adaptation dynamique (D-ABB) dans les tensions d'alimentation et de face. / This thesis deals with the design and testing of the first self-adaptive nanoscale CMOS circuits dedicated to automotive, avionics and aerospace applications, under high stress environment because they are subject to the trade-off between speed (performance), consumption (Low Power) and aging (Wearout). Innovative solutions have been developed with dynamic control loops to optimize the consumption of the various elements (design level) and blocks (system), while ensuring their smooth operation. Validation of solutions has been achieved step by step in the design chain, focusing first on the development of a first demonstrator in 40nm CMOS (M40) technology for automotive applications from STMicroelectronics. Various ways of anticipating errors were compared by retaining the IS2M (adjustable time window) delay detection in critical paths as the most efficient for optimization solutions. A theoretical modeling of the control loops has resulted in a simulation tool based on time discrete Markov chains (DTMC). This modeling was successfully confronted with silicon measurements demonstrating that the solutions selected offered a reduction in the power consumed by 2 with equal performance and reliability. In the last part, the high-level hierarchical modeling was applied on several systems / products of 28nm FDSOI CMOS nodes (28FD), in order to validate the relevance of the dynamic adaptation (D-ABB) in supply and face voltages. (VDD, VB). This allowed to prove the validity of the complete methodology by arriving at the precise statistical prediction of the reliability integrating the whole performance-consumption value chain using the advanced simulations.

Ce travail de recherche explore les méthodes d’apprentissage profond de la parole et du langage, y inclus la reconnaissance et la synthèse de la parole, la conversion des graphèmes en phonèmes et vice-versa, les modèles génératifs, visant de reformuler des tâches spécifiques dans un problème plus général de trouver une représentation universelle d’information contenue dans chaque modalité et de transférer un signal d’une modalité à une autre en se servant de telles représentations universelles et à générer des représentations dans plusieurs modalités. Il est compris de deux projets de recherche: 1) SoundChoice, un modèle graphème-phonème tenant compte du contexte au niveau de la phrase qui réalise de bonnes performances et des améliorations remarquables comparativement à un modèle de base et 2) MAdmixture, une nouvelle approche pour apprendre des représentations multimodales dans un espace latent commun. / The present work explores the use of deep learning methods applied to a variety of areas in speech and language processing including speech recognition, grapheme-to-phoneme conversion, speech synthesis, generative models for speech and others to build toward a unified approach that reframes these individual tasks into a more general problem of finding a universal representation of information encoded in different modalities and being able to seamlessly transfer a signal from one modality to another by converting it to this universal representations and to generate samples in multiple modalities. It consists of two main research projects: 1) SoundChocice, a context-aware sentence level Grapheme-to-Phoneme model achieving solid performance on the task and a significant improvement on phoneme disambiguation over baseline models and 2) MAdmixture, a novel approach to learning a variety of speech representations in a common latent space.

Cette recherche propose d’étudier et de présenter des supports susceptibles d'améliorer le processus d'apprentissage des personnes malentendantes et sourdes par la médiation de nouveaux outils comme les tablettes tactiles. La question est de savoir si l’introduction de ces nouveaux outils, pourrait permettre la création de didacticiels adaptés aux spécificités cognitives des enfants sourds.Dans le contexte actuel, notre hypothèse est que les nouvelles technologies informatiques et les outils numériques (comme les tablettes tactiles) influenceraient positivement le processus d’apprentissage des élèves sourds et malentendants.En conséquence, nous avons créé un logiciel éducatif, Digisthésia, qui a été conçu et adapté aux besoins des élèves sourds et malentendants. Le but de cet outil était de développer et d’améliorer 4 des principales potentialités cognitives : l’attention, la mémoire, la vitesse de traitement et la résolution de problèmes.Notre protocole a mobilisé 80 élèves de 7 collèges de Lyon et de la périphérie lyonnaise : 40 élèves avec différents degrés de déficience auditive, des sujets implantés et appareillés (20 participants ont utilisé le logiciel éducatif Digisthésia / 20 personnes ont fait partie du groupe de contrôle) ainsi que 40 élèves sans déficiences auditives (20 participants qui ont utilisé notre logiciel éducatif sur tablette tactile / 20 élèves ont fait partie du groupe témoin). Les résultats indiquent que la médiation par les nouvelles technologies a renforcé les potentialités cognitives des élèves sourds et malentendants. Nous avons observé un progrès au niveau de l’apprentissage des participants sourds et malentendants suite à l’utilisation du logiciel éducatif Digisthésia sur tablette tactile. / This research proposes to study and present materials that can improve the learning process for people who are hard of hearing and deaf by leveraging the use of new tools such as touch tablets. The question is whether the introduction of these new tools could allow the creation of software tools that more adapted to the cognitive specificities of deaf children.In the current context, our hypothesis is that new computer-base technologies and digital tools (such as touch tablets) would positively influence the learning process for students who are deaf and hard of hearing.As a result, we have created the educational software Digisthésia that has been designed and adapted to the needs of students who are deaf and hard of hearing. The aim of this tool was to develop and improve 4 important cognitive parameters such as attention, memory, processing speed and problem solving.Our protocol mobilized 80 students from grade schools from and near Lyon: 40 students suffering from different degrees of hearing impairment, with an without cochlear implants (20 subjects used the tablet/20 subjects were part of the control group). As well as 40 students with no hearing impairments (20 subjects who used the educational software Digisthésia and the tablet /20 subjects who were part of the control group).The results indicate that leveraging the new technologies has enhanced the cognitive potential of deaf and hard of hearing students. We have seen progress in the learning of deaf and hard of hearing participants as a result of the use of tablets and our software.