La problèmatique dont nous nous occupons dans cette thèse est la classification automatique d'images bidimensionnelles, ainsi que la détection d'objets génériques dans des images. Les avancées de ce champ de recherche contribuent à l'élaboration de systèmes intelligents, tels que des robots autonomes et la création d'un web sémantique. Dans ce contexte, la conception de représentations d'images et de classificateurs appropriés constituent des problèmes ambitieux. Notre travail de recherche fournit des solutions à ces deux problèmes, que sont la représentation et la classification d'images. Afin de générer notre représentation d'image, nous extrayons des attributs visuels de l'image et construisons une structure de graphe basée sur les propriétés liées au relations de proximités entre les points d'intérêt associés. Nous montrons que certaines propriétés spectrales de ces graphes constituent de bons invariants aux classes de transformations géométriques rigides. Notre représentation d'image est basée sur ces propriétés. Les résultats expérimentaux démontrent que cette représentation constitue une amélioration par rapport à d'autres représentations similaires, mais qui n'intègrent pas les informations liées à l'organisation spatiale des points d'intérêt. Cependant, un inconvénient de cette méthode est qu'elle fait appel à une quantification (avec pertes) de l'espace des attributs visuels afin d'être combinée avec un classificateur Support Vecteur Machine (SVM) efficace. Nous résolvons ce problème en créant un nouveau classificateur, basé sur la distance au plus proche voisin, et qui permet la classification d'objets assimilés à des ensembles de points. La linéarité de ce classificateur nous permet également de faire de la détection d'objet, en plus de la classification d'images. Une autre propriété intéressante de ce classificateur est sa capacité à combiner différents types d'attributs visuels de manière optimale. Nous utilisons cette propriété pour formuler le problème de classification de graphes de manière différente. Les expériences, menées sur une grande variété de jeux de données, montrent les bénéfices quantitatifs de notre approche.

Cette thèse traite de la cartographie et de la reconnaissance de lieux par vision en robotique mobile. Les recherches menées visent à identifier comment les modèles de localisation peuvent être améliorés en enrichissant les représentations existantes afin de mieux exploiter l'information visuelle disponible. Les problèmes de la cartographie et de la reconnaissance visuelle de lieux présentent un certain nombre de défis : les solutions doivent notamment être robustes vis-à-vis des scènes similaires, des changements de points de vue de d'éclairage, de la dynamique de l'environnement, du bruit des données acquises. La définition de la manière de modéliser et de comparer les observations de lieux est donc un élément crucial de définition d'une solution opérationnelle. Cela passe par la spécification des caractéristiques des images à exploiter, par la définition de la notion de lieu, et par des algorithmes de comparaison des lieux. Dans la littérature, les lieux visuels sont généralement définis par un ensemble ou une séquence d'observations, ce qui ne permet pas de bien traiter des problèmes de similarité de scènes ou de reconnaissance invariante aux déplacements. Dans nos travaux, le modèle d'un lieu exploite la structure d'une scène représentée par des graphes de covisibilité, qui capturent des relations géométriques approximatives entre les points caractéristiques observés. Grâce à cette représentation, un lieu est identifié et reconnu comme un sous-graphe. La reconnaissance de lieux exploite un modèle génératif, dont la sensibilité par rapport aux similarités entre scènes, aux bruits d'observation et aux erreurs de cartographie est analysée. En particulier, les probabilités de reconnaissance sont estimées de manière rigoureuse, rendant la reconnaissance des lieux robuste, et ce pour une complexité algorithme sous-linéaire en le nombre de lieux définis. Enfin les modèles de lieux basés sur des sacs de mots visuels sont étendus pour exploiter les informations structurelles fournies par le graphe de covisibilité, ce qui permet un meilleur compromis entre la qualité et la complexité du processus de reconnaissance. / This thesis deals with the task of appearance-based mapping and place recognition for mobile robots. More specifically, this work aims to identify how location models can be improved by exploring several existing and novel location representations in order to better exploit the available visual information. Appearance-based mapping and place recognition presents a number of challenges, including making reliable data-association decisions given repetitive and self-similar scenes (perceptual aliasing), variations in view-point and trajectory, appearance changes due to dynamic elements, lighting changes, and noisy measurements. As a result, choices about how to model and compare observations of locations is crucial to achieving practical results. This includes choices about the types of features extracted from imagery, how to define the extent of a location, and how to compare locations. Along with investigating existing location models, several novel methods are developed in this work. These are developed by incorporating information about the underlying structure of the scene through the use of covisibility graphs which capture approximate geometric relationships between local landmarks in the scene by noting which ones are observed together. Previously, the range of a location generally varied between either using discrete poses or loosely defined sequences of poses, facing problems related to perceptual aliasing and trajectory invariance respectively. Whereas by working with covisibility graphs, scenes are dynamically retrieved as clusters from the graph in a way which adapts to the environmental structure and given query. The probability of a query observation coming from a previously seen location is then obtained by applying a generative model such that the uniqueness of an observation is accounted for. Behaviour with respect to observation errors, mapping errors, perceptual aliasing, and parameter sensitivity are examined, motivating the use of a novel normalization scheme and observation likelihoods representations. The normalization method presented in this work is robust to redundant locations in the map (from missed loop-closures, for example), and results in place recognition which now has sub-linear complexity in the number of locations in the map. Beginning with bag-of-words representations of locations, location models are extended in order to include more discriminative structural information from the covisibility map. This results in various representations ranging between unstructured sets of features and full graphs of features, providing a tradeoff between complexity and recognition performance.

Il est important pour les robots de pouvoir reconnaître les objets rencontrés dans la vie quotidienne afin d’assurer leur autonomie. De nos jours, les robots sont équipés de capteurs sophistiqués permettant d’imiter le sens humain du toucher. C’est ce qui permet aux robots interagissant avec les objets de percevoir les propriétés (telles la texture, la rigidité et la matière) nécessaires pour leur reconnaissance. Dans cette thèse, notre but est d’exploiter les données haptiques issues de l’interaction robot-objet afin de reconnaître les objets de la vie quotidienne, et cela en utilisant les algorithmes d’apprentissage automatique. Le problème qui se pose est la difficulté de collecter suffisamment de données haptiques afin d’entraîner les algorithmes d’apprentissage supervisé sur tous les objets que le robot doit reconnaître. En effet, les objets de la vie quotidienne sont nombreux et l’interaction physique entre le robot et chaque objet pour la collection des données prend beaucoup de temps et d’efforts. Pour traiter ce problème, nous développons un système de reconnaissance haptique permettant de reconnaître des objets à partir d'aucune, de une seule, ou de plusieurs données d’entraînement. Enfin, nous intégrons la vision afin d’améliorer la reconnaissance d'objets lorsque le robot est équipé de caméras. / Recognizing surrounding objects is an important skill for the autonomy of robots performing in daily-life. Nowadays robots are equipped with sophisticated sensors imitating the human sense of touch. This allows the recognition of an object based on information ensuing from robot-object physical interaction. Such information can include the object texture, compliance and material. In this thesis, we exploit haptic data to perform haptic recognition of daily life objects using machine learning techniques. The main challenge faced in our work is the difficulty of collecting a fair amount of haptic training data for all daily-life objects. This is due to the continuously growing number of objects and to the effort and time needed by the robot to physically interact with each object for data collection. We solve this problem by developing a haptic recognition framework capable of performing Zero-shot, One-shot and Multi-shot Learning. We also extend our framework by integrating vision to enhance the robot’s recognition performance, whenever such sense is available.

La problèmatique dont nous nous occupons dans cette thèse est la classification automatique d'images bidimensionnelles, ainsi que la détection d'objets génériques dans des images. Les avancées de ce champ de recherche contribuent à l'élaboration de systèmes intelligents, tels que des robots autonomes et la création d'un web sémantique. Dans ce contexte, la conception de représentations d'images et de classificateurs appropriés constituent des problèmes ambitieux. Notre travail de recherche fournit des solutions à ces deux problèmes, que sont la représentation et la classification d'images. Afin de générer notre représentation d'image, nous extrayons des attributs visuels de l'image et construisons une structure de graphe basée sur les propriétés liées au relations de proximités entre les points d'intérêt associés. Nous montrons que certaines propriétés spectrales de ces graphes constituent de bons invariants aux classes de transformations géométriques rigides. Notre représentation d'image est basée sur ces propriétés. Les résultats expérimentaux démontrent que cette représentation constitue une amélioration par rapport à d'autres représentations similaires, mais qui n'intègrent pas les informations liées à l'organisation spatiale des points d'intérêt. Cependant, un inconvénient de cette méthode est qu'elle fait appel à une quantification (avec pertes) de l'espace des attributs visuels afin d'être combinée avec un classificateur Support Vecteur Machine (SVM) efficace. Nous résolvons ce problème en créant un nouveau classificateur, basé sur la distance au plus proche voisin, et qui permet la classification d'objets assimilés à des ensembles de points. La linéarité de ce classificateur nous permet également de faire de la détection d'objet, en plus de la classification d'images. Une autre propriété intéressante de ce classificateur est sa capacité à combiner différents types d'attributs visuels de manière optimale. Nous utilisons cette propriété pour formuler le problème de classification de graphes de manière différente. Les expériences, menées sur une grande variété de jeux de données, montrent les bénéfices quantitatifs de notre approche. / We are concerned in this thesis by the problem of automated 2D image classification and general object detection. Advances in this field of research contribute to the elaboration of intelligent systems such as, but not limited to, autonomous robots and the semantic web. In this context, designing adequate image representations and classifiers for these representations constitute challenging issues. Our work provides innovative solutions to both these problems: image representation and classification. In order to generate our image representation, we extract visual features from the image and build a graphical structure based on properties of spatial proximity between the feature points. We show that certain spectral properties of this graph constitute good invariants to rigid geometric transforms. Our representation is based on these invariant properties. Experiments show that this representation constitutes an improvement over other similar representations that do not integrate the spatial layout of visual features. However, a drawback of this method is that it requires a lossy quantisation of the visual feature space in order to be combined with a state-of-the-art support vector machine (SVM) classifier. We address this issue by designing a new classifier. This generic classifier relies on a nearest-neighbour distance to classify objects that can be assimilated to feature sets, i.e: point clouds. The linearity of this classifier allows us to perform object detection, in addition to image classification. Another interesting property is its ability to combine different types of visual features in an optimal manner. We take advantage of this property to produce a new formulation for the classification of visual feature graphs. Experiments are conducted on a wide variety of publicly available datasets to justify the benefits of our approach.

La perception de la forme visuelle est le principal médiateur de la reconnaissance d’objets. S’il y a consensus sur le fait que la détection des contours et l’analyse de fréquences spatiales sont les fondements de la vision primaire, la hiérarchie visuelle et les étapes subséquentes du traitement de l’information impliquées dans la reconnaissance d’objets sont quant à elles encore méconnues. Les données empiriques disponibles et pertinentes concernant la nature des traits primitifs qu’utilise véritablement le système visuel humain sont rares et aucune ne semble être entièrement concluante. Dans le but de palier à ce manque de données empiriques, la présente étude vise la découverte des régions de l’image utilisées par des participants humains lors d’une tâche de reconnaissance d’objets. La technique des bulles a permis de révéler les zones diagnostiques permettant de discriminer entre les huit cibles de l’étude. Les zones ayant un effet facilitateur et celles ayant un effet inhibiteur sur les performances humaines et celles d’un observateur idéal furent identifiées. Les participants n’ont pas employé la totalité de l’information disponible dans l’image, mais seulement une infime partie, ce sont principalement les segments de contours présentant une discontinuité (i.e. convexités, concavités, intersections) qui furent sélectionnés par ces derniers afin de reconnaitre les cibles. L’identification des objets semble reposer sur des ensembles de caractéristiques distinctives de l’objet qui lui permettent d’être différencié des autres. Les informations les plus simples et utiles ont préséance et lorsqu’elles suffisent à mener à bien la tâche, le système visuel ne semble pas appliquer de traitement plus complexe, par exemple, l’encodage de caractéristiques plus complexes ou encore de conjonctions d’attributs simples. Cela appuie la notion voulant que le contexte influence la sélection des caractéristiques sous-tendant la reconnaissance d’objets et suggère que le type d’attributs varie en fonction de leur utilité dans un contexte donné. / The main mediator of visual object recognition is shape perception. While there is a consensus that contour detection and spatial frequency analysis are the foundations of early vision, the visual hierarchy and the nature of information processing in the subsequent stages involved in object recognition, remain widely unknown. Available and relevant empirical data concerning the nature of the primitive features used by the human visual system to recognize objects are scarce and none seems to be entirely conclusive. To overcome this lack of empirical data, this study aims to determine which regions of the images are used by humans when performing an object recognition task. The Bubbles technique has revealed the diagnostic areas used by 12 adults an ideal observer, to discriminate between eight target objects. stimulus areas with a facilitatory or inhibitory effect on performance were identified. Humans only used a small subset of the information available to recognize the targets which consisted mostly in discontinuous contour segments (i.e. convexities, concavities, intersections). Object recognition seems to rest upon contrasting sets of features which allow objects to be discriminated from one another. The simplest and most useful information seems to take precedence and it suffices to the task, the visual system does not engage in further processing involving for instance more complex features or the encoding of conjunctions of simple features. This implies that context influences the selection of features underlying human object recognition and suggests that attribute types can vary according to their utility in a given context.

Le dépassement des limitations de vitesse est l'une des causes majeures des accidents de la route, qui pourraient être réduits par l'utilisation de système robuste de détection des limitations de vitesse pouvant continuellement informer le conducteur de la bonne limitation imposée. Les travaux présentés dans ce document portent sur la réalisation d'un tel système basé sur une détection visuelle des panneaux de limitation de vitesse. Afin de rendre le système robuste, il est nécessaire de fusionner les résultats de ces détections avec les informations d'autres capteurs pour interpréter les résultats issus de la détection visuelle. C'est ainsi qu'a été entre autre spécialement développé un capteur cartographique permettant d'avoir une vision plus large sur l'horizon électronique du véhicule, ainsi qu'un système détection des lignes de marquage au sol pour analyser les changements de voie. Le processus de fusion mis en place traitant ces diverses sources d'information est fondé sur des modèles à base de règles permettant de s'affranchir des problèmes inhérents aux processus de fusion probabilistes pouvant parfois mener à des situations de doute mettant le système global en faute. Ces travaux sont le fruit d'une collaboration avec un industriel et le prototype développé a été validé expérimentalement sur route. Un outil de vérité terrain a été spécialement développé pour quantifier les résultats. Le système montre d'excellents résultats en détection et reconnaissance des panneaux de limitation de vitesse ainsi que dans la clarification de situations complexes.

La mémoire de reconnaissance visuelle (MRV) est atteinte précocement dans la maladie d'Alzheimer (MA). Or, elle reposerait sur deux processus: la familiarité (simple sentiment d'avoir déjà rencontré un item) et la recollection (récupération de détails associés à l'item lors de son encodage). Si la recollection est clairement atteinte au début de la MA, les résultats concernant la familiarité sont à ce jour contradictoires. Supposée plus rapide que la recollection, la familiarité devrait pouvoir être évaluée directement par une approche temporelle. Son atteinte dans la MA pourrait alors être mieux comprise. Pour tester ces hypthèses, la procédure comportementale SAB (Speed and Accuracy Boosting) a été créée. Permettant d'étudier les propriétés de la MRV (sa vitesse-limite, (Articles 1 et 2, ou sa nature "bottom-up", Article 3) ainsi que l'hypothèse que la familiarité serait plus rapide que la recollection, cette méthode s'est montrée évaluer majoritairement la familiarité (Article 1). Chez des patients à risque de MA, une dissociation inattendue au sein de la familiarité a alors pu être révélée, avec une atteinte des signaux tardifs de familiarité (utilisés lors d'un jugement classique), mais une préservation des premiers signaux (supportant la détection rapide évaluée en SAB) (Article 4). En outre, la segmentation manuelle d'images IRM du lobe temporal interne (premières régions cérébrales touchées dans la MA, et clés pour la MRV) a été appliquée à la problématique connexe de l'effet de l'âge au début de la MA (Article 5). Indépendamment, ces méthodes ont permis de mieux comprendre la MRV et son atteinte au début de la MA ; leur combinaison s'annonce très prometteuse.

L’étude présentée explore les modulations du contrôle émotionnel dans les interactions du langage et des émotions, chez 23 sujets atteints de schizophrénie en état de stabilisation et 21 sujets atteints de troubles bipolaires en phase euthymique. Les interactions ont été envisagées d’une part dans le sens des émotions via le langage avec une tâche expérimentale de Stroop émotionnel conditionné, puis en contraste dans le sens du langage via les émotions avec une tâche expérimentale de décision lexicale avec des voisins orthographiques à connotation émotionnelle. Les résultats mettent en évidence une hyper‐réactivité émotionnelle positive dans les troubles bipolaires et des troubles du contrôle cognitif émotionnel dans la schizophrénie. Ces deux maladies présentent des chevauchements dans les altérations cognitives qui ne permettent pasencore de distinguer des marqueurs cognitifs. Cependant, les résultats de cette étude indiquent que les processus impliqués dans les perturbations du traitement des mots à connotation émotionnelle sont de natures différentes entre ces deux pathologies. Dès ors, le présent dispositif pourrait s’avérer utile pour différencier la schizophrénie des troubles bipolaires. / The present study explores the modulations of the emotional control in the interactions of the language and the emotions, to 23 affected subjects of schizophrenia in state of stabilization and 21 affected subjects of bipolar disorders in euthymic phase. The interactions were envisaged on one hand in the sense of the feelings via the language with an experimental taskof conditioned emotional Stroop, then in contrast in the sense of the language via the feelings with an experimental task of lexical decision with orthographic neighbors with emotional connotation. The results highlight an emotional positive hyper-reactivity in bipolar disorders and disorders of the emotional cognitive control in the schizophrenia. These two diseasespresent overlappings in the cognitive changes which do not still allow to distinguish cognitive markers. However, the results of this study indicate that the processes involved in the disturbances of the processing of the words with emotional connotation are of different natures between these two pathologies. From then on, the present study could turn out usefulto differentiate the schizophrenia of bipolar disorders.

L'objectif de cette thèse était d‟étudier les processus d'activation et d'inhibition lexicales sous-tendant la lecture de mots et de déterminer le rôle du système affectif sur ces processus chez l'adulte. Pour cela, nous avons testé les effets de fréquence du voisinage orthographique et de l'émotionalité de ce voisinage dans plusieurs tâches cognitives. Les résultats ont montré un effet de fréquence du voisinage orthographique qui était inhibiteur dans des tâches de reconnaissance visuelle de mots (Expériences 1-4) et facilitateur dans des tâches de catégorisation de couleur de mots (Expériences 6-8). L'inhibition lexicale ralentirait la reconnaissance du mot stimulus et diminuerait ainsi son effet d'interférence dans des tâches de type Stroop. De plus, la valence et le niveau d'arousal du voisin plus fréquent modifiaient également la vitesse de reconnaissance du mot stimulus (Etude préliminaire, Expérience 1-5) et la catégorisation de sa couleur (Expériences 6, 7 et 9). Le système affectif s'activerait lors de la lecture de mots avec un voisin émotionnel et modifierait la propagation d'activation et d'inhibition lexico-émotionnelles. De plus, les résultats indiquaient que ces effets de voisinage orthographique étaient sensibles aux caractéristiques des participants. Une diminution de l'effet de fréquence du voisinage selon l'âge a été montrée et interprétée en termes de déficits conjoints d'activation et d'inhibition lexicales (Expériences 4, 5, 8 et 9). Enfin, l'effet du voisinage émotionnel obtenu suggérait une préservation des processus lexico-émotionnels avec l'avancée en âge (Expériences 4, 5 et 9), mais cet effet était corrélé négativement avec le niveau d'alexithymie des individus (Expériences 2, 4 et 6). Dans l'ensemble, ces données soulignent l‟importance de la prise en compte du système affectif dans les modèles de reconnaissance visuelle des mots. / The aim of this thesis was to study lexical activation and inhibition processes underlying word reading and to determine the role of affective system on these processes in adults. For this, we investigated the effects of orthographic neighbourhood frequency and emotionality of this neighbourhood in several cognitive tasks. Results showed an orthographic neighbourhood frequency effect that was inhibitory in visual word recognition tasks (Experiments 1-4) and facilitatory in colour categorization tasks (Experiments 6-8). Lexical inhibition likely slows down the recognition of the stimulus word as well as diminishing its interference effect in Stroop-like tasks. Moreover, emotional valence and arousal level of the higher-frequency neighbour also modified the speed of stimulus word recognition (Preliminary study, Experiments 1-5) and its colour categorization (Experiments 6, 7 and 9). Thus, the affective system would be activated during reading of words with an emotional neighbour and would modify the spread of lexico-emotional activation and inhibition. Moreover, results indicated that these orthographic neighbourhood effects were sensitive to participants‟ characteristics. A decreaseof the orthographic neighbourhood effect depending on age was shown and interpreted in terms of deficits in both activation and inhibition processes (Experiments 4, 5, 8 and 9). Finally, the emotional neighbourhood effect that was obtained suggested a preservation of lexico-emotional processes with advance in age (Experiments 4, 5, and 9), but this effect was negatively correlated with individuals' level of alexithymia (Experiments 2, 4, and 6). Taken together, thes data underline the importance of taking the affective system into account in models of visual word recognition.

L’objectif de cette thèse était d’étudier les variations possibles des processus impliqués dans la reconnaissance visuelle des mots selon les différences d’habiletés lexicales de lecteurs adultes (niveaux de lecture, orthographe et vocabulaire). Ainsi, nous avons testé l’effet de fréquence du voisinage orthographique par suppression et par substitution d’une lettre dans des tâches de décision lexicale (Exp. 1, 4), démasquage progressif (Exp. 2, 5), dénomination (Exp. 3, 6), et catégorisation de couleur (Exp. 7). Un effet inhibiteur de fréquence du voisinage orthographique par suppression (Exp. 1-3) et par substitution (Exp. 6) d’une lettre a été obtenu. Les temps de réponse étaient plus longs et les taux d’erreurs plus élevés pour les mots avec au moins un voisin orthographique plus fréquent que pour ceux sans un tel voisin, ce qui peut être expliqué en termes de compétition lexicale. De plus, la compétition lexicale du voisin par suppression d’une lettre était plus importante pour les individus ayant des habiletés lexicales hautes plutôt que basses (Exp. 1, 3), ces derniers individus témoignant de difficultés d’inhibition du compétiteur. Par ailleurs, les individus ayant des habiletés lexicales basses étaient moins rapides et moins précis que ceux ayant des habiletés lexicales hautes (Exp. 1-7). Les données de la tâche de catégorisation (Exp. 7) suggèrent des difficultés dans la mise en place de l’inhibition pour ces individus. Enfin, nous avons montré que l’effet de fréquence du voisinage orthographique était influencé par la confusabilité de la lettre substituée, ce qui différait selon les habiletés lexicales des individus (Exp. 4-6). Dans le cadre théorique de l’activation interactive et de codage spatial des lettres, les données soulignent l’importance des différences d’habiletés lexicales des lecteurs pour rendre compte des différences dans la diffusion de l’activation et de l’inhibition lexicales dans la reconnaissance visuelle des mots. / Word recognition, according to the adult readers’ lexical skill differences (reading, spelling and vocabulary levels). To do so, we tested the orthographic neighborhood frequency effect by deletion and substitution of a letter in lexical decision (Exp.1, 4), progressive demasking (Exp 2, 5), denomination (Exp. 3, 6), and color categorization tasks (Exp.7). Response times were longer and the error rates were higher for words with at least one higher frequency neighbor than for words without such a neighbor, which can be explained in terms of lexical competition. In addition, the lexical competition of the higher-frequency deletion neighbor seems more important for individuals with high lexical skills than for those with low lexical skills (Exp 1, 3), the latter showing difficulties in inhibiting the competitor. Furthermore, individuals with low lexical skills were slower and less accurate than those with high lexical skills (Exp 1-7). Data from the categorization task (Exp. 7) suggest difficulties in setting up inhibition for these individuals. Finally, we have shown that the orthographic neighborhood frequency effect was influenced by the confusability of the substituted letter, differing according to the lexical skills of the individuals (Exp 4-6). In the theoretical framework of activation-interactive and spatial coding, the data highlight the importance of readers’ differences in lexical skills for the diffusion of lexical activation and inhibition in visual word recognition.