Le cadre général de cette thèse est l'indexation sémantique et la recherche d'informations, appliquée à des documents multimédias. Plus précisément, nous nous intéressons à l'indexation sémantique des concepts dans des images et vidéos par les approches d'apprentissage actif, que nous utilisons pour construire des corpus annotés. Tout au long de cette thèse, nous avons montré que les principales difficultés de cette tâche sont souvent liées, en général, à l'fossé sémantique. En outre, elles sont liées au problème de classe-déséquilibre dans les ensembles de données à grande échelle, où les concepts sont pour la plupart rares. Pour l'annotation de corpus, l'objectif principal de l'utilisation de l'apprentissage actif est d'augmenter la performance du système en utilisant que peu d'échantillons annotés que possible, ainsi minimisant les coûts de l'annotations des données (par exemple argent et temps). Dans cette thèse, nous avons contribué à plusieurs niveaux de l'indexation multimédia et nous avons proposé trois approches qui succèdent des systèmes de l'état de l'art: i) l'approche multi-apprenant (ML) qui surmonte le problème de classe-déséquilibre dans les grandes bases de données, ii) une méthode de reclassement qui améliore l'indexation vidéo, iii) nous avons évalué la normalisation en loi de puissance et de l'APC et a montré son efficacité dans l'indexation multimédia. En outre, nous avons proposé l'approche ALML qui combine le multi-apprenant avec l'apprentissage actif, et nous avons également proposé une méthode incrémentale qui accélère l'approche proposé (ALML). En outre, nous avons proposé l'approche de nettoyage actif, qui aborde la qualité des annotations. Les méthodes proposées ont été tous validées par plusieurs expériences, qui ont été menées et évaluées sur des collections à grande échelle de l'indice de benchmark internationale bien connue, appelés TRECVID. Enfin, nous avons présenté notre système d'annotation dans le monde réel basé sur l'apprentissage actif, qui a été utilisé pour mener les annotations de l'ensemble du développement de la campagne TRECVID en 2011, et nous avons présenté notre participation à la tâche d'indexation sémantique de cette campagne, dans laquelle nous nous sommes classés à la 3ème place sur 19 participants.

Le cadre général de cette thèse est l'indexation sémantique et la recherche d'informations, appliquée à des documents multimédias. Plus précisément, nous nous intéressons à l'indexation sémantique des concepts dans des images et vidéos par les approches d'apprentissage actif, que nous utilisons pour construire des corpus annotés. Tout au long de cette thèse, nous avons montré que les principales difficultés de cette tâche sont souvent liées, en général, à l'fossé sémantique. En outre, elles sont liées au problème de classe-déséquilibre dans les ensembles de données à grande échelle, où les concepts sont pour la plupart rares. Pour l'annotation de corpus, l'objectif principal de l'utilisation de l'apprentissage actif est d'augmenter la performance du système en utilisant que peu d'échantillons annotés que possible, ainsi minimisant les coûts de l'annotations des données (par exemple argent et temps). Dans cette thèse, nous avons contribué à plusieurs niveaux de l'indexation multimédia et nous avons proposé trois approches qui succèdent des systèmes de l'état de l'art: i) l'approche multi-apprenant (ML) qui surmonte le problème de classe-déséquilibre dans les grandes bases de données, ii) une méthode de reclassement qui améliore l'indexation vidéo, iii) nous avons évalué la normalisation en loi de puissance et de l'APC et a montré son efficacité dans l'indexation multimédia. En outre, nous avons proposé l'approche ALML qui combine le multi-apprenant avec l'apprentissage actif, et nous avons également proposé une méthode incrémentale qui accélère l'approche proposé (ALML). En outre, nous avons proposé l'approche de nettoyage actif, qui aborde la qualité des annotations. Les méthodes proposées ont été tous validées par plusieurs expériences, qui ont été menées et évaluées sur des collections à grande échelle de l'indice de benchmark internationale bien connue, appelés TRECVID. Enfin, nous avons présenté notre système d'annotation dans le monde réel basé sur l'apprentissage actif, qui a été utilisé pour mener les annotations de l'ensemble du développement de la campagne TRECVID en 2011, et nous avons présenté notre participation à la tâche d'indexation sémantique de cette campagne, dans laquelle nous nous sommes classés à la 3ème place sur 19 participants. / The general framework of this thesis is semantic indexing and information retrieval, applied to multimedia documents. More specifically, we are interested in the semantic indexing of concepts in images and videos by the active learning approaches that we use to build annotated corpus. Throughout this thesis, we have shown that the main difficulties of this task are often related, in general, to the semantic-gap. Furthermore, they are related to the class-imbalance problem in large scale datasets, where concepts are mostly sparse. For corpus annotation, the main objective of using active learning is to increase the system performance by using as few labeled samples as possible, thereby minimizing the cost of labeling data (e.g. money and time). In this thesis, we have contributed in several levels of multimedia indexing and proposed three approaches that outperform state-of-the-art systems: i) the multi-learner approach (ML) that overcomes the class-imbalance problem in large-scale datasets, ii) a re-ranking method that improves the video indexing, iii) we have evaluated the power-law normalization and the PCA and showed its effectiveness in multimedia indexing. Furthermore, we have proposed the ALML approach that combines the multi-learner with active learning, and also proposed an incremental method that speeds up ALML approach. Moreover, we have proposed the active cleaning approach, which tackles the quality of annotations. The proposed methods were validated through several experiments, which were conducted and evaluated on large-scale collections of the well-known international benchmark, called TrecVid. Finally, we have presented our real-world annotation system based on active learning, which was used to lead the annotations of the development set of TrecVid 2011 campaign, and we have presented our participation at the semantic indexing task of the mentioned campaign, in which we were ranked at the 3rd place out of 19 participants.

Apprendre de nouvelles connaissances et savoir-faire sensorimoteurs dans des environnements réels entraine un grand nombre de défis majeurs pour les robots d'aujourd'hui. Pour acquérir de nouveaux comportements, ceux-ci ont besoin d'explorer des espaces sensorimoteurs qui possèdent généralement les caractéristiques d'être de grande dimensionnalité, de grands volumes, redondants, et de comporter des zones de complexités différentes. Dans cette thèse qui entre dans le cadre de la robotique développementale, nous proposons différents processus permettant de guider et contraindre une acquisition autonome de comportements sensorimoteurs nouveaux dans de tels espaces. Nous proposons une approche unifiée de résolution de ces problèmes qui prend inspiration des phénomènes de contraintes développementales présentés en biologie et psychologie, et plus particulièrement des motivations intrinsèques et des contraintes maturationnelles. Après la formalisation de cadres computationnels basés sur ces notions, nous présentons trois architectures algorithmiques différentes, chacune réutilisée de manière intégrée dans la suivante:La première, appelée RIAC, pour Robust-Intelligent Adaptive Curiosity, correspond à l'implémentation d'un algorithme d'apprentissage actif développemental permettant d'orienter l'exploration dans des espaces bornés et de dimensionnalité connue, possédant des régions de différents niveaux de complexités. Ce système, qui utilise des heuristiques prenant inspiration des mécanismes de motivations intrinsèques basées sur les connaissances, permet de diriger efficacement une exploration progressive de nouvelles connaissances sensorimotrices, qui correspondent à l'apprentissage de modèles directs. Il entraine aussi l'émergence de trajectoires développementales auto-organisées relatives à l'orientation de l'exploration sensorimotrice vers des activités de complexités intermédiaires.Ensuite, nous proposons l'algorithme SAGG-RIAC, pour Self-Adaptive Goal Generation - RIAC, en tant que mécanisme d'exploration intrinsèquement motivée basée sur les compétences, qui permet à des robots dont les espaces sensorimoteurs sont de grandes dimensions, hautement redondants, et possédant des schémas corporels différents, d'apprendre efficacement et activement de nouveaux comportements moteurs dans leurs espaces de tâches. L'idée principale de cet algorithme est d'orienter le robot à effectuer un babillage actif dans un espace des tâches de faible dimensionnalité, en opposition à un babillage moteur effectué dans un espace de contrôle de plus grande dimension, en auto-générant activement et adaptivement des objectifs dans les régions de l'espace des tâches qui fournissent les meilleures améliorations de compétences, pour l'atteinte d'objectifs précédemment tentés. Enfin, nous introduisons l'algorithme McSAGG-RIAC, pour Maturationally-Constrained SAGG-RIAC, qui repose sur le couplage de modèles computationnels de motivations intrinsèques et de contraintes maturationnelles physiologiques. Nous argumentons que ces mécanismes peuvent avoir des interactions bidirectionnelles complexes permettant le contrôle actif de l'augmentation de la complexité du développement sensorimoteur, afin de diriger une exploration et un apprentissage efficaces. Nous introduisons plus particulièrement un modèle fonctionnel des contraintes maturationnelles inspiré par le processus de myélinisation chez les humains, et montrons comment celui-ci peut être couplé avec l'algorithme SAGG-RIAC. Nous montrons qualitativement et quantitativement que cette approche intégrée des trois architectures présentées pendant cette thèse permet de répondre à certaines des problématiques des environnements réels, en contrôlant la complexité, le volume, la dimensionnalité et la redondance des comportements explorés de manière intrinsèque au robot, diminuant de manière importante la nécessité de contraindre et préparer l'environnement de manière externe. / Learning new sensorimotor knowledge and know-how in real environments leads to an important number of challenges for today's robots. In order to learn new skills, they need to explore sensorimotor spaces which are generally high-dimensional, high-volume, redundant, and possess areas of heterogenous levels of complexity. In this thesis, introduced within the developmental robotics domain, we propose different processes in order to guide and constrain the autonomous acquisition of new sensorimotor skills in such spaces. We propose an unified approach in order to resolve these problems which takes inspiration from phenomenon of developmental constraints introduced in biology and psychology, and more particularly intrinsic motivations and maturational constraints. After formalizing a computational framework based on these notions, we present three different algorithmic architectures, each one reused in an integrated manner within the next one:The first one, called RIAC, for Robust-Intelligent Adaptive Curiosity, corresponds to the implementation of an active learning algorithm which orients the exploration in bounded spaces whose dimensionality is known and which possess regions of different levels of complexity. This system, which uses heuristics taking inspiration from knowledge based intrinsic motivations mechanisms, effectively directs a progressive exploration of new sensorimotor knowledge, which corresponds to the learning of forward models. It also leads to the emergence of self-organized developmental trajectories related to the orientation of the sensorimotor exploration toward activities of intermediate complexity. Then, we propose the SAGG-RIAC algorithm for Self-Adaptive Goal Generation - RIAC, as a competence based intrinsic motivations exploration mechanism, which allows highly-redundant robots whose sensorimotor spaces are high-dimensional to learn effectively and actively new motor skills in their task spaces. The main idea of this algorithm is to guide the robot to do active babbling in a low-dimensional task space, in contrast with a motor babbling carried out in a higher-dimensional control space, by actively and adaptively self-generating goals in regions of the task space which bring the highest improvement of competences for reaching previously attempted goals.Finally, we introduce the McSAGG-RIAC algorithm for Maturationally-Constrained SAGG-RIAC, which is based on a coupling of computational models of intrinsic motivation and physiological maturational constraints. We argue that these mechanisms may have complex bidirectional interactions allowing the active control of the increase of complexity in the sensorimotor development, in order to direct efficient learning and exploration processes. We introduce more particularly a functional model of maturational constraints inspired by the biological process of myelination, and show how this can be coupled with the SAGG-RIAC algorithm. We show qualitatively and quantitatively that this integrated approach of the three architectures introduced in this thesis answers some problematics raised by real environments, by controlling the complexity, volume, dimensionality and redundancy of skills explored in a manner intrinsic to the robot, thus decreasing in an important extent the necessity of constraining and preparing the environment in en external manner.

L'apprentissage par problèmes (APP) est une méthode pédagogique innovante utilisée à l'échelle du programme de génie électrique de l'Université de Sherbrooke. La présente recherche vise à identifier les stratégies d'apprentissage et d'étude utilisées par les étudiants de ce programme. Des observations en classe et la passation d'un questionnaire sont les outils méthodologiques qui ont été utilisés dans cette étude. Les objectifs poursuivis impliquent la description des stratégies utilisées par les étudiants lors de trois unités d'APP, en considérant les effets possiblement associés au groupe d'appartenance et aux tuteurs responsables de l'encadrement. Cette recherche vise également à identifier les perceptions des étudiants du programme de génie électrique concernant les stratégies utilisées lors de trois unités d'APP. Cette recherche vise enfin à comparer les perceptions des étudiants quant à l'utilisation de stratégies dans le cadre de la version traditionnelle par rapport aux perceptions des apprenants inscrits dans la version innovante du programme.

Avec la révolution numérique de cette dernière décennie, la quantité de photos numériques mise à disposition de chacun augmente plus rapidement que la capacité de traitement des ordinateurs. Les outils de recherche actuels ont été conçus pour traiter de faibles volumes de données. Leur complexité ne permet généralement pas d'effectuer des recherches dans des corpus de grande taille avec des temps de calculs acceptables pour les utilisateurs. Dans cette thèse, nous proposons des solutions pour passer à l'échelle les moteurs de recherche d'images par le contenu. Dans un premier temps, nous avons considéré les moteurs de recherche automatique traitant des images indexées sous la forme d'histogrammes globaux. Le passage à l'échelle de ces systèmes est obtenu avec l'introduction d'une nouvelle structure d'index adaptée à ce contexte qui nous permet d'effectuer des recherches de plus proches voisins approximées mais plus efficaces. Dans un second temps, nous nous sommes intéressés à des moteurs plus sophistiqués permettant d'améliorer la qualité de recherche en travaillant avec des index locaux tels que les points d'intérêt. Dans un dernier temps, nous avons proposé une stratégie pour réduire la complexité de calcul des moteurs de recherche interactifs. Ces moteurs permettent d'améliorer les résultats en utilisant des annotations que les utilisateurs fournissent au système lors des sessions de recherche. Notre stratégie permet de sélectionner rapidement les images les plus pertinentes à annoter en optimisant une méthode d'apprentissage actif.

Cette thèse traite de l’apprentissage automatique pour la classification de données. Afin de réduire le coût de l’étiquetage, l’apprentissage actif permet de formuler des requêtes pour demander à un opérateur d’étiqueter seulement quelques données choisies selon un critère d’importance. Nous proposons une nouvelle mesure d’incertitude qui permet de caractériser l’importance des données et qui améliore les performances de l’apprentissage actif par rapport aux mesures existantes. Cette mesure détermine le plus petit poids nécessaire à associer à une nouvelle donnée pour que le classifieur change sa prédiction concernant cette donnée. Nous intégrons ensuite le fait que les données à traiter arrivent en continu dans un flux de longueur infinie. Nous proposons alors un seuil d’incertitude adaptatif qui convient pour un apprentissage actif à partir d’un flux de données et qui réalise un compromis entre le nombre d’erreurs de classification et le nombre d’étiquettes de classes demandées. Les méthodes existantes d’apprentissage actif à partir de flux de données, sont initialisées avec quelques données étiquetées qui couvrent toutes les classes possibles. Cependant, dans de nombreuses applications, la nature évolutive du flux fait que de nouvelles classes peuvent apparaître à tout moment. Nous proposons une méthode efficace de détection active de nouvelles classes dans un flux de données multi-classes. Cette méthode détermine de façon incrémentale une zone couverte par les classes connues, et détecte les données qui sont extérieures à cette zone et proches entre elles, comme étant de nouvelles classes. Enfin, il est souvent difficile d’obtenir un étiquetage totalement fiable car l’opérateur humain est sujet à des erreurs d’étiquetage qui réduisent les performances du classifieur appris. Cette problématique a été résolue par l’introduction d’une mesure qui reflète le degré de désaccord entre la classe donnée manuellement et la classe prédite et une nouvelle mesure d’"informativité" permettant d’exprimer la nécessité pour une donnée mal étiquetée d’être réétiquetée par un opérateur alternatif / This thesis focuses on machine learning for data classification. To reduce the labelling cost, active learning allows to query the class label of only some important instances from a human labeller.We propose a new uncertainty measure that characterizes the importance of data and improves the performance of active learning compared to the existing uncertainty measures. This measure determines the smallest instance weight to associate with new data, so that the classifier changes its prediction concerning this data. We then consider a setting where the data arrives continuously from an infinite length stream. We propose an adaptive uncertainty threshold that is suitable for active learning in the streaming setting and achieves a compromise between the number of classification errors and the number of required labels. The existing stream-based active learning methods are initialized with some labelled instances that cover all possible classes. However, in many applications, the evolving nature of the stream implies that new classes can appear at any time. We propose an effective method of active detection of novel classes in a multi-class data stream. This method incrementally maintains a feature space area which is covered by the known classes, and detects those instances that are self-similar and external to that area as novel classes. Finally, it is often difficult to get a completely reliable labelling because the human labeller is subject to labelling errors that reduce the performance of the learned classifier. This problem was solved by introducing a measure that reflects the degree of disagreement between the manually given class and the predicted class, and a new informativeness measure that expresses the necessity for a mislabelled instance to be re-labeled by an alternative labeller

La classification se base sur un jeu de données étiquetées par un expert. Plus le jeu de données est grand, meilleure est la performance de classification. Pourtant, la requête à un expert peut parfois être coûteuse. Le but de l'apprentissage actif est alors de minimiser le nombre de requêtes à l'expert. La collection des données non-étiquetées reste aisée cependant et illimitée, il est donc nécessaire de faire un choix sur les données à annoter, l'idée est alors de profiter de ce choix pour maximiser les performances en ne lui fournissant que les données les plus informatives à étiqueter. Pourtant, le niveau d'informativité de chaque donnée ne peut pas être calculé exactement et ne peut être estimé qu'à une incertitude près. Améliorer la précision de l'estimation nécessite d'annoter de nouvelles données. Il y a donc un dilemme entre utiliser le budget d'annotations disponible pour améliorer la performance du classifieur selon l'estimation actuelle du critère ou pour améliorer la précision sur le critère. Ce dilemme est bien connu dans le cadre de l'optimisation en budget fini sous le nom de dilemme entre exploration et exploitation. Les solutions usuelles pour résoudre ce dilemme dans ce contexte font usage du principe d'Optimisme Face à l'Incertitude. Dans cette thèse, nous montrons donc qu'il est possible d'adapter ce principe au problème d'apprentissage actif pour la classification. Pour cela, plusieurs algorithmes ont été être développés pour des classifieurs de complexité croissante, chacun utilisant le principe de l'Optimisme Face à l'Incertitude, et leurs résultats ont été évalués empiriquement / A Classification problem makes use of a training set consisting of data labeled by an oracle. The larger the training set, the best the performance. However, requesting the oracle may be costly. The goal of Active Learning is thus to minimize the number of requests to the oracle while achieving the best performance. To do so, the data that are presented to the oracle must be carefully selected among a large number of unlabeled instances acquired at no cost. However, the true profitability of labeling a particular instance may not be known perfectly. It can therefore be estimated along with a measure of uncertainty. To Increase the precision on the estimate, we need to label more data. Thus, there is a dilemma between labeling data in order to increase the performance of the classifier or to better know how to select data. This dilemma is well studied in the context of finite budget optimization under the name of exploration versus exploitation dilemma. The most famous solutions make use of the principle of Optimism in the Face of Uncertainty. In this thesis, we show that it is possible to adapt this principle to the active learning problem for classification. Several algorithms have been developed for classifiers of increasing complexity, each one of them using the principle of Optimism in the Face of Uncertainty, and their performances have been empirically evaluated

L'indexation des images est une étape indispensable pour valoriser un fond d'archive professionnel ou des collections d'images personnelles. Le "documentaliste" se doit de décrire précisément chaque document collecté dans la perspective de le retrouver. La difficulté est alors d'interpréter les contenus visuels et de les associer entre eux afin de couvrir différentes catégories qui peuvent être souvent très subjectives. Dans ce travail, nous nous inspirons du principe de l'apprentissage actif pour aider un utilisateur dans cette tâche de structuration de collections d'images. A partir de l'analyse des contenus visuels des images, différentes stratégies de sélection active sont développées afin d'aider un utilisateur à identifier et cerner des catégories pertinentes selon son point de vue. Nous proposons d'exprimer ce problème de classification d'images avec apprentissage actif dans le cadre du Modèle des Croyances Transférables (MCT). Ce formalisme facilite la combinaison, la révision et la représentation des connaissances que l'on peut extraire des images et des classes existantes à un moment donné. La méthode proposée dans ce cadre permet ainsi une représentation détaillée de la connaissance, notamment en représentant explicitement les cas d'appartenances à aucune ou à de multiples catégories, tout en quantifiant l'incertitude (liée entre autre au fossé sémantique) et le conflit entrainé par l'analyse des images selon différentes modalités (couleurs, orientations). Une interface homme-machine a été développée afin de valider notre approche sur des jeux de tests de référence, des collections d'images personnelles et des photographies professionnelles issues de l'Institut National de l'Audiovisuel. Une évaluation a été conduite auprès d'utilisateurs professionnels et a montré des résultats très positifs en termes d'utilité, d'utilisabilité et de satisfaction.

Issus d'une analogie avec les réseaux de neurones biologiques du cerveau, les réseaux récurrents sont utilisés pour modéliser des comportements dynamiques complexes et pour reproduire - apprendre - ces comportements. Les propriétés adaptatives de ces réseaux peuvent être exploitées par les réseaux de modélisation physique de phénomènes vibratoires dédiés à la simulation informatique d'instruments de musique. Ces réseaux de modélisation mécanique possèdent des paramètres d'inertie, d'élasticité et de viscosité que l'on souhaite déterminer automatiquement dans le but de reproduire un comportement physique donné ; cette détermination est possible grâce aux réseaux récurrents. Nous développons ainsi un certain nombre d'algorithmes de réseaux de modélisation physique adaptatifs et proposons des algorithmes originaux, inspirés de modèles mécaniques. En particulier, ce travail aborde la notion d'interaction avec l'environnement dans ce type de réseaux, et plus généralement dans les réseaux connexionnistes supervisés. A travers plusieurs expériences, nous montrons que, sous certaines conditions, l'interaction avec l'environnement permet la réussite de l'apprentissage, en particulier si cette interaction autorise un apprentissage à complexité progressive. De plus, nous établissons des rapprochements entre ce type d'apprentissage et certains apprentissages humains. Cela nous amène à poser les bases d'un système d'identification de paramètres pour la modélisation d'instruments de musique. Ce système fait interagir en temps réel un instrumentiste, un instrument de musique et un ordinateur simulant le modèle adaptatif

Nous abordons dans ce mémoire le problème délicat de l'indexation de plans vidéo et en particulier l'indexation automatique par le contenu sémantique. L'indexation est l'opération qui consiste à extraire une signature numérique ou textuelle qui décrit le contenu de manière précise et concise afin de permettre une recherche efficace dans une base de données. L'aspect automatique de l'indexation est important puisque nous imaginons bien la difficulté d'établir les signatures manuellement sur de grandes quantités de données. Jusqu'à présent les systèmes automatiques d'indexation et de recherche d'images ou de vidéos se sont concentrés sur la description et l'indexation du contenu purement visuel. Les signatures permettaient d'effectuer une recherche principalement sur les couleurs et les textures des images. A présent, le nouveau défi est d'ajouter à ces signatures une description sémantique du contenu de manière automatique. Un éventail des techniques utilisées pour l'indexation du contenu visuel est tout d'abord présenté. Ensuite nous introduisons une méthode pour calculer une signature précise et compacte à partir des régions des images clefs des plans. Il s'agit d'une adaptation de l'analyse de la sémantique latente qui fut initialement introduite pour indexer le texte. La tâche délicate de la recherche par le contenu sémantique est ensuite abordée. Les expériences sont conduites dans le cadre de l'évaluation TRECVID qui nous permet d'obtenir une grande quantité de vidéo avec leurs annotations. Nous poursuivons la classification sémantique en étudiant la fusion de systèmes de classification. Finalement nous introduisons une nouvelle méthode d'apprentissage actif.