Les travaux présentés dans cette thèse portent sur l'effet d'apprentissages à court et long terme sur le système visuel. Nous avons d'abord montré grâce à des enregistrements Éléctroencéphalographiques que l'apprentissage d'une séquence de stimuli visuels induisait une activité cérébrale spontanée et sélective au prochain stimulus devant apparaitre et que cette activité sélective s'exprimait dans les bandes alpha et beta de l'activité électrique cérébrale. Par la suite nous avons montré grâce à de l'Imagerie par Résonance Magnétique fonctionnelle que lors d'apprentissages longs (trois semaines) les représentations neurales de catégories visuelles associées étaient modulées et devenaient plus similaires après l'apprentissage. Les travaux présentés dans cette thèse ont donc permis de mieux caractériser l'impact d'apprentissages à différentes échelles de temps sur les représentations neurales d'objets visuels. / The work presented in this thesis deals with the effect of short- and long-term learning on the visual system. We first demonstrated through electroencephalographic recordings that learning a sequence of visual stimuli induced spontaneous and selective cerebral activity to the next-to-appear stimulus and that this selective activity was expressed in the alpha and beta bands of cerebral electrical activity. Subsequently, we showed through functional magnetic resonance imaging that during long learning (three weeks) the neural representations of associated visual categories were modulated and became more similar due to learning. The work presented in this thesis has thus made it possible to better characterize the impact of learning at different time scales on the neural representations of visual objects.

This dissertation explores my process of drawing inspiration from visual objects and visual arts in order to generate compositional tools for music writing. It analyzes some of my earlier works, when this practice started taking shape, up until the construction of Bad Habits, an orchestral piece that utilized the late works of late North American painter Philip Guston as its main drive. The text follows a chronological and journal-like approach that seeks to dissect and investigate each step from the elaboration to the organization of each element drawn from visual objects in order to create a cohesive composition that leans heavily on subjectivity as it pays homage to Guston as an individual and as an artist.

Reading comprehension proficiency is vital for learners to be successful in their academic career, however, South African studies have revealed that reading comprehension skills are severely underdeveloped in secondary school learners. Local research has investigated many contributing factors such as multilingualism and deficits with the national curriculum standards. Far fewer studies have examined the cognitive underpinnings that differentiate between English second language (ESL) learners who are proficient in reading comprehension and those who are not. Certain multi-coding theories assert that the integration of visual mental imagery and verbal information is essential for the formation of a comprehensive mental model, which forms the basis of reading comprehension. This study explored the relationship between visual reasoning ability and the reading comprehension proficiency in a group of 83 ESL learners from two urban Gauteng schools. One school represented learners who are proficient readers whilst the second group represented learners who are developing readers. The Non-Verbal Reasoning and the 3D Spatial Manipulation subtests from the Differential Aptitude Test (DAT) battery were used to explore the learners’ ability to reason using visual-object and visual-spatial mental imagery. The Verbal Reasoning test was used to establish a baseline for the learners’ language skills. The items of the Reading Comprehension subtest of the Stanford Diagnostic Reading Test battery (SDRT-RC) were evaluated for textual factors that contribute toward word concreteness effects. The relationships between the DAT subtests and the SDRT-RC Mixed, Abstract and Concrete Items subtests were discussed in light of multi-coding models of reading comprehension.

Dans cette thèse, nous nous sommes intéressés au problème de la classification à « grain fin » qui est une tâche de classification particulière où les classes peuvent être visuellement distinguables seulement à partir de détails subtils et où le contexte agit souvent comme une source de bruit. Ce travail est principalement motivé par le besoin de concevoir des représentations d'images plus « fines » pour adresser de telles tâches de classification qui nécessitent un encodage d’informations discriminantes très fines et localisées. L'originalité principale de notre approche est d’intégrer dans une représentation globale de haute dimension une mesure de consistance géométrique locale entre l’image à représenter et les images d’une base de référence (que nous considérons comme un vocabulaire visuel possiblement constitué d’un grand nombre d’images). Ceci nous permet d’encoder dans une représentation vectorielle des motifs très localisés et géométriquement consistant avec l’image (contrairement aux méthodes de codage traditionnelles comme les Bag-of-Visual-Word, les vecteurs de Fisher ou les vecteurs VLAD). Plus en détails : Nous proposons dans un premier temps une approche de classification d'instances d'entités visuelles basée sur un classificateur par plus proches voisins qui agrège les similarités entre l'image requête et celles de la base d'apprentissage. Les similarités sont calculées avec prise en compte de la consistance géométrique locale entre les descripteurs locaux de la requête et ceux des images de la base d'apprentissage. Cette base pouvant être constituée de nombreux descripteurs locaux, nous proposons de passer notre méthode à l’échelle en utilisant des méthodes de recherche approximatives de plus proches voisins. Par la suite, nous avons mis au point un nouveau noyau de similarité entre des images basé sur les descripteurs locaux qu'elles partagent dans une base de référence. Nous avons nommé ce noyau Shared Nearest Neighbors Kernel (SNN Kernel), qui peut être utilisé comme n'importe quel autre noyau dans les machines à noyau. Nous avons dérivé, à partir de ce dernier, une représentation explicite globale des images à décrire. Cette représentation encode la similarité de l'image considérée avec les différentes régions visuelles des images de la base correspondant au vocabulaire visuel. Nous avons également rendu possible l'intégration de l'information de consistance géométrique dans nos représentations à l'aide de l'algorithme RANSAC amélioré que nous avons proposé dans notre contribution précédente. La classification des images se fait ensuite par un modèle linéaire appris sur ces représentations. Finalement, nous proposons, comme troisième contribution, une stratégie permettant de considérablement réduire, jusqu'à deux ordres de grandeur, la dimension de la représentation d'image sur-complète précédemment présentée tout en conservant une performance de classification compétitive aux méthodes de l’état de l’art. Nous avons validé nos approches en conduisant une série d’expérimentations sur plusieurs tâches de classification impliquant des objets rigides comme FlickrsLogos32 ou Vehicles29, mais aussi sur des tâches impliquant des concepts visuels plus finement discriminables comme la base FGVC-Aircrafts, Oxford-Flower102 ou CUB-Birds200. Nous avons aussi démontré des résultats significatifs sur des tâches de classification audio à grain fin comme la tâche d'identification d'espèce d'oiseau de LifeCLEF2015 en proposant une extension temporelle de notre représentation d'image. Finalement, nous avons montré que notre technique de réduction de dimension permet d’obtenir un vocabulaire visuel très interprétable composé des régions d'image les plus représentatives pour les concepts visuels représentés dans la base d’apprentissage. / This thesis focuses on the issue of fine-grained classification which is a particular classification task where classes may be visually distinguishable only from subtle localized details and where background often acts as a source of noise. This work is mainly motivated by the need to devise finer image representations to address such fine-grained classification tasks by encoding enough localized discriminant information such as spatial arrangement of local features.To this aim, the main research line we investigate in this work relies on spatially localized similarities between images computed thanks to efficient approximate nearest neighbor search techniques and localized parametric geometry. The main originality of our approach is to embed such spatially consistent localized similarities into a high-dimensional global image representation that preserves the spatial arrangement of the fine-grained visual patterns (contrary to traditional encoding methods such as BoW, Fisher or VLAD Vectors). In a nutshell, this is done by considering all raw patches of the training set as a large visual vocabulary and by explicitly encoding their similarity to the query image. In more details:The first contribution proposed in this work is a classification scheme based on a spatially consistent k-nn classifier that relies on pooling similarity scores between local features of the query and those of the similar retrieved images in the vocabulary set. As this set can be composed of a lot of local descriptors, we propose to scale up our approach by using approximate k-nearest neighbors search methods. Then, the main contribution of this work is a new aggregation-based explicit embedding derived from a newly introduced match kernel based on shared nearest neighbors of localized feature vectors combined with local geometric constraints. The originality of this new similarity-based representation space is that it directly integrates spatially localized geometric information in the aggregation process.Finally, as a third contribution, we proposed a strategy to drastically reduce, by up to two orders of magnitude, the high-dimensionality of the previously introduced over-complete image representation while still providing competitive image classification performance.We validated our approaches by conducting a series of experiments on several classification tasks involving rigid objects such as FlickrsLogos32 or Vehicles29 but also on tasks involving finer visual knowledge such as FGVC-Aircrafts, Oxford-Flower102 or CUB-Birds200. We also demonstrated significant results on fine-grained audio classification tasks such as the LifeCLEF 2015 bird species identification challenge by proposing a temporal extension of our image representation. Finally, we notably showed that our dimensionality reduction technique used on top of our representation resulted in highly interpretable visual vocabulary composed of the most representative image regions for different visual concepts of the training base.