L'objectif de ce travail est de proposer une solution de reconnaissance de l'impact émotionnel des images en se basant sur les techniques utilisées en recherche d'images par le contenu. Nous partons des résultats intéressants de cette architecture pour la tester sur une tâche plus complexe. La tâche consiste à classifier les images en fonction de leurs émotions que nous avons définies "Négative", "Neutre" et "Positive". Les émotions sont liées aussi bien au contenu des images, qu'à notre vécu. On ne pourrait donc pas proposer un système de reconnaissance des émotions performant universel. Nous ne sommes pas sensible aux mêmes choses toute notre vie : certaines différences apparaissent avec l'âge et aussi en fonction du genre. Nous essaierons de nous affranchir de ces inconstances en ayant une évaluation des bases d'images la plus hétérogène possible. Notre première contribution va dans ce sens : nous proposons une base de 350 images très largement évaluée. Durant nos travaux, nous avons étudié l'apport de la saillance visuelle aussi bien pendant les expérimentations subjectives que pendant la classification des images. Les descripteurs, que nous avons choisis, ont été évalués dans leur majorité sur une base consacrée à la recherche d'images par le contenu afin de ne sélectionner que les plus pertinents. Notre approche qui tire les avantages d'une architecture bien codifiée, conduit à des résultats très intéressants aussi bien sur la base que nous avons construite que sur la base IAPS, qui sert de référence dans l'analyse de l'impact émotionnel des images. / The goal of this work is to propose an efficient approach for emotional impact recognition based on CBIR techniques (descriptors, image representation). The main idea relies in classifying images according to their emotion which can be "Negative", "Neutral" or "Positive". Emotion is related to the image content and also to the personnal feelings. To achieve our goal we firstly need a correct assessed image database. Our first contribution is about this aspect. We proposed a set of 350 diversifed images rated by people around the world. Added to our choice to use CBIR methods, we studied the impact of visual saliency for the subjective evaluations and interest region segmentation for classification. The results are really interesting and prove that the CBIR methods are usefull for emotion recognition. The chosen desciptors are complementary and their performance are consistent on the database we have built and on IAPS, reference database for the analysis of the image emotional impact.

Dans notre communication quotidienne avec les autres, nous avons autant de considération pour l’interlocuteur lui-même que pour l’information transmise. En permanence coexistent en effet deux modes de transmission : le verbal et le non-verbal. Sur ce dernier thème intervient principalement l’expression faciale avec laquelle l’interlocuteur peut révéler d’autres émotions et intentions. Habituellement, un processus de reconnaissance d’émotions faciales repose sur 3 étapes : le suivi du visage, l’extraction de caractéristiques puis la classification de l’expression faciale. Pour obtenir un processus robuste apte à fournir des résultats fiables et exploitables, il est primordial d’extraire des caractéristiques avec de forts pouvoirs discriminants (selon les zones du visage concernées). Les avancées récentes de l’état de l’art ont conduit aujourd’hui à diverses approches souvent bridées par des temps de traitement trop couteux compte-tenu de l’extraction de descripteurs sur le visage complet ou sur des heuristiques mathématiques et/ou géométriques.En fait, aucune réponse bio-inspirée n’exploite la perception humaine dans cette tâche qu’elle opère pourtant régulièrement. Au cours de ces travaux de thèse, la base de notre approche fut ainsi de singer le modèle visuel pour focaliser le calcul de nos descripteurs sur les seules régions du visage essentielles pour la reconnaissance d’émotions. Cette approche nous a permis de concevoir un processus plus naturel basé sur ces seules régions émergentes au regard de la perception humaine. Ce manuscrit présente les différentes méthodologies bio-inspirées mises en place pour aboutir à des résultats qui améliorent généralement l’état de l’art sur les bases de référence. Ensuite, compte-tenu du fait qu’elles se focalisent sur les seules parties émergentes du visage, elles améliorent les temps de calcul et la complexité des algorithmes mis en jeu conduisant à une utilisation possible pour des applications temps réel. / Communication in any form i.e. verbal or non-verbal is vital to complete various daily routine tasks and plays a significant role inlife. Facial expression is the most effective form of non-verbal communication and it provides a clue about emotional state, mindset and intention. Generally automatic facial expression recognition framework consists of three step: face tracking, feature extraction and expression classification. In order to built robust facial expression recognition framework that is capable of producing reliable results, it is necessary to extract features (from the appropriate facial regions) that have strong discriminative abilities. Recently different methods for automatic facial expression recognition have been proposed, but invariably they all are computationally expensive and spend computational time on whole face image or divides the facial image based on some mathematical or geometrical heuristic for features extraction. None of them take inspiration from the human visual system in completing the same task. In this research thesis we took inspiration from the human visual system in order to find from where (facial region) to extract features. We argue that the task of expression analysis and recognition could be done in more conducive manner, if only some regions are selected for further processing (i.e.salient regions) as it happens in human visual system. In this research thesis we have proposed different frameworks for automatic recognition of expressions, all getting inspiration from the human vision. Every subsequently proposed addresses the shortcomings of the previously proposed framework. Our proposed frameworks in general, achieve results that exceeds state-of-the-artmethods for expression recognition. Secondly, they are computationally efficient and simple as they process only perceptually salient region(s) of face for feature extraction. By processing only perceptually salient region(s) of the face, reduction in feature vector dimensionality and reduction in computational time for feature extraction is achieved. Thus making them suitable for real-time applications.

Since the turn of the millennium, a large number of computational models of visual salience have been put forward. How best to evaluate a given model's ability to predict where human observers fixate in images of real-world scenes remains an open research question. Assessing the role of spatial biases is a challenging issue; this is particularly true when we consider the tendency for high-salience items to appear in the image center, combined with a tendency to look straight ahead (“central bias”). This problem is further exacerbated in the context of model comparisons, because some—but not all—models implicitly or explicitly incorporate a center preference to improve performance. To address this and other issues, we propose to combine a-priori parcellation of scenes with generalized linear mixed models (GLMM), building upon previous work. With this method, we can explicitly model the central bias of fixation by including a central-bias predictor in the GLMM. A second predictor captures how well the saliency model predicts human fixations, above and beyond the central bias. By-subject and by-item random effects account for individual differences and differences across scene items, respectively. Moreover, we can directly assess whether a given saliency model performs significantly better than others. In this article, we describe the data processing steps required by our analysis approach. In addition, we demonstrate the GLMM analyses by evaluating the performance of different saliency models on a new eye-tracking corpus. To facilitate the application of our method, we make the open-source Python toolbox “GridFix” available.

Level sets are extensively used for the visualization of scalar fields. The Reeb graph of a scalar function tracks the evolution of the topology of its level sets. It is obtained by mapping each connected component of a level set to a point. The Reeb graph and its loop-free version called the contour tree serve as an effective user interface for selecting meaningful level sets and for designing transfer functions for volume rendering. It also finds several other applications in the field of scientific visualization. In this thesis, we focus on designing algorithms for efficiently computing the Reeb graph of scalar functions and using the Reeb graph for effective visualization of scientific data. We have developed three algorithms to compute the Reeb graph of PL functions defined over manifolds and non-manifolds in any dimension. The first algorithm efficiently tracks the connected components of the level set and has the best known theoretical bound on the running time. The second algorithm, utilizes an alternate definition of Reeb graphs using cylinder maps, is simple to implement and efficient in practice. The third algorithm aggressively employs the efficient contour tree algorithm and is efficient both theoretically, in terms of the worst case running time, and practically, in terms of performance on real-world data. This algorithm has the best performance among existing methods and computes the Reeb graph at least an order of magnitude faster than other generic algorithms. We describe a scheme for controlled simplification of the Reeb graph and two different graph layout schemes that help in the effective presentation of Reeb graphs for visual analysis of scalar fields. We also employ the Reeb graph in four different applications – surface segmentation, spatially-aware transfer function design, visualization of interval volumes, and interactive exploration of time-varying data. Finally, we introduce the notion of topological saliency that captures the relative importance of a topological feature with respect to other features in its local neighborhood. We integrate topological saliency with Reeb graph based methods and demonstrate its application to visual analysis of features.

Abstract: Nowadays, traffic analysis are relying on data collected from various traffic sensors. Among the various traffic surveillance techniques, video surveillance systems are often used for monitoring and characterizing traffic load. In this thesis, we focused on two aspects of traffic analysis without using motion features in low frame-rate videos: Traffic density flow analysis and Vehicle detection and classification. Traffic density flow analysis}: Knowing in real time when the traffic is fluid or when it jams is a key information to help authorities re-route vehicles and reduce congestion. Accurate and timely traffic flow information is strongly needed by individual travelers, the business sectors and government agencies. In this part, we investigated the possibility of monitoring highway traffic based on videos whose frame rate is too low to accurately estimate motion features. As we are focusing on analyzing traffic images and low frame-rate videos, traffic density is defined as the percentage of road being occupied by vehicles. In our previous work, we validated that traffic status is highly correlated to its texture features and that Convolutional Neural Networks (CNN) has the superiority of extracting discriminative texture features. We proposed several CNN models to segment traffic images into three different classes (road, car and background), classify traffic images into different categories (empty, fluid, heavy, jam) and predict traffic density without using any motion features. In order to generalize the model trained on a specific dataset to analyze new traffic scenes, we also proposed a novel transfer learning framework to do model adaptation. Vehicle detection and classification: The detection of vehicles pictured by traffic cameras is often the very first step of video surveillance systems, such as vehicle counting, tracking and retrieval. In this part, we explore different deep learning methods applied to vehicle detection and classification. Firstly, realizing the importance of large dataset for traffic analysis, we built and released the largest traffic dataset (MIO-TCD) in the world for vehicle localization and classification in collaboration with colleagues from Miovision inc. (Waterloo, On). With this dataset, we organized the Traffic Surveillance Workshop and Challenge in conjunction with CVPR 2017. Secondly, we evaluated several state-of-the-art deep learning methods for the classification and localization task on the MIO-TCD dataset. In light of the results, we may conclude that state-of-the-art deep learning methods exhibit a capacity to localize and recognize vehicle from a single video frame. While with a deep analysis of the results, we also identify scenarios for which state-of-the-art methods are still failing and propose concrete ideas for future work. Lastly, as saliency detection aims to highlight the most relevant objects in an image (e.g. vehicles in traffic scenes), we proposed a multi-resolution 4*5 grid CNN model for the salient object detection. The model enables near real-time high performance saliency detection. We also extend this model to do traffic analysis, experiment results show that our model can precisely segment foreground vehicles in traffic scenes. / De nos jours, l’analyse de trafic routier est de plus en plus automatisée et s’appuie sur des données issues de senseurs en tout genre. Parmi les approches d’analyse de trafic routier figurent les méthodes à base de vidéo. Les méthodes à base de vidéo ont pour but d’identifier et de reconnaître les objets en mouvement (généralement des voitures et des piétons) et de comprendre leur dynamique. Un des défis parmi les plus difficile à résoudre est d’analyser des séquences vidéo dont le nombre d’images par seconde est très faible. Ce type de situation est pourtant fréquent considérant qu’il est très difficile (voir impossible) de transmettre et de stocker sur un serveur un très grand nombre d’images issues de plusieurs caméras. Dans ce cas, les méthodes issues de l’état de l’art échouent car un faible nombre d’images par seconde ne permet pas d’extraire les caractéristiques vidéos utilisées par ces méthodes tels le flux optique, la détection de mouvement et le suivi de véhicules. Au cours de cette thèse, nous nous sommes concentré sur l’analyse de trafic routier à partir de séquences vidéo contenant un très faible nombre d’images par seconde. Plus particulièrement, nous nous sommes concentrés sur les problème d’estimation de la densité du trafic routier et de la classification de véhicules. Pour ce faire, nous avons proposé différents modèles à base de réseaux de neurones profonds (plus particulièrement des réseaux à convolution) ainsi que de nouvelles bases de données permettant d’entraîner les dits modèles. Parmi ces bases de données figure « MIO-TCD », la plus grosse base de données annotées au monde faite pour l’analyse de trafic routier.

Dans le domaine de la vision par ordinateur l'utilisation de points d'intérêt (PI) est récurrente pour les problématiques de reconnaissance et de suivi d'objets. Plusieurs études ont prouvé l'utilité de ces techniques, associant robustesse et un temps de calcul pouvant être compatible avec le temps réel. Cette thèse propose d'étudier et d'exploiter ces descripteurs de statistiques de l'image sous un tout autre regard. Ainsi, nous avons menée une étude sur le lien entre les PI et la saillance visuelle humaine. De cette étude nous avons pu développer une méthode de prédiction de carte de saillance exploitant la rapidité d'exécution de ces détecteurs. Nous avons également exploité le pouvoir descriptif de ces PI afin de développer de nouvelles métriques de qualité d'images. Grâce à des résultats encourageant en terme de prédiction de qualité perçue et la faible quantité d'information utilisée, nous avons pu intégrer notre métrique "QIP" dans une chaîne de transmission d'images sur réseau sans fil de type MIMO. L'ajout de cette métrique permet d'augmenter la qualité d'expérience en garantissant la meilleure qualité malgré les erreurs introduites par la transmission sans fil. Nous avons étendu cette étude, par l'analyse fine des statistiques structurelles de l'image et des migrations d'attributs afin de proposer un modèle générique de prédiction des dégradations. Enfin, nous avons été amenés à conduire diverses expériences psychovisuelles, pour valider les approches proposées ou dans le cadre de la normalisation de nouveaux standards du comité JPEG. Ce qui a mené à développer une application web dédiée à l'utilisation et la comparaison des métriques de qualité d'images. / In the field of computer vision, the use of interest points (IP) is very frequent for objects tracking and recognition. Several studies have demonstrated the usefulness of these techniques, combining robustness and complexity that can be compatible with the real time. This thesis proposes to explore and exploit these image statistical descriptors under a different angle. Thus, we conducted a study on the relationship between IP and human visual saliency. In this study, we developed a method for predicting saliency maps relying on the efficiency of the descriptors. We also used the descriptive power of the PI to develop new metrics for image quality. With encouraging results in terms of prediction of perceived quality and the reduced amount of used information, we were able to integrate our metric "QIP" in an image transmission framework over a MIMO wireless network. The inclusion of this metric can improve the quality of experience by ensuring the best visual quality despite the errors introduced by the wireless transmission. We have extended this study by deeply analyzing structural statistics of the image and migration attributes to provide a generic model for predicting impairments. Finally, we conducted various psychovisual experiments to validate the proposed approaches or to contribute to JPEG standard committee. This led to develop a web application dedicated to the benchmark of image quality metrics.

Aide à la conception de légendes personnalisées et originales : proposition d'une méthode coopérative pour le choix des couleurs Les utilisateurs s'approprient aisément les outils cartographiques numériques pour se construire leur propre carte. Cependant, l'accès aux outils ne suffit pas pour concevoir une légende cartographique de qualité. Il est nécessaire de savoir comment faire de bons choix de représentation graphique, en particulier de bons choix de couleurs. Une expertise cartographique comportant des connaissances en sémiologie graphique et en perception des couleurs (contrastes et harmonies) est nécessaire : soit l'utilisateur possède ces connaissances, soit les outils doivent les lui apporter. Dans ce contexte, nous cherchons à aider les utilisateurs à concevoir des légendes personnalisées et originales, en nous concentrant sur l'aide au choix des couleurs. Nous proposons une méthode de conception coopérative en quatre phases reposant sur des interactions homme-machine : 1- choix d'une source d'inspiration, 2- acquisition des préférences de l'utilisateur sur les sources d'inspiration, 3- interprétation des préférences et construction de légendes adaptées, 4- retouche de légendes. Deux stratégies de conception sont envisagées en utilisant deux types de sources d'inspiration : des échantillons de carte et des toiles de maîtres. En partant du constat que des désaccords entre l'utilisateur et le système peuvent se produire, nous proposons d'utiliser des techniques de dialogue homme-machine pour améliorer l'adaptation du système à l'utilisateur. Le modèle de dialogue ainsi proposé est implémenté dans le prototype COLorLEGend (COLLEG) / Helping users to make on-demand and original legends : proposition of a cooperative method to choose colours Current cartographic tools allow technically novice and expert users to make maps. However resulting legends may be of poor quality because users do not know how to make good choices of graphic representation and especially good choices of colours. Cartographic expertise including semiologic rules and colour perception knowledge (contrasts and harmony) is required. If users are not experts, cartographic tools should other them this expertise. In this context, we want to help users to design customized and original legends, by helping them to select suitable colours. We propose a cooperative method in four stages : 1- selection of an inspiration source, 2- identification of user's colour preferences on inspiration sources, 3- interpretation of preferences and design of suitable legends, 4- refinement of legends. Two legend design strategies, based on map samples and master paintings, are used. However, conflicts between the user and the system may appear. Therefore we propose to rely on human-machine dialog techniques in order to better adapt the process to the user. A dialog model is implemented and the prototype COLorLEGend (COLLEG) is presented

Les caméras sont devenues de plus en plus communes dans les véhicules, les smartphones et les systèmes d'aide à la conduite ADAS (Advanced Driver Assistance Systèmes). Les domaines d'application de ces caméras dans le monde des systèmes intelligents de transport deviennent de plus en plus variés : la détection des piétons, les avertissements de franchissement de ligne, la navigation... La navigation basée sur la vision a atteint une certaine maturité durant ces dernières années grâce à l'utilisation de technologies avancées. Les systèmes de navigation basée sur la vision ont le considérable avantage de pouvoir utiliser directement les informations visuelles présentes dans l'environnement, sans devoir adapter le moindre élément de l'infrastructure. De plus, contrairement aux systèmes utilisant le GPS, ils peuvent être utilisés à l'extérieur ainsi qu'à l'intérieur des locaux et des bâtiments sans aucune perte de précision. C'est pour ces raisons que les systèmes basés sur la vision sont une bonne option car ils fournissent des informations très riches et précises sur l'environnement, qui peuvent être utilisées pour la navigation. Un axe important de recherche porte actuellement sur la cartographie qui représente une étape indispensable pour la navigation. Cette étape engendre une problématique de la gestion de la mémoire assez conséquente requise par ces systèmes en raison de la quantité d'informations importante collectées par chaque capteur. En effet, l'espace mémoire nécessaire pour accueillir la carte d'une petite ville se mesure en dizaines de GO voire des milliers lorsque l'on souhaite couvrir des espaces de grandes dimensions. Cela rend impossible son intégration dans un système mobile tel que les smartphones, les véhicules, les vélos ou les robots. Le défi serait donc de développer de nouveaux algorithmes permettant de diminuer au maximum la taille de la mémoire nécessaire pour faire fonctionner ce système de localisation par vision. C'est dans ce contexte que se situe notre projet qui consiste à développer un nouveau système capable de résumer une carte 3D qui contient des informations visuelles collectées par plusieurs capteurs. Le résumé sera un ensemble des vues sphériques permettant de garder le même niveau de visibilité dans toutes les directions. Cela permettrait aussi de garantir, à moindre coût, un bon niveau de précision et de rapidité lors de la navigation. La carte résumant l'environnement sera constituée d'un ensemble d'informations géométriques, photométriques et sémantiques. / Cameras have become increasingly common in vehicles, smart phones, and advanced driver assistance systems. The areas of application of these cameras in the world of intelligent transportation systems are becoming more and more varied : pedestrian detection, line crossing detection, navigation ... Vision-based navigation has reached a certain maturity in recent years through the use of advanced technologies. Vision-based navigation systems have the considerable advantage of being able to directly use the visual information already existing in the environment without having to adapt any element of the infrastructure. In addition, unlike systems using GPS, they can be used outdoors and indoors without any loss of precision. This guarantees the superiority of these systems based on computer vision. A major area of {research currently focuses on mapping, which represents an essential step for navigation. This step generates a problem of memory management quite substantial required by these systems because of the huge amount of information collected by each sensor. Indeed, the memory space required to accommodate the map of a small city is measured in tens of GB or even thousands when one wants to cover large spaces. This makes impossible to integrate this map into a mobile system such as smartphones , cameras embedded in vehicles or robots. The challenge would be to develop new algorithms to minimize the size of the memory needed to operate this navigation system using only computer vision. It's in this context that our project consists in developing a new system able to summarize a3D map resulting from the visual information collected by several sensors. The summary will be a set of spherical views allow to keep the same level of visibility in all directions. It would also guarantee, at a lower cost, a good level of precision and speed during navigation. The summary map of the environment will contain geometric, photometric and semantic information.

This thesis describes design and implementation of system that allows batch generation of graphical presentations. The system also includes modules for image quality evaluation using no-reference blur metric and salient object detection. Selected methods for evaluation of image quality are described in detail and implemented in corresponding chapters, including proposed modifications and changes. Blur detection is based on wavelet transform, and salient object detection is achieved by investigating image contrast. Capabilities of these modules are evaluated on suitable image datasets.

La fovéa est la seule zone de la rétine où l’acuité visuelle est maximale. Les mécanismes qui visent à déterminer à quels endroits vont avoir lieu les prochaines fixations restent débattus. Certains auteurs suggèrent que les yeux sont principalement attirés par les zones les plus saillantes de la scène. D’autres suggèrent qu’ils sont orientés vers les objets. Les propriétés du système oculomoteur contraignent également les mouvements oculaires. L’objectif de cette thèse était de départager ces différents points de vue en examinant la contribution respective et le décours temporel des facteurs visuo-moteurs de bas niveau et des facteurs cognitifs de plus haut niveau dans la détermination des mouvements oculaires. Nous nous sommes focalisés sur trois phénomènes comportementaux clés : la tendance à bouger les yeux à proximité du centre des objets (Prefered-Viewing Location), les répercussions qu’ont ces positions d’atterrissage sur les durées initiales des fixations (Inverted Optimal-Viewing-Position) et les probabilités de refixation (Optimal-Viewing-Position). Nous avons observé que ces trois effets émergeaient, et ce, quel que soit le type de stimulus testé: des objets, des mots ou des objets sans signification. Cela suggère que ces effets reflètent les propriétés de bas niveau des systèmes visuel et oculomoteur. Par ailleurs, nous avons observé que l’endroit où les yeux atterrissaient au sein de l’objet était également influencé au fil du temps par les traitements de plus haut-niveau des propriétés du stimulus. Les saccades initiées plus tardivement atterrissaient plus proches de la zone la plus informative de l’objet. / High-quality vision is restricted to the fovea - a small region at the center of gaze. The mechanisms that determine which locations in a scene are selected for fixation remain debated. Some suggest that eye movements are mainly driven by the salient features in a scene. Others suggest that eye guidance is object based. The properties of the oculomotor system also strongly constrain eye behavior, but these have been neglected in most existing models. The purpose of this thesis was to disentangle between these different views, by investigating how low-level visuomotor factors versus higher-level cognitive factors contribute to eye movements towards and within isolated objects, and with which time course. We focused on three viewing-position effects: the tendency to move the eyes near the centers of objects (the PVL effect), and the repercussions these initial landing positions have on initial fixation durations (the I-OVP effect) and refixation probabilities (the OVP effect). We found that these three viewing-position effects emerged, and were comparable, in all stimulus types that we tested in this thesis: objects, words and even meaningless non-objects. This suggests that the effects reflect low-level properties of the visual and oculomotor systems. Furthermore, we found that where the eye moved within objects became influenced by ongoing processing of higher-level stimulus properties (e.g., object affordances) over time. Later- compared to early-triggered initial saccades, and even more so within-object refixations, were biased towards the most informative part of the objects, and away from their center of gravity.