Nos travaux portent sur l'interprétation d'une scène dont nous possédons un modèle, représentant l'agencement spatial des objets contenus dans cette scène. Dans le cadre d'une segmentation séquentielle permettant de reconnaître les objets les uns après les autres en fonction des étapes antérieures, nous utilisons la connaissance spatiale du modèle pour optimiser la séquence de segmentation à effectuer à partir d'un objet de référence vers un objectif à segmenter. Nous proposons pour cela d'optimiser un chemin dans un graphe représentant les objets de la scène (noeuds) et leurs relations spatiales (arcs). Deux approches sont proposées. La première approche effectue une optimisation à partir de l'information spatiale du modèle uniquement, en évaluant un critère de pertinence de chaque chemin. L'évaluation est effectuée de manière indépendante sur chaque arc dans un premier temps, puis nous proposons une manière de représenter un chemin entier, permettant d'évaluer la pertinence du chemin à partir de cette représentation. La deuxième approche s'intègre dans un processus de segmentation séquentielle, vu comme l'exploration progressive d'une image à partir d'un objet de référence. Nous utilisons une modélisation d'une technique pré-attentionnelle, une carte de saillance, afin de guider le processus de segmentation séquentielle, en intégrant à l'approche structurelle des informations de saillance extraites de l'image à interpréter. Le domaine d'application de ces approches est la segmentation des structures sous-corticales du cerveau dans des images IRM 3D dont certaines présentent des pathologies.

Les troubles cognitives regroupent un ensemble hétérogène d’altérations décrites dans la schizophrénie. Parmi elles, il a été montré que les patients présentent des difficultés à distinguer des informations pertinentes parmi des distracteurs ou encore qu’ils sont particulièrement attirés par l’apparition d’une information soudaine même si celle-ci est non pertinente à la compréhension de la scène. Nos travaux ont pour objectif de préciser ces déficits cognitifs, en se rapprochant des conditions naturelles d’exploration visuelle.L’étude des fixations oculaires permet de mettre en évidence des stratégies d’exploration visuelle et d’évaluer l’impact de la saillance des stimuli sur cette exploration. La saillance se définit comme l’émergence d’une forme sur un fond, et comprend la saillance cognitive (pertinence de l’objet), saillance visuelle (caractéristiques physiques) ou saillance émotionnelle. Le paradigme de cécité au changement est défini comme la surprenante difficulté à détecter un changement lorsque celui-ci survient lors d’une interruption visuelle tel un mouvement de l’oeil. Ce paradigme a pour avantage de permettre de se rapprocher des conditions écologiques d’exploration en utilisant des stimuli en 3D. Plusieurs études ont évalué les facteurs influençant la détection des objets changés avec ce paradigme. Ainsi, l’intérêt de l’objet à la compréhension de la scène, le caractère incongru de l’objet, la couleur, la forme ou la taille de l’objet sont des caractéristiques favorisant la détection du changement.Nos premiers travaux ont consisté en la réalisation de deux études en population saine testant l’influence de deux facteurs sur la détection des changements : l’amplitude des changements et le charge émotionnelle de l’objet changé.Notre première étude a montré que plus la scène contient de changements, plus la détection d’au moins un changement est rapide et précise.Notre seconde étude a montré que la charge émotionnelle portée par les objets changés influençait leur détection. En effet les objets dits émotionnels sont mieux détectés que les objets dits neutres.Nos seconds travaux se sont focalisés sur l’exploration visuelle de patients atteints de schizophrénie comparés à des sujets sains lors de la présentation de scènes de la vie quotidienne. Un paradigme de cécité au changement comprenant des changements non pertinents à la compréhension de la scène, testant ainsi l’impact de la saillance cognitive, a été utilisé. Les variables enregistrées ont été les temps de réponse moteur et des données d’oculomotricité (temps avant la première fixation en zone de changement). Nos résultats montrent une dissociation entre des réponses implicites et explicites : les yeux des patients se fixent plus rapidement sur les changements alors qu’ils rapportent les changements plus lentement que les sujets sains.Enfin dans notre troisième étude, nous avons comparé l’effet de l’apparition soudaine d’une information visuelle à caractère neutre avec l’apparition soudaine d’une information visuelle à caractère émotionnelle en utilisant une tâche écologique de cécité au changement chez des patients atteints de schizophrénie comparés à des sujets sains.Les résultats montrent que la charge émotionnelle portée par les objets changés favorise leur détection uniquement pour les sujets sains.Nous confirmons la sensibilité à l’apparition soudaine d’une information visuelle grâce à un paradigme qui mesure de meilleures performances pour les patients ce qui réduit les effets d’un déficit attentionnel non spécifique. Par ailleurs, les meilleures performances de détection disparaissent dès qu’intervient une charge émotionnelle soulignant les difficultés du traitement des émotions dans la schizophrénie. La surprenante dissociation entre les réponses motrices et oculomotrices pourrait être interprétée comme un déficit d’accès à la conscience perceptive dans la schizophrénie et ainsi ouvrir la voie à des pistes thérapeutiques. / Cognitive impairment includes a heterogeneous set of disorders found in patients with schizophrenia. Among them, patients exhibit clear disadvantages in filtering relevant information in a flow of distractors or the attention of these patients can be captured by the sudden irruption of visual information, even if irrelevant to understand the scene. The objective of our research is to specify these cognitive disorders by approaching the ecological conditions of visual exploration.The study of eye fixations allows to highlight visual exploration strategies or to assess the impact of the stimuli salience on the visual exploration. The salience is defined as the emergence of a form on a background. We can observed a cognitive salience (the object’s relevance), a physical salience (the physical characteristics) or emotional salience. The paradigm of change blindness is defined by the failure to notice changes in scene when these changes occur following brief disruptions, such as eye movements. This paradigm exhibits the advantage to approach natural conditions of exploration using 3D stimuli. Several studies have evaluated different factors having an impact on the detection of changed object with this paradigm. Therefore, the interest of the main object to the comprehension of the scene, the incongruous objects, color, shape or size of the object are characteristics promoting the detection of change.Our initial task consists of the conduct of two distinct studies with healthy subjects testing the influence of two factors on the detection of change: the magnitude of change and the emotional aspect of changed objects. Our first study showed that the more the scene contains changes, the faster, the more efficient we detect at least one change. Our second study showed that the emotional aspect of changed objects impacted their detection. Indeed emotional objects are best detected that neutral objects.Our second study has focused on the visual exploration of patients with schizophrenia compared to healthy subjects during the presentation of scenes of everyday life. We used a paradigm of change blindness including irrelevant changes in the understanding of the scene. This paradigm allows to test the cognitive salience. The main recorded variables were the motor response time and eye tracking data (the latency of the first fixation in a region of interest). Our results exhibited a striking dissociation between the explicit and implicit responses: the patients\\\\\\\' eyes shifted faster toward the changes despite explicitly reporting the change more slowly than the healthy subjects.Finally in our third study, we compared the effect of the sudden irruption of an emotional visual information with the sudden irruption of a neutral visual information using an ecological task of change blindness. We compared patients with schizophrenia to healthy subjects. Results show that changes in emotional objects are better detected than changes in neutral objects only for the healthy subjects.We confirmed the patients\\\\\\\' sensitivity to the sudden onset of visual information with a paradigm that measured a better performance in the patients, which thereby reduced the effects of a non-specific attentional deficit. Moreover, the better detection performances disappear when changes lay an emotional influence, highlighting the difficulties of emotional processing in schizophrenia. Finally, the surprising dissociation between implicit and explicit responses in schizophrenia can be interpreted as a deficit of access to conscious perception, which could be of interest to various therapeutic techniques.

Les études menées dans cette thèse portent sur le rôle des visages dans l'attention visuelle. Nous avons cherché à mieux comprendre l'influence des visages dans les vidéos sur les mouvements oculaires, afin de proposer un modèle de saillance visuelle pour la prédiction de la direction du regard. Pour cela, nous avons analysé l'effet des visages sur les fixations oculaires d'observateurs regardant librement (sans consigne ni tâche particulière) des vidéos. Nous avons étudié l'impact du nombre de visages, de leur emplacement et de leur taille. Il est apparu clairement que les visages dans une scène dynamique (à l'instar de ce qui se passe sur les images fixes) modifie fortement les mouvements oculaires. En nous appuyant sur ces résultats, nous avons proposé un modèle de saillance visuelle, qui combine des caractéristiques classiques de bas-niveau (orientations et fréquences spatiales, amplitude du mouvement des objets) avec cette caractéristique importante de plus haut-niveau que constitue les visages. Enfin, afin de permettre des traitements plus proches du temps réel, nous avons développé une implémentation parallèle de ce modèle de saillance visuelle sur une plateforme multi-GPU. Le gain en vitesse est d'environ 130 par rapport à une implémentation sur un processeur multithread. / Studies conducted in this thesis focuses on faces and visual attention. We are interested to better understand the influence and perception of faces, to propose a visual saliency model with face features. Throughout the thesis, we concentrate on the question, "How people explore dynamic visual scenes, how the different visual features are modeled to mimic the eye movements of people, in particular, what is the influence of faces?" To answer these questions we analyze the influence of faces on gaze during free-viewing of videos, as well as the effects of the number, location and size of faces. Based on the findings of this work, we propose model with face as an important information feature extracted in parallel alongside other classical visual features (static and dynamic features). Finally, we propose a multi-GPU implementation of the visual saliency model, demonstrating an enormous speedup of more than 132 times compared to a multithreaded CPU.

Le travail de recherche effectué dans le cadre de cette thèse concerne le développement d’un système de perception de la saillance en environnement 3D en tirant l’avantage d’une représentation pseudo-3D. Notre contribution et concept issue de celle-ci part de l'hypothèse que la profondeur de l’objet par rapport au robot est un facteur important dans la détection de la saillance. Sur ce principe, un système de vision saillante de l’environnement 3D a été proposé, conçu et validée sur une plateforme comprenant un robot équipé d’un capteur pseudo-3D. La mise en œuvre du concept précité et sa conception ont été d’abord validés sur le système de vision pseudo-3D KINECT. Puis dans une deuxième étape, le concept et les algorithmes mis aux points ont été étendus à la plateforme précitée. Les principales contributions de la présente thèse peuvent être résumées de la manière suivante : A) Un état de l'art sur les différents capteurs d'acquisition de l’information de la profondeur ainsi que les différentes méthodes de la détection de la saillance 2D et pseudo 3D. B) Etude d’un système basé sur la saillance visuelle pseudo 3D réalisée grâce au développement d’un algorithme robuste permettant la détection d'objets saillants dans l’environnement 3D. C) réalisation d’un système d’estimation de la profondeur en centimètres pour le robot Pepper. D) La mise en œuvre des concepts et des méthodes proposés sur la plateforme précitée. Les études et les validations expérimentales réalisées ont notamment confirmé que les approches proposées permettent d’accroitre l’autonomie des robots dans un environnement 3D réel / The research work, carried out within the framework of this thesis, concerns the development of a system of perception and saliency detection in 3D environment taking advantage from a pseudo-3D representation. Our contribution and the issued concept derive from the hypothesis that the depth of the object with respect to the robot is an important factor in the detection of the saliency. On this basis, a salient vision system of the 3D environment has been proposed, designed and validated on a platform including a robot equipped with a pseudo-3D sensor. The implementation of the aforementioned concept and its design were first validated on the pseudo-3D KINECT vision system. Then, in a second step, the concept and the algorithms have been extended to the aforementioned robotic platform. The main contributions of the present thesis can be summarized as follow: A) A state of the art on the various sensors for acquiring depth information as well as different methods of detecting 2D salience and pseudo 3D. B) Study of pseudo-3D visual saliency system based on benefiting from the development of a robust algorithm allowing the detection of salient objects. C) Implementation of a depth estimation system in centimeters for the Pepper robot. D) Implementation of the concepts and methods proposed on the aforementioned platform. The carried out studies and the experimental validations confirmed that the proposed approaches allow to increase the autonomy of the robots in a real 3D environment

La présente thèse du domaine de la « Perception Bio-inspirée » se focalise plus particulièrement sur l’Attention Visuelle Artificielle et la Saillance Visuelle. Un concept de l’Attention Visuelle Artificielle inspiré du vivant, conduisant un modèle d’une telle attention artificielle bio-inspirée, a été élaboré, mis en œuvre et testé dans le contexte de la robotique autonome. En effet, bien qu’il existe plusieurs dizaines de modèles de la saillance visuelle, à la fois en termes de contraste et de cognition, il n’existe pas de modèle hybridant les deux mécanismes d’attention : l’aspect visuel et l’aspect cognitif.Pour créer un tel modèle, nous avons exploré les approches existantes dans le domaine de l’attention visuelle, ainsi que plusieurs approches et paradigmes relevant des domaines connexes (tels que la reconnaissance d’objets, apprentissage artificiel, classification, etc.).Une architecture fonctionnelle d’un système d’attention visuelle hybride, combinant des principes et des mécanismes issus de l’attention visuelle humaine avec des méthodes calculatoires et algorithmiques, a été mise en œuvre, expliquée et détaillée.Une autre contribution majeure du présent travail doctoral est la modélisation théorique, le développement et l’application pratique du modèle d’Attention Visuelle bio-inspiré précité, pouvant constituer un socle pour l’autonomie des systèmes robotisés d’assistance.Les études menées ont conclu à la validation expérimentale des modèles proposés, confirmant la pertinence de l’approche proposée dans l’accroissement de l’autonomie des systèmes robotisés – et ceci dans un environnement réel / Dealing with the field of "Bio-inspired Perception", the present thesis focuses more particularly on Artificial Visual Attention and Visual Saliency. A concept of Artificial Visual Attention, inspired from the human mechanisms, providing a model of such artificial bio-inspired attention, was developed, implemented and tested in the context of autonomous robotics. Although there are several models of visual saliency, in terms of contrast and cognition, there is no hybrid model integrating both mechanisms of attention: the visual aspect and the cognitive aspect.To carryout such a model, we have explored existing approaches in the field of visual attention, as well as several approaches and paradigms in related fields (such as object recognition, artificial learning, classification, etc.).A functional architecture of a hybrid visual attention system, combining principles and mechanisms derived from human visual attention with computational and algorithmic methods, was implemented, explained and detailed.Another major contribution of this doctoral work is the theoretical modeling, development and practical application of the aforementioned Bio-inspired Visual Attention model, providing a basis for the autonomy of assistance-robotic systems.The carried out studies and experimental validation of the proposed models confirmed the relevance of the proposed approach in increasing the autonomy of robotic systems within a real environment

L'attention visuelle est l'un des mécanismes les plus importants mis en oeuvre par le système visuel humain (SVH) afin de réduire la quantité d'information que le cerveau a besoin de traiter pour appréhender le contenu d'une scène. Un nombre croissant de travaux est consacré à l'étude de l'attention visuelle, et en particulier à sa modélisation computationnelle. Dans cette thèse, nous présentons des études portant sur plusieurs aspects de cette recherche. Nos travaux peuvent être classés globalement en deux parties. La première concerne les questions liées à la vérité de terrain utilisée, la seconde est relative à la modélisation de l'attention visuelle dans des conditions de visualisation 3D. Dans la première partie, nous analysons la fiabilité de cartes de densité de fixation issues de différentes bases de données occulométriques. Ensuite, nous identifions quantitativement les similitudes et les différences entre carte de densité de fixation et carte d'importance visuelle, ces deux types de carte étant les vérités de terrain communément utilisées par les applications relatives à l'attention. Puis, pour faire face au manque de vérité de terrain exploitable pour la modélisation de l'attention visuelle 3D, nous procédons à une expérimentation oculométrique binoculaire qui aboutit à la création d'une nouvelle base de données avec des images stéréoscopiques 3D. Dans la seconde partie, nous commençons par examiner l'impact de la profondeur sur l'attention visuelle dans des conditions de visualisation 3D. Nous quantifions d'abord le " biais de profondeur " lié à la visualisation de contenus synthétiques 3D sur écran plat stéréoscopique. Ensuite, nous étendons notre étude avec l'usage d'images 3D au contenu naturel. Nous proposons un modèle de l'attention visuelle 3D basé saillance de profondeur, modèle qui repose sur le contraste de profondeur de la scène. Deux façons différentes d'exploiter l'information de profondeur par notre modèle sont comparées. Ensuite, nous étudions le biais central et les différences qui existent selon que les conditions de visualisation soient 2D ou 3D. Nous intégrons aussi le biais central à notre modèle de l'attention visuelle 3D. Enfin, considérant que l'attention visuelle combinée à une technique de floutage peut améliorer la qualité d'expérience de la TV-3D, nous étudions l'influence de flou sur la perception de la profondeur, et la relation du flou avec la disparité binoculaire.

La conception de systèmes de perception autonomes, tels que des robots capables d’accomplir un ensemble de tâches de manière sûre et sans assistance humaine, est l’un des grands défis de notre siècle. Pour ce faire, la robotique développementale propose de concevoir des robots qui, comme des enfants, auraient la faculté d’apprendre directement par interaction avec leur environnement. Nous avons dans cette thèse exploré de telles possibilités en se limitant à l’apprentissage de la localisation des objets d’intérêt (ou objets saillants) dans l’environnement du robot.Pour ce faire, nous présentons dans ces travaux un mécanisme capable d’apprendre la saillance visuelle directement sur un robot, puis d’utiliser le modèle appris de la sorte pour localiser des objets saillants dans son environnement. Cette méthode a l’avantage de permettre la création de modèles spécialisés pour l’environnement du robot et les tâches qu’il doit accomplir, tout en restant flexible à d’éventuelles nouveautés ou modifications de l’environnement.De plus, afin de permettre un apprentissage efficace et de qualité, nous avons développé des stratégies d’explorations basées sur les motivations intrinsèques, très utilisées en robotique développementale. Nous avons notamment adapté l’algorithme IAC à l’apprentissage de la saillance visuelle, et en avons conçu une extension, RL-IAC, pour permettre une exploration efficace sur un robot mobile. Afin de vérifier et d’analyser les performances de nos algorithmes, nous avons réalisé des évaluations sur plusieurs plateformes robotiques dont une plateforme fovéale et un robot mobile, ainsi que sur des bases de données publiques. / Conceiving autonomous perceptual systems, such as robots able to accomplish a set of tasks in a safe way, without any human assistance, is one of the biggest challenge of the century. To this end, the developmental robotics suggests to conceive robots able to learn by interacting directly with their environment, just like children would. This thesis is exploring such possibility while restricting the problem to the one of localizing objects of interest (or salient objects) within the robot’s environment.For that, we present in this work a mechanism able to learn visual saliency directly on a robot, then to use the learned model so as to localize salient objects within their environment. The advantage of this method is the creation of models dedicated to the robot’s environment and tasks it should be asked to accomplish, while remaining flexible to any change or novelty in the environment.Furthermore, we have developed exploration strategies based on intrinsic motivations, widely used in developmental robotics, to enable efficient learning of good quality. In particular, we adapted the IAC algorithm to visual saliency leanring, and proposed an extension, RL-IAC to allow an efficient exploration on mobile robots.In order to verify and analyze the performance of our algorithms, we have carried out various experiments on several robotics platforms, including a foveated system and a mobile robot, as well as publicly available datasets.

Les études menées dans cette thèse portent sur le rôle des visages dans l'attention visuelle. Nous avons cherché à mieux comprendre l'influence des visages dans les vidéos sur les mouvements oculaires, afin de proposer un modèle de saillance visuelle pour la prédiction de la direction du regard. Pour cela, nous avons analysé l'effet des visages sur les fixations oculaires d'observateurs regardant librement (sans consigne ni tâche particulière) des vidéos. Nous avons étudié l'impact du nombre de visages, de leur emplacement et de leur taille. Il est apparu clairement que les visages dans une scène dynamique (à l'instar de ce qui se passe sur les images fixes) modifie fortement les mouvements oculaires. En nous appuyant sur ces résultats, nous avons proposé un modèle de saillance visuelle, qui combine des caractéristiques classiques de bas-niveau (orientations et fréquences spatiales, amplitude du mouvement des objets) avec cette caractéristique importante de plus haut-niveau que constitue les visages. Enfin, afin de permettre des traitements plus proches du temps réel, nous avons développé une implémentation parallèle de ce modèle de saillance visuelle sur une plateforme multi-GPU. Le gain en vitesse est d'environ 130x par rapport à une implémentation sur un processeur multithread.

L'objectif de ce travail est de proposer une solution de reconnaissance de l'impact émotionnel des images en se basant sur les techniques utilisées en recherche d'images par le contenu. Nous partons des résultats intéressants de cette architecture pour la tester sur une tâche plus complexe. La tâche consiste à classifier les images en fonction de leurs émotions que nous avons définies "Négative", "Neutre" et "Positive". Les émotions sont liées aussi bien au contenu des images, qu'à notre vécu. On ne pourrait donc pas proposer un système de reconnaissance des émotions performant universel. Nous ne sommes pas sensible aux mêmes choses toute notre vie : certaines différences apparaissent avec l'âge et aussi en fonction du genre. Nous essaierons de nous affranchir de ces inconstances en ayant une évaluation des bases d'images la plus hétérogène possible. Notre première contribution va dans ce sens : nous proposons une base de 350 images très largement évaluée. Durant nos travaux, nous avons étudié l'apport de la saillance visuelle aussi bien pendant les expérimentations subjectives que pendant la classification des images. Les descripteurs, que nous avons choisis, ont été évalués dans leur majorité sur une base consacrée à la recherche d'images par le contenu afin de ne sélectionner que les plus pertinents. Notre approche qui tire les avantages d'une architecture bien codifiée, conduit à des résultats très intéressants aussi bien sur la base que nous avons construite que sur la base IAPS, qui sert de référence dans l'analyse de l'impact émotionnel des images. / The goal of this work is to propose an efficient approach for emotional impact recognition based on CBIR techniques (descriptors, image representation). The main idea relies in classifying images according to their emotion which can be "Negative", "Neutral" or "Positive". Emotion is related to the image content and also to the personnal feelings. To achieve our goal we firstly need a correct assessed image database. Our first contribution is about this aspect. We proposed a set of 350 diversifed images rated by people around the world. Added to our choice to use CBIR methods, we studied the impact of visual saliency for the subjective evaluations and interest region segmentation for classification. The results are really interesting and prove that the CBIR methods are usefull for emotion recognition. The chosen desciptors are complementary and their performance are consistent on the database we have built and on IAPS, reference database for the analysis of the image emotional impact.

Dans le domaine de la vision par ordinateur l'utilisation de points d'intérêt (PI) est récurrente pour les problématiques de reconnaissance et de suivi d'objets. Plusieurs études ont prouvé l'utilité de ces techniques, associant robustesse et un temps de calcul pouvant être compatible avec le temps réel. Cette thèse propose d'étudier et d'exploiter ces descripteurs de statistiques de l'image sous un tout autre regard. Ainsi, nous avons menée une étude sur le lien entre les PI et la saillance visuelle humaine. De cette étude nous avons pu développer une méthode de prédiction de carte de saillance exploitant la rapidité d'exécution de ces détecteurs. Nous avons également exploité le pouvoir descriptif de ces PI afin de développer de nouvelles métriques de qualité d'images. Grâce à des résultats encourageant en terme de prédiction de qualité perçue et la faible quantité d'information utilisée, nous avons pu intégrer notre métrique "QIP" dans une chaîne de transmission d'images sur réseau sans fil de type MIMO. L'ajout de cette métrique permet d'augmenter la qualité d'expérience en garantissant la meilleure qualité malgré les erreurs introduites par la transmission sans fil. Nous avons étendu cette étude, par l'analyse fine des statistiques structurelles de l'image et des migrations d'attributs afin de proposer un modèle générique de prédiction des dégradations. Enfin, nous avons été amenés à conduire diverses expériences psychovisuelles, pour valider les approches proposées ou dans le cadre de la normalisation de nouveaux standards du comité JPEG. Ce qui a mené à développer une application web dédiée à l'utilisation et la comparaison des métriques de qualité d'images. / In the field of computer vision, the use of interest points (IP) is very frequent for objects tracking and recognition. Several studies have demonstrated the usefulness of these techniques, combining robustness and complexity that can be compatible with the real time. This thesis proposes to explore and exploit these image statistical descriptors under a different angle. Thus, we conducted a study on the relationship between IP and human visual saliency. In this study, we developed a method for predicting saliency maps relying on the efficiency of the descriptors. We also used the descriptive power of the PI to develop new metrics for image quality. With encouraging results in terms of prediction of perceived quality and the reduced amount of used information, we were able to integrate our metric "QIP" in an image transmission framework over a MIMO wireless network. The inclusion of this metric can improve the quality of experience by ensuring the best visual quality despite the errors introduced by the wireless transmission. We have extended this study by deeply analyzing structural statistics of the image and migration attributes to provide a generic model for predicting impairments. Finally, we conducted various psychovisual experiments to validate the proposed approaches or to contribute to JPEG standard committee. This led to develop a web application dedicated to the benchmark of image quality metrics.