Les systèmes d'identification de personnes basés sur le visage deviennent de plus en plus répandus et trouvent des applications très variées, en particulier dans le domaine de la vidéosurveillance. Or, dans ce contexte, les performances des algorithmes de reconnaissance faciale dépendent largement des conditions d'acquisition des images, en particulier lorsque la pose varie mais également parce que les méthodes d'acquisition elles mêmes peuvent introduire des artéfacts. On parle principalement ici de maladresse de mise au point pouvant entraîner du flou sur l'image ou bien d'erreurs liées à la compression et faisant apparaître des effets de blocs. Le travail réalisé au cours de la thèse porte donc sur la reconnaissance de visages à partir d'images acquises à l'aide de caméras de vidéosurveillance, présentant des artéfacts de flou ou de bloc ou bien des visages avec des poses variables. Nous proposons dans un premier temps une nouvelle approche permettant d'améliorer de façon significative la reconnaissance des visages avec un niveau de flou élevé ou présentant de forts effets de bloc. La méthode, à l'aide de métriques spécifiques, permet d'évaluer la qualité de l'image d'entrée et d'adapter en conséquence la base d'apprentissage des algorithmes de reconnaissance. Dans un second temps, nous nous sommes focalisés sur l'estimation de la pose du visage. En effet, il est généralement très difficile de reconnaître un visage lorsque celui-ci n'est pas de face et la plupart des algorithmes d'identification de visages considérés comme peu sensibles à ce paramètre nécessitent de connaître la pose pour atteindre un taux de reconnaissance intéressant en un temps relativement court. Nous avons donc développé une méthode d'estimation de la pose en nous basant sur des méthodes de reconnaissance récentes afin d'obtenir une estimation rapide et suffisante de ce paramètre.

Le sous-titrage d’images est la tâche de l’intelligence artificielle (IA) qui consiste à décrire des images en langage naturel. Cette tâche d’IA a plusieurs applications sociétales utiles, telles que l’accessibilité pour les malvoyants, la génération automatisée de contenu, l’interaction humain-robot et l’analyse d’imagerie médicale. Au cours des huit dernières années, la recherche sur le sous-titrage d'images a connu d'énormes progrès dans la création de modèles solides, la collecte d'ensembles de données à grande échelle ainsi que le développement de mesures d'évaluation automatique. Malgré ces progrès remarquables, la recherche sur le sous-titrage d'images est confrontée à deux défis majeurs: 1) Comment construire des modèles efficaces en termes de paramètres, et 2) Comment construire des métriques d'évaluation automatique robustes. Dans cette thèse, nous apportons notre contribution à la résolution de chacun de ces défis. Premièrement, nous proposons une méthode efficace en termes de paramètres (MAPL \cite{mapl}) qui adapte des modèles pré-entraînés unimodaux de vision uniquement et de langage uniquement pour la tâche multimodale de sous-titrage d'images. MAPL apprend un mappage léger entre les espaces de représentation des modèles unimodaux. Ainsi, MAPL peut exploiter les fortes capacités de généralisation des modèles unimodaux pré-entraînés pour des tâches multimodales telles que le sous-titrage d'images. Deuxièmement, nous présentons une étude systématique de la robustesse des mesures d’évaluation des sous-titres d’images récemment proposées. Même si ces métriques correspondent bien aux jugements humains, nous avons constaté qu'elles ne sont pas robustes pour identifier les erreurs fines dans les légendes générées par le modèle. Il faut donc faire preuve de prudence lors de l'utilisation de ces métriques pour l'évaluation des sous-titres d'images. Nous espérons que nos résultats guideront de nouvelles améliorations dans l’évaluation automatique du sous-titrage d’images. / Image captioning is the artificial intelligence (AI) task of describing images in natural language. This AI task has several useful societal applications, such as accessibility for the visually impaired, automated content generation, human-robot interaction, and medical imaging analysis. Over the last eight years, image captioning research has seen tremendous progress in building strong models, collecting large scale datasets as well as developing automatic evaluation metrics. Despite such remarkable progress, image captioning research faces two major challenges: 1) How to build parameter-efficient models, and 2) How to build robust automatic evaluation metrics. In this thesis, we make contributions towards tackling each of these challenges. First, we propose a parameter efficient method (MAPL \cite{mapl}) that adapts pre-trained unimodal vision-only and language-only models for the multimodal task of image captioning. MAPL learns a lightweight mapping between the representation spaces of the unimodal models. Thus, MAPL can leverage the strong generalization capabilities of the pre-trained unimodal models for multimodal tasks such as image captioning. Second, we present a systematic study of the robustness of recently proposed image captioning evaluation metrics. Even though these metrics correlate well with human judgments, we found that these metrics are not robust in identifying fine-grained errors in model generated captions, and thus, caution needs to be exercised when using these metrics for image captioning evaluation. We hope our findings will guide further improvements in the automatic evaluation of image captioning.

Les objectifs de ce travail de thèse ont été: d’une part de détecter automatique-ment les images gelées dans des vidéos télédiffusées; et d’autre part de mesurer sans référencela qualité des vidéos télédiffusées (IP et DVB-T). Ces travaux ont été effectués dans le cadred’un projet de recherche mené conjointement par le LaBRI et la société Audemat WorldCastSystems.Pour la détection d’images gelées, trois méthodes ont été proposées: MV (basée vecteurde mouvement), DC (basée sur les coefficients DC de la DCT) et SURF (basée sur les pointscaractéristiques SURF). Les deux premières méthodes ne nécessitent qu’un décodage partieldu flux vidéo.Le second objectif était de mesurer sans référence la qualité des vidéos télédiffusées (IP etDVB-T). Une métrique a été développée pour mesurer la qualité perçue lorsque le flux vidéoa été altéré par des pertes de transmission. Cette métrique "Weighted Macro-Block ErrorRate" (WMBER) est fondée sur la mesure de la saillance visuelle et la détection des macro-blocs endommagés. Le rôle de la saillance visuelle est de pondérer l’importance des erreursdétectées. Certaines améliorations ont été apportées à la construction des cartes de saillancespatio-temporelle. En particulier, la fusion des cartes de saillance spatiale et temporelle aété améliorée par rapport à l’état de l’art. Par ailleurs, plusieurs études ont montré que lasémantique d’une scène visuelle avait une influence sur le comportement du système visuelhumain. Il apparaît que ce sont surtout les visages humains qui attirent le regard. C’est laraison pour laquelle nous avons ajouté une dimension sémantique aux cartes de saillancespatio-temporelle. Cette dimension sémantique est essentiellement basée sur le détecteurde visage de Viola Jones. Pour prédire la qualité perçue par les utilisateurs, nous avonsutilisé une méthode par apprentissage supervisé. Cette méthode offre ainsi la possibilité deprédire la métrique subjective "Mean Opinion Score" (MOS) à partir de mesures objectivestelles que le WMBER, PSNR ou SSIM. Une expérience psycho-visuelle a été menée avec 50sujets pour évaluer ces travaux. Cette base de données vidéo Haute-Définition est en coursde transfert à l’action COST Qualinet. Ces travaux ont également été évalués sur une autrebase de données vidéo (en définition standard) provenant de l’IRCCyN / The goal of this Ph.D thesis is to design a no-reference video quality assessment method for lossy net-works. This Ph.D thesis is conducted in collaboration with the Audemat Worldcast Systemscompany.Our first no-reference video quality assessment indicator is the frozen frame detection.Frozen frame detection was a research topic which was well studied in the past decades.However, the challenge is to embed a frozen frame detection method in the GoldenEagleAudemat equipment. This equipment has low computation resources that not allow real-time HD video decoding. Two methods are proposed: one based on the compressed videostream motion vectors (MV-method) and another one based on the DC coefficients from thedct transform (DC-method). Both methods only require the partial decoding of the com-pressed video stream which allows for real-time analysis on the GoldenEagle equipment.The evaluation shows that results are better than the frame difference base-line method.Nevertheless, the MV and the DC methods are only suitable with for MPEG2 and H.264video streams. So a third method based on SURF points is proposed.As a second step on the way to a no-reference video quality assessment metric, we areinterested in the visual perception of transmission impairments. We propose a full-referencemetric based on saliency maps. This metric, Weighted Mean Squared Error (WMSE), is theMSE metric weighted by the saliency map. The saliency map role is to distinguish betweennoticeable and unnoticeable transmission impairments. Therefore this spatio-temporal saliencymaps is computed on the impaired frame. Thus the pixel difference in the MSE computationis emphasized or diminished with regard to the pixel saliency. According to the state of theart, several improvements are brought to the saliency map computation process. Especially,new spatio-temporal saliency map fusion strategies are designed.After our successful attempt to assess the video quality with saliency maps, we develop ano-reference quality metric. This metric, Weighted Macro-Block Error Rate (WMBER), relies on the saliency map and the macro-block error detection. The macro-block error detectionprovides the impaired macro-blocks location in the frame. However, the impaired macro-blocks are concealed with more or less success during the decoding process. So the saliencymap provides the user perceived impairment strength for each macro-block.Several psycho-visual studies have shown that semantics play an important role in visualscene perception. These studies conclude that faces and text are the most attractive. Toimprove the spatio-temporal saliency model a semantic dimension is added. This semanticsaliency is based on the Viola & Jones face detector.To predict the Mean Opinion Score (MOS) from objective metric values like WMBER,WMSE, PSNR or SSIM, we propose to use a supervised learning approach. This approach iscalled Similarity Weighted Average (SWA). Several improvements are brought to the originalSWA.For the metrics evaluation a psycho-visual experiment with 50 subjects has been carriedout. To measure the saliency map models accuracy, a psycho-visual experiment with aneye-tracker has also been carried out. These two experiments habe been conducted in col-laboration with the Ben Gurion University, Israel. WMBER and WMSE performances arecompared with reference metrics like SSIM and PSNR. The proposed metrics are also testedon a database provided by IRCCyN research laboratory.

Ce travail vise à contribuer à l’amélioration de notre connaissance de l’électrodynamique quantique des états liés, par des mesures de haute précision dans des états exotiques de la matière. Bien que notre connaissance de l’électrodynamique quantique des états liés et du problème relativiste à plusieurs corps aient fait des progrès importants ces dernières années, il reste des questions fondamentales dont la résolution nécessite d’augmenter le nombre et la précision des tests expérimentaux. La première partie de ce travail a été réalisée dans le cadre de l’expérience récente sur les ions muoniques d’hélium (μ4He+ et μ3He+) conduite par la collaboration CREMA. Cette expérience vise à fournir de nouvelles valeurs précises pour les rayons de charge moyens des noyaux des isotopes stables de l’hélium. Ces valeurs sont extraites de la mesure du déplacement de Lamb, c’est-à-dire, de la mesure de la différence d’énergie entre les États 2S − 2P. Une mesure des énergies de transition d’une précision d’au moins 50 ppm, permet de déterminer les rayons de charge des noyaux des isotopes d’hélium avec une incertitude de 0,03%, dix fois plus précise que les résultats précédents obtenus à partir de la diffusion d’électrons. La deuxième partie de ce travail a été de réaliser des mesures de haute précision de transitions de rayons X dans des ions fortement chargés, à l’aide d’un spectromètre à double cristal plan. Ces ions étaient produits dans le plasma d’une source d’ions de type ECRIS (electron-cyclotron resonance ion source). Le spectromètre utilisé est non seulement capable de fournir des mesures de haute précision, mais aussi des mesures sans référence à des énergies de transition théorique ou expérimentales. Quatre énergies de transition de n = 2 → n = 1 ont été mesurées pour des ions d’argon de trois états de charge différents, héliumoïde, lithiumoïde et berylliumoïde, avec une précision meilleure que 3 ppm. La largeur naturelle de chaque raie a également été obtenue expérimentalement. Les résultats trouvés sont en excellent accord avec les calculs théoriques les plus récents. / This work aims to provide insight on Bound-State Quantum-Electrodynamics (BSQED) by experimental fundamentals high-precision tests in exotic states of matter. Although BSQED and the relativistic many-body problem have been undergoing important progress, there are still some issues that require the increase of the number and accuracy of experimental fundamental tests. The first part of this work was done within the framework of the recent experiment in muonic helium ions (μ4He+ and μ3He+) by the CREMA collaboration. This experiment, aims to provide new accurate values for the root-mean-square (rms) charge radii of the helium isotopes nuclei that are extracted from the measurement of the Lamb Shift, i.e., the measurement of the energy difference between the 2S − 2P states. With the goal of measuring the transition energies with an accuracy of at least 50 ppm, the rms charge radii of the helium isotopes will be determined with an uncertainty of 0.03%, a factor of ten more precise than previous results obtained from electron scattering. The second part of this work aims the high-precision measurement of x-ray transitions in Highly-Charged Ions (HCI) using a Double-Crystal Spectrometer (DCS). These ions were produced in the plasma of an Electron-Cyclotron Resonance Ion Source (ECRIS). This kind of spectrometer is able not only to provide high-precision measurements but also reference-free measurements, without reference to any theoretical or experimental energy. Four transitions energies from n = 2 → n = 1 have been measured in an argon plasma in three different charge states, He-, Be- and Li-like, with an accuracy of better than 3 ppm. Besides the energies, the natural width of each transition has also been experimentally obtained. The obtained results are in excellent agreement with the most recent theoretical calculations.

Les systèmes d'identification de personnes basés sur le visage deviennent de plus en plus répandus et trouvent des applications très variées, en particulier dans le domaine de la vidéosurveillance. Or, dans ce contexte, les performances des algorithmes de reconnaissance faciale dépendent largement des conditions d'acquisition des images, en particulier lorsque la pose varie mais également parce que les méthodes d'acquisition elles mêmes peuvent introduire des artéfacts. On parle principalement ici de maladresse de mise au point pouvant entraîner du flou sur l'image ou bien d'erreurs liées à la compression et faisant apparaître des effets de blocs. Le travail réalisé au cours de la thèse porte donc sur la reconnaissance de visages à partir d'images acquises à l'aide de caméras de vidéosurveillance, présentant des artéfacts de flou ou de bloc ou bien des visages avec des poses variables. Nous proposons dans un premier temps une nouvelle approche permettant d'améliorer de façon significative la reconnaissance des visages avec un niveau de flou élevé ou présentant de forts effets de bloc. La méthode, à l'aide de métriques spécifiques, permet d'évaluer la qualité de l'image d'entrée et d'adapter en conséquence la base d'apprentissage des algorithmes de reconnaissance. Dans un second temps, nous nous sommes focalisés sur l'estimation de la pose du visage. En effet, il est généralement très difficile de reconnaître un visage lorsque celui-ci n'est pas de face et la plupart des algorithmes d'identification de visages considérés comme peu sensibles à ce paramètre nécessitent de connaître la pose pour atteindre un taux de reconnaissance intéressant en un temps relativement court. Nous avons donc développé une méthode d'estimation de la pose en nous basant sur des méthodes de reconnaissance récentes afin d'obtenir une estimation rapide et suffisante de ce paramètre. / The person identification systems based on face recognition are becoming increasingly widespread and are being used in very diverse applications, particularly in the field of video surveillance. In this context, the performance of the facial recognition algorithms largely depends on the image acquisition context, especially because the pose can vary, but also because the acquisition methods themselves can introduce artifacts. The main issues are focus imprecision, which can lead to blurred images, or the errors related to compression, which can introduce the block artifact. The work done during the thesis focuses on facial recognition in images taken by video surveillance cameras, in cases where the images contain blur or block artifacts or show various poses. First, we are proposing a new approach that allows to significantly improve facial recognition in images with high blur levels or with strong block artifacts. The method, which makes use of specific noreference metrics, starts with the evaluation of the quality level of the input image and then adapts the training database of the recognition algorithms accordingly. Second, we have focused on the facial pose estimation. Normally, it is very difficult to recognize a face in an image taken from another viewpoint than the frontal one and the majority of facial identification algorithms which are robust to pose variation need to know the pose in order to achieve a satisfying recognition rate in a relatively short time. We have therefore developed a fast and satisfying pose estimation method based on recent recognition techniques.

Dans cette thèse, on étudie la structuration des phases de la transformée de Fourier d'images naturelles, ce qui, du point de vue applicatif, débouche sur plusieurs mesures de netteté ainsi que sur des algorithmes rapides pour la synthèse de texture par l'exemple. Le Chapitre 2 présente dans un cadre unifié plusieurs modèles de champs aléatoires, notamment les champs spot noise et champs gaussiens, en prêtant une attention particulière aux représentations fréquentielles de ces champs aléatoires. Le Chapitre 3 détaille l'utilisation des champs à phase aléatoire à la synthèse de textures peu structurées (microtextures). On montre qu'une microtexture peut être résumée en une image de petite taille s'intégrant à un algorithme de synthèse très rapide et flexible via le modèle spot noise. Aussi on propose un algorithme de désocclusion de zones texturales uniformes basé sur la simulation gaussienne conditionnelle. Le Chapitre 4 présente trois mesures de cohérence globale des phases de la transformée de Fourier. Après une étude théorique et pratique établissant leur lien avec la netteté d'image, on propose un algorithme de déflouage aveugle basé sur l'optimisation stochastique de ces indices. Enfin, dans le Chapitre 5, après une discussion sur l'analyse et la synthèse directe de l'information de phase, on propose deux modèles de textures à phases cohérentes qui permettent la synthèse de textures plus structurées tout en conservant quelques garanties mathématiques simples. / This thesis deals with the Fourier phase structure of natural images, and addresses no-reference sharpness assessment and fast texture synthesis by example. In Chapter 2, we present several models of random fields in a unified framework, like the spot noise model and the Gaussian model, with particular attention to the spectral representation of these random fields. In Chapter 3, random phase models are used to perform by-example synthesis of microtextures (textures with no salient features). We show that a microtexture can be summarized by a small image that can be used for fast and flexible synthesis based on the spot noise model. Besides, we address microtexture inpainting through the use of Gaussian conditional simulation. In Chapter 4, we present three measures of the global Fourier phase coherence. Their link with the image sharpness is established based on a theoretical and practical study. We then derive a stochastic optimization scheme for these indices, which leads to a blind deblurring algorithm. Finally, in Chapter 5, after discussing the possibility of direct phase analysis or synthesis, we propose two non random phase texture models which allow for synthesis of more structured textures and still have simple mathematical guarantees.

Dans cette thèse, on étudie la structuration des phases de la transformée de Fourier d'images naturelles, ce qui, du point de vue applicatif, débouche sur plusieurs mesures de netteté ainsi que sur des algorithmes rapides pour la synthèse de texture par l'exemple. Le Chapitre 2 présente dans un cadre unifié plusieurs modèles de champs aléatoires, notamment les champs spot noise et champs gaussiens, en prêtant une attention particulière aux représentations fréquentielles de ces champs aléatoires. Le Chapitre 3 détaille l'utilisation des champs à phase aléatoire à la synthèse de textures peu structurées (microtextures). On montre qu'une microtexture peut être résumée en une image de petite taille s'intégrant à un algorithme de synthèse très rapide et flexible via le modèle spot noise. Aussi on propose un algorithme de désocclusion de zones texturales uniformes basé sur la simulation gaussienne conditionnelle. Le Chapitre 4 présente trois mesures de cohérence globale des phases de la transformée de Fourier. Après une étude théorique et pratique établissant leur lien avec la netteté d'image, on propose un algorithme de déflouage aveugle basé sur l'optimisation stochastique de ces indices. Enfin, dans le Chapitre 5, après une discussion sur l'analyse et la synthèse directe de l'information de phase, on propose deux modèles de textures à phases cohérentes qui permettent la synthèse de textures plus structurées tout en conservant quelques garanties mathématiques simples. / This thesis deals with the Fourier phase structure of natural images, and addresses no-reference sharpness assessment and fast texture synthesis by example. In Chapter 2, we present several models of random fields in a unified framework, like the spot noise model and the Gaussian model, with particular attention to the spectral representation of these random fields. In Chapter 3, random phase models are used to perform by-example synthesis of microtextures (textures with no salient features). We show that a microtexture can be summarized by a small image that can be used for fast and flexible synthesis based on the spot noise model. Besides, we address microtexture inpainting through the use of Gaussian conditional simulation. In Chapter 4, we present three measures of the global Fourier phase coherence. Their link with the image sharpness is established based on a theoretical and practical study. We then derive a stochastic optimization scheme for these indices, which leads to a blind deblurring algorithm. Finally, in Chapter 5, after discussing the possibility of direct phase analysis or synthesis, we propose two non random phase texture models which allow for synthesis of more structured textures and still have simple mathematical guarantees.

Dans cette thèse, on étudie la structuration des phases de la transformée de Fourier d'images naturelles, ce qui, du point de vue applicatif, débouche sur plusieurs mesures de netteté ainsi que sur des algorithmes rapides pour la synthèse de texture par l'exemple. Le Chapitre 2 présente dans un cadre unifié plusieurs modèles de champs aléatoires, notamment les champs spot noise et champs gaussiens, en prêtant une attention particulière aux représentations fréquentielles de ces champs aléatoires. Le Chapitre 3 détaille l'utilisation des champs à phase aléatoire à la synthèse de textures peu structurées (microtextures). On montre qu'une microtexture peut être résumée en une image de petite taille s'intégrant à un algorithme de synthèse très rapide et flexible via le modèle spot noise. Aussi on propose un algorithme de désocclusion de zones texturales uniformes basé sur la simulation gaussienne conditionnelle. Le Chapitre 4 présente trois mesures de cohérence globale des phases de la transformée de Fourier. Après une étude théorique et pratique établissant leur lien avec la netteté d'image, on propose un algorithme de déflouage aveugle basé sur l'optimisation stochastique de ces indices. Enfin, dans le Chapitre 5, après une discussion sur l'analyse et la synthèse directe de l'information de phase, on propose deux modèles de textures à phases cohérentes qui permettent la synthèse de textures plus structurées tout en conservant quelques garanties mathématiques simples. / This thesis deals with the Fourier phase structure of natural images, and addresses no-reference sharpness assessment and fast texture synthesis by example. In Chapter 2, we present several models of random fields in a unified framework, like the spot noise model and the Gaussian model, with particular attention to the spectral representation of these random fields. In Chapter 3, random phase models are used to perform by-example synthesis of microtextures (textures with no salient features). We show that a microtexture can be summarized by a small image that can be used for fast and flexible synthesis based on the spot noise model. Besides, we address microtexture inpainting through the use of Gaussian conditional simulation. In Chapter 4, we present three measures of the global Fourier phase coherence. Their link with the image sharpness is established based on a theoretical and practical study. We then derive a stochastic optimization scheme for these indices, which leads to a blind deblurring algorithm. Finally, in Chapter 5, after discussing the possibility of direct phase analysis or synthesis, we propose two non random phase texture models which allow for synthesis of more structured textures and still have simple mathematical guarantees.