Au cours de ces dernières années, le domaine de la compression vidéo a connu un essor considérable avec le standard H.264/AVC et l'arrivée de son successeur HEVC. La prédiction spatiale de ces standards repose sur la propagation unidirectionnelle de pixels voisins. Bien que très efficace pour étendre des motifs répondants aux mêmes caractéristiques, cette prédiction présente des performances limitées lorsqu'il s'agit de propager des textures complexes. Cette thèse vise à explorer de nouveaux schémas de prédiction spatiale afin d'améliorer les techniques actuelles de prédiction intra, en étendant ces schémas locaux et monodimensionnels à des schémas globaux, multidimensionnels et multi-patches. Une première méthode de prédiction hybride intégrant correspondance de bloc et correspondance de gabarit (template) a été investiguée. Cette approche hybride a ensuite été étendue en prédiction multi-patches de type "neighbor embedding" (NE). L'autre partie de la thèse est dédiée à l'étude des épitomes dans un contexte de compression d'images. L'idée est d'exploiter la redondance spatiale de l'image d'origine afin d'extraire une image résumé contenant les patches de texture les plus représentatifs de l'image, puis ensuite utiliser cette représentation compacte pour reconstruire l'image de départ. Ce concept d'épitome a été intégré dans deux schémas de compression, l'un de ces algorithmes s'avère vraiment en rupture avec les techniques traditionnelles dans la mesure où les blocs de l'image sont traités, à l'encodeur et au décodeur, dans un ordre spatial qui dépend du contenu et cela dans un souci de propagation des structures de l'image. Dans ce dernier algorithme de compression, des modes de prédiction directionnelle intra H.264 étendus et des méthodes avancées de prédiction multi-patches y ont été également introduits. Ces différentes solutions ont été intégrées dans un encodeur de type H.264/AVC afin d'évaluer leurs performances de codage par rapport aux modes intra H.264 et à l'état de l'art relatif à ces différentes techniques. / In recent years, video compression field has increased significantly since the apparition of H.264/AVC standard and of its successor HEVC. Spatial prediction in these standards are based on the unidirectional propagation of neighboring pixels. Although very effective to extend pattern with the same characteristics, this prediction has limited performances to extrapolate complex textures. This thesis aims at exploring new spatial prediction schemes to improve the current intra prediction techniques, by extending these local schemes to global, multidimensional and multi-patches schemes. A hybrid prediction method based on template and block matching is first investigated. This hybrid approach is then extended to multi-patches prediction of type "Neighbor Embedding" (NE). The other part of this thesis is dedicated to the study of epitome image within the scope of image compression. The idea is to exploit spatial redundancies within the original image in order to first extract a summary image containing the texture patches the most representative of the image, and then use this compacted representation to rebuild the original image. The concept of epitome has been incorporated in two compression schemes, one of these algorithms is in rupture with the traditional techniques since the image blocks are processed, both at encoder and decoder sides, in a spatial order that depends on the image content and this in the interest of propagating image structures. In this last compression algorithm, extended H.264 Intra directional prediction modes and advanced multi-patches prediction methods have been also included. These different solutions have been integrated in an H.264/AVC encoder in order to assess their coding performances with respect to H.264 intra modes and the state of the art relative to these different techniques.

Cette thèse de doctorat étudie le nouveau concept de décodeur intelligent (SDec) dans lequel le décodeur est doté de la possibilité de simuler l’encodeur et est capable de mener la compétition R-D de la même manière qu’au niveau de l’encodeur. Cette technique vise à réduire la signalisation des modes et des paramètres de codage en compétition. Le schéma général de codage SDec ainsi que plusieurs applications pratiques sont proposées, suivis d’une approche en amont qui exploite l’apprentissage automatique pour le codage vidéo. Le schéma de codage SDec exploite un décodeur complexe capable de reproduire le choix de l’encodeur calculé sur des blocs de référence causaux, éliminant ainsi la nécessité de signaler les modes de codage et les paramètres associés. Plusieurs applications pratiques du schéma SDec sont testées, en utilisant différents modes de codage lors de la compétition sur les blocs de référence. Malgré un choix encore simple et limité des blocs de référence, les gains intéressants sont observés. La recherche en amont présente une méthode innovante qui permet d’exploiter davantage la capacité de traitement d’un décodeur. Les techniques d’apprentissage automatique sont exploitées pour but de réduire la signalisation. Les applications pratiques sont données, utilisant un classificateur basé sur les machines à vecteurs de support pour prédire les modes de codage d’un bloc. La classification des blocs utilise des descripteurs causaux qui sont formés à partir de différents types d’histogrammes. Des gains significatifs en débit sont obtenus, confirmant ainsi le potentiel de l’approche. / This Ph.D. thesis studies the novel concept of Smart Decoder (SDec) where the decoder is given the ability to simulate the encoder and is able to conduct the R-D competition similarly as in the encoder. The proposed technique aims to reduce the signaling of competing coding modes and parameters. The general SDec coding scheme and several practical applications are proposed, followed by a long-term approach exploiting machine learning concept in video coding. The SDec coding scheme exploits a complex decoder able to reproduce the choice of the encoder based on causal references, eliminating thus the need to signal coding modes and associated parameters. Several practical applications of the general outline of the SDec scheme are tested, using different coding modes during the competition on the reference blocs. Despite the choice for the SDec reference block being still simple and limited, interesting gains are observed. The long-term research presents an innovative method that further makes use of the processing capacity of the decoder. Machine learning techniques are exploited in video coding with the purpose of reducing the signaling overhead. Practical applications are given, using a classifier based on support vector machine to predict coding modes of a block. The block classification uses causal descriptors which consist of different types of histograms. Significant bit rate savings are obtained, which confirms the potential of the approach.