Dans un contexte de compression d'images fixes, de nouvelles représentations implantées par des techniques de redressement (lifting) orienté ont été imaginées. Pour ce travail de thèse, trois variantes de ces transformées sont évaluées comparativement selon un critère de minimisation de l'énergie des hautes fréquences reconstruites et selon la direction de régularité locale. Cette direction de régularité est estimée par des approches basées extraction de contours ou minimisation d'une fonction de coût. Les deux approches proposées permettent de plus une classification de l'activité directionnelle des blocs de l'image. Ces représentations des caractéristiques géométriques de l'image utilisées pour guider le filtrage en ondelettes orientées, est codé pour être transmis au décodeur. Les coûts de ces différentes représentations sont comparés. Finalement une quantification adaptée est proposée pour tenir compte à la fois des différentes classes structurelles et de l'anisotropie de la représentation.

La vidéo sur IP a connu un essor rapide ces dernières années allant de la diffusion télévisuelle en haute qualité via des réseaux dédiés à la diffusion sur internet de contenus vidéo grand public. L’optimisation de l’encodage vidéo H.264/AVC permet aux différents acteurs du marché de se différencier en proposant des solutions pour réduire le débit nécessaire à la représentation d’un flux vidéo ainsi que pour améliorer la qualité perçue par les utilisateurs. C’est dans ce contexte de vidéo professionnelle en haute qualité que s’inscrivent ces travaux de thèse CIFRE réalisés au sein de l’entreprise Digigram, proposant des encodeurs vidéo temps réel pour des diffusions professionnelles en direct. Nous proposons deux solutions de prétraitement pour répondre aux problématiques du secteur de la distribution vidéo. Les deux solutions considèrent les caractéristiques du système visuel humain en exploitant un modèle de JND (Just Noticeable Distortion) définissant des seuils de perception en fonction d’une analyse du contenu des séquences vidéo à encoder. La première solution utilise un préfiltre adaptatif indépendant de l’encodeur, contrôlé par un modèle JND afin d'éliminer le contenu perceptuellement non pertinent et ainsi réduire le débit sans altérer la qualité ressentie. Une analyse approfondie de plusieurs filtres de la littérature, dont le filtre AWA (Adaptive Weighted Averaging) et le filtre bilatéral, nous a également amené à définir deux nouveaux filtres à support étendu qui permettent d’exploiter au mieux les corrélations dans les images haute définition. A l’aide de tests subjectifs, nous montrons que les préfiltres perceptuels proposés permettent en moyenne de diminuer le débit en sortie du codeur d'environ 20% pour une qualité constante en encodage VBR (débit variable) Intra et Inter-image. Finalement, une deuxième solution s’attache à améliorer la qualité perçue dans un contexte d’encodage CBR (débit constant) en intégrant un modèle JND dans l’une des implémentations de la norme H.264/AVC la plus reconnue, le codec x264. Une quantification adaptative perceptuelle est ainsi proposée permettant d’améliorer les performances du codec x264 en améliorant le codage de l’information de contour à moyen et bas débits en encodage intra et inter-image. / The use of digital video over IP has increased exponentially over the last years, due to the development of high-speed networks dedicated to high quality TV transmission as well as the wide development of the nonprofessional video webcast. Optimization of the H.264/AVC encoding process allows manufacturers to offer differentiating encoding solutions, by reducing the bandwidth necessary for transmitting a video sequence at a given quality level, or improving the quality perceived by final users at a fixed bit rate. This thesis was carried out at the company Digigram in a context of professional high quality video. We propose two solutions of preprocessing which consider the characteristics of the human visual system by exploiting a JND profile (Just Noticeable Distortion). A JND model defines perceptual thresholds, below which a distortion cannot be seen, according to the video content. The first solution proposes an adaptive pre-filter independent to the encoder, controlled by a JND profile to reduce the perceptually non-relevant content and so reduce the bitrate while maintaining the perceived quality. By analyzing the state-of-the-art literature, the AWA (Adaptive Weighted Averaging) and Bilateral filters have been selected. Then we define two new filters using a large convolution mask, which enable to better exploit correlations in high-definition video contents. Through subjective tests, we show that the proposed perceptual prefilters give an average bitrate reduction of 20% for the same visual quality in VBR (Variable Bitrate) H.264/AVC Intra and Inter encoding. Finally, the second solution enables to improve the perceived quality in CBR (Constant Bitrate) encoding, by integrating the JND profile into the x264 codec, one of the best implementation of the H.264/AVC standard. Thus, we propose a perceptual adaptive quantization which enhances the x264 performance by improving edge information coding in low and middle bitrate applications.