Video compression uses encoding to reduce the number of bits that are used forrepresenting a video file in order to store and transmit it at a smaller size. Adecoder reconstructs the received data into a representation of the original video.Video coding standards determines how the video compression should beconducted and one of the latest standards is High Efficiency Video Coding (HEVC).One technique that can be used in the encoder is variance adaptive quantizationwhich improves the subjective quality in videos. The technique assigns lowerquantization parameter values to parts of the frame with low variance to increasequality, and vice versa. Another part of the encoder is the sample adaptive offsetfilter, which reduces pixel errors caused by the compression. In this project, thevariance adaptive quantization technique is implemented in the Ericsson researchHEVC encoder c65. Its functionality is verified by subjective evaluation. It isinvestigated if the sample adaptive offset can exploit the adjusted quantizationparameters values when reducing pixel errors to improve compression efficiency. Amodel for this purpose is developed and implemented in c65. Data indicates thatthe model can increase the error reduction in the sample adaptive offset. However,the difference in performance of the model compared to a reference encoder is notsignificant.

Current trends on video technologies and services are demanding higher bit rates, highervideo resolutions and better video qualities. This issue results in the need of a new generationof video coding techniques to increase the quality and compression rates of previous standards.Since the release of HEVC, ITU-T VCEG and ISO/IEC MPEG have been studying the potentialneed for standardization of future video coding technologies with a compression capability thatsignificantly exceeds the ones from current standards. These new e↵orts of standardization andcompression enhancements are being implemented and evaluated over a software test modelknown under the name of Joint Exploration Model (JEM). One of the blocks being explored inJEM is an Adaptive Loop Filter (ALF) at the end of each frame’s processing flow. ALF aimsto minimize the error between original pixels and decoded pixels using Wiener-based adaptivefilter coefficients, reporting, in its JEM’s implementation, improvements of around a 1% in theBD MS-SSIM rate. A lot of e↵orts have been devoted on improving this block over the pastyears. However, current ALF implementations do not consider the potential use of adaptive QPalgorithms at the encoder. Adaptive QP algorithms enable the use of di↵erent quality levels forthe coding of di↵erent parts of a frame to enhance its subjective quality.In this thesis, we explore potential improvements over di↵erent dimensions of JEM’s AdaptiveLoop Filter block considering the potential use of adaptive QP algorithms. In the document, weexplore a great gamut of modification over ALF processing stages, being the ones with betterresults (i) a QP-aware implementation of ALF were the filter coefficients estimation, the internalRD-optimization and the CU-level flag decision process are optimized for the use of adaptiveQP, (ii) the optimization of ALF’s standard block activity classification stage through the useof CU-level information given by the di↵erent QPs used in a frame, and (iii) the optimizationof ALF’s standard block activity classification stage in B-frames through the application of acorrection weight on coded, i.e. not predicted, blocks of B-frames. These ALF modificationscombined obtained improvements of a 0.419% on average for the BD MS-SSIM rate in the lumachannel, showing each modification individual improvements of a 0.252%, 0.085% and 0.082%,respectively. Thus, we concluded the importance of optimizing ALF for the potential use ofadaptive-QP algorithms in the encoder, and the benefits of considering CU-level and frame-levelmetrics in ALF’s block classification stage. / Utvecklingen inom video-teknologi och service kräver högre bithastighet, högre videoupplösningoch bättre kvalitet. Problemet kräver en ny generation av kodning och tekniker för att ökakvaliteten och komprimeringsgraden utöver vad tidigare teknik kunnat prestera. Sedan lanseringenav HEVC har ITU-T VCEG och ISO/IEC MPEG studerat ett eventuellt behov av standardiseringav framtida video-kodings tekniker med kompressions kapacitet som vida överstigerdagens system. Dessa försök till standardisering och kompressionsframsteg har implementeratsoch utvärderats inom ramen för en mjukvara testmodell som kallas Joint Exploration Model(JEM). Ett av områdena som undersöks inom ramen för JEM är adaptiva loopfilter (ALF) somläggs till i slutet av varje bilds processflöde. ALF har som mål att minimera felet mellan originalpixel och avkodad pixel genom Wiener-baserade adaptiva filter-koefficienter. Mycket kraft harlagts på att förbättra detta område under de senaste åren. Men, nuvarande ALF-appliceringbeaktar inte potentialen av att använda adaptiva QP algoritmer i videokodaren. Adaptiva QPalgoritmer tillåter användningen av olika kvalitet på kodning av olika delar av bilden för attförbättra den subjektiva kvaliteten.I föreliggande uppsats kommer vi undersöka den potentiella förbättringen av JEM:s adaptivaloopfilter som kan uppnås genom att använda adaptiva QP algoritmer. I uppsatsen kommervi undersöka ett stort antal modifikationer i ALF:s process-stadier, för att ta reda på vilkenmodifikationer som har bäst resultat: (i) en QP-medveten implementering av ALF där filterkoefficientensuppskattning av den interna RD-optimeringen och CU-nivåns flaggbeslutsprocessär optimerade för användnngen av adaptiv QP, (ii) optimeringen av ALF:s standard blockaktivitets klassificerings stadie genom användning av CU-nivå-information producerad av deolika QP:n som används i en bild, och (iii) optimeringen av ALF:s standard block aktivitetsklassificerings stadier i B-bilders genom applicering av en korrektursvikt i tidigare kod, d.v.sej förutsedda, block av B-bilder. När dessa ALF modifikationer kombinerades förbättradesi genomsnitt BD MS-SSIM hastigheten i luma kanalen med 0.419%, där varje modifikationförbättrade med 0.252%, 0.085% och 0.082% var. Därigenom drog vi slutstatsen att det är viktigtatt optimera ALF för det potentiella användandet av adaptiva QP-algoritmer i kodaren, ochfördelarna av att beakta CU-nivåmätningar och bild-nivåmätningar i ALF:s block klassificeringsstadie.

La vidéo sur IP a connu un essor rapide ces dernières années allant de la diffusion télévisuelle en haute qualité via des réseaux dédiés à la diffusion sur internet de contenus vidéo grand public. L’optimisation de l’encodage vidéo H.264/AVC permet aux différents acteurs du marché de se différencier en proposant des solutions pour réduire le débit nécessaire à la représentation d’un flux vidéo ainsi que pour améliorer la qualité perçue par les utilisateurs. C’est dans ce contexte de vidéo professionnelle en haute qualité que s’inscrivent ces travaux de thèse CIFRE réalisés au sein de l’entreprise Digigram, proposant des encodeurs vidéo temps réel pour des diffusions professionnelles en direct. Nous proposons deux solutions de prétraitement pour répondre aux problématiques du secteur de la distribution vidéo. Les deux solutions considèrent les caractéristiques du système visuel humain en exploitant un modèle de JND (Just Noticeable Distortion) définissant des seuils de perception en fonction d’une analyse du contenu des séquences vidéo à encoder. La première solution utilise un préfiltre adaptatif indépendant de l’encodeur, contrôlé par un modèle JND afin d'éliminer le contenu perceptuellement non pertinent et ainsi réduire le débit sans altérer la qualité ressentie. Une analyse approfondie de plusieurs filtres de la littérature, dont le filtre AWA (Adaptive Weighted Averaging) et le filtre bilatéral, nous a également amené à définir deux nouveaux filtres à support étendu qui permettent d’exploiter au mieux les corrélations dans les images haute définition. A l’aide de tests subjectifs, nous montrons que les préfiltres perceptuels proposés permettent en moyenne de diminuer le débit en sortie du codeur d'environ 20% pour une qualité constante en encodage VBR (débit variable) Intra et Inter-image. Finalement, une deuxième solution s’attache à améliorer la qualité perçue dans un contexte d’encodage CBR (débit constant) en intégrant un modèle JND dans l’une des implémentations de la norme H.264/AVC la plus reconnue, le codec x264. Une quantification adaptative perceptuelle est ainsi proposée permettant d’améliorer les performances du codec x264 en améliorant le codage de l’information de contour à moyen et bas débits en encodage intra et inter-image. / The use of digital video over IP has increased exponentially over the last years, due to the development of high-speed networks dedicated to high quality TV transmission as well as the wide development of the nonprofessional video webcast. Optimization of the H.264/AVC encoding process allows manufacturers to offer differentiating encoding solutions, by reducing the bandwidth necessary for transmitting a video sequence at a given quality level, or improving the quality perceived by final users at a fixed bit rate. This thesis was carried out at the company Digigram in a context of professional high quality video. We propose two solutions of preprocessing which consider the characteristics of the human visual system by exploiting a JND profile (Just Noticeable Distortion). A JND model defines perceptual thresholds, below which a distortion cannot be seen, according to the video content. The first solution proposes an adaptive pre-filter independent to the encoder, controlled by a JND profile to reduce the perceptually non-relevant content and so reduce the bitrate while maintaining the perceived quality. By analyzing the state-of-the-art literature, the AWA (Adaptive Weighted Averaging) and Bilateral filters have been selected. Then we define two new filters using a large convolution mask, which enable to better exploit correlations in high-definition video contents. Through subjective tests, we show that the proposed perceptual prefilters give an average bitrate reduction of 20% for the same visual quality in VBR (Variable Bitrate) H.264/AVC Intra and Inter encoding. Finally, the second solution enables to improve the perceived quality in CBR (Constant Bitrate) encoding, by integrating the JND profile into the x264 codec, one of the best implementation of the H.264/AVC standard. Thus, we propose a perceptual adaptive quantization which enhances the x264 performance by improving edge information coding in low and middle bitrate applications.

The video on demand streaming is raising drastically in popularity, bringing new challenges to the video coding field. There is a need for new video coding techniques that improve performance and reduce the bitrates. One of the most promising areas of research is perceptual video coding where attributes of the human visual system are considered to minimize visual redundancy. The visual attention only makes it possible for humans to focus on a smaller region at the time, which is led by different cues, and with deep neural networks it has become possible to create high-accuracy models of this. The purpose of this study is therefore to investigate how adaptive quantization (AQ) based on a deep visual attention model can be used to improve the subjective video quality for low bitrates. A deep visual attention model was integrated into the encoder x265 to control how the bits are distributed on frame level by adaptively setting the quantization parameter. The effect on the subjective video quality was evaluated through A/B testing where the solution was compared to one of the standard methods for AQ in x265. The results show that the ROI-based AQ was perceived to be of better quality in one out of ten cases. The results can partly be explained by certain methodological choices, but also highlights a need for more research on how to make use of visual attention modeling in more complex real-world streaming scenarios to make streaming content more accessible and reduce bitrates. / "Video on demand"-streamingen ökar kraftigt i popularitet vilket skapar nya utmaningar inom video kodning. Det finns ett behov av nya videokodningstekniker som ökar prestanda och reducerar bithastigheten. Ett av de mest lovade forskningsområdena är perceptuell videokodning där man tar hänsyn till synens egenskaper för att minimera visuell redundans. Det visuella fokuset gör att människan bara kan fokusera på ett mindre områden åt gången, lett av olika typer av signaler, och med hjälp av djupa neurala nätverk har det blivit möjligt att skapa välpresterande modeller av det. Syftet med denna studie är därför att undersöka hur adaptiv kvantisering baserat på en djupinlärningsmodell av visuellt fokus kan användas för att förbättra den subjektiva videokvaliteten för låga bithastigheter. En djup modell av visuellt fokus var integrerad i videokodaren x265 för att kontrollera hur bitarna ditribueras på bildnivå genom att adaptivt sätta kvantiseringsparametern. Den subjektiva videokvaliteten utvärderades genom A/B tester där lösningen jämfördes med en standardmetod för adaptiv kvantisering i x265. Resultaten visar att den visuellt fokus-baserade adaptiva kvantiseringen upplevdes ge bättre kvalitet i ett av tio fall. Detta resultat kan delvis förklaras av vissa metodval, men visar också på ett behov för mer forskning på hur modeller för visuellt fokus kan användas i mer komplexa och verkliga streamingscenarion för att kunna göra innehållet mer tillgängligt och reducera bithastigheten.