Die Arbeit befasst sich mit der Verbesserung und Erweiterung eines bestehenden Softwareprojektes zum Streaming von JPEG-Bildern per RTP. In diesem Projekt werden JPEG-Bilder aus MJPEG-Dateien von einem Server zum Client übertragen. Um eine fehlerfreie Übertragung zu gewährleisten, soll zuvor die Eignung der Dateien für eine solche geprüft werden. Die entsprechenden Anforderungen finden sich in RFC 2435, welcher die Übertragung von JPEG-Bildern per RTP standardisiert. Zur Automatisierung der Überprüfung wurde diese in einem eigenen Programm implementiert. Weitere Verbesserungen wurden hinsichtlich der Ausführbarkeit des Projektes auf verschiedener Hardware getroffen. So wurden interne Algorithmen verbessert, um auch auf schwächerer Hardware einen flüssigen Ablauf zu ermöglichen. Außerdem wurde die Kompatibilität der RTSP-Implementierung im Projekt mit jener im VLC Media Player hergestellt. Zuletzt wurde das Softwareprojekt hinsichtlich der Verschlüsselung der Übertragung erweitert. Die Grundlage dafür legt die Anlayse von Anforderungen an die Verschlüsselung von Mediendaten. Es wurden zwei verschiedene Verfahren betrachtet und implementiert: Zum einen das weitverbreitete SRTP-Protokoll, zum anderen eine eigene JPEG-Verschlüsselung. Anschließend wurde die Komplexität der Entwicklung eines Verschlüsselungsverfahrens gezeigt, indem das selbst ent wickelte Verfahren durch einen Ersetzungsangriff gebrochen wurde. / This work deals with the improvement and extension of an existing software project for streaming JPEG images via RTP. In the project JPEG images are read in from MJPEG files and transmitted from a server to a client. To guarantee a faultless transmission the fitness of the files for transmission should be checked. The corresponding requirements can be found in RFC 2435 in which the transmission of JPEG images via RTP is standardized. An automation of this verification is realized in an own program. Further improvements are done in regard to the executability of the project on different hardware. Internal algorithms are improved to get a smooth execution even on weaker hardware. Additionally the compatibility of the implementation of RTSP in the project with that in the VLC Media Player is established. Finally the software project is extended in terms of the encryption of the transmission. The requirements of media data encryption are analyzed and used as the base for the following considerations. There are two operations which were examined and implemented: On the one hand the SRTP protocoll which is widely used. On the other hand an own JPEG encryption. Following that the complexity of developing an own encryption method is shown by breaking the developed JPEG encryption with a replacement attack.

Die Relevanz der Bilkompressionsalgorithmen im Kontext der Milliarden täglich kreierter und veröffentlichter Bilder ist gegenwärtig größer denn je. Im Laufe der Jahre wurden zahlreiche Bildkompressionsalgorithmen entwickelt, um den steigenden Anforderungen moderner Anwendungen gerecht zu werden. Diese Arbeit beschäftigt sich mit drei Vertretern moderner Codecs: AVIF, Webp und JPEG XL. Die Evaluation umfasst einen vergleichenden Überblick über die Komponenten jedes Encoders, welche durch die Referenzimplementierungen bereitgestellt werden. Im Anschluss erfolgt eine kombinierte Leistungsanalyse der Encoder sowie eine Bildqualitätsanalyse. Die Ergebnisse der Leistungsanalyse zeigen, dass WebP generell am schnellsten kodiert und für Bilder mit geringer Auflösung und vergleichbarer Bildqualität auch die besten Kompressionsleistung aufweist. JPEG XL zeigt für Bilder mit höherer Auflösung und vergleichbarer Qualität die beste Kompressionsleistung.:1 Einleitung 1 1.1 Motivation und Problemstellung . . . . . . . . . . . . . . . . . . . . . 1 1.2 Überblick über WebP, AVIF und JPEG XL . . . . . . . . . . . . . . . . 3 1.3 Struktur der Arbeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2 Verwandte Arbeiten 5 2.1 Grundlagen der Leistungsbewertung . . . . . . . . . . . . . . . . . . 5 2.1.1 Einschränkung und Definition . . . . . . . . . . . . . . . . . . 5 2.1.2 Leistungsanalyse . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.1.3 Bildqualitätsanalyse . . . . . . . . . . . . . . . . . . . . . . . 8 2.2 Veröffentlichungen der Entwickler . . . . . . . . . . . . . . . . . . . 11 2.2.1 WebP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.2.2 AV1 Image File Format (AVIF) . . . . . . . . . . . . . . . . . . 12 2.2.3 Joint Photographic Experts Group (JPEG) XL . . . . . . . . . 13 2.3 Veröffentlichungen dritter Autoren . . . . . . . . . . . . . . . . . . . 14 2.4 Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 3 Encoder-Analyse 19 3.1 Vorverarbeitung und Farbmodelle . . . . . . . . . . . . . . . . . . . . 20 3.2 Blockpartitionierung . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 3.3 Transformationen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.4 Quantisierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 3.5 Intraframe-Prädiktion . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3.6 In-Loop-Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 3.7 Entropiekodierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 3.8 Out-Of-Loop-Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 3.9 Fazit der theoretischen Analyse und Entwurf der Arbeitshypothesen . 32 4 Entwurf der Experimente 37 4.1 Entwicklungsprozess . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 4.2 Allgemeines Vorgehen . . . . . . . . . . . . . . . . . . . . . . . . . . 39 4.3 Experiment 1: Übersichtsbetrachtung und Skalierung der Geschwindigkeitsparameter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 4.4 Experiment 2: Skalierung bezüglich Auflösung . . . . . . . . . . . . . 41 4.5 Experiment 3: Kompressionsleistung und Encode-Geschwindigkeit für niedrigaufgelöste Bilder . . . . . . . . . . . . . . . . . . . . . . . . . 42 4.6 Experiment 4: Kompressionsleistung und Encode-Geschwindigkeit für hochaufgelöste Bilder . . . . . . . . . . . . . . . . . . . . . . . . . . 43 4.7 Experiment 5: Decode-Leistung . . . . . . . . . . . . . . . . . . . . . 43 5 Ergebnisse der Experimente 45 5.1 Ergebnisse von Experiment 1 . . . . . . . . . . . . . . . . . . . . . . 45 5.2 Ergebnisse des Skalierungsverhaltens . . . . . . . . . . . . . . . . . . 48 5.3 Ergebnisse der Kompressionsleistung und Encode-Geschwindigkeit für niedrigaufgelöste Bilder . . . . . . . . . . . . . . . . . . . . . . . 49 5.4 Ergebnisse der Kompressionsleistung und Encode-Geschwindigkeit für hochaufgelöste Bilder . . . . . . . . . . . . . . . . . . . . . . . . . 51 5.5 Ergebnisse der Decode-Geschwindigkeit . . . . . . . . . . . . . . . . 54 6 Konklusion 55 6.1 Diskussion und Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 6.2 zukünftige Arbeiten und Ausblick . . . . . . . . . . . . . . . . . . . . 58 / Image compression performance has never been more relevant with billions of images created and shared on a daily basis. Over the years, numerous new image codecs have been proposed with enhanced compression performance to meet the demands of modern applications. This study evaluates three of the modern codecs: AVIF, WebP and JPEG XL, with a focus on encoder performance and image quality analysis. The evaluation comprises a theoretical overview of the components of each encoder, as specified by the reference implementations, followed by a combined performance analysis of the encoder and an image quality analysis. The results of the performance analysis show, that AVIF demonstrates the best scaling for increased resolution while WebP generally encodes the fastest. Images with comparable visual quality, as measured via SSIM, are evaluated for a dataset comprising smaller photographic images and larger photographic images. WebP exhibits the best compression performance for small images, whereas JPEG XL demonstrates the best performance for larger Resolutions.:1 Einleitung 1 1.1 Motivation und Problemstellung . . . . . . . . . . . . . . . . . . . . . 1 1.2 Überblick über WebP, AVIF und JPEG XL . . . . . . . . . . . . . . . . 3 1.3 Struktur der Arbeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2 Verwandte Arbeiten 5 2.1 Grundlagen der Leistungsbewertung . . . . . . . . . . . . . . . . . . 5 2.1.1 Einschränkung und Definition . . . . . . . . . . . . . . . . . . 5 2.1.2 Leistungsanalyse . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.1.3 Bildqualitätsanalyse . . . . . . . . . . . . . . . . . . . . . . . 8 2.2 Veröffentlichungen der Entwickler . . . . . . . . . . . . . . . . . . . 11 2.2.1 WebP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.2.2 AV1 Image File Format (AVIF) . . . . . . . . . . . . . . . . . . 12 2.2.3 Joint Photographic Experts Group (JPEG) XL . . . . . . . . . 13 2.3 Veröffentlichungen dritter Autoren . . . . . . . . . . . . . . . . . . . 14 2.4 Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 3 Encoder-Analyse 19 3.1 Vorverarbeitung und Farbmodelle . . . . . . . . . . . . . . . . . . . . 20 3.2 Blockpartitionierung . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 3.3 Transformationen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.4 Quantisierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 3.5 Intraframe-Prädiktion . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3.6 In-Loop-Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 3.7 Entropiekodierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 3.8 Out-Of-Loop-Filter . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 3.9 Fazit der theoretischen Analyse und Entwurf der Arbeitshypothesen . 32 4 Entwurf der Experimente 37 4.1 Entwicklungsprozess . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 4.2 Allgemeines Vorgehen . . . . . . . . . . . . . . . . . . . . . . . . . . 39 4.3 Experiment 1: Übersichtsbetrachtung und Skalierung der Geschwindigkeitsparameter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 4.4 Experiment 2: Skalierung bezüglich Auflösung . . . . . . . . . . . . . 41 4.5 Experiment 3: Kompressionsleistung und Encode-Geschwindigkeit für niedrigaufgelöste Bilder . . . . . . . . . . . . . . . . . . . . . . . . . 42 4.6 Experiment 4: Kompressionsleistung und Encode-Geschwindigkeit für hochaufgelöste Bilder . . . . . . . . . . . . . . . . . . . . . . . . . . 43 4.7 Experiment 5: Decode-Leistung . . . . . . . . . . . . . . . . . . . . . 43 5 Ergebnisse der Experimente 45 5.1 Ergebnisse von Experiment 1 . . . . . . . . . . . . . . . . . . . . . . 45 5.2 Ergebnisse des Skalierungsverhaltens . . . . . . . . . . . . . . . . . . 48 5.3 Ergebnisse der Kompressionsleistung und Encode-Geschwindigkeit für niedrigaufgelöste Bilder . . . . . . . . . . . . . . . . . . . . . . . 49 5.4 Ergebnisse der Kompressionsleistung und Encode-Geschwindigkeit für hochaufgelöste Bilder . . . . . . . . . . . . . . . . . . . . . . . . . 51 5.5 Ergebnisse der Decode-Geschwindigkeit . . . . . . . . . . . . . . . . 54 6 Konklusion 55 6.1 Diskussion und Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 6.2 zukünftige Arbeiten und Ausblick . . . . . . . . . . . . . . . . . . . . 58

This thesis addresses authenticity and integrity of medical images using watermarking. Hospital Information Systems (HIS), Radiology Information Systems (RIS) and Picture Archiving and Communication Systems (P ACS) now form the information infrastructure for today's healthcare as these provide new ways to store, access and distribute medical data that also involve some security risk. Watermarking can be seen as an additional tool for security measures. As the medical tradition is very strict with the quality of biomedical images, the watermarking method must be reversible or if not, region of Interest (ROI) needs to be defined and left intact. Watermarking should also serve as an integrity control and should be able to authenticate the medical image. Three watermarking techniques were proposed. First, Strict Authentication Watermarking (SAW) embeds the digital signature of the image in the ROI and the image can be reverted back to its original value bit by bit if required. Second, Strict Authentication Watermarking with JPEG Compression (SAW-JPEG) uses the same principal as SAW, but is able to survive some degree of JPEG compression. Third, Authentication Watermarking with Tamper Detection and Recovery (AW-TDR) is able to localise tampering, whilst simultaneously reconstructing the original image.

Cette thèse a pour objectif d'étudier et d'analyser une nouvelle stratégie de compression, dont le principe consiste à compresser conjointement des données issues de plusieurs modalités, en utilisant un codeur unique. Cette approche est appelée « Compression Multimodale ». Dans ce contexte, une image et un signal audio peuvent être compressés conjointement et uniquement par un codeur d'image (e.g. un standard), sans la nécessité d'intégrer un codec audio. L'idée de base développée dans cette thèse consiste à insérer les échantillons d'un signal en remplacement de certains pixels de l'image « porteuse » tout en préservant la qualité de l'information après le processus de codage et de décodage. Cette technique ne doit pas être confondue aux techniques de tatouage ou de stéganographie puisqu'il ne s'agit pas de dissimuler une information dans une autre. En Compression Multimodale, l'objectif majeur est, d'une part, l'amélioration des performances de la compression en termes de débit-distorsion et d'autre part, l'optimisation de l'utilisation des ressources matérielles d'un système embarqué donné (e.g. accélération du temps d'encodage/décodage). Tout au long de ce rapport, nous allons étudier et analyser des variantes de la Compression Multimodale dont le noyau consiste à élaborer des fonctions de mélange et de séparation, en amont du codage et de séparation. Une validation est effectuée sur des images et des signaux usuels ainsi que sur des données spécifiques telles que les images et signaux biomédicaux. Ce travail sera conclu par une extension vers la vidéo de la stratégie de la Compression Multimodale / The objective of this thesis is to study and analyze a new compression strategy, whose principle is to compress the data together from multiple modalities by using a single encoder. This approach is called “Multimodal Compression” during which, an image and an audio signal is compressed together by a single image encoder (e.g. a standard), without the need for an integrating audio codec. The basic idea developed in this thesis is to insert samples of a signal by replacing some pixels of the "carrier's image” while preserving the quality of information after the process of encoding and decoding. This technique should not be confused with techniques like watermarking or stéganographie, since Multimodal Compression does not conceal any information with another. Two main objectives of Multimodal Compression are to improve the compression performance in terms of rate-distortion and to optimize the use of material resources of a given embedded system (e.g. acceleration of encoding/decoding time). In this report we study and analyze the variations of Multimodal Compression whose core function is to develop mixing and separation prior to coding and separation. Images and common signals as well as specific data such as biomedical images and signals are validated. This work is concluded by discussing the video of the strategy of Multimodal Compression

Tématem práce je použití konvolučních neuronových sítí pro obecnou restauraci obrazu. Ta se typicky provádí za pomoci specializovaných metod pro konkrétní typ poškození. Model konvoluční sítě zde představuje jednotný přístup, který je aplikován na dva různé typy degradace obrazu, pohybem rozmazané snímky registračních značek a artefakty vznikající vysokou kompresí. Na modely konvolučních sítí je nahlíženo ze dvou úhlů. A to jak dobře si konvoluční sítě vedou v porovnání se současnými metodami pro restauraci konkrétního typu poškození a jak velký rozsah poškození je právě jeden model ještě schopen zpracovat. Klasické metody jsou charakteristické svým úzkým zaměřením na konkrétní typ poškození. Díky své specializaci tyto metody dosahují velmi dobrých výsledků a reprezentují tak dosažené poznání v oboru. Naproti tomu je představena myšlenka jednotného přístupu, tedy mapování poškozeného obrazu přímo na restaurovaný obraz. Ta je primárně ovlivněna současným vývojem konvolučních neuronových sítí a jejich hlubokého učení v počítačovém vidění. Právě učením konvoluční sítě lze jednoduše získat model zaměřený na konkrétní typ poškození. Ten je současně nezřídka schopen pokrýt širokou škálu úrovní konkrétního poškození. V práci je představena metoda přímého mapování z rozmazaného na ostrý obraz pro restauraci pohybem rozmazaných snímků. Ta je odvozena od modelů využívaných v počítačovém vidění pro sémantickou segmentaci obrazu. V případě odstranění kompresních artefaktů je tento přístup rozšířen o specifické učení modelu a různé modifikace samotné architektury sítě. Modely konvolučních sítí v porovnání s tradičními metodami dosahují kvalitativně lepších výsledků. Zároveň se zde představené modely jednoduše vypořádají s širokým rozsahem konkrétního poškození. Ukazuje se tak, že právě modely konvolučních sítí by mohly reprezentovat jednotný přístup pro restauraci různých typů poškozeni.

Compressed images are used very frequently in interactive applications in digital video broadcasting. New methods increasing efficiency of the image transmission in digital video broadcasting networks are proposed. Adaptive spatial filtering methods have been proposed for enhancement of the visual perception of the compressed images. New optimalization method is based on application of the filtering algorithms on more compressed images (data size are reduced). Visual quality enhancement is processed in interactive application. Further, new compression methods JPEG2000 and H.264 for image compression have been analysed. Novel compound image compression method for standard and high spatial television resolution is proposed in the thesis.

This thesis is concerned with the removal of artefacts typical for JPEG im- age compression. First, we describe the mathematical formulation of the JPEG format and the problem of artefact removal. We then formulate the problem as an optimization problem, where the minimized functional is obtained via Bayes' theorem and complex wavelets. We describe proximal operators and algorithms and apply them to the minimization of the given functional. The final algorithm is implemented in MATLAB and tested on several test problems. 1

It is desirable for companies to be able to hide data inside videos to be able to find the source of any unauthorised sharing of a video. The hidden data (the payload) should damage the original data (the cover) by an as small amount as possible while also making it hard to remove the payload without also severely damaging the cover. It was determined that the most appropriate place to hide data in a video was in the visual information, so the cover is an image. Two injection methods were developed and three methods for attacking the payload. One injection method changes the pixel values of an image directly to hide the payload and the other transforms the image to cosine waves that represented the image and it then changes those cosine waves to hide the payload. Attacks were developed to test how hard it was to remove the hidden data. The methods for attacking the payload where to add and remove a random value to each pixel, to set all bits of a certain importance to 1 or to compress the image with JPEG. The result of the study was that the method that changed the image directly was significantly faster than the method that transformed the image and it had a capacity for a larger payload. The injection methods protected the payload differently well against the various attacks so which method that was the best in that regard depends on the type of attack. / Det är önskvärt för företag att kunna gömma data i videor så att de kan hitta källorna till obehörig delning av en video. Den data som göms borde skada den ursprungliga datan så lite som möjligt medans det också är så svårt som möjligt att radera den gömda datan utan att den ursprungliga datan skadas mycket. Studien kom fram till att det bästa stället att gömma data i videor är i den visuella delen så datan göms i bilderna i videon. Två metoder skapades för att injektera gömd data och tre skapades för att förstöra den gömda datan. En injektionsmetod ändrar pixelvärdet av bilden direkt för att gömma datat medans den andra transformerar bilden till cosinusvågor och ändrar sedan de vågorna för att gömma datat. Attacker utformades för att testa hur svårt det var att förstöra den gömda datan. Metoderna för att attackera den gömda datan var att lägga till eller ta bort ett slumpmässigt värde från varje pixel, att sätta varje bit av en särskild nivå till 1 och att komprimera bilden med JPEG. Resultatet av studien var att metoden som ändrade bilden direkt var mycket snabbare än metoden som först transformerade bilden och den hade också plats för mer gömd data. Injektionsmetoderna var olika bra på att skydda den gömda datan mot de olika attackerna så vilken metod som var bäst i den aspekten beror på vilken typ av attack som används.

published_or_final_version / abstract / Electrical and Electronic Engineering / Master / Master of Philosophy

“A picture is worth a thousand words”. If this proverb were taken literally we all know that every person interprets images or photos differently in terms of its content. This is due to the semantics contained in these images. Content-based image retrieval has become a vast area of research in order to successfully describe and retrieve images according to the content. In military applications, intelligence images such as those obtained by the defence intelligence group are taken (mostly on film), developed and then manually annotated thereafter. These photos are then stored in a filing system according to certain attributes such as the location, content etc. To retrieve these images at a later stage might take days or even weeks to locate. Thus, the need for a digital annotation system has arisen. The images of the military contain various military vehicles and buildings that need to be detected, described and stored in a database. For our research we want to look at the effects that the rotation and elevation angle of an object in an image has on the retrieval performance. We chose model cars in order to be able to control the environment the photos were taken in such as the background, lighting, distance between the objects, and the camera etc. There are also a wide variety of shapes and colours of these models to obtain and work with. We look at the MPEG-7 descriptor schemes that are recommended by the MPEG group for video and image retrieval as well as implement three of them. For the military it could be required that when the defence intelligence group is in the field, that the images be directly transmitted via satellite to the headquarters. We have therefore included the JPEG2000 standard which gives a compression performance increase of 20% over the original JPEG standard. It is also capable to transmit images wirelessly as well as securely. Including the MPEG-7 descriptors that we have implemented, we have also implemented the fuzzy histogram and colour correlogram descriptors. For our experimentation we implemented a series of experiments in order to determine the effects that rotation and elevation has on our model vehicle images. Observations are made when each vehicle is considered separately and when the vehicles are described and combined into a single database. After the experiments are done we look at the descriptors and determine which adjustments could be made in order to improve the retrieval performance thereof. / Dr. W.A. Clarke