Industrial cameras are often used in conjunction with the application of machine learning. However, these cameras produce large bitrate and it needs to be reduced when processing video further away from the camera. This thesis tries to solve the problem by design of system suitable for grabbing video from industrial cameras, its compression and distribution to machine learning application. The thesis describes technologies applicable to the development of the multimedia application. For example frameworks FFmpeg and GStreamer were used implementation of the system.

This thesis deals with description of lossy video compression. Theoretical part of the work describes the fundamentals of the video compression and standarts for lossy as well lossless video and still image compression. The practical part follows up with design of Java program for simulation of MPEG codec.

Compressed images are used very frequently in interactive applications in digital video broadcasting. New methods increasing efficiency of the image transmission in digital video broadcasting networks are proposed. Adaptive spatial filtering methods have been proposed for enhancement of the visual perception of the compressed images. New optimalization method is based on application of the filtering algorithms on more compressed images (data size are reduced). Visual quality enhancement is processed in interactive application. Further, new compression methods JPEG2000 and H.264 for image compression have been analysed. Novel compound image compression method for standard and high spatial television resolution is proposed in the thesis.

Disertační práce se zabývá metodami a prostředky pro hodnocení kvality obrazu ve videosekvencích, což je velmi aktuální téma, zažívající velký rozmach zejména v souvislosti s digitálním zpracováním videosignálů. Přestože již existuje relativně velké množství metod a metrik pro objektivní, tedy automatizované měření kvality videosekvencí, jsou tyto metody zpravidla založeny na porovnání zpracované (poškozené, například komprimací) a originální videosekvence. Metod pro hodnocení kvality videosekvení bez reference, tedy pouze na základě analýzy zpracovaného materiálu, je velmi málo. Navíc se takové metody převážně zaměřují na analýzu hodnot signálu (typicky jasu) v jednotlivých obrazových bodech dekódovaného signálu, což je jen těžko aplikovatelné pro moderní komprimační algoritmy jako je H.264/AVC, který používá sofistikovené techniky pro odstranění komprimačních artefaktů. V práci je nejprve podán stučný přehled dostupných metod pro objektivní hodnocení komprimovaných videosekvencí se zdůrazněním rozdílného principu metod využívajících referenční materiál a metod pracujících bez reference. Na základě analýzy možných přístupů pro hodnocení video sekvencí komprimovaných moderními komprimačními algoritmy je v dalším textu práce popsán návrh nové metody určené pro hodnocení kvality obrazu ve videosekvencích komprimovaných s využitím algoritmu H.264/AVC. Nová metoda je založena na sledování hodnot parametrů, které jsou obsaženy v transportním toku komprimovaného videa, a přímo souvisí s procesem kódování. Nejprve je provedena úvaha nad vlivem některých takových parametrů na kvalitu výsledného videa. Následně je navržen algoritmus, který s využitím umělé neuronové sítě určuje špičkový poměr signálu a šumu (peak signal-to-noise ratio -- PSNR) v komprimované videosekvenci -- plně referenční metrika je tedy nahrazována metrikou bez reference. Je ověřeno několik konfigurací umělých neuronových sítí od těch nejjednodušších až po třívrstvé dopředné sítě. Pro učení sítí a následnou analýzu jejich výkonnosti a věrnosti určení PSNR jsou vytvořeny dva soubory nekomprimovaných videosekvencí, které jsou následně komprimovány algoritmem H.264/AVC s proměnným nastavením kodéru. V závěrečné části práce je proveden rozbor chování nově navrženého algoritmu v případě, že se změní vlastnosti zpracovávaného videa (rozlišení, střih), případně kodéru (formát skupiny současně kódovaných snímků). Chování algoritmu je analyzováno až do plného vysokého rozlišení zdrojového signálu (full HD -1920 x 1080 obrazových bodů).

While there has always been a tremendous demand for streaming video over Wireless networks, the nature of the application still presents some challenging issues. These applications that transmit coded video sequence data over best-effort networks like the Internet, the application must cope with the changing network behaviour; especially, the source encoder rate should be controlled based on feedback from a channel estimator that explores the network intermittently. The arrival of powerful video compression techniques such as H.264, which advance in networking and telecommunications, opened up a whole new frontier for multimedia communications. The aim of this research is to transmit the H.264 coded video frames in the wireless network with maximum reliability and in a very efficient manner. When the H.264 encoded video sequences are to be transmitted through wireless network, it faces major difficulties in reaching the destination. The characteristics of H.264 video coded sequences are studied fully and their capability of transmitting in wireless networks are examined and a new approach called Optimal Packet Fragmentation (OPF) is framed and the H.264 coded sequences are tested in the wireless simulated environment. This research has three major studies involved in it. First part of the research has the study about Long Range Dependence (LRD) and the ways by which the self-similarity can be estimated. For estimating the LRD a few studies are carried out and Wavelet-based estimator is selected for the research because Wavelets incarcerate both time and frequency features in the data and regularly provides a more affluent picture than the classical Fourier analysis. The Wavelet used to estimate the self-similarity by using the variable called Hurst Parameter. Hurst Parameter tells the researcher about how a data can behave inside the transmitted network. This Hurst Parameter should be calculated for a more reliable transmission in the wireless network. The second part of the research deals with MPEG-4 and H.264 encoder. The study is carried out to prove which encoder is superior to the other. We need to know which encoder can provide excellent Quality of Service (QoS) and reliability. This study proves with the help of Hurst parameter that H.264 is superior to MPEG-4. The third part of the study is the vital part in this research; it deals with the H.264 video coded frames that are segmented into optimal packet size in the MAC Layer for an efficient and more reliable transfer in the wireless network. Finally the H.264 encoded video frames incorporated with the Optimal Packet Fragmentation are tested in the NS-2 wireless simulated network. The research proves the superiority of H.264 video encoder and OPF¿s master class.

[EN] Wireless mobile ad ho networks, also known as MANETs, are omposed by independent mobile stations that ommuni ate without requiring any sort of infrastru ture for support. These networks are hara terized by variable bandwidth values and frequent path breaks, whi h are due to hannel noise, interferen e between stations and mobility. Su h fa tors require significant adaptation apabilites at different levels of the proto ol suites employed, enabling stations to qui kly respond to fast- hanging network onditions. Resear h on the most adequate proto- ols for the physi al, MAC and routing layers is still on-going, though some basi onsensus has already been rea hed and several testbeds have been setup around the world. To deploy real-time multimedia servi es, namely voi e and video, on top of su h an unreliable network environment is a very hallenging task. In this thesis we propose to a hieve that goal starting from urrently available Wi-Fi te hnology, and gradually finding the most adequate enhan ements to ea h proto ol layer of interest; we then ombine these enhan ements until we a hieve a omplete QoS framework for ad ho networks. By using urrently available te hnology we assure that the proposal of this thesis has an inherent high-level of appli ability on real life environments. Sin e our working field fo uses on video transmission over wireless ad ho networks, we will show how it is possible to support several QoS- onstrained video streams in MANET environments hara terized by moderate to high mobility levels, and by a significant amount of best efort traffic / [ES] Las redes inalámbricas ad hoc, también conocidas como redes MANET, están compuestas por un conjunto de estaciones móviles independientes capaces de omunicarse entre sí sin necesidad de ningún tipo de infraestructura común de comunicaciones. Estas redes se caracterizan por tener un ancho de banda variable y pérdidas frecuentes de ruta que se pueden atribuir al ruido del anal inalámbrico, a la interferencia entre las estaciones móviles o bien a la movilidad de las estaciones. Dichos factores requieren una gran capacidad de adaptación en las diferentes capas de la arquitectura de protocolos, permitiendo a una estación responder rápidamente a posibles cambios bruscos en las condiciones de la red. A pesar de que aún se están realizando trabajos de investigación en bus a de los protocolos más adecuados para las capas físicas, a eso al medio (MAC) y encaminamiento, ha sido posible llegar a un nivel básico de consenso, lo cual ha permitido el despliegue de plataformas y entornos aplicados que utilizan tecnología de red MANET. Ofrecer servicios multimedia, como voz y vídeo, en redes con tan poca habilidad es un desafío importante. En esta tesis nos proponemos alcanzar este objetivo partiendo de la tecnología Wi-Fi actualmente disponible, encontrando de forma paulatina las mejoras más importantes en las diferentes capas de la arquitectura de red, para llegar, finalmente, a una solución integrada capaz de ofrecer calidad de servicio (QoS) en las redes MANET. Al utilizar la tecnología que disponemos actualmente nos aseguramos que las propuestas de esta tesis tengan un alto grado de aplicabilidad en entornos reales. Ya que la línea de trabajo de la tesis está aplicada a la transmisión de vídeo en redes MANET, demostraremos que es posible ofrecer calidad de servicio a varios flujos de vídeo en una red MANET caracterizada por altos grados de movilidad en sus nodos y un nivel significativo de tráfico o de tipo best effort / Tavares De Araujo Cesariny Calafate, CM. (2006). Analysis and design of efficient techniques for video transmission in IEEE 802.11 wireless ad hoc networks [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/135282

Cette thèse est élaborée en cotutelle entre l’université Badji Mokhtar (Laboratoire LERICA) et l’université de bourgogne (Laboratoire LE2I, UMR CNRS 5158). Elle constitue une contribution à l’étude et l’implantation de l’encodeur H.264/AVC. Durent l’évolution des normes de compression vidéo, une réalité sure est vérifiée de plus en plus : avoir une bonne performance du processus de compression nécessite l’élaboration d’équipements beaucoup plus performants en termes de puissance de calcul, de flexibilité et de portabilité et ceci afin de répondre aux exigences des différents traitements et satisfaire au critère « Temps Réel ». Pour assurer un temps réel pour ce genre d’applications, une solution reste possible est l’utilisation des systèmes sur puce (SoC) ou bien des systèmes multiprocesseurs sur puce (MPSoC) implantés sur des plateformes reconfigurables à base de circuit FPGA. L’objective de cette thèse consiste à l’étude et l’implantation des algorithmes de traitement des signaux et images et en particulier la norme H.264/AVC, et cela dans le but d’assurer un temps réel pour le cycle codage-décodage. Nous utilisons deux plateformes FPGA de Xilinx (ML501 et XUPV5). Dans la littérature, il existe déjà plusieurs implémentations du décodeur. Pour l’encodeur, malgré les efforts énormes réalisés, il reste toujours du travail pour l’optimisation des algorithmes et l’extraction des parallélismes possibles surtout avec une variété de profils et de niveaux de la norme H.264/AVC.Dans un premier temps de cette thèse, nous proposons une implantation matérielle d’un contrôleur mémoire spécialement pour l’encodeur H.264/AVC. Ce contrôleur est réalisé en ajoutant, au contrôleur mémoire DDR2 des deux plateformes de Xilinx, une couche intelligente capable de calculer les adresses et récupérer les données nécessaires pour les différents modules de traitement de l’encodeur. Ensuite, nous proposons des implantations matérielles (niveau RTL) des modules de traitement de l’encodeur H.264. Sur ces implantations, nous allons exploiter les deux principes de parallélisme et de pipelining autorisé par l’encodeur en vue de la grande dépendance inter-blocs. Nous avons ainsi proposé plusieurs améliorations et nouvelles techniques dans les modules de la chaine Intra et le filtre anti-blocs. A la fin de cette thèse, nous utilisons les modules réalisés en matériels pour la l’implantation Matérielle/logicielle de l’encodeur H.264/AVC. Des résultats de synthèse et de simulation, en utilisant les deux plateformes de Xilinx, sont montrés et comparés avec les autres implémentations existantes / This thesis has been carried out in joint supervision between the Badji Mokhtar University (LERICA Laboratory) and the University of Burgundy (LE2I laboratory, UMR CNRS 5158). It is a contribution to the study and implementation of the H.264/AVC encoder. The evolution in video coding standards have historically demanded stringent performances of the compression process, which imposes the development of platforms that perform much better in terms of computing power, flexibility and portability. Such demands are necessary to fulfill requirements of the different treatments and to meet "Real Time" processing constraints. In order to ensure real-time performances, a possible solution is to made use of systems on chip (SoC) or multiprocessor systems on chip (MPSoC) built on platforms based reconfigurable FPGAs. The objective of this thesis is the study and implementation of algorithms for signal and image processing (in particular the H.264/AVC standard); especial attention was given to provide real-time coding-decoding cycles. We use two FPGA platforms (ML501 and XUPV5 from Xilinx) to implement our architectures. In the literature, there are already several implementations of the decoder. For the encoder part, despite the enormous efforts made, work remains to optimize algorithms and extract the inherent parallelism of the architecture. This is especially true with a variety of profiles and levels of H.264/AVC. Initially, we proposed a hardware implementation of a memory controller specifically targeted to the H.264/AVC encoder. This controller is obtained by adding, to the DDR2 memory controller, an intelligent layer capable of calculating the addresses and to retrieve the necessary data for several of the processing modules of the encoder. Afterwards, we proposed hardware implementations (RTL) for the processing modules of the H.264 encoder. In these implementations, we made use of principles of parallelism and pipelining, taking into account the constraints imposed by the inter-block dependency in the encoder. We proposed several enhancements and new technologies in the channel Intra modules and the deblocking filter. At the end of this thesis, we use the modules implemented in hardware for implementing the H.264/AVC encoder in a hardware/software design. Synthesis and simulation results, using both platforms for Xilinx, are shown and compared with other existing implementations

Le développement de réseaux de vidéosurveillance, civils ou militaires, pose des défis scientifiques et technologiques en termes d’analyse et de reconnaissance des contenus des flux compressés. Dans ce contexte, les contributions de cette thèse portent sur : - une méthode de segmentation automatique des objets mobiles (piétons, véhicules, animaux …) dans le domaine compressé, - la prise en compte des différents standards de compression les plus couramment utilisés en surveillance (MPEG-2, MPEG-4 Part 2 et MPEG-4 Part 10 / H.264 AVC), - une chaîne de traitement multi-flux optimisée depuis la segmentation des objets jusqu’à leur suivi et description. Le démonstrateur réalisé a permis d’évaluer les performances des approches méthodologiques développées dans le cadre d’un outil d’aide à l’investigation, identifiant les véhicules répondant à un signalement dans des bases de données de plusieurs dizaines d’heures. En outre, appliqué à des corpus représentatifs des différentes situations de vidéosurveillance (stations de métro, carrefours, surveillance de zones en milieu rural ou de frontières ...), le système a permis d’obtenir les résultats suivants : - analyse de 14 flux MPEG-2, 8 flux MPEG-4 Part 2 ou 3 flux AVC en temps réel sur un coeur à 2.66 GHZ (vidéo 720x576, 25 images par seconde), - taux de détection des véhicules de 100% sur la durée des séquences de surveillance de trafic, avec un taux de détection image par image proche des 95%, - segmentation de chaque objet sur 80 à 150% de sa surface (sous ou sur-segmentation liée au domaine compressé). Ces recherches ont fait l’objet du dépôt de 9 brevets liés à des nouveaux services et applications rendus opérationnels grâce aux approches mises en oeuvre. Citons entre autres des outils pour la protection inégale aux erreurs, la cryptographie visuelle, la vérification d’intégrité par tatouage ou l’enfouissement par stéganographie / The increasing deployment of civil and military videosurveillance networks brings both scientific and technological challenges regarding analysis and content recognition over compressed streams. In this context, the contributions of this thesis focus on: - an autonomous method to segment in the compressed domain mobile objects (pedestrians, vehicles, animals …), - the coverage of the various compression standards commonly used in surveillance (MPEG-2, MPEG-4 Part 2, MPEG-4 Part 10 / H.264 AVC), - an optimised multi-stream processing chain from the objects segmentation up to their tracking and description. The developed demonstrator made it possible to bench the performances of the methodological approaches chosen for a tool dedicated to help investigations. It identifies vehicles from a witness description in databases of tens of hours of video. Moreover, while dealing with corpus covering the different kind of content expected from surveillance (subway stations, crossroads, areas in countryside or border surveillance …), the system provided the following results: - simultaneous real time analysis of up to 14 MPEG-2 streams, 8 MPEG-4 Part 2 streams or 3 AVC streams on a single core (2.66 GHz; 720x576 video, 25 fps), - 100% vehicles detected over the length of traffic surveillance footages, with a image per image detection near 95%, - a segmentation spreading over 80 to 150% of the object area (under or over-segmentation linked with the compressed domain). These researches led to 9 patents linked with new services and applications that were made possible thanks to the suggested approaches. Among these lie tools for Unequal Error Protection, Visual Cryptography, Watermarking or Steganography

Cette thèse est dédiée à l'amélioration des performances de compression vidéo. Deux types d'approches, conventionnelle et en rupture, sont explorées afin de proposer des méthodes efficaces de codage Intra et Inter pour les futurs standards de compression. Deux outils sont étudiés pour la première approche. Tout d'abord, des indices de signalisations sont habilement traités par une technique issue du tatouage permettant de les masquer dans les résiduels de luminance et de chrominance de façon optimale selon le compromis débit-distorsion. La forte redondance dans le mouvement est ensuite exploitée pour améliorer le codage des vecteurs de mouvement. Après observation des précédents vecteurs utilisés, un fin pronostic permet de déterminer les vecteurs résiduels à privilégier lors d'une troisième étape de modification de la distribution des résiduels. 90% des vecteurs codés sont ainsi pronostiqués, ce qui permet une nette réduction de leur coût. L'approche en rupture vient de la constatation que H.264/AVC et son successeur HEVC sont basés sur un schéma prédictif multipliant les choix de codage, les améliorations passent alors par un meilleur codage de la texture à l'aide d'une compétition accrue. De tels schémas étant bornés par la signalisation engendrée, il est alors nécessaire de transférer des décisions au niveau du décodeur. Une approche basée sur la détermination conjointe au codeur et au décodeur de paramètres de codage à l'aide de partitions causales et ainsi proposée et appliquée aux modes de prédiction Intra et à la théorie émergente de l'échantillonnage compressé. Des performances encourageantes sont reportées et confirment l'intérêt d'une telle solution innovante.

近十年來，由於無線網路的普及與人們對於影像串流服務的需求愈高，導致人們迫切需要更好的服務品質。但在IEEE 802.11無線網路中，本身的設計並非針對影像串流來設計，為讓影像串流能在無線網路更有效率，我們必須重新設計適合影像串流的無線網路。本研究首先探討IEEE 802.11 MAC層DCF (Distributed Coordination Function)與802.11e EDCA (Enhanced Distributed Channel Access)機制的潛在問題。由於DCF與EDCA並未特別對影像串流做設計，會導致具有時延(delay time)限制的影像封包等待過久造成失效，卻仍繼續傳送。本研究提出幾個有效方法，改善原本IEEE 802.11無線網路對影像串流傳輸效能不彰的現象。我們將利用跨層設計使MAC層能取得影像串流封包資訊，並改善DCF與EDCA的重傳(retransmission)機制，使用time limit與retry limit混和設計節省不必要的等待時間，並使用single-video multi-level queue改善傳輸效能。最後本研究將利用網路模擬器NS-2 (Network Simulater ver. 2)與影像串流測試實驗架構myEvalvid-NT作不同效能的驗證比較並評估我們所提出方法的有效性。 / Over the past decade, wireless network access and video streaming services have become more popular than ever. People are eager to have better quality of video streaming services over wireless network. However, IEEE 802.11 DCF and IEEE 802.11e EDCA are not specifically designed for video streaming. This leads to the problem of transmitting overdue video packets and thus degrades both the network performance and video quality. In this paper, we propose a hybrid design framework to improve the quality of video streaming. This framework consists of a MAC-centric cross-layer architecture to allow MAC-layer to retrieve video streaming packet information (slice type and transmission deadline), a retransmission mechanism of hybrid retransmission deadline and retry limit to save unnecessary packet waiting time, and a single-video multi-level queue to prioritize I/P/B slice delivery. Simulations show that the proposed methodology outperforms IEEE 802.11e, IEEE 802.11e Timebase and IEEE 802.11e MultiQ in packet loss rate, invalid packet ratio, lost and invalid packet ratio, delay time, jitter, and PSNR.