The robust popularization of 3D videos noticed along the last decade, allied to the omnipresence of smart mobile devices handling multimedia-capable features, has led to intense development and research focusing on efficient 3D-video encoding techniques, display technologies, and 3D-video capable mobile devices. In this scenario, the Multiview Video Coding (MVC) standard is key enabler of the current 3D-video systems by leading to meaningful data reduction through advanced encoding techniques. However, real-time MVC encoding for high definition videos demands high processing performance and, consequently, high energy consumption. These requirements are attended neither by the performance budget nor by the energy envelope available in the state-of-the-art mobile devices. As a result, the realization of MVC targeting mobile systems has been posing serious challenges to industry and academia. The main goal of this thesis is to propose and demonstrate energy-efficient MVC solutions to enable high-definition 3D-video encoding on mobile battery-powered embedded systems. To expedite high performance under severe energy constraints, this thesis proposes jointly considering energy-efficient optimizations at algorithmic and architectural levels. On the one hand, extensive application knowledge and data analysis was employed to reduce and control the MVC complexity and energy consumption at algorithmic level. On the other hand, hardware architectures specifically designed targeting the proposed algorithms were implemented applying low-power design techniques, dynamic voltage scaling, and application-aware dynamic power management. The algorithmic contribution lies in the MVC energy reduction by shorten the computational complexity of the energy-hungriest encoder blocks, the Mode Decision and the Motion and Disparity Estimation. The proposed energy-efficient algorithms take advantage of the video properties along with the strong correlation available within the 3D-Neighborhood (spatial, temporal and disparity) space in order to efficiently reduce energy consumption. Our Multi-Level Fast Mode Decision defines two complexity reduction operation modes able to provide, on average, 63% and 71% of complexity reduction, respectively. Additionally, the proposed Fast ME/DE algorithm reduces the complexity in about 83%, for the average case. Considering the run-time variations posed by changing coding parameters and video content, an Energy-Aware Complexity Adaptation algorithm is proposed to handle the energy versus coding efficiency tradeoff while providing graceful quality degradation under severe battery draining scenarios by employing asymmetric video coding. Finally, to cope with eventual video quality losses posed by the energy-efficient algorithms, we define a video quality management technique based on our Hierarchical Rate Control. The Hierarchical Rate Control implements a frame-level rate control based on a Model Predictive Controller able to increase in 0.8dB (Bjøntegaard) the overall video quality. The video quality is increased in 1.9dB (Bjøntegaard) with the integration of the basic unit-level rate control designed using Markov Decision Process and Reinforcement Learning. Even though the energy-efficient algorithms drive to meaningful energy reduction, hardware acceleration is mandatory to reach the energy-efficiency demanded by the MVC. Aware of this requirement, this thesis brings architectural solutions for the Motion and Disparity Estimation unit focusing on energy reduction while attending real-time throughput requirements. To achieve the desired results, as shown along this volume, there is a need to reduce the energy related to the ME/DE computation and related to the intense memory communication. Therefore, the ME/DE architectures incorporate the Fast ME/DE algorithm in order to reduce the computational complexity while the memory hierarchy was carefully designed to find the optimal energy tradeoff between external memory accesses and on-chip video memory size. Statistical analysis where used to define the size and organization of the on-chip cache memory while avoiding increased memory misses and the consequent data retransmission. A prefetching technique based on search window prediction also supports the reduction of external memory access. Moreover, a memory power gating technique based on dynamic search window formation and an application aware power management were proposed to reduce the static energy consumption related to on-chip video memory. To implement these techniques a SRAM memory featuring multiple power states was used. The architectural contribution contained in this thesis extends the state-of-the-art by achieving real-time ME/DE processing for 4-views HD1080p running at 300MHz and consuming 57mW.

The robust popularization of 3D videos noticed along the last decade, allied to the omnipresence of smart mobile devices handling multimedia-capable features, has led to intense development and research focusing on efficient 3D-video encoding techniques, display technologies, and 3D-video capable mobile devices. In this scenario, the Multiview Video Coding (MVC) standard is key enabler of the current 3D-video systems by leading to meaningful data reduction through advanced encoding techniques. However, real-time MVC encoding for high definition videos demands high processing performance and, consequently, high energy consumption. These requirements are attended neither by the performance budget nor by the energy envelope available in the state-of-the-art mobile devices. As a result, the realization of MVC targeting mobile systems has been posing serious challenges to industry and academia. The main goal of this thesis is to propose and demonstrate energy-efficient MVC solutions to enable high-definition 3D-video encoding on mobile battery-powered embedded systems. To expedite high performance under severe energy constraints, this thesis proposes jointly considering energy-efficient optimizations at algorithmic and architectural levels. On the one hand, extensive application knowledge and data analysis was employed to reduce and control the MVC complexity and energy consumption at algorithmic level. On the other hand, hardware architectures specifically designed targeting the proposed algorithms were implemented applying low-power design techniques, dynamic voltage scaling, and application-aware dynamic power management. The algorithmic contribution lies in the MVC energy reduction by shorten the computational complexity of the energy-hungriest encoder blocks, the Mode Decision and the Motion and Disparity Estimation. The proposed energy-efficient algorithms take advantage of the video properties along with the strong correlation available within the 3D-Neighborhood (spatial, temporal and disparity) space in order to efficiently reduce energy consumption. Our Multi-Level Fast Mode Decision defines two complexity reduction operation modes able to provide, on average, 63% and 71% of complexity reduction, respectively. Additionally, the proposed Fast ME/DE algorithm reduces the complexity in about 83%, for the average case. Considering the run-time variations posed by changing coding parameters and video content, an Energy-Aware Complexity Adaptation algorithm is proposed to handle the energy versus coding efficiency tradeoff while providing graceful quality degradation under severe battery draining scenarios by employing asymmetric video coding. Finally, to cope with eventual video quality losses posed by the energy-efficient algorithms, we define a video quality management technique based on our Hierarchical Rate Control. The Hierarchical Rate Control implements a frame-level rate control based on a Model Predictive Controller able to increase in 0.8dB (Bjøntegaard) the overall video quality. The video quality is increased in 1.9dB (Bjøntegaard) with the integration of the basic unit-level rate control designed using Markov Decision Process and Reinforcement Learning. Even though the energy-efficient algorithms drive to meaningful energy reduction, hardware acceleration is mandatory to reach the energy-efficiency demanded by the MVC. Aware of this requirement, this thesis brings architectural solutions for the Motion and Disparity Estimation unit focusing on energy reduction while attending real-time throughput requirements. To achieve the desired results, as shown along this volume, there is a need to reduce the energy related to the ME/DE computation and related to the intense memory communication. Therefore, the ME/DE architectures incorporate the Fast ME/DE algorithm in order to reduce the computational complexity while the memory hierarchy was carefully designed to find the optimal energy tradeoff between external memory accesses and on-chip video memory size. Statistical analysis where used to define the size and organization of the on-chip cache memory while avoiding increased memory misses and the consequent data retransmission. A prefetching technique based on search window prediction also supports the reduction of external memory access. Moreover, a memory power gating technique based on dynamic search window formation and an application aware power management were proposed to reduce the static energy consumption related to on-chip video memory. To implement these techniques a SRAM memory featuring multiple power states was used. The architectural contribution contained in this thesis extends the state-of-the-art by achieving real-time ME/DE processing for 4-views HD1080p running at 300MHz and consuming 57mW.

Tesis

El seguimiento múltiple de personas en escenas reales es un tema muy importante en el campo de Visión Computacional dada sus múltiples aplicaciones en áreas como en los sistemas de vigilancia, robótica, seguridad peatonal, marketing, etc., además de los retos inherentes que representa la identificación de personas en escenas reales como son la complejidad de la escena misma, la concurrencia de personas y la presencia de oclusiones dentro del video debido a dicha concurrencia. Existen diversas técnicas que abordan el problema de la segmentación de imágenes y en particular la identificación de personas, desde diversas perspectivas; por su parte el presente trabajo tiene por finalidad desarrollar una propuesta basada en Histograma de Orientación de Gradientes (HOG) para el seguimiento múltiple de personas basado en video. El procedimiento propuesto se descompone en las siguientes etapas: Procesamiento de Video, este proceso consiste en la captura de los frames que componen la secuencia de video, para este propósito se usa la librería OpenCV de tal manera que se pueda capturar la secuencia desde cualquier fuente; la siguiente etapa es la Clasificación de Candidatos, esta etapa se agrupa el proceso de descripción de nuestro objeto, que para el caso de este trabajo son personas y la selección de los candidatos, para esto se hace uso de la implementación del algoritmo de HOG; por último la etapa final es el Seguimiento y Asociación, mediante el uso del algoritmo de Kalman Filter, permite determinar las asociaciones de las secuencias de objetos previamente detectados. La propuesta se aplicó sobre tres conjuntos de datos, tales son: TownCentre (960x540px), TownCentre (1920x1080px) y PETS 2009, obteniéndose los resultados para precisión: 94.47%, 90.63% y 97.30% respectivamente. Los resultados obtenidos durante las experimentaciones validan la propuesta del modelo haciendo de esta una herramienta que puede encontrar múltiples campos de aplicación, además de ser una propuesta innovadora a nivel nacional dentro del campo de Vision Computacional. / Tesis

Orientador: Max Henrique Machado Costa / Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação / Made available in DSpace on 2018-08-19T09:28:05Z (GMT). No. of bitstreams: 1 Testoni_Vanessa_D.pdf: 8106484 bytes, checksum: 21b33811983b7a26e8c1bab2e56ac0aa (MD5) Previous issue date: 2011 / Resumo: A comunidade de codificação de imagens e vídeo vem também trabalhando em inovações que vão além das tradicionais técnicas de codificação de imagens e vídeo. Este trabalho é um conjunto de contribuições a vários tópicos que têm recebido crescente interesse de pesquisadores na comunidade, nominalmente, codificação escalável, codificação de baixa complexidade para dispositivos móveis, codificação de vídeo de múltiplas vistas e codificação adaptativa em tempo real. A primeira contribuição estuda o desempenho de três transformadas 3-D rápidas por blocos em um codificador de vídeo de baixa complexidade. O codificador recebeu o nome de Fast Embedded Video Codec (FEVC). Novos métodos de implementação e ordens de varredura são propostos para as transformadas. Os coeficiente 3-D são codificados por planos de bits pelos codificadores de entropia, produzindo um fluxo de bits (bitstream) de saída totalmente embutida. Todas as implementações são feitas usando arquitetura com aritmética inteira de 16 bits. Somente adições e deslocamentos de bits são necessários, o que reduz a complexidade computacional. Mesmo com essas restrições, um bom desempenho em termos de taxa de bits versus distorção pôde ser obtido e os tempos de codificação são significativamente menores (em torno de 160 vezes) quando comparados ao padrão H.264/AVC. A segunda contribuição é a otimização de uma recente abordagem proposta para codificação de vídeo de múltiplas vistas em aplicações de video-conferência e outras aplicações do tipo "unicast" similares. O cenário alvo nessa abordagem é fornecer vídeo com percepção real em 3-D e ponto de vista livre a boas taxas de compressão. Para atingir tal objetivo, pesos são atribuídos a cada vista e mapeados em parâmetros de quantização. Neste trabalho, o mapeamento ad-hoc anteriormente proposto entre pesos e parâmetros de quantização é mostrado ser quase-ótimo para uma fonte Gaussiana e um mapeamento ótimo é derivado para fonte típicas de vídeo. A terceira contribuição explora várias estratégias para varredura adaptativa dos coeficientes da transformada no padrão JPEG XR. A ordem de varredura original, global e adaptativa do JPEG XR é comparada com os métodos de varredura localizados e híbridos propostos neste trabalho. Essas novas ordens não requerem mudanças nem nos outros estágios de codificação e decodificação, nem na definição da bitstream A quarta e última contribuição propõe uma transformada por blocos dependente do sinal. As transformadas hierárquicas usualmente exploram a informação residual entre os níveis no estágio da codificação de entropia, mas não no estágio da transformada. A transformada proposta neste trabalho é uma técnica de compactação de energia que também explora as similaridades estruturais entre os níveis de resolução. A idéia central da técnica é incluir na transformada hierárquica um número de funções de base adaptativas derivadas da resolução menor do sinal. Um codificador de imagens completo foi desenvolvido para medir o desempenho da nova transformada e os resultados obtidos são discutidos neste trabalho / Abstract: The image and video coding community has often been working on new advances that go beyond traditional image and video architectures. This work is a set of contributions to various topics that have received increasing attention from researchers in the community, namely, scalable coding, low-complexity coding for portable devices, multiview video coding and run-time adaptive coding. The first contribution studies the performance of three fast block-based 3-D transforms in a low complexity video codec. The codec has received the name Fast Embedded Video Codec (FEVC). New implementation methods and scanning orders are proposed for the transforms. The 3-D coefficients are encoded bit-plane by bit-plane by entropy coders, producing a fully embedded output bitstream. All implementation is performed using 16-bit integer arithmetic. Only additions and bit shifts are necessary, thus lowering computational complexity. Even with these constraints, reasonable rate versus distortion performance can be achieved and the encoding time is significantly smaller (around 160 times) when compared to the H.264/AVC standard. The second contribution is the optimization of a recent approach proposed for multiview video coding in videoconferencing applications or other similar unicast-like applications. The target scenario in this approach is providing realistic 3-D video with free viewpoint video at good compression rates. To achieve such an objective, weights are computed for each view and mapped into quantization parameters. In this work, the previously proposed ad-hoc mapping between weights and quantization parameters is shown to be quasi-optimum for a Gaussian source and an optimum mapping is derived for a typical video source. The third contribution exploits several strategies for adaptive scanning of transform coefficients in the JPEG XR standard. The original global adaptive scanning order applied in JPEG XR is compared with the localized and hybrid scanning methods proposed in this work. These new orders do not require changes in either the other coding and decoding stages or in the bitstream definition. The fourth and last contribution proposes an hierarchical signal dependent block-based transform. Hierarchical transforms usually exploit the residual cross-level information at the entropy coding step, but not at the transform step. The transform proposed in this work is an energy compaction technique that can also exploit these cross-resolution-level structural similarities. The core idea of the technique is to include in the hierarchical transform a number of adaptive basis functions derived from the lower resolution of the signal. A full image codec is developed in order to measure the performance of the new transform and the obtained results are discussed in this work / Doutorado / Telecomunicações e Telemática / Doutor em Engenharia Elétrica

La industria de la construcción ha sido considerada históricamente como una de las más peligrosas en el mundo, principalmente a que presenta altos índices de accidentabilidad y deficiente participación en prevención de riesgos. Nuestro país no es la excepción, y aunque los indicadores experimentan una interesante disminución en las últimas décadas, aun falta mayor compromiso y la incorporación de los conceptos de seguridad y salud laboral en las obras. A pesar de que es un sector considerado tradicionalmente lento para adaptar nuevas innovaciones, la aplicación de herramientas de tecnología de información puede ser muy útil para mejorar las buenas prácticas e indicadores. Este proyecto que se enmarca dentro una investigación FONDEF, tiene por objetivo aplicar seguridad en obra a través de la captura de datos TI. Para esto se realizó un estudio en la literatura sobre captura de datos y prevención de riesgos. También se realizan entrevistas y un focus group a expertos de la Mutual de Seguridad, para conocer las contingencias más comunes y peligrosas en obra. Con este resultado, se estiman las necesidades y se postulan metodologías correctivas de los problemas. Posteriormente se adaptan estas metodologías para su uso mediante videos e imágenes, y son denominadas herramientas. De ellas se modifican 3 de una investigación anterior y se agregan 5 nuevas al módulo de seguridad. El diseño de las herramientas se realiza optimizando la usabilidad y permitiendo la entrega de resultados confiables. Un punto fundamental es reducir la toma de datos en obra, al tener la opción de acelerar los videos inspeccionados. Además el sistema mantiene un registro único, detallado, y mediante acceso permanente a las situaciones. Por lo tanto, el módulo de seguridad busca ser una ayuda o complemento a la labor del experto de seguridad en obra que dispondrá de ventajas que sin el uso de tecnología no sería posible, excluyendo ser una sobrecarga extra de trabajo. Los resultados esperados de utilizar las herramientas de seguridad son identificar las potencialidades de riesgos en la obra, para poder alertarlas a tiempo y con ello disminuir las tasas de accidentabilidad. El sistema por sí sólo no tendrá impacto en terreno si no se toman estrategias en la implementación y seguimiento de los resultados e indicadores. Luego si existe un plan adecuado y el compromiso de toda la administración de la empresa, se verán resultados a mediano y largo plazo no solo en la reducción de accidentes, sino también en calidad y productividad de la obra.

En la actualidad, el desarrollo de sistemas que permitan la interacción ser humano - computador es un tema que es ampliamente abordado en diversas campos. Dispositivos tales como el Iphone, Ipad, la Samsung Galaxy Tab, entre otros, poseen aplicaciones de uso sencillo e intuitivo, brindando al usuario una experiencia de mayor realismo. Algunas de las aplicaciones más exitosas se dan en el sector del entretenimiento: El XBox 360, Nintendo Wii, Play Station 3 y 4 con sus diversos accesorios (cámaras, controladores, etc.) ofrecen juegos que interactuan con el ser humano en tiempo real. En medio de este contexto y conociendo del interés que existe por la investigación y desarrollo de sistemas en visión por computador, en la presente tesis se muestra el desarrollo de un sistema que permite la interacción ser humano - computador. Este sistema permite la detección y seguimiento de un objeto esférico en tiempo real, esto a través de una interfaz en la cual el usuario puede percibir el seguimiento de una esfera y cuyos movimientos son captados por una cámara de video. El planteamiento de la solución está inspirado en el sistema Play Station Move, el cual permite el seguimiento de una esfera ubicada en un controlador de movimiento, brindando al usuario una mayor sensación de realismo y control de las acciones realizadas. No obstante, y a diferencia del sistema desarrollado por Play Station, el presente estudio no hace uso de acelerómetros para el seguimiento planteado. El sistema a desarrollar opera bajo condiciones de precisión y tiempo de procesamiento que permite una interacción aceptable con el usuario, y se centra en el desarrollo e implementación de algoritmos matemáticos (en lenguaje C) en tiempo real que permiten la detección y seguimiento del objeto esférico. Para la interfaz computador - cámara de video se utiliza una librería ya existente, previamente desarrollada en el laboratorio de DSP, la cual a su vez está basada en la librería ffmpeg. / Tesis

El tema del presente proyecto profesional trata sobre las diferentes técnicas de procesamiento digital de imágenes aplicadas a un sistema de vigilancia, con cámaras IP conectadas en red. Estas técnicas de procesamiento hacen al sistema capaz de detectar automáticamente eventos remotos, tales como la detección de movimiento o el cambio de iluminación de una escena. El desarrollo del proyecto está dividido en cinco capítulos. El primer capítulo presenta un panorama general del proyecto. El segundo capítulo explica los fundamentos teóricos utilizados. El tercer capítulo muestra el desarrollo de los algoritmos utilizados para la detección automática de eventos. El cuarto capítulo expone las características del diseño y la implementación del sistema. Finalmente, el último capítulo es para realizar un análisis de los resultados obtenidos. Al finalizar el trabajo, luego de múltiples pruebas del sistema, se llegó a la conclusión de que la detección de eventos remotos utilizando técnicas de procesamiento digital de vídeo es un método de fácil implementación y superior a muchos sistemas actuales. / Tesis

El presente proyecto de tesis tiene como finalidad diseñar un sistema de emisión de comerciales para los medios de transporte masivos en Lima conmutando la señal abierta del aire OneSeg ISDB-T con los spots de publicidad contratados. Asimismo, el presente proyecto de tesis tiene como alcance la implementación de un prototipo (versión beta), según el diseño propuesto, para demostrar la funcionalidad del sistema. El presente libro de tesis consta de seis capítulos.

En el presente trabajo se ha diseñado una red LTE escalable que permite la transmisión de video IP en tiempo real. Este diseño ha sido desarrollado de acuerdo con el estándar 3GPP y está orientado a optimizar los servicios de video vigilancia asociados a la seguridad ciudadana del distrito de San Juan Bautista, provincia de Maynas, departamento de Loreto. Actualmente las redes móviles en el distrito están limitadas a las periferias de la carretera Iquitos-Nauta y a las zonas públicas del aeropuerto internacional Francisco Secada Vignetta. El diseño propuesto contempla el despliegue de 6 eNodosb y un núcleo LTE. Finalmente, la solución proporciona cobertura al 100% de la zona poblada del distrito ofreciendo tasas de datos de 57.6 Mbps para tráfico de subida y 356 Mbps para tráfico de bajada / This document is about the design of scalable LTE network that allows the transmisión of real time IP video. The design has been made according the guidelines of the 3GPP standard and is oriented to the video surveillance services optimization, as part of the citizen security efforts in the distritct of San Juan Bautista, Maynas province in Loreto department. Actually, the mobile networks in the district have a limited footprint restricted to the sorrounding zone of the Iquitos-Nauta highway and the public areas at the Francisco Secada Vignetta international airport. The proposed design’s scope includes the deployment of 6 eNodesb and a LTE core. The solution offers a geographic coverage of 100% of the inhabited area with throughput rates of 57.6 Mbps for uplink and 356 Mbps for downlink. / Tesis