Submitted by Pedro Barros (pedro.silvabarros@ufpe.br) on 2018-09-24T19:35:29Z No. of bitstreams: 2 license_rdf: 811 bytes, checksum: e39d27027a6cc9cb039ad269a5db8e34 (MD5) DISSERTAÇÃO João Paulo Fernandes Barbosa.pdf: 5395058 bytes, checksum: 1228b9047fb332f874f7e71584424654 (MD5) / Approved for entry into archive by Alice Araujo (alice.caraujo@ufpe.br) on 2018-09-25T18:10:50Z (GMT) No. of bitstreams: 2 license_rdf: 811 bytes, checksum: e39d27027a6cc9cb039ad269a5db8e34 (MD5) DISSERTAÇÃO João Paulo Fernandes Barbosa.pdf: 5395058 bytes, checksum: 1228b9047fb332f874f7e71584424654 (MD5) / Made available in DSpace on 2018-09-25T18:10:50Z (GMT). No. of bitstreams: 2 license_rdf: 811 bytes, checksum: e39d27027a6cc9cb039ad269a5db8e34 (MD5) DISSERTAÇÃO João Paulo Fernandes Barbosa.pdf: 5395058 bytes, checksum: 1228b9047fb332f874f7e71584424654 (MD5) Previous issue date: 2016-02-26 / A detecção de objetos e a segmentação de sequências de vídeo são os primeiros passos em algumas aplicações e sistemas de visão computacional. Bons resultados tem sido alcançados com a utilização de General Propose Graphic Processor Unit (GPGPU) e de Field Gate Programmable Array (FPGA) na implementação de aplicações científicas de alto desempenho e esta têm sido uma alternativa à implementação convencional baseada em uma Central Única de Processamento (CPU). Neste contexto, este trabalho apresenta uma arquitetura heterogênea baseada em CPU e FPGA, que explora o máximo de paralelismo, para o processamento da segmentação de frames de vídeo utilizando a análise do espectro de fase de Fourier. O algoritmo de segmentação de vídeos implementado neste trabalho inclui entre suas operações o processamento de uma FFT 3-D, o cálculo do espectro de fase e o cálculo da IFFT 2-D em uma sequência de vídeo. O desempenho da arquitetura baseada em CPU e FPGA é comparado com a mesma implementação do algoritmo que utiliza a biblioteca cuFFT em um sistema baseado em CPU e GPU. A arquitetura desenvolvida em um FPGA Stratix IV (EP4SE530H35C2) é capaz de segmentar objetos em uma sequencia de vídeo a uma taxa de 1.800 frames por segundos. / Object detection and video sequences segmentation are the first step in some applications and computer vision systems. Hardware accelerators such General Propose Graphic Processor Unit (GPGPU) and Field Gate Programmable Array (FPGA) have been used as an alternative to conventional CPU architectures in high-performance scientific applications, and have achieved good speed-up results. Within this context, this work presents a heterogeneous architecture for computing based on CPU and FPGA, which explores the maximum parallelism for processing video segmentation using the video signal Fourier phase spectrum analysis. The video segmentation algorithm includes processing the 3-D FFT, calculating the phase spectrum and the 2-D IFFT operation in a video sequence. The performance of the architecture based on CPU and FPGA is compared with the implementation of the same algorithm with the cuFFT library in a system based on CPU and GPU. The prototyped architecture in a Stratix IV (EP4SE530H35C2) FPGA is able to segment objects in video sequences at 1.800 frames per second.

A área de recuperação de informação baseada em conteúdo visual vem ganhando importância graças ao volume de material visual existente (imagens e vídeo digitais), compartilhado e distribuído principalmente via Internet, e à capacidade de processamento alcançada pelos computadores pessoais na última década. Novas formas de consumo, manipulação e exploração de vídeo digital podem ser criadas através da organização e indexação apropriada desse material. A delimitação de tomadas fornece uma base para a abstração e estruturação de vídeo, agregando quadros contíguos em seqüências de mesmo contexto, isto é, trechos com unidade em termos de tempo e espaço. Nesta dissertação são apresentados os conceitos básicos de delimitação de tomadas e métodos tradicionais utilizados nesse tipo de segmentação, bem como vários resultados experimentais obtidos a partir de seqüências reais de TV. É analisada a distribuição das diferenças entre quadros sucessivos, calculada através de seus histogramas, na tentativa de caracterizar as transições entre tomadas e obter melhores parâmetros para a segmentação. Obtêm-se experimentalmente mais evidências que comprovam a superioridade da medida de intersecção de histogramas sobre outras medidas. A principal contribuição do trabalho consiste no desenvolvimento de um algoritmo baseado no método twin-comparison, que apresenta melhor desempenho que o método original na detecção dos limites de tomadas por utilizar análise local da variação visual entre os quadros do vídeo. / Visual content based information retrieval is an area of increasing importance due to the large volume of available material (digital images and videos), shared and distributed mainly by the internet, and the processing power achieved by personal computer in the last ten years. New ways to consume digital video and to manipulate and explore its visual information can be made by appropriately organizing and indexing this material. The shot boundary detection is a fundamental tool to video abstraction and structuring, combining near frames into sequences with similar context, segments with space and time unity. This work presents the basic concepts about shot boundary detection, traditional methods used and several experimental results obtained from a real TV data set. The distribution of differences of neighboring frames, calculated from histogram comparison, is used to define the transitions between frames and to obtain better parameters for segmentation. Our experimental results show the superiority of the histogram intersection method over other measures. Our main contribution is the development of a new algorithm based on the twin-comparison method, extended with local analysis of visual content variation between video frames. This algorithm was tested over hours of TV data, and performs better than the original method.

A área de recuperação de informação baseada em conteúdo visual vem ganhando importância graças ao volume de material visual existente (imagens e vídeo digitais), compartilhado e distribuído principalmente via Internet, e à capacidade de processamento alcançada pelos computadores pessoais na última década. Novas formas de consumo, manipulação e exploração de vídeo digital podem ser criadas através da organização e indexação apropriada desse material. A delimitação de tomadas fornece uma base para a abstração e estruturação de vídeo, agregando quadros contíguos em seqüências de mesmo contexto, isto é, trechos com unidade em termos de tempo e espaço. Nesta dissertação são apresentados os conceitos básicos de delimitação de tomadas e métodos tradicionais utilizados nesse tipo de segmentação, bem como vários resultados experimentais obtidos a partir de seqüências reais de TV. É analisada a distribuição das diferenças entre quadros sucessivos, calculada através de seus histogramas, na tentativa de caracterizar as transições entre tomadas e obter melhores parâmetros para a segmentação. Obtêm-se experimentalmente mais evidências que comprovam a superioridade da medida de intersecção de histogramas sobre outras medidas. A principal contribuição do trabalho consiste no desenvolvimento de um algoritmo baseado no método twin-comparison, que apresenta melhor desempenho que o método original na detecção dos limites de tomadas por utilizar análise local da variação visual entre os quadros do vídeo. / Visual content based information retrieval is an area of increasing importance due to the large volume of available material (digital images and videos), shared and distributed mainly by the internet, and the processing power achieved by personal computer in the last ten years. New ways to consume digital video and to manipulate and explore its visual information can be made by appropriately organizing and indexing this material. The shot boundary detection is a fundamental tool to video abstraction and structuring, combining near frames into sequences with similar context, segments with space and time unity. This work presents the basic concepts about shot boundary detection, traditional methods used and several experimental results obtained from a real TV data set. The distribution of differences of neighboring frames, calculated from histogram comparison, is used to define the transitions between frames and to obtain better parameters for segmentation. Our experimental results show the superiority of the histogram intersection method over other measures. Our main contribution is the development of a new algorithm based on the twin-comparison method, extended with local analysis of visual content variation between video frames. This algorithm was tested over hours of TV data, and performs better than the original method.

Este trabalho tem como objetivo desenvolver um método de segmentação de cenas em vídeos digitais que trate segmentos semânticamente complexos. Como prova de conceito, é apresentada uma abordagem multimodal que utiliza uma definição mais geral para cenas em telejornais, abrangendo tanto cenas onde âncoras aparecem quanto cenas onde nenhum âncora aparece. Desse modo, os resultados obtidos da técnica multimodal foram signifiativamente melhores quando comparados com os resultados obtidos das técnicas monomodais aplicadas em separado. Os testes foram executados em quatro grupos de telejornais brasileiros obtidos de duas emissoras de TV diferentes, cada qual contendo cinco edições, totalizando vinte telejornais / This work aims to develop a method for scene segmentation in digital video which deals with semantically complex segments. As proof of concept, we present a multimodal approach that uses a more general definition for TV news scenes, covering both: scenes where anchors appear on and scenes where no anchor appears. The results of the multimodal technique were significantly better when compared with the results from monomodal techniques applied separately. The tests were performed in four groups of Brazilian news programs obtained from two different television stations, containing five editions each, totaling twenty newscasts

Este trabalho tem como objetivo desenvolver um método de segmentação de cenas em vídeos digitais que trate segmentos semânticamente complexos. Como prova de conceito, é apresentada uma abordagem multimodal que utiliza uma definição mais geral para cenas em telejornais, abrangendo tanto cenas onde âncoras aparecem quanto cenas onde nenhum âncora aparece. Desse modo, os resultados obtidos da técnica multimodal foram signifiativamente melhores quando comparados com os resultados obtidos das técnicas monomodais aplicadas em separado. Os testes foram executados em quatro grupos de telejornais brasileiros obtidos de duas emissoras de TV diferentes, cada qual contendo cinco edições, totalizando vinte telejornais / This work aims to develop a method for scene segmentation in digital video which deals with semantically complex segments. As proof of concept, we present a multimodal approach that uses a more general definition for TV news scenes, covering both: scenes where anchors appear on and scenes where no anchor appears. The results of the multimodal technique were significantly better when compared with the results from monomodal techniques applied separately. The tests were performed in four groups of Brazilian news programs obtained from two different television stations, containing five editions each, totaling twenty newscasts

Submitted by camilla martins (camillasmmartins@gmail.com) on 2016-12-13T13:41:29Z No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Tese_MetodosExtracaoObjetos.pdf: 4311109 bytes, checksum: 6e08c6d9873edcc3fc808b09600ca4a9 (MD5) / Rejected by Edisangela Bastos (edisangela@ufpa.br), reason: on 2016-12-15T12:10:14Z (GMT) / Submitted by camilla martins (camillasmmartins@gmail.com) on 2016-12-15T13:50:53Z No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Tese_MetodosExtracaoObjetos.pdf: 4311109 bytes, checksum: 6e08c6d9873edcc3fc808b09600ca4a9 (MD5) / Rejected by Edisangela Bastos (edisangela@ufpa.br), reason: on 2016-12-15T14:01:33Z (GMT) / Submitted by camilla martins (camillasmmartins@gmail.com) on 2016-12-15T14:27:31Z No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Tese_MetodosExtracaoObjetos.pdf: 4311109 bytes, checksum: 6e08c6d9873edcc3fc808b09600ca4a9 (MD5) / Approved for entry into archive by Edisangela Bastos (edisangela@ufpa.br) on 2016-12-19T15:40:45Z (GMT) No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Tese_MetodosExtracaoObjetos.pdf: 4311109 bytes, checksum: 6e08c6d9873edcc3fc808b09600ca4a9 (MD5) / Made available in DSpace on 2016-12-19T15:40:45Z (GMT). No. of bitstreams: 2 license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Tese_MetodosExtracaoObjetos.pdf: 4311109 bytes, checksum: 6e08c6d9873edcc3fc808b09600ca4a9 (MD5) Previous issue date: 2009-12-04 / A segmentação de vídeo é um passo fundamental em muitos sistemas de visão, tais como sistemas de vigilância e monitoramento de tráfego. O método denominado subtração da imagem de fundo é comumente utilizado para detecção de objetos em seqüências de vídeo comparando-se cada pixel do quadro corrente com um modelo da imagem de referência. Neste trabalho, apresenta-se uma arquitetura em hardware para segmentação de vídeo desde a etapa de implementação do algoritmo em PC até a elaboração da arquitetura em hardware. O método de segmentação de vídeo destina-se ao processamento de operações em ponto fixo e visa aprimorar o método de detecção de objetos baseado em modelos Gaussianos. Este aprimoramento é realizado por meio da aplicação de uma técnica para compensação das variações das intensidades dos pixels que objetiva reduzir os falsos positivos ocasionados por ruídos ou variações de iluminação. Primeiramente, o algoritmo foi validado em MATLAB em ponto flutuante e em ponto fixo. Em seguida, foi implementado em um arranjo de portas programáveis em campo (FPGA), utilizando um kit desenvolvimento da Altera (DE-2). A arquitetura opera com uma freqüência igual a 100 MHz e processa 30 quadros por segundo com resolução igual é 640 x 507. A capacidade do sistema é demonstrada com várias imagens de teste. / Video segmentation is a fundamental step in many vision systems including video surveillance and traffic monitoring. Background subtraction is a method typically used to segment moving regions in video sequences taken from a static camera by comparing each new frame to a model of the scene background. In this paper, a hardware system for video segmentation is proposed from algorithm to hardware architecture level. The video segmentation algorithm is aimed at fixed-point operations and improves a Gaussian background model by applying a two-stage linear compensation procedure to remove the undesirable subtraction results from noise and illumination changes. First, the algorithm was validated in MATLAB. Then, it was prototyped on an Altera field-programmable gate array platform (DE-2). At a clock rate of 100 MHz, the architecture can process 30 frames per second, where the image resolution is 640 x 507 pixels. The capability of the system is demonstrated for several video sequences.

A popularização de aplicativos e dispositivos capazes de produzir, exibir e editar conteúdos multimídia fez surgir a necessidade de se adaptar, modificar e customizar diferentes tipos de mídia a diferentes necessidades do usuário. Nesse contexto, a área de Personalização e Adaptação de Conteúdo busca desenvolver soluções que atendam a tais necessidades. Sistemas de personalização, em geral, necessitam conhecer os dados presentes na mídia, surgindo, assim, a necessidade de uma indexação do conteúdo presente na mídia. No caso de vídeo digital, os esforços para a indexação automática utilizam como passo inicial a segmentação de vídeos em unidades de informação menores, como tomadas e cenas. A segmentação em cenas, em especial, é um desafio para pesquisadores graças a enorme variedade entre os vídeos e a própria ausência de um consenso na definição de cena. Diversas técnicas diferentes para a segmentação em cenas são reportadas na literatura. Uma técnica, em particular, destaca-se pelo baixo custo computacional: a técnica baseada em coerências visual. Utilizando-se operações de histogramas, a técnica objetiva-se a comparar tomadas adjacentes em busca de similaridades que poderiam indicar a presença de uma cena. Para melhorar os resultados obtidos, autores de trabalhos com tal enfoque utilizam-se de outras características, capazes de medir a \"quantidade de movimento\" das cenas, como os vetores de movimento. Assim, este trabalho apresenta uma técnica de segmentação de vídeo digital em tomadas e em cenas através da coerência visual e do fluxo óptico. Apresenta-se, ainda, uma série de avaliações de eficácia e de desempenho da técnica ao segmentar em tomadas e em cenas uma base de vídeo do domínio filmes / The popularization of applications and devices capable of producing, displaying and editing multimedia content did increase the need to adapt, modify and customize different types of media for different user needs. In this context, the area of Personalization and Content Adaptation seeks to develop solutions that meet these needs. Personalization systems, in general, need to know the data present in the media, thus needing for a media indexing process. In the case of digital video, the efforts for automatic indexing usually involves, as an initial step, to segment videos into smaller information units, such as shots and scenes. The scene segmentation, in particular, is a challenge to researchers due to the huge variety among the videos and the very absence of a consensus on the scene definition. Several scenes segmentation techniques are reported in the literature. One technique in particular stands out for its low computational cost: those techniques based on visual coherence. By using histograms, the technique compares adjacent shots to find similar shots which may indicate the presence of a scene. To improve the results, some related works uses other features to evaluate the motion dynamics of the scenes using features such as motion vectors. In this sense, this work presents a digital video segmentation technique for shots and scenes, using visual coherence and optical flow as its features. It also presents a series of evaluation in terms of effectiveness and performance of the technique when segmenting scenes and shots of a custom video database of the film domain

A popularização de aplicativos e dispositivos capazes de produzir, exibir e editar conteúdos multimídia fez surgir a necessidade de se adaptar, modificar e customizar diferentes tipos de mídia a diferentes necessidades do usuário. Nesse contexto, a área de Personalização e Adaptação de Conteúdo busca desenvolver soluções que atendam a tais necessidades. Sistemas de personalização, em geral, necessitam conhecer os dados presentes na mídia, surgindo, assim, a necessidade de uma indexação do conteúdo presente na mídia. No caso de vídeo digital, os esforços para a indexação automática utilizam como passo inicial a segmentação de vídeos em unidades de informação menores, como tomadas e cenas. A segmentação em cenas, em especial, é um desafio para pesquisadores graças a enorme variedade entre os vídeos e a própria ausência de um consenso na definição de cena. Diversas técnicas diferentes para a segmentação em cenas são reportadas na literatura. Uma técnica, em particular, destaca-se pelo baixo custo computacional: a técnica baseada em coerências visual. Utilizando-se operações de histogramas, a técnica objetiva-se a comparar tomadas adjacentes em busca de similaridades que poderiam indicar a presença de uma cena. Para melhorar os resultados obtidos, autores de trabalhos com tal enfoque utilizam-se de outras características, capazes de medir a \"quantidade de movimento\" das cenas, como os vetores de movimento. Assim, este trabalho apresenta uma técnica de segmentação de vídeo digital em tomadas e em cenas através da coerência visual e do fluxo óptico. Apresenta-se, ainda, uma série de avaliações de eficácia e de desempenho da técnica ao segmentar em tomadas e em cenas uma base de vídeo do domínio filmes / The popularization of applications and devices capable of producing, displaying and editing multimedia content did increase the need to adapt, modify and customize different types of media for different user needs. In this context, the area of Personalization and Content Adaptation seeks to develop solutions that meet these needs. Personalization systems, in general, need to know the data present in the media, thus needing for a media indexing process. In the case of digital video, the efforts for automatic indexing usually involves, as an initial step, to segment videos into smaller information units, such as shots and scenes. The scene segmentation, in particular, is a challenge to researchers due to the huge variety among the videos and the very absence of a consensus on the scene definition. Several scenes segmentation techniques are reported in the literature. One technique in particular stands out for its low computational cost: those techniques based on visual coherence. By using histograms, the technique compares adjacent shots to find similar shots which may indicate the presence of a scene. To improve the results, some related works uses other features to evaluate the motion dynamics of the scenes using features such as motion vectors. In this sense, this work presents a digital video segmentation technique for shots and scenes, using visual coherence and optical flow as its features. It also presents a series of evaluation in terms of effectiveness and performance of the technique when segmenting scenes and shots of a custom video database of the film domain