This thesis focuses on four main research themes namely shot boundary detection, fast frame alignment, activity-driven video summarisation, and highlights based video annotation and retrieval. A number of novel algorithms have been proposed to address these issues, which can be highlighted as follows. Firstly, accurate and robust shot boundary detection is achieved through modelling of cuts into sub-categories and appearance based modelling of several gradual transitions, along with some novel features extracted from compressed video. Secondly, fast and robust frame alignment is achieved via the proposed subspace phase correlation (SPC) and an improved sub-pixel strategy. The SPC is proved to be insensitive to zero-mean-noise, and its gradient-based extension is even robust to non-zero-mean noise and can be used to deal with non-overlapped regions for robust image registration. Thirdly, hierarchical modelling of rush videos using formal language techniques is proposed, which can guide the modelling and removal of several kinds of junk frames as well as adaptive clustering of retakes. With an extracted activity level measurement, shot and sub-shot are detected for content-adaptive video summarisation. Fourthly, highlights based video annotation and retrieval is achieved, in which statistical modelling of skin pixel colours, knowledge-based shot detection, and improved determination of camera motion patterns are employed. Within these proposed techniques, one important principle is to integrate various kinds of feature evidence and to incorporate prior knowledge in modelling the given problems. High-level hierarchical representation is extracted from the original linear structure for effective management and content-based retrieval of video data. As most of the work is implemented in the compressed domain, one additional benefit is the achieved high efficiency, which will be useful for many online applications. / EU IST FP6 Project

This thesis focuses on four main research themes namely shot boundary detection, fast frame alignment, activity-driven video summarisation, and highlights based video annotation and retrieval. A number of novel algorithms have been proposed to address these issues, which can be highlighted as follows. Firstly, accurate and robust shot boundary detection is achieved through modelling of cuts into sub-categories and appearance based modelling of several gradual transitions, along with some novel features extracted from compressed video. Secondly, fast and robust frame alignment is achieved via the proposed subspace phase correlation (SPC) and an improved sub-pixel strategy. The SPC is proved to be insensitive to zero-mean-noise, and its gradient-based extension is even robust to non-zero-mean noise and can be used to deal with non-overlapped regions for robust image registration. Thirdly, hierarchical modelling of rush videos using formal language techniques is proposed, which can guide the modelling and removal of several kinds of junk frames as well as adaptive clustering of retakes. With an extracted activity level measurement, shot and sub-shot are detected for content-adaptive video summarisation. Fourthly, highlights based video annotation and retrieval is achieved, in which statistical modelling of skin pixel colours, knowledge-based shot detection, and improved determination of camera motion patterns are employed. Within these proposed techniques, one important principle is to integrate various kinds of feature evidence and to incorporate prior knowledge in modelling the given problems. High-level hierarchical representation is extracted from the original linear structure for effective management and content-based retrieval of video data. As most of the work is implemented in the compressed domain, one additional benefit is the achieved high efficiency, which will be useful for many online applications.

[pt] Quando entregamos e apresentamos aplicações multimídia por meio de uma rede de comunicação, a latência de exibição pode representar um fator central e crítico que afeta a qualidade da apresentação multimídia. Na entrega de uma apresentação multimídia de boa qualidade o sincronismo é prevalecido, consequentemente, os conteúdos são exibidos de forma contínua, conforme as especificações do autor da aplicação. Nesta tese, um plano de pré-busca de conteúdos multimídia é proposto com o intuito de reduzir a latência de exibição e garantir o sincronismo entre os objetos de mídia que fazem parte da apresentação multimídia. O mecanismo proposto considera as aplicações multimídia desenvolvidas na linguagem declarativa NCL e utiliza a vantagem do sincronismo estar baseado em eventos, na determinação da ordem adequada de recuperação dos diferentes objetos de mídia e no cálculo dos seus tempos de início de recuperação. Aspectos importantes a serem considerados em um ambiente de pré-busca são levantados e os diferentes algoritmos que compõem o plano de pré-busca são desenvolvidos. / [en] When delivering and presenting multimedia applications through a communication network, the presentation lag could be a major and critical factor affecting the multimedia presentation quality. In a good quality presentation the synchronism is always preserved, hence all the contents are presented in a continue way according to the authoring specifications. In this dissertation, a multimedia content prefetching plan is proposed in order to minimize the presentation lag and guarantee the synchronism between the media objects, which constitute the multimedia application. The proposed mechanism regards the multimedia applications developed using the NCL declarative language and it uses the events based synchronism advantage to determinate the ideal retrieval order of the media objects and to calculate their start retrieval times. Furthermore, important issues to be considered in a prefetch ambient are raised and the different algorithms that belong to the prefetching plan are developed.

Úlceras de pele são causadas devido à deficiência na circulação sanguínea. O diagnóstico é feito pela análise visual das regiões afetadas. A quantificação da distribuição de cores da lesão, por meio de técnicas de processamento de imagens pode auxiliar na caracterização e análise da dinâmica do processo patológico e resposta ao tratamento. O processamento de imagens de úlceras dermatológicas envolve etapas relacionadas a segmentação, caracterização e indexação. Esta análise é importante para classificação, recuperação de imagens similares e acompanhamento da evolução de uma lesão. Este trabalho apresenta um estudo sobre técnicas de segmentação e caracterização de imagens coloridas de úlceras de pele, baseadas nos modelos de cores RGB, HSV, L*a*b* e L*u*v*, utilizando suas componentes na extração de informações de textura e cor. Foram utilizadas técnicas de Aprendizado de Máquina e algoritmos matemáticos para a segmentação e extração de atributos, utilizando uma base de dados com 172 imagens. Nos testes de recuperação, foram utilizadas diferentes métricas de distância para avaliação do desempenho e técnicas de seleção de atributos. Os resultados obtidos evidenciam bom potencial para apoio ao diagnóstico e acompanhamento da evolução do tratamento com valores de até 75% de precisão para as técnicas de recuperação, 0,9 de área embaixo da curva receiver-operating-characteristic na classificação e 0,04 de erro médio quadrático entre a composição de cores da imagem segmentada automaticamente e a segmentada manualmente. Nos testes utilizando seleção de atributos, foi observado uma redução nos valores de precisão de recuperação (60%) e valores similares nos tetes de classificação (0,85). / Skin ulcers are caused due to deficiency in the bloodstream. The diagnosis is made by a visual analysis of the affected area. Quantification of color distribution of the lesion by image processing techniques can aid in the characterization and response to treatment. The image processing steps involves skin ulcers related to segmentation, characterization and indexing. This analysis is important for classification, image retrieval and similar tracking the evolution of an injury. This project presents a study of segmentation techniques and characterization of color images of dermatological skin ulcers, based on the color models RGB, HSV, L*a*b* and L*u*v*, using their components in the extraction of texture and color information. Were used Machine Learning techniques, mathematical algorithms for segmentation and extraction of attributes, using a database containing 172 images in two versions. In recovery tests were used different distance metrics for performance evaluation and techniques of features selection. The results show good potential to support the diagnosis and monitoring of treatment progress with values up to 75% precision in recovery techniques, 0.9 area under the curve receiver-operating-characteristic) in classification, and 0.04 mean square error between the color composition of the automatically segmented image and the manually segmented image. In tests utilizing feature selection was observed a decrease in precision values of image retrieval (60%) and similar values in the classification\'s tests (0.85).

Úlceras de pele são causadas devido à deficiência na circulação sanguínea. O diagnóstico é feito pela análise visual das regiões afetadas. A quantificação da distribuição de cores da lesão, por meio de técnicas de processamento de imagens pode auxiliar na caracterização e análise da dinâmica do processo patológico e resposta ao tratamento. O processamento de imagens de úlceras dermatológicas envolve etapas relacionadas a segmentação, caracterização e indexação. Esta análise é importante para classificação, recuperação de imagens similares e acompanhamento da evolução de uma lesão. Este trabalho apresenta um estudo sobre técnicas de segmentação e caracterização de imagens coloridas de úlceras de pele, baseadas nos modelos de cores RGB, HSV, L*a*b* e L*u*v*, utilizando suas componentes na extração de informações de textura e cor. Foram utilizadas técnicas de Aprendizado de Máquina e algoritmos matemáticos para a segmentação e extração de atributos, utilizando uma base de dados com 172 imagens. Nos testes de recuperação, foram utilizadas diferentes métricas de distância para avaliação do desempenho e técnicas de seleção de atributos. Os resultados obtidos evidenciam bom potencial para apoio ao diagnóstico e acompanhamento da evolução do tratamento com valores de até 75% de precisão para as técnicas de recuperação, 0,9 de área embaixo da curva receiver-operating-characteristic na classificação e 0,04 de erro médio quadrático entre a composição de cores da imagem segmentada automaticamente e a segmentada manualmente. Nos testes utilizando seleção de atributos, foi observado uma redução nos valores de precisão de recuperação (60%) e valores similares nos tetes de classificação (0,85). / Skin ulcers are caused due to deficiency in the bloodstream. The diagnosis is made by a visual analysis of the affected area. Quantification of color distribution of the lesion by image processing techniques can aid in the characterization and response to treatment. The image processing steps involves skin ulcers related to segmentation, characterization and indexing. This analysis is important for classification, image retrieval and similar tracking the evolution of an injury. This project presents a study of segmentation techniques and characterization of color images of dermatological skin ulcers, based on the color models RGB, HSV, L*a*b* and L*u*v*, using their components in the extraction of texture and color information. Were used Machine Learning techniques, mathematical algorithms for segmentation and extraction of attributes, using a database containing 172 images in two versions. In recovery tests were used different distance metrics for performance evaluation and techniques of features selection. The results show good potential to support the diagnosis and monitoring of treatment progress with values up to 75% precision in recovery techniques, 0.9 area under the curve receiver-operating-characteristic) in classification, and 0.04 mean square error between the color composition of the automatically segmented image and the manually segmented image. In tests utilizing feature selection was observed a decrease in precision values of image retrieval (60%) and similar values in the classification\'s tests (0.85).