Made available in DSpace on 2014-07-29T12:05:35Z (GMT). No. of bitstreams: 1 christian dias cabacinha.pdf: 7448650 bytes, checksum: 0286d0fd9ddc8fb807323c8fae9580d8 (MD5) Previous issue date: 2008-03-25 / The upper Araguaia river basin region has been transformed by rapid and intensive human occupation processes that began in the 1970s, and now the landscape is highly fragmented. Remnant forests are surrounded by cotton and soybean plantations and pasture. They continue to be subjected to degradation and little is known about their ecological integrity. The objective of this research is increase knowledge of the remnant forest flora and provide support for public conservation and recovery policies for these remnant forests. This research consists of four chapters. The first chapter assessed fragmentation patterns under the assumption that intensive land occupation and agriculture compromised landscape structure and forest conservation in the basin. The second chapter assessed whether remnant forest tree size class structure differed from undegraded forests. The third chapter investigated whether forest remnants situated in close proximity to Emas National Park and incorporated into The Emas-Pantanal Biodiversity Corridor had higher species diversity than other remnants. The fourth chapter showed that species diversity was correlated with and vegetation indices obtained from satellite images, due to the indices sensitivity to changes in vegetation structure. These indices could be used in the future to highlight priority areas for conservation and in devising recovery policies. The major conclusions of this research are that the ecological integrity of remnant forests in the Upper Araguaia River Basin is compromised, predominantly due to lack of connectivity between the fragments and continuing exposure to degradation processes including tree felling and cattle grazing. Tree species diversity is high in these fragments, however, and species composition is dominated by small diameter early successional species. This research also established that vegetation indices obtained from satellite images, is a powerful tool in remnant forest species diversity modelling and can be used as a tool for environmental planning in areas under strong antropic pressure. This information is relevant to other degraded river basins in the Cerrado region. This research contributes to improved knowledge of the rich diversity of Brazilian forests and recognition that this diversity is threatened, particularly in the Upper Araguaia River basin, southwest of Goias State. / A região da alta bacia do rio Araguaia vem sendo objeto de profundas transformações relacionadas ao processo de ocupação rápida e intensa das terras a partir do final dos anos 70. Atualmente a paisagem nesta região, encontra-se completamente fragmenta. As ilhas de vegetação remanescentes, em sua maioria estão isoladas, cercadas por culturas agrícolas (soja e algodão) e por pastos, expostas diariamente a vários agentes de degradação e nada se sabe sobre a integridade destes remanescentes. A presente tese intitulada Caracterização física, estrutural e da diversidade florística de fragmentos florestais na alta bacia do rio Araguaia visa preencher uma lacuna sobre o conhecimento da flora e assim subsidiar políticas que busquem a conservação e a recuperação dos atuais fragmentos florestais desta região. Foi estruturada em quatro artigos. No primeiro, buscou-se analisar a estrutura da paisagem da área de estudo para avaliar seu padrão de fragmentação. Partiu-se do princípio de que, devido ao intenso processo de ocupação das terras na região e o uso atual do solo, a estrutura da paisagem e a conservação da vegetação na bacia estavam comprometidas. No segundo, a hipótese básica é que, uma vez que a estrutura da paisagem está comprometida e que os remanescentes estão expostos a vários agentes de degradação, as comunidades florestais estariam perturbadas e apresentariam estrutura diamétrica desequilibrada. No terceiro a hipótese é que embora muitos fragmentos tivessem tamanho reduzido e estivessem desconectados a outras áreas fora da bacia e cercados por culturas agrícolas, a diversidade de espécies na área de estudo era grande por estar próxima a duas unidade de conservação, o Parque Nacional das Emas e o Parque Estadual das Nascentes do Taquari, e por estar inserida no corredor de biodiversidade Emas-Pantanal. No quarto a hipótese é que, os índices de vegetação, obtidos de imagens orbitais, por serem sensíveis às mudanças da estrutura da vegetação são correlacionados com a diversidade de espécies e, portanto podem ser utilizados como indicadores de áreas prioritárias para ações de recuperação e conservação. As hipóteses foram confirmadas, demonstrando que a integridade dos fragmentos na alta bacia do rio Araguaia está comprometida, principalmente, pela falta de conectividade entre os fragmentos e pela exposição diária dos remanescentes aos agentes de degradação como corte seletivo de lenha e a presença de gado. Entretanto ainda existe uma grande diversidade de espécies, embora a comunidade vegetal seja composta por indivíduos de pequenos diâmetros e pertencentes a estágios sucessionais iniciais. Este estudo ainda revelou que os índices de vegetação obtidos de imagens de satélite, são poderosos parâmetros para a modelagem da diversidade de fragmentos florestais e, portanto podem ser usados como uma ferramenta no planejamento ambiental em áreas sob forte pressão antrópica. Estas informações são relevantes devido à realidade atual de muitas bacias em outras regiões do Cerrado onde a vegetação natural foi reduzida a pequenos fragmentos e confinadas em locais onde as condições edáficas são desfavoráveis à agricultura. Espera-se, com o presente estudo, colaborar para o enriquecimento do conhecimento sobre a valiosa diversidade florestal brasileira e sobre os fatores que comprometem a integridade desta diversidade, em particular na região da alta bacia do rio Araguaia, no sudoeste do estado de Goiás.

La question de recherche des objets vidéo basés sur le contenu lui-même, est de plus en plus difficile et devient un élément obligatoire pour les moteurs de recherche vidéo. Cette thèse présente un cadre pour la recherche des objets vidéo définis par l'utilisateur et apporte deux grandes contributions. La première contribution, intitulée DOOR (Dynamic Object Oriented Retrieval), est un cadre méthodologique pour la recherche et récupération des instances d'objets vidéo sélectionnés par un utilisateur, tandis que la seconde contribution concerne le support offert pour la recherche des vidéos, à savoir la navigation dans les vidéo, le système de récupération de vidéos et l'interface avec son architecture sous-jacente.Dans le cadre DOOR, l’objet comporte une représentation hybride obtenues par une sur-segmentation des images, consolidé avec la construction des graphs d’adjacence et avec l’agrégation des points d'intérêt. L'identification des instances d'objets à travers plusieurs vidéos est formulée comme un problème d’optimisation de l'énergie qui peut approximer un tache NP-difficile. Les objets candidats sont des sous-graphes qui rendent une énergie optimale vers la requête définie par l'utilisateur. Quatre stratégies d'optimisation sont proposées: Greedy, Greedy relâché, recuit simulé et GraphCut. La représentation de l'objet est encore améliorée par l'agrégation des points d'intérêt dans la représentation hybride, où la mesure de similarité repose sur une technique spectrale intégrant plusieurs types des descripteurs. Le cadre DOOR est capable de s’adapter à des archives vidéo a grande échelle grâce à l'utilisation de représentation sac-de-mots, enrichi avec un algorithme de définition et d’expansion de la requête basée sur une approche multimodale, texte, image et vidéo. Les techniques proposées sont évaluées sur plusieurs corpora de test TRECVID et qui prouvent leur efficacité.La deuxième contribution, OVIDIUS (On-line VIDeo Indexing Universal System) est une plate-forme en ligne pour la navigation et récupération des vidéos, intégrant le cadre DOOR. Les contributions de cette plat-forme portent sur le support assuré aux utilisateurs pour la recherche vidéo - navigation et récupération des vidéos, interface graphique. La plate-forme OVIDIUS dispose des fonctionnalités de navigation hiérarchique qui exploite la norme MPEG-7 pour la description structurelle du contenu vidéo. L'avantage majeur de l'architecture propose c’est sa structure modulaire qui permet de déployer le système sur terminaux différents (fixes et mobiles), indépendamment des systèmes d'exploitation impliqués. Le choix des technologies employées pour chacun des modules composant de la plate-forme est argumentée par rapport aux d'autres options technologiques. / With the ever increasing amount of available video content on video repositories the issue of content-based video objects retrieval is growing in difficulty and becomes a mandatory feature for video search engines.The present thesis advances a user defined video object retrieval framework and brings two major contributions. The first contribution is a methodological framework for user selected video object instances retrieval, entitled DOOR (Dynamic Object Oriented Retrieval), while the second one concerns the support offered for video retrieval, namely the video navigation and retrieval system and interface and its underlying architecture.Under the DOOR framework, the user defined video object comports a hybrid representation obtained by over-segmenting the frames, constructing region adjacency graphs and aggregating interest points. The identification of object instances across multiple videos is formulated as an energy optimization problem approximating an NP-hard problem. Object candidates are sub-graphs that yield an optimum energy towards the user defined query. In order to obtain the optimum energy four optimization strategies are proposed: Greedy, Relaxed Greedy, Simulated Annealing and GraphCut. The region-based object representation is further improved by the aggregation of interest points into a hybrid object representation. The similarity between an object and a frame is achieved with the help of a spectral matching technique integrating both colorimetric and interest points descriptors.The DOOR framework is suitable to large scale video archives through the use of a Bag-of-Words representation enriched with a query definition and expansion mechanism based on a multi-modal, text-image-video principle.The performances of the proposed techniques are evaluated on multiple TRECVID video datasets prooving their effectiveness.The second contribution is related to the user support for video retrieval - video navigation, video retrieval, graphical interface - and consists in the OVIDIUS (On-line VIDeo Indexing Universal System) on-line video browsing and retrieval platform. The OVIDIUS platform features hierarchical video navigation functionalities that exploit the MPEG-7 approach for structural description of video content. The DOOR framework is integrated in the OVIDIUS platform, ensuring the search functionalities of the system. The major advantage of the proposed system concerns its modular architecture which makes it possible to deploy the system on various terminals (both fixed and mobile), independently of the exploitation systems involved. The choice of the technologies employed for each composing module of the platform is argumented in comparison with other technological options. Finally different scenarios and use cases for the OVIDIUS platform are presented.

Audiovisuelle Medien, insbesondere Filme und Fernsehsendungen entwickelten sich innerhalb der letzten einhundert Jahre zu bedeutenden Massenmedien. Große Bestände audiovisueller Medien werden heute in Datenbanken und Mediatheken verwaltet und professionellen Nutzern ebenso wie den privaten Konsumenten zur Verfügung gestellt. Eine besondere Herausforderung liegt in der Indexierung, Durchsuchung und Beschreibung der multimedialen Datenbestände. Die Segmentierung audiovisueller Medien, als Teilgebiet der Videoanalyse, bildet die Grundlage für verschiedene Anwendungen im Bereich Multimedia-Information-Retrieval, Content-Browsing und Video-Summarization. Insbesondere die Segmentierung in semantische Handlungsanschnitte bei narrativen Medien gestaltet sich schwierig. Sie setzt ein besonderes Verständnis der filmischen Stilelemente vorraus, die im Rahmen des Schaffensprozesses genutzt wurden, um die Handlung und Narration zu unterstützten. Die Arbeit untersucht die bekannten filmischen Stilelemente und wie sie sich im Rahmen algorithmischer Verfahren für die Analyse nutzen lassen. Es kann gezeigt werden, dass unter Verwendung eines mehrstufigen Analyse-Prozesses semantische Zusammenhänge in narrativen audiovisuellen Medien gefunden werden können, die zu einer geeigneten Sequenz-Segmentierung führen. / Audiovisual media, especially movies and TV shows, developed within the last hundred years into major mass media. Today, large stocks of audiovisual media are managed in databases and media libraries. The content is provided to professional users as well as private consumers. A particular challenge lies in the indexing, searching and description of multimedia assets. The segmentation of audiovisual media as a branch of video analysis forms the basis for various applications in multimedia information retrieval, content browsing and video summarization. In particular, the segmentation into semantic meaningful scenes or sequences is difficult. It requires a special understanding of cinematic style elements that were used to support the narration during the creative process of film production. This work examines the cinematic style elements and how they can be used in the context of algorithmic methods for analysis. For this purpose, an analysis framework was developed as well as a method for sequence-segmentation of films and videos. It can be shown that semantic relationships can be found in narrative audiovisual media, which lead to an appropriate sequence segmentation, by using a multi-stage analysis process, based on visual MPEG-7 descriptors.

The chemical bond – a corner stone in science and a prerequisite for life – is the focus of this thesis. Fundamental and applied aspects of chemical bonding are covered including the development of new computational methods for the characterization and rationalization of chemical interactions. The thesis also covers the study of corrosion of copper-based materials. The latter is motivated by the proposed use of copper as encapsulating material for spent nuclear fuel in Sweden. In close collaboration with experimental groups, state-of-the-art computational methods were employed for the study of chemistry at the atomic scale. First, oxidation of nanoparticulate copper was examined in anoxic aqueous media in order to better understand the copper-water thermodynamics in relation to the corrosion of copper material under oxygen free conditions. With a similar ambition, the water-cuprite interface was investigated with regards to its chemical composition and reactivity. This was compared to the behavior of methanol and hydrogen sulfide at the cuprite surface. An overall ambition during the development of computational methods for the analysis of chemical bonding was to bridge the gap between molecular and materials chemistry. Theory and results are thus presented and applied in both a molecular and a solid-state framework. A new property, the local electron attachment energy, for the characterization of a compound’s local electrophilicity was introduced. Together with the surface electrostatic potential, the new property predicts and rationalizes regioselectivity and trends of molecular reactions, and interactions on metal and oxide nanoparticles and extended surfaces. Detailed atomistic understanding of chemical processes is a prerequisite for the efficient development of chemistry. We therefore envisage that the results of this thesis will find widespread use in areas such as heterogeneous catalysis, drug discovery, and nanotechnology. / Den kemiska bindningen – en hörnsten inom naturvetenskapen och oumbärlig för allt liv – är det centrala temat i den här avhandlingen. Både grundläggande och tillämpade aspekter behandlas. Detta inkluderar utvecklingen av nya beräkningsmetoder för förståelse och karaktärisering av kemiska interaktioner. Dessutom behandlas korrosion av kopparbaserade material. Det sistnämnda är motiverat av förslaget att använda koppar som inkapslingsmaterial för hanteringen av kärnavfall i Sverige. Kvantkemiska beräkningsmetoder enligt state-of-the-art har använts för att studera kemi på atomnivå, detta i nära sammabete med experimentella grupper. Initialt studerades oxidation av kopparnanopartiklar under syrgasfria och vattenrika förhållanden. Detta för att bättre kartlägga koppar-vattensystemets termodynamik. Av samma orsak detaljstuderades även gränsskiktet mellan vatten och kuprit med fokus på dess kemiska sammansättning och reaktivitet. Resultaten har jämförts med metanols och vätesulfids kemiska beteende på ytan av kuprit. En övergripande målsättningen under arbetet med att utveckla nya beräkningsbaserade analysverktyg för kemiska bindningar har varit att överbrygga gapet mellan molekylär- och materialkemi. Därför presenteras teoretiska aspekter samt tillämpningar från både ett molekylärt samt ett fast-fas perspektiv. En ny deskriptor för karaktärisering av föreningars lokala elektrofilicitet har introducerats – den lokala elektronadditionsenergin. Tillsammans med den elektrostatiska potentialen uppvisar den nya deskriptorn förmåga att förutsäga samt förklara regioselektivitet och trender för molekylära reaktioner, och för interaktioner på metal- och oxidbaserade nanopartiklar och ytor. En detaljerad förståelse av kemiska processer på atomnivå är en nödvändighet för ett effektivt utvecklande av kemivetenskapen. Vi förutspår därför att resultaten från den här avhandlingen kommer att få omfattande användning inom områden som heterogen katalys, läkemedelsdesign och nanoteknologi. / <p>QC 20170829</p>

En los ultimos años el número de casos de ceguera se ha reducido significativamente. A pesar de este hecho, la Organización Mundial de la Salud estima que un 80% de los casos de pérdida de visión (285 millones en 2010) pueden ser evitados si se diagnostican en sus estadios más tempranos y son tratados de forma efectiva. Para cumplir esta propuesta se pretende que los servicios de atención primaria incluyan un seguimiento oftalmológico de sus pacientes así como fomentar campañas de cribado en centros proclives a reunir personas de alto riesgo. Sin embargo, estas soluciones exigen una alta carga de trabajo de personal experto entrenado en el análisis de los patrones anómalos propios de cada enfermedad. Por lo tanto, el desarrollo de algoritmos para la creación de sistemas de cribado automáticos juga un papel vital en este campo. La presente tesis persigue la identificacion automática del daño retiniano provocado por dos de las patologías más comunes en la sociedad actual: la retinopatía diabética (RD) y la degenaración macular asociada a la edad (DMAE). Concretamente, el objetivo final de este trabajo es el desarrollo de métodos novedosos basados en la extracción de características de la imagen de fondo de ojo y clasificación para discernir entre tejido sano y patológico. Además, en este documento se proponen algoritmos de pre-procesado con el objetivo de normalizar la alta variabilidad existente en las bases de datos publicas de imagen de fondo de ojo y eliminar la contribución de ciertas estructuras retinianas que afectan negativamente en la detección del daño retiniano. A diferencia de la mayoría de los trabajos existentes en el estado del arte sobre detección de patologías en imagen de fondo de ojo, los métodos propuestos a lo largo de este manuscrito evitan la necesidad de segmentación de las lesiones o la generación de un mapa de candidatos antes de la fase de clasificación. En este trabajo, Local binary patterns, perfiles granulométricos y la dimensión fractal se aplican de manera local para extraer información de textura, morfología y tortuosidad de la imagen de fondo de ojo. Posteriormente, esta información se combina de diversos modos formando vectores de características con los que se entrenan avanzados métodos de clasificación formulados para discriminar de manera óptima entre exudados, microaneurismas, hemorragias y tejido sano. Mediante diversos experimentos, se valida la habilidad del sistema propuesto para identificar los signos más comunes de la RD y DMAE. Para ello se emplean bases de datos públicas con un alto grado de variabilidad sin exlcuir ninguna imagen. Además, la presente tesis también cubre aspectos básicos del paradigma de deep learning. Concretamente, se presenta un novedoso método basado en redes neuronales convolucionales (CNNs). La técnica de transferencia de conocimiento se aplica mediante el fine-tuning de las arquitecturas de CNNs más importantes en el estado del arte. La detección y localización de exudados mediante redes neuronales se lleva a cabo en los dos últimos experimentos de esta tesis doctoral. Cabe destacar que los resultados obtenidos mediante la extracción de características "manual" y posterior clasificación se comparan de forma objetiva con las predicciones obtenidas por el mejor modelo basado en CNNs. Los prometedores resultados obtenidos en esta tesis y el bajo coste y portabilidad de las cámaras de adquisión de imagen de retina podrían facilitar la incorporación de los algoritmos desarrollados en este trabajo en un sistema de cribado automático que ayude a los especialistas en la detección de patrones anomálos característicos de las dos enfermedades bajo estudio: RD y DMAE. / In last years, the number of blindness cases has been significantly reduced. Despite this promising news, the World Health Organisation estimates that 80% of visual impairment (285 million cases in 2010) could be avoided if diagnosed and treated early. To accomplish this purpose, eye care services need to be established in primary health and screening campaigns should be a common task in centres with people at risk. However, these solutions entail a high workload for trained experts in the analysis of the anomalous patterns of each eye disease. Therefore, the development of algorithms for automatic screening system plays a vital role in this field. This thesis focuses on the automatic identification of the retinal damage provoked by two of the most common pathologies in the current society: diabetic retinopathy (DR) and age-related macular degeneration (AMD). Specifically, the final goal of this work is to develop novel methods, based on fundus image description and classification, to characterise the healthy and abnormal tissue in the retina background. In addition, pre-processing algorithms are proposed with the aim of normalising the high variability of fundus images and removing the contribution of some retinal structures that could hinder in the retinal damage detection. In contrast to the most of the state-of-the-art works in damage detection using fundus images, the methods proposed throughout this manuscript avoid the necessity of lesion segmentation or the candidate map generation before the classification stage. Local binary patterns, granulometric profiles and fractal dimension are locally computed to extract texture, morphological and roughness information from retinal images. Different combinations of this information feed advanced classification algorithms formulated to optimally discriminate exudates, microaneurysms, haemorrhages and healthy tissues. Through several experiments, the ability of the proposed system to identify DR and AMD signs is validated using different public databases with a large degree of variability and without image exclusion. Moreover, this thesis covers the basics of the deep learning paradigm. In particular, a novel approach based on convolutional neural networks is explored. The transfer learning technique is applied to fine-tune the most important state-of-the-art CNN architectures. Exudate detection and localisation tasks using neural networks are carried out in the last two experiments of this thesis. An objective comparison between the hand-crafted feature extraction and classification process and the prediction models based on CNNs is established. The promising results of this PhD thesis and the affordable cost and portability of retinal cameras could facilitate the further incorporation of the developed algorithms in a computer-aided diagnosis (CAD) system to help specialists in the accurate detection of anomalous patterns characteristic of the two diseases under study: DR and AMD. / En els últims anys el nombre de casos de ceguera s'ha reduït significativament. A pesar d'este fet, l'Organització Mundial de la Salut estima que un 80% dels casos de pèrdua de visió (285 milions en 2010) poden ser evitats si es diagnostiquen en els seus estadis més primerencs i són tractats de forma efectiva. Per a complir esta proposta es pretén que els servicis d'atenció primària incloguen un seguiment oftalmològic dels seus pacients així com fomentar campanyes de garbellament en centres regentats per persones d'alt risc. No obstant això, estes solucions exigixen una alta càrrega de treball de personal expert entrenat en l'anàlisi dels patrons anòmals propis de cada malaltia. Per tant, el desenrotllament d'algoritmes per a la creació de sistemes de garbellament automàtics juga un paper vital en este camp. La present tesi perseguix la identificació automàtica del dany retiniano provocat per dos de les patologies més comunes en la societat actual: la retinopatia diabètica (RD) i la degenaración macular associada a l'edat (DMAE) . Concretament, l'objectiu final d'este treball és el desenrotllament de mètodes novedodos basats en l'extracció de característiques de la imatge de fons d'ull i classificació per a discernir entre teixit sa i patològic. A més, en este document es proposen algoritmes de pre- processat amb l'objectiu de normalitzar l'alta variabilitat existent en les bases de dades publiques d'imatge de fons d'ull i eliminar la contribució de certes estructures retinianas que afecten negativament en la detecció del dany retiniano. A diferència de la majoria dels treballs existents en l'estat de l'art sobre detecció de patologies en imatge de fons d'ull, els mètodes proposats al llarg d'este manuscrit eviten la necessitat de segmentació de les lesions o la generació d'un mapa de candidats abans de la fase de classificació. En este treball, Local binary patterns, perfils granulometrics i la dimensió fractal s'apliquen de manera local per a extraure informació de textura, morfologia i tortuositat de la imatge de fons d'ull. Posteriorment, esta informació es combina de diversos modes formant vectors de característiques amb els que s'entrenen avançats mètodes de classificació formulats per a discriminar de manera òptima entre exsudats, microaneurismes, hemorràgies i teixit sa. Per mitjà de diversos experiments, es valida l'habilitat del sistema proposat per a identificar els signes més comuns de la RD i DMAE. Per a això s'empren bases de dades públiques amb un alt grau de variabilitat sense exlcuir cap imatge. A més, la present tesi també cobrix aspectes bàsics del paradigma de deep learning. Concretament, es presenta un nou mètode basat en xarxes neuronals convolucionales (CNNs) . La tècnica de transferencia de coneixement s'aplica per mitjà del fine-tuning de les arquitectures de CNNs més importants en l'estat de l'art. La detecció i localització d'exudats per mitjà de xarxes neuronals es du a terme en els dos últims experiments d'esta tesi doctoral. Cal destacar que els resultats obtinguts per mitjà de l'extracció de característiques "manual" i posterior classificació es comparen de forma objectiva amb les prediccions obtingudes pel millor model basat en CNNs. Els prometedors resultats obtinguts en esta tesi i el baix cost i portabilitat de les cambres d'adquisión d'imatge de retina podrien facilitar la incorporació dels algoritmes desenrotllats en este treball en un sistema de garbellament automàtic que ajude als especialistes en la detecció de patrons anomálos característics de les dos malalties baix estudi: RD i DMAE. / Colomer Granero, A. (2018). Fundus image analysis for automatic screening of ophthalmic pathologies [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/99745 / TESIS

Audiovisuelle Medien, insbesondere Filme und Fernsehsendungen entwickelten sich innerhalb der letzten einhundert Jahre zu bedeutenden Massenmedien. Große Bestände audiovisueller Medien werden heute in Datenbanken und Mediatheken verwaltet und professionellen Nutzern ebenso wie den privaten Konsumenten zur Verfügung gestellt. Eine besondere Herausforderung liegt in der Indexierung, Durchsuchung und Beschreibung der multimedialen Datenbestände. Die Segmentierung audiovisueller Medien, als Teilgebiet der Videoanalyse, bildet die Grundlage für verschiedene Anwendungen im Bereich Multimedia-Information-Retrieval, Content-Browsing und Video-Summarization. Insbesondere die Segmentierung in semantische Handlungsanschnitte bei narrativen Medien gestaltet sich schwierig. Sie setzt ein besonderes Verständnis der filmischen Stilelemente vorraus, die im Rahmen des Schaffensprozesses genutzt wurden, um die Handlung und Narration zu unterstützten. Die Arbeit untersucht die bekannten filmischen Stilelemente und wie sie sich im Rahmen algorithmischer Verfahren für die Analyse nutzen lassen. Es kann gezeigt werden, dass unter Verwendung eines mehrstufigen Analyse-Prozesses semantische Zusammenhänge in narrativen audiovisuellen Medien gefunden werden können, die zu einer geeigneten Sequenz-Segmentierung führen. / Audiovisual media, especially movies and TV shows, developed within the last hundred years into major mass media. Today, large stocks of audiovisual media are managed in databases and media libraries. The content is provided to professional users as well as private consumers. A particular challenge lies in the indexing, searching and description of multimedia assets. The segmentation of audiovisual media as a branch of video analysis forms the basis for various applications in multimedia information retrieval, content browsing and video summarization. In particular, the segmentation into semantic meaningful scenes or sequences is difficult. It requires a special understanding of cinematic style elements that were used to support the narration during the creative process of film production. This work examines the cinematic style elements and how they can be used in the context of algorithmic methods for analysis. For this purpose, an analysis framework was developed as well as a method for sequence-segmentation of films and videos. It can be shown that semantic relationships can be found in narrative audiovisual media, which lead to an appropriate sequence segmentation, by using a multi-stage analysis process, based on visual MPEG-7 descriptors.

The field of computer vision has long pursued the challenge of understanding the three-dimensional world. This endeavour is further fuelled by the increasing demand for technologies that rely on accurate perception of the 3D environment such as autonomous driving and augmented reality. However, the labelled data scarcity in the 3D domain continues to be a hindrance to extensive research and development. Semi-Supervised Learning is a valuable tool to overcome data scarcity yet most of the state-of-art methods are primarily developed and tested for two-dimensional vision problems. To address this challenge, there is a need to explore innovative approaches that can bridge the gap between 2D and 3D domains. In this work, we propose a technique that both leverages the existing abundance of two-dimensional data and makes the state-of-art semi-supervised learning methods directly applicable to 3D tasks. Multi-View Meta Pseudo Labelling (MV-MPL) combines one of the best-performing architectures in 3D shape recognition, Multi-View Convolutional Neural Networks, together with the state-of-art semi-supervised method, Meta Pseudo Labelling. To evaluate the performance of MV-MPL, comprehensive experiments are conducted on widely used shape recognition benchmarks ModelNet40, ShapeNetCore-v1, and ShapeNetCore-v2, as well as, Objaverse-LVIS. The results demonstrate that MV-MPL achieves competitive accuracy compared to fully supervised models, even when only \(10%\) of the labels are available. Furthermore, the study reveals that the object descriptors extracted from the MV-MPL model exhibit strong performance on shape retrieval tasks, indicating the effectiveness of the approach beyond classification objectives. Further analysis includes the evaluation of MV-MPL under more restrained scenarios, the enhancements to the view aggregation and pseudo-labelling processes; and the exploration of the potential of employing multi-views as augmentations for semi-supervised learning. / Forskningsområdet för datorseende har länge strävat efter utmaningen att förstå den tredimensionella världen. Denna strävan drivs ytterligare av den ökande efterfrågan på teknologier som är beroende av en korrekt uppfattning av den tredimensionella miljön, såsom autonom körning och förstärkt verklighet. Dock fortsätter bristen på märkt data inom det tredimensionella området att vara ett hinder för omfattande forskning och utveckling. Halv-vägledd lärning (semi-supervised learning) framträder som ett värdefullt verktyg för att övervinna bristen på data, ändå är de flesta av de mest avancerade semisupervised-metoderna primärt utvecklade och testade för tvådimensionella problem inom datorseende. För att möta denna utmaning krävs det att utforska innovativa tillvägagångssätt som kan överbrygga klyftan mellan 2D- och 3D-domänerna. I detta arbete föreslår vi en teknik som både utnyttjar den befintliga överflöd av tvådimensionella data och gör det möjligt att direkt tillämpa de mest avancerade semisupervised-lärandemetoderna på 3D-uppgifter. Multi-View Meta Pseudo Labelling (MV-MPL) kombinerar en av de bästa arkitekturerna för 3D-formigenkänning, Multi-View Convolutional Neural Networks, tillsammans med den mest avancerade semisupervised-metoden, Meta Pseudo Labelling. För att utvärdera prestandan hos MV-MPL genomförs omfattande experiment på väl använda uvärderingar för formigenkänning., ModelNet40, ShapeNetCore-v1 och ShapeNetCore-v2. Resultaten visar att MV-MPL uppnår konkurrenskraftig noggrannhet jämfört med helt vägledda modeller, även när endast \(10%\) av etiketterna är tillgängliga. Dessutom visar studien att objektbeskrivningarna som extraherats från MV-MPL-modellen uppvisar en stark prestanda i formåterhämtningsuppgifter, vilket indikerar effektiviteten hos tillvägagångssättet bortom klassificeringsmål. Vidare analys inkluderar utvärderingen av MV-MPL under mer begränsade scenarier, förbättringar av vyaggregerings- och pseudomärkningsprocesserna samt utforskning av potentialen att använda bilder från flera vinklar som en metod att få mer data för halv-vägledd lärande.

We formulate Local Shape Descriptor selection for model-based object recognition in range data as an optimization problem and offer a platform that facilitates a solution. The goal of object recognition is to identify and localize objects of interest in an image. Recognition is often performed in three phases: point matching, where correspondences are established between points on the 3-D surfaces of the models and the range image; hypothesis generation, where rough alignments are found between the image and the visible models; and pose refinement, where the accuracy of the initial alignments is improved. The overall efficiency and reliability of a recognition system is highly influenced by the effectiveness of the point matching phase. Local Shape Descriptors are used for establishing point correspondences by way of encapsulating local shape, such that similarity between two descriptors indicates geometric similarity between their respective neighbourhoods. We present a generalized platform for constructing local shape descriptors that subsumes a large class of existing methods and allows for tuning descriptors to the geometry of specific models and to sensor characteristics. Our descriptors, termed as Variable-Dimensional Local Shape Descriptors, are constructed as multivariate observations of several local properties and are represented as histograms. The optimal set of properties, which maximizes the performance of a recognition system, depend on the geometry of the objects of interest and the noise characteristics of range image acquisition devices and is selected through pre-processing the models and sample training images. Experimental analysis confirms the superiority of optimized descriptors over generic ones in recognition tasks in LIDAR and dense stereo range images. / Thesis (Ph.D, Electrical & Computer Engineering) -- Queen's University, 2009-09-01 11:07:32.084

<p>The doctoral thesis deals with the study of quantitative aspects of shape attribute ssuitable for numerical characterization, i.e., shape descriptors, as well as the theory of uncertainty, particularly the theory of fuzzy sets, and their application in image<br />processing. The original contributions and results of the thesis can be naturally divided into two groups, in accordance with the approaches used to obtain them. The first group of contributions relates to introducing new shape descriptors (of hexagonality and fuzzy squareness) and associated measures that evaluate to what extent the shape considered satisfies these properties. The introduced measures are naturally defined, theoretically well-founded, and satisfy most of the desirable properties expected to be satisfied by each well-defined shape measure. To mention some of them: they both range through (0,1] and achieve the largest possible value 1 if and only if the shape considered is a hexagon, respectively a fuzzy square; there is no non-zero area shape with the measured hexagonality or fuzzy squareness equal to 0; both introduced measures are invariant to similarity transformations; and provide results that are consistent with the theoretically proven results, as well as human perception and expectation. Numerous experiments on synthetic and real examples are shown aimed to illustrate theoretically proven considerations and to provide clearer insight into the behaviour of the introduced shape measures. Their advantages and applicability are illustrated in various tasks of recognizing and classifying objects images of several well-known and most frequently used image datasets. Besides, the doctoral thesis contains research related to the application of the theory of uncertainty, in the narrower sense fuzzy set theory, in the different tasks of image processing and shape analysis. We distinguish between the tasks relating to the extraction of shape features, and those relating to performance improvement of different image processing and image analysis techniques. Regarding the first group of tasks, we deal with the application of fuzzy set theory in the tasks of introducing new fuzzy shape-based descriptor, named fuzzy squareness, and measuring how much fuzzy square is given fuzzy shape. In the second group of tasks, we deal with<br />the study of improving the performance of estimates of both the Euclidean distance<br />transform in three dimensions (3D EDT) and the centroid distance signature of shape in two dimensions. Performance improvement is particularly reflected in terms of achieved accuracy and precision, increased invariance to geometrical transformations (e.g., rotation and translation), and robustness in the presence of noise and uncertainty resulting from the imperfection of devices or imaging conditions. The latter also refers to the second group of the original contributions and results of the thesis. It is motivated by the fact that the shape analysis traditionally assumes that the objects appearing in the image are previously uniquely and crisply extracted from the image. This is usually achieved in the process of sharp (i.e., binary) segmentation of the original image where a decision on the membership of point to an imaged object is made in a sharp manner. Nevertheless, due to the imperfections of imaging conditions or devices, the presence of noise, and various types of imprecision (e.g., lack of precise object boundary or clear boundaries between the objects, errors in computation, lack of information, etc.), different levels of uncertainty and vagueness in the process of making a decision regarding the membership of image point may potentially occur. This is particularly noticeable in the case of discretization (i.e., sampling) of continuous image domain when a single image element, related to corresponding image sample point, iscovered by multiple objects in an image. In this respect, it is clear that this type of segmentation can potentially lead to a wrong decision on the membership of image points, and consequently irreversible information loss about the imaged objects. This<br />stems from the fact that image segmentation performed in this way does not permit that the image point may be a member to a particular imaged object to some degree, further leading to the potential risk that points partially contained in the object before<br />segmentation will not be assigned to the object after segmentation. However, if instead of binary segmentation, it is performed segmentation where a decision about the membership of image point is made in a gradual rather than crisp manner, enabling that point may be a member to an object to some extent, then making a sharp decision on the membership can be avoided at this early analysis step. This further leads that potentially a large amount of object information can be preserved after segmentation and used in the following analysis steps. In this regard, we are interested in one specific type of fuzzy segmentation, named coverage image segmentation, resulting in fuzzy digital image representation where membership value assigned to each image element is proportional to its relative coverage by a continuous object present in the original image. In this thesis, we deal with the study of coverage digitization model providing coverage digital image representation and present how significant improvements in estimating 3D EDT, as well as the centroid distance signature of continuous shape, can be achieved, if the coverage<br />information available in this type of image representation is appropriately considered.</p> / <p>Докторска дисертација се бави проучавањем квантитативних аспеката атрибута<br />облика погодних за нумеричку карактеризацију, то јест дескриптора облика, као и<br />теоријом неодређености, посебно теоријом фази скупова, и њиховом применом у обради слике. Оригинални доприноси и резултати тезе могу се природно поделити у две групе, у складу са приступом и методологијом која је коришћена за њихово добијање. Прва група доприноса односи се на увођење нових дескриптора облика (шестоугаоности и фази квадратности) као и одговарајућих мера које нумерички оцењују у ком обиму разматрани облик задовољава разматрана својства. Уведене мере су природно дефинисане, теоријски добро засноване и задовољавају већину пожељних својстава које свака добро дефинисана мера облика треба да задовољава. Поменимо неке од њих: обе мере узимају вредности из интервала (0,1] и достижу највећу могућу вредност 1 ако и само ако је облик који се посматра шестоугао, односно фази квадрат; не постоји облик не-нула површине чија је измерена шестоугаоност, односно фази квадратност једнака 0; обе уведене мере су инваријантне у односу на трансформације сличности; и дају резултате који су у складу са теоријски доказаним резултатима, као и људском перцепцијом и очекивањима. Бројни експерименти на синтетичким и реалним примерима приказани су у циљу илустровања теоријски доказаних разматрања и пружања јаснијег увида у понашање уведених мера. Њихова предност и корисност илустровани су у различитим задацима препознавања и класификације слика објеката неколико познатих и најчешће коришћених база слика. Поред тога, докторска теза садржи истраживања везана за примену теорије неодређености, у ужем смислу теорије фази скупова, у различитим задацима обраде слике и анализе облика. Разликујемо задатке који се односе на издвајање карактеристика облика и<br />оне који се односе на побољшање перформанси различитих техника обраде и<br />анализе слике. Што се тиче прве групе задатака, бавимо се применом теорије фази скупова у задацима дефинисања новог дескриптора фази облика, назван фази квадратност, и мерења колико је фази квадратан посматрани фази облик. У другој групи задатака бавимо се истраживањем побољшања перформанси оцене трансформације слике еуклидским растојањима у три димензије (3Д ЕДТ), као и сигнатуре непрекидног облика у две димензије засноване на растојању од<br />центроида облика. Ово последње се посебно огледа у постигнутој тачности и<br />прецизности оцене, повећаној инваријантности у односу на ротацију и транслацију објекта, као и робустности у присуству шума и неодређености које су последица несавршености уређаја или услова снимања. Последњи резултати се такође односе и на другу групу оригиналних доприноса тезе који су мотивисани чињеницом да анализа облика традиционално претпоставља да су објекти на слици претходно једнозначно и јасно издвојени из слике. Такво издвајање објеката се обично постиже у процесу јасне (то јест бинарне) сегментације оригиналне слике где се одлука о припадности тачке објекту на слици доноси на једнозначан и недвосмислени начин. Међутим, услед несавршености услова или уређаја за снимање, присуства шума и различитих врста непрецизности (на пример непостојање прецизне границе објекта или јасних граница између самих објеката, грешке у рачунању, недостатка информација, итд.), могу се појавити различити нивои несигурности и неодређености у процесу доношења одлуке у вези са припадношћу тачке слике. Ово је посебно видљиво у случају дискретизације (то јест узорковања) непрекидног домена слике када<br />елемент слике, придружен одговарајућој тачки узорка домена, може бити<br />делимично покривен са више објеката на слици. У том смислу, имамо да ова врста сегментације може потенцијално довести до погрешне одлуке о припадности тачака слике, а самим тим и неповратног губитка информација о објектима који се на слици налазе. То произлази из чињенице да сегментација слике изведена на овај начин не дозвољава да тачка слике може делимично у одређеном обиму бити члан посматраног објекта на слици, што даље води потенцијалном ризику да тачке делимично садржане у објекту пре сегментације неће бити придружене објекту након сегментације. Међутим, ако се уместо бинарне сегментације изврши сегментација слике где се одлука о припадности тачке слике објекту доноси на начин који омогућава да тачка може делимично бити члан објекта у неком обиму, тада се доношење бинарне одлуке о чланство тачке објекту на слици може избећи у овом раном кораку анализе. То даље резултира да се потенцијално велика количина информација о објектима присутним на слици може сачувати након сегментације, и користити у следећим корацима анализе. С тим у вези, од посебног интереса за нас јесте специјална врста фази сегментације слике, сегментација заснована на покривености елемената слике, која као резултат обезбеђује фази дигиталну репрезентацију слике где је вредност чланства додељена сваком елементу пропорционална његовој релативној покривености непрекидним објектом на оригиналној слици. У овој тези бавимо се истраживањем модела дигитализације покривености који пружа овакву врсту репрезентацију слике и представљамо како се могу постићи значајна побољшања у оцени 3Д ЕДТ, као и сигнатуре непрекидног облика засноване на растојању од центроида, ако су информације о покривености<br />доступне у овој репрезентацији слике разматране на одговарајући начин.</p> / <p>Doktorska disertacija se bavi proučavanjem kvantitativnih aspekata atributa<br />oblika pogodnih za numeričku karakterizaciju, to jest deskriptora oblika, kao i<br />teorijom neodređenosti, posebno teorijom fazi skupova, i njihovom primenom u obradi slike. Originalni doprinosi i rezultati teze mogu se prirodno podeliti u dve grupe, u skladu sa pristupom i metodologijom koja je korišćena za njihovo dobijanje. Prva grupa doprinosa odnosi se na uvođenje novih deskriptora oblika (šestougaonosti i fazi kvadratnosti) kao i odgovarajućih mera koje numerički ocenjuju u kom obimu razmatrani oblik zadovoljava razmatrana svojstva. Uvedene mere su prirodno definisane, teorijski dobro zasnovane i zadovoljavaju većinu poželjnih svojstava koje svaka dobro definisana mera oblika treba da zadovoljava. Pomenimo neke od njih: obe mere uzimaju vrednosti iz intervala (0,1] i dostižu najveću moguću vrednost 1 ako i samo ako je oblik koji se posmatra šestougao, odnosno fazi kvadrat; ne postoji oblik ne-nula površine čija je izmerena šestougaonost, odnosno fazi kvadratnost jednaka 0; obe uvedene mere su invarijantne u odnosu na transformacije sličnosti; i daju rezultate koji su u skladu sa teorijski dokazanim rezultatima, kao i ljudskom percepcijom i očekivanjima. Brojni eksperimenti na sintetičkim i realnim primerima prikazani su u cilju ilustrovanja teorijski dokazanih razmatranja i pružanja jasnijeg uvida u ponašanje uvedenih mera. NJihova prednost i korisnost ilustrovani su u različitim zadacima prepoznavanja i klasifikacije slika objekata nekoliko poznatih i najčešće korišćenih baza slika. Pored toga, doktorska teza sadrži istraživanja vezana za primenu teorije neodređenosti, u užem smislu teorije fazi skupova, u različitim zadacima obrade slike i analize oblika. Razlikujemo zadatke koji se odnose na izdvajanje karakteristika oblika i<br />one koji se odnose na poboljšanje performansi različitih tehnika obrade i<br />analize slike. Što se tiče prve grupe zadataka, bavimo se primenom teorije fazi skupova u zadacima definisanja novog deskriptora fazi oblika, nazvan fazi kvadratnost, i merenja koliko je fazi kvadratan posmatrani fazi oblik. U drugoj grupi zadataka bavimo se istraživanjem poboljšanja performansi ocene transformacije slike euklidskim rastojanjima u tri dimenzije (3D EDT), kao i signature neprekidnog oblika u dve dimenzije zasnovane na rastojanju od<br />centroida oblika. Ovo poslednje se posebno ogleda u postignutoj tačnosti i<br />preciznosti ocene, povećanoj invarijantnosti u odnosu na rotaciju i translaciju objekta, kao i robustnosti u prisustvu šuma i neodređenosti koje su posledica nesavršenosti uređaja ili uslova snimanja. Poslednji rezultati se takođe odnose i na drugu grupu originalnih doprinosa teze koji su motivisani činjenicom da analiza oblika tradicionalno pretpostavlja da su objekti na slici prethodno jednoznačno i jasno izdvojeni iz slike. Takvo izdvajanje objekata se obično postiže u procesu jasne (to jest binarne) segmentacije originalne slike gde se odluka o pripadnosti tačke objektu na slici donosi na jednoznačan i nedvosmisleni način. Međutim, usled nesavršenosti uslova ili uređaja za snimanje, prisustva šuma i različitih vrsta nepreciznosti (na primer nepostojanje precizne granice objekta ili jasnih granica između samih objekata, greške u računanju, nedostatka informacija, itd.), mogu se pojaviti različiti nivoi nesigurnosti i neodređenosti u procesu donošenja odluke u vezi sa pripadnošću tačke slike. Ovo je posebno vidljivo u slučaju diskretizacije (to jest uzorkovanja) neprekidnog domena slike kada<br />element slike, pridružen odgovarajućoj tački uzorka domena, može biti<br />delimično pokriven sa više objekata na slici. U tom smislu, imamo da ova vrsta segmentacije može potencijalno dovesti do pogrešne odluke o pripadnosti tačaka slike, a samim tim i nepovratnog gubitka informacija o objektima koji se na slici nalaze. To proizlazi iz činjenice da segmentacija slike izvedena na ovaj način ne dozvoljava da tačka slike može delimično u određenom obimu biti član posmatranog objekta na slici, što dalje vodi potencijalnom riziku da tačke delimično sadržane u objektu pre segmentacije neće biti pridružene objektu nakon segmentacije. Međutim, ako se umesto binarne segmentacije izvrši segmentacija slike gde se odluka o pripadnosti tačke slike objektu donosi na način koji omogućava da tačka može delimično biti član objekta u nekom obimu, tada se donošenje binarne odluke o članstvo tačke objektu na slici može izbeći u ovom ranom koraku analize. To dalje rezultira da se potencijalno velika količina informacija o objektima prisutnim na slici može sačuvati nakon segmentacije, i koristiti u sledećim koracima analize. S tim u vezi, od posebnog interesa za nas jeste specijalna vrsta fazi segmentacije slike, segmentacija zasnovana na pokrivenosti elemenata slike, koja kao rezultat obezbeđuje fazi digitalnu reprezentaciju slike gde je vrednost članstva dodeljena svakom elementu proporcionalna njegovoj relativnoj pokrivenosti neprekidnim objektom na originalnoj slici. U ovoj tezi bavimo se istraživanjem modela digitalizacije pokrivenosti koji pruža ovakvu vrstu reprezentaciju slike i predstavljamo kako se mogu postići značajna poboljšanja u oceni 3D EDT, kao i signature neprekidnog oblika zasnovane na rastojanju od centroida, ako su informacije o pokrivenosti<br />dostupne u ovoj reprezentaciji slike razmatrane na odgovarajući način.</p>

Visual place recognition is the task of finding same places in a set of database images for a given set of query images. This becomes particularly challenging for long-term applications when the environmental condition changes between or within the database and query set, e.g., from day to night. Visual place recognition in changing environments can be used if global position data like GPS is not available or very inaccurate, or for redundancy. It is required for tasks like loop closure detection in SLAM, candidate selection for global localization, or multi-robot/multi-session mapping and map merging. In contrast to pure image retrieval, visual place recognition can often build upon additional information and data for improvements in performance, runtime, or memory usage. This includes additional data-inherent knowledge about information that is contained in the image sets themselves because of the way they were recorded. Using data-inherent knowledge avoids the dependency on other sensors, which increases the generality of methods for an integration into many existing place recognition pipelines. This thesis focuses on the usage of additional data-inherent knowledge. After the discussion of basics about visual place recognition, the thesis gives a systematic overview of existing data-inherent knowledge and corresponding methods. Subsequently, the thesis concentrates on a deeper consideration and exploitation of four different types of additional data-inherent knowledge. This includes 1) sequences, i.e., the database and query set are recorded as spatio-temporal sequences so that consecutive images are also adjacent in the world, 2) knowledge of whether the environmental conditions within the database and query set are constant or continuously changing, 3) intra-database similarities between the database images, and 4) intra-query similarities between the query images. Except for sequences, all types have received only little attention in the literature so far. For the exploitation of knowledge about constant conditions within the database and query set (e.g., database: summer, query: winter), the thesis evaluates different descriptor standardization techniques. For the alternative scenario of continuous condition changes (e.g., database: sunny to rainy, query: sunny to cloudy), the thesis first investigates the qualitative and quantitative impact on the performance of image descriptors. It then proposes and evaluates four unsupervised learning methods, including our novel clustering-based descriptor standardization method K-STD and three PCA-based methods from the literature. To address the high computational effort of descriptor comparisons during place recognition, our novel method EPR for efficient place recognition is proposed. Given a query descriptor, EPR uses sequence information and intra-database similarities to identify nearly all matching descriptors in the database. For a structured combination of several sources of additional knowledge in a single graph, the thesis presents our novel graphical framework for place recognition. After the minimization of the graph's error with our proposed ICM-based optimization, the place recognition performance can be significantly improved. For an extensive experimental evaluation of all methods in this thesis and beyond, a benchmark for visual place recognition in changing environments is presented, which is composed of six datasets with thirty sequence combinations.