O interesse no uso de técnicas de aquisição de dados 3D em vídeos interativos e sistemas de videoconferência imersiva aumentou significativamente nos últimos anos. A disponibilidade de sensores de profundidade baseados em luz estruturada no varejo apresenta uma série de novas oportunidades em sistemas de teleconferência, entretenimento e e-learning. No entanto, problemas de oclusão frequentemente ocorrem quando é utilizado um único sensor ou técnicas de reconstrução 2,5D. Outras técnicas de interação e aplicações de teleconferências podem exigir uma reconstrução mais completa do usuário. Uma possível solução para isso implica na utilização de múltiplos dispositivos simultaneamente, o que traz novos desafios relacionados ao processo de calibração de câmaras e a aferição do aumento da superfície capturada quando é adicionado um novo sensor. Neste trabalho é apresentada a proposta VMD (Video-avatar from Multiple Depth maps), uma arquitetura de sistema que trata esses dois problemas. Com a finalidade de validar a viabilidade dessa proposta, três experimentos foram feitos resultando em uma análise qualitativa e quantitativa a fim de encontrar uma configuração adequada de múltiplos sensores de profundidade. / The interest in the use of 3D data acquisition techniques in video based interaction and immersive videoconferencing systems has noticeably increased in recent years. The availability of structured light 3D sensors as off-the-shelf hardware presents a series of new opportunities in teleconferences, entertainment and e-learning. However, occlusion issues often occur when it is used a single sensor or 2,5D reconstruction techniques. Other interaction techniques and teleconferencing applications may require a more complete reconstruction of the user. One possible solution to this involves the use of multiple devices simultaneously, which may bring new challenges related to the calibration process of cameras and measurement of the increase in covered area when it is added a new sensor. In this work we present VMD (Video-avatar from Multiple Depth maps), a system architecture that addresses this two issues. In order to validate the feasibility of this proposal, three experiments were performed resulting in a qualitative and quantitative analysis with the purpose of finding a suitable setup with multiple depth sensors.

O interesse no uso de técnicas de aquisição de dados 3D em vídeos interativos e sistemas de videoconferência imersiva aumentou significativamente nos últimos anos. A disponibilidade de sensores de profundidade baseados em luz estruturada no varejo apresenta uma série de novas oportunidades em sistemas de teleconferência, entretenimento e e-learning. No entanto, problemas de oclusão frequentemente ocorrem quando é utilizado um único sensor ou técnicas de reconstrução 2,5D. Outras técnicas de interação e aplicações de teleconferências podem exigir uma reconstrução mais completa do usuário. Uma possível solução para isso implica na utilização de múltiplos dispositivos simultaneamente, o que traz novos desafios relacionados ao processo de calibração de câmaras e a aferição do aumento da superfície capturada quando é adicionado um novo sensor. Neste trabalho é apresentada a proposta VMD (Video-avatar from Multiple Depth maps), uma arquitetura de sistema que trata esses dois problemas. Com a finalidade de validar a viabilidade dessa proposta, três experimentos foram feitos resultando em uma análise qualitativa e quantitativa a fim de encontrar uma configuração adequada de múltiplos sensores de profundidade. / The interest in the use of 3D data acquisition techniques in video based interaction and immersive videoconferencing systems has noticeably increased in recent years. The availability of structured light 3D sensors as off-the-shelf hardware presents a series of new opportunities in teleconferences, entertainment and e-learning. However, occlusion issues often occur when it is used a single sensor or 2,5D reconstruction techniques. Other interaction techniques and teleconferencing applications may require a more complete reconstruction of the user. One possible solution to this involves the use of multiple devices simultaneously, which may bring new challenges related to the calibration process of cameras and measurement of the increase in covered area when it is added a new sensor. In this work we present VMD (Video-avatar from Multiple Depth maps), a system architecture that addresses this two issues. In order to validate the feasibility of this proposal, three experiments were performed resulting in a qualitative and quantitative analysis with the purpose of finding a suitable setup with multiple depth sensors.

Orientador: João Antonio Pereira / Resumo: O objetivo específico deste trabalho é estender as capacidades da técnica de rastreamento de pontos em 3 dimensões (three-dimensional point tracking – 3DPT) para identificar as características dinâmicas de estruturas grandes e complexas, tais como pás de turbina eólica. Um sistema multi-camera (composto de múltiplos sistemas de estéreo visão calibrados independentemente) é desenvolvido para obter alta resolução espacial de pontos discretos a partir de medidas de deslocamento sobre grandes áreas. Uma proposta de técnica de costura é apresentada e empregada para executar o alinhamento de duas nuvens de pontos, obtidas com a técnica 3DPT, de uma estrutura sob excitação dinâmica. Três diferentes algoritmos de registro de nuvens de pontos são propostos para executar a junção das nuvens de pontos de cada sistema estéreo, análise de componentes principais (Principal Component Analysis - PCA), decomposição de valores singulares (Singular value Decomposition - SVD) e ponto mais próximo iterativo (Iterative Closest Point - ICP). Além disso, análise modal operacional em conjunto com o sistema de medição multi-camera e as técnicas de registro de nuvens de pontos são usadas para determinar a viabilidade de usar medidas ópticas (e.g. three-dimensional point tracking – 3DPT) para estimar os parâmetros modais de uma pá de gerador eólico comparando seus resultados com técnicas de medição mais convencionais. / Abstract: The specific objective of this research is to extend the capabilities of three-dimensional (3D) Point Tracking (PT) to identify the dynamic characteristics of large and complex structures, such as utility-scale wind turbine blades. A multi-camera system (composed of multiple independently calibrated stereovision systems) is developed to obtain high spatial resolution of discrete points from displacement measurement over very large areas. A proposal of stitching techniques is presented and employed to perform the alignment of two point clouds, obtained with 3DPT measurement, of a structure under dynamic excitation. The point cloud registration techniques are exploited as a technique for dynamic measuring (displacement) of large structures with high spatial resolution of the model. Three different image registration algorithms are proposed to perform the junction of the points clouds of each stereo system, Principal Component Analysis (PCA), Singular value Decomposition (SVD) and Iterative Closest Point (ICP). Furthermore, operational modal analysis in conjunction with the multi-camera measurement system and registration techniques are used to determine the feasibility of using optical measurements (e.g. three-dimensional point tracking (3DPT)) to estimate the modal parameters of a utility-scale wind turbine blade by comparing with traditional techniques. / Doutor

Submitted by DANILO DAMASCENO SABINO (engdanilosabino@gmail.com) on 2018-07-03T16:00:40Z No. of bitstreams: 1 DaniloSabino_TeseVersaoFinal.pdf: 4134991 bytes, checksum: 888a0a610949d5417be468fa2b94c7c8 (MD5) / Rejected by Cristina Alexandra de Godoy null (cristina@adm.feis.unesp.br), reason: Danilo, seu trabalho foi redigido em língua inglesa, mas é preciso inserir o título em português no campo "título em outro idioma". Tentamos contato por e-mail mas sem resposta. Assim, solicitamos que refaça a submissão do seu trabalho com essa informação. on 2018-07-06T14:47:31Z (GMT) / Submitted by DANILO DAMASCENO SABINO (engdanilosabino@gmail.com) on 2018-09-24T22:07:38Z No. of bitstreams: 1 DaniloSabino_TeseVersaoFinal.pdf: 4134991 bytes, checksum: 888a0a610949d5417be468fa2b94c7c8 (MD5) / Approved for entry into archive by Cristina Alexandra de Godoy null (cristina@adm.feis.unesp.br) on 2018-09-25T11:47:26Z (GMT) No. of bitstreams: 1 sabino_dd_dr_ilha.pdf: 4134991 bytes, checksum: 888a0a610949d5417be468fa2b94c7c8 (MD5) / Made available in DSpace on 2018-09-25T11:47:26Z (GMT). No. of bitstreams: 1 sabino_dd_dr_ilha.pdf: 4134991 bytes, checksum: 888a0a610949d5417be468fa2b94c7c8 (MD5) Previous issue date: 2018-02-01 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) / O objetivo específico deste trabalho é estender as capacidades da técnica de rastreamento de pontos em 3 dimensões (three-dimensional point tracking – 3DPT) para identificar as características dinâmicas de estruturas grandes e complexas, tais como pás de turbina eólica. Um sistema multi-camera (composto de múltiplos sistemas de estéreo visão calibrados independentemente) é desenvolvido para obter alta resolução espacial de pontos discretos a partir de medidas de deslocamento sobre grandes áreas. Uma proposta de técnica de costura é apresentada e empregada para executar o alinhamento de duas nuvens de pontos, obtidas com a técnica 3DPT, de uma estrutura sob excitação dinâmica. Três diferentes algoritmos de registro de nuvens de pontos são propostos para executar a junção das nuvens de pontos de cada sistema estéreo, análise de componentes principais (Principal Component Analysis - PCA), decomposição de valores singulares (Singular value Decomposition - SVD) e ponto mais próximo iterativo (Iterative Closest Point - ICP). Além disso, análise modal operacional em conjunto com o sistema de medição multi-camera e as técnicas de registro de nuvens de pontos são usadas para determinar a viabilidade de usar medidas ópticas (e.g. three-dimensional point tracking – 3DPT) para estimar os parâmetros modais de uma pá de gerador eólico comparando seus resultados com técnicas de medição mais convencionais. / The specific objective of this research is to extend the capabilities of three-dimensional (3D) Point Tracking (PT) to identify the dynamic characteristics of large and complex structures, such as utility-scale wind turbine blades. A multi-camera system (composed of multiple independently calibrated stereovision systems) is developed to obtain high spatial resolution of discrete points from displacement measurement over very large areas. A proposal of stitching techniques is presented and employed to perform the alignment of two point clouds, obtained with 3DPT measurement, of a structure under dynamic excitation. The point cloud registration techniques are exploited as a technique for dynamic measuring (displacement) of large structures with high spatial resolution of the model. Three different image registration algorithms are proposed to perform the junction of the points clouds of each stereo system, Principal Component Analysis (PCA), Singular value Decomposition (SVD) and Iterative Closest Point (ICP). Furthermore, operational modal analysis in conjunction with the multi-camera measurement system and registration techniques are used to determine the feasibility of using optical measurements (e.g. three-dimensional point tracking (3DPT)) to estimate the modal parameters of a utility-scale wind turbine blade by comparing with traditional techniques.