Most existing 3D virtual try-on systems put clothes designed in one environment on a human captured in another environment, which cause the mismatching color and brightness problem. And also typical 3D clothes modeling starts with manually designed 2D patterns, deforms them to fit on a human, and applies stitching to sew those patterns together. Such work usually relies on labor work. In this thesis, we describe an approach to reconstruct clothes and human that both are from the same space. With multiple Kinects, it models the 3D clothes directly out of a dressed mannequin without the need of the predefined 2D clothes patterns, and fits them to a human user. Our approach has several advantages: (i) a simple hardware setting consisted of multiple Kinects to capture a human model; (ii) 3D clothes modeling directly out of captured human figure. To the best of our knowledge, our work is the first one which separates clothes out of captured human figure; (iii) resizing of clothes adapting to any sized human user; (iv) a novel idea of virtual try-on where clothes and human are captured in the same location.

Dans le cadre de cette thèse, nous proposons des approches géométriques permettant d’analyser des mouvements humains à partir de données issues de capteurs 3D. Premièrement, nous abordons le problème de comparaison de poses et de mouvements dans des séquences contenant des modèles de corps humain en 3D. En introduisant un nouveau descripteur, appelé Extremal Human Curve (EHC), la forme du corps humain dans une pose donnée est décrite par une collection de courbes. Ces courbes extraites de la surface du maillage relient les points se situant aux extrémités du corps. Dans un formalisme Riemannien, chacune de ces courbes est considérée comme un point dans un espace de formes offrant la possibilité de les comparer. Par ailleurs, les actions sont modélisées par des trajectoires dans cet espace, où elles sont comparées en utilisant la déformation temporelle dynamique. Deuxièmement, nous proposons une approche de reconnaissance d’actions et de gestes à partir de vidéos produites par des capteurs de profondeur. A travers une modélisation géométrique, une séquence d’action est représentée par un système dynamique dont la matrice d’observabilité est caractérisée par un élément de la variété de Grassmann. Par conséquent, la reconnaissance d’actions est reformulée en un problème de classification de points sur cette variété. Ensuite, un nouvel algorithme d’apprentissage basé sur la notion d’espaces tangents est proposé afin d’améliorer le système de reconnaissance. Les résultats de notre approche, testés sur plusieurs bases de données, donnent des taux de reconnaissance de haute précision et de faible latence. / In this thesis, we focus on the development of adequate geometric frameworks in order to model and compare accurately human motion acquired from 3D sensors. In the first framework, we address the problem of pose/motion retrieval in full 3D reconstructed sequences. The human shape representation is formulated using Extremal Human Curve (EHC) descriptor extracted from the body surface. It allows efficient shape to shape comparison taking benefits from Riemannian geometry in the open curve shape space. As each human pose represented by this descriptor is viewed as a point in the shape space, we propose to model the motion sequence by a trajectory on this space. Dynamic Time Warping in the feature vector space is then used to compare different motions. In the second framework, we propose a solution for action and gesture recognition from both skeleton and depth data acquired by low cost cameras such as Microsoft Kinect. The action sequence is represented by a dynamical system whose observability matrix is characterized as an element of a Grassmann manifold. Thus, recognition problem is reformulated as a point classification on this manifold. Here, a new learning algorithm based on the notion of tangent spaces is proposed to improve recognition task. Performances of our approach on several benchmarks show high recognition accuracy with low latency.

This project deals with design of a mobile robot controlled by MS Kinect. The movement of the robot is driven by depth data which is processed with a suitable ARM processor. There is a module designed for serial communication between the processor and the robot chassis. For user computer and ARM processor there are developed software applications to control each part of the robot as well. Finally, this project contains form of the built robot controlled by an ARM processor software. The robot has the ability of controlled movement between obstacles. This allows the robot to not come into contact with any obstacle.

Interactive collaborative enviroments are solved by many companies and research teams. This thesis is focused on design and development of own system for gesture recognition based on Microsoft Kinect controller. The system is focused on collaboration of multiple users. Therefore, proposed solution can distinguish interactions of different users. The result allows to create an interactive area from a common wall using a computer, projector and Kinect controller.

We studied the topic of depth sensing camera calibration. Two devices Microsoft Kinectand Swissranger SR-4000, that work on different physical principles, were investigated.Both 3D cameras were described and subjected to experiments in order to evaluatetheir performance. Several systematic error sources were identified and we proposedmethods to compensate for them. A comparison of reconstruction performance of both3D cameras and a stereo-pair of conventional cameras was presented. Finally, we showedan application of the depth sensing camera together with conventional color camera inarea of complex scene reconstruction. / <p>Validerat; 20110825 (anonymous)</p>

No description available.

Os sistemas interativos estão cada vez mais presentes como recursos tecnológicos utilizados pelo homem, sendo que para que a interação ocorra é necessária uma adaptação destes aparatos às reais necessidades do homem. Para garantir a qualidade de interação é preciso focar no princípio da usabilidade do sistema, desenvolvido por Jakob Nielsen, (1994) aprimorando com isso aspectos de acessibilidade, flexibilidade e eficiência no uso, para que o recurso tecnológico torne-se um objeto de modificação nesta relação. Objetivo: desenvolver um painel interativo utilizando a tecnologia Kinect e com isso fornecer informações sobre autocuidado e prevenção de incapacidades da hanseníase para pacientes e profissionais da saúde. Metodologia: Está baseada no modelo consensual que propõe uma solução para o problema de projeto e apresenta-se dividida em quatro fases: (1) projeto informacional; (2) projeto conceitual; (3) projeto preliminar e (4) projeto detalhado. Resultados: foi produzido um protótipo contendo imagens, texto e vídeos com informações sobre a Hanseníase. Este é composto por material coletado nos manuais produzidos pelo Ministério da Saúde para orientação de cuidados na Hanseníase e um vídeo inserido para demonstrar como seria o acesso a este recurso, acessados por meio dos movimentos dos membros superiores no qual a pessoa posiciona-se, em frente ao painel, a uma distância de 80 cm, e seleciona o que deseja ver com uma das mãos, que se torna a \"mão virtual\" movida na tela e seleciona o material instrucional. Os requisitos funcionais e não funcionais foram organizados contendo a caracterização das imagens de forma legível e nítida e opções de textos buscando a compreensão e o acesso da população. Foram desenvolvidos 16 vídeos que ensinam como realizar os exercícios para prevenir incapacidades e possíveis deformidades, estimulando assim o autocuidado. Conclusão: O desenvolvimento de material educacional sobre a Hanseníase que utilize as novas tecnologias é escasso e pouco explorado pelos profissionais da reabilitação na hanseníase. Investir em ações que visem tornar a pessoa mais informada sobre sua doença e segura sobre seu tratamento, pode contribuir para a autonomia em parte dos cuidados e as novas tecnologias podem funcionar como importante aliado neste processo. / The interactive systems are each time more present as technological resources used by men, being needed an adaptation of these devices to the men\'s real needs for an interaction to happen. To ensure the quality of the interaction, it is needed to focus on the system usability principle, developed by Jakob Nielsen (1994), improving with this the aspects of accessibility, flexibility and usage efficiency, so the technological resource become an object of modification on this relation. Objective: develop an interactive panel using the Kinect technology, and provide with this, information about self-care and prevention of disabilities about Leprosy. Methodology: based on the consensual model that proposes a solution to the project problem, and is presented divided in four phases: (1) informational project; (2) conceptual project; (3) preliminary project and (4) detailed project. Results: a prototype was produced containing images, texts and videos with information about Leprosy. This is composed by material collected on the guidelines created by the Health Ministry to orient on the case of Leprosy, and a video inserted to demonstrate how this resource would be accessed, with all the functions being accessed through movements of the upper body members, where the person positions herself, in front of the panel, on a 80 cm distance, and selects the content that wants to access with the hands, making the \"virtual hand\" on the screen to move and select the instructional material. The functional and non-functional requirements were organized containing the characterization of the images to be more readable and clear, and texts options seeking comprehension and access to the population. There were 16 videos developed to teach how to execute the exercises for preventing incapacities and possible deformities, stimulating with this the self-care. Conclusion: The development of educational material about Leprosy using the new technologies is scarce and little explored by professionals of rehabilitation in Leprosy. Investing in actions that aims to assist the people under treatment to become more informed about the disease, and secure about the treatment, may contribute to the autonomy in part of the care, and the new technologies can work as an important ally on this path.

Made available in DSpace on 2017-07-21T14:19:36Z (GMT). No. of bitstreams: 1 Marcos Roberto de Ramos.pdf: 10923816 bytes, checksum: fdfd9343a26e9ecb7ad073a1004fb866 (MD5) Previous issue date: 2012-12-20 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / With the advent of computer vision, researchers have been investigating methods of capturing images of 3D objects and use this information in various fields such as medicine, architecture, education, among others. The launch of Xbox KinectTM sensor in November 2010 as an accessory to detect player movement, drew attention not only for its low cost, but also by providing information unencrypted, allowing their use for other tasks beyond videogames.This study explored the ability of the sensor to obtain distances of depth through its infrared camera and apply it to solving a problem in agronomy related to regularity in the distribution of fertilizers. It is known that irregularity in the distribution of fertilizers can cause serious problems to the crops such as excess or lack of nutrients, and lead to economic losses and environmental damage by the excess of nutrient applied. These problems are related to several factors, including the adjustments of distribution equipment or even the quality of fertilizers. To achieve the proposed goal, we developed a detailed study on the functioning of the sensor and test the accuracy of the calculations and measurements. Results showed 99.78% accuracy up to the detection area and volume occupied by the materials tested, with variations in tenths of a millimeter. A computer system was designed to obtain the fertilizer mass, calculating its volume using the sensor information knowing the density of each material. In validation experiments with fertilizers system reached up to 98.26% of accuracy with variations in tenths of grams of material estimated by the system and the actual mass measured by a precision balance. The system was tested on measurements of the mass of fertilizer on a belt in motion,simulating the application of a fertilizer rate. A hit above 98% from the estimated amount and the actual amount applied was obtained. The results suggest that it is feasible the use of KinectTM sensor for measuring the regularity in fertilizers distribution by using the methods and techniques experimented in this study. / Com o advento da visão computacional, pesquisadores vêm investigando métodos de captura de imagens 3D de objetos e a utilização destas informações em diversas áreas como medicina, arquitetura, educação, entre outras. O lançamento do sensor Kinect Xbox, em novembro de 2010, como um acessório para detectar o movimento do jogador, chamou a atenção não só pelo baixo custo, mas também por disponibilizar informações sem criptografia, permitindo seu uso para outras tarefas além dos videogames. Neste trabalho foi explorada a capacidade do sensor em obter distâncias de profundidade por meio da sua câmera de infravermelho, e aplicá-las no estudo de um problema na área agronômica relacionado com a regularidade na distribuição de fertilizantes minerais. Isso porque a irregularidade na distribuição dos fertilizantes pode causar danos importantes às culturas, tanto pelo excesso como pela falta de nutrientes, e levar a perdas econômicas e danos ambientais pelo excesso de nutrientes aplicados. Esses problemas estão relacionados a diversos fatores, entre eles as regulagens de equipamentos de distribuição ou mesmo a qualidade dos fertilizantes. Para alcançar o objetivo proposto, realizou-se um estudo minucioso sobre o funcionamento do sensor e testes da precisão dos cálculos e medidas. Os resultados revelaram acerto de até 99,78% na detecção da área e volume ocupado pelos materiais testados, com variações em décimos de milímetros. Um sistema computacional foi desenvolvido para obter a massa dos fertilizantes, calculando seu volume por meio das informações do sensor, conhecendo-se a densidade de cada material. Nos experimentos de validação com fertilizantes, o sistema alcançou acerto de até 98,26%, com variações em décimos de gramas entre o material estimado pelo sistema e a massa real medida por balança de precisão. O sistema foi testado em medições da massa de fertilizantes em uma esteira em movimento, simulando a aplicação de uma dosagem, obtendo acerto acima de 98% entre a quantidade estimada e a quantidade real aplicada. Concluiu-se que a utilização do sensor Kinect é viável para medir a regularidade na distribuição de fertilizantes minerais sólidos,aplicando as metodologias e técnicas experimentadas nesse estudo.

A method of continuously monitoring weight would aid producers by ensuring all pigs are gaining weight and increasing the precision of marketing pigs thus saving money. Electronically monitoring weight without moving the pigs to the scale would eliminate a stress-generating source. Therefore, the development of methods for monitoring the physical conditions of animals from a distance appears as a necessity for obtaining data with higher quality. In pigs\' production, animals\' weighing is a practice that represents an important role in the control of the factors that affect the performance of the herd and it is an important factor on the production\'s monitoring. Therefore, this research aimed to extract weight data of pigs through depth images. First, a validation of 5 Kinect &reg; depth sensors was completed to understand the accuracy of the depth sensors. In addition, equations were generated to correct the dimensions\' data (length, area and volume) provided by these sensors for any distance between the sensor and the animals. Depth images and weights of finishing pigs (gilts and barrows) of three commercial lines (Landrace, Duroc and Yorkshire based) were acquired. Then, the images were analyzed with the MATLAB software (2016a). The pigs on the images were selected by depth differences and their volumes were calculated and then adjusted using the correction equation developed. Also, pigs\' dimensions were acquired for updating existing data. Curves of weight versus corrected volumes and corrected dimensions versus weight were adjusted. Equations for weight predictions through volume were adjusted for gilts and barrows and for each of the three commercial lines used. A reduced equation for all the data, without considering differences between sexes and genetic lines was also adjusted and compared with the individual equations using the Efroymson\'s algorithm. The result showed that there was no significant difference between the reduced equation and the individual equations for barrows and gilts (p<0.05), and the global equation was also no different than individual equations for each of the three sire lines (p<0.05). The global equation can predict weights from a depth sensor with an R2 of 0,9905. Therefore, the results of this study show that the depth sensor would be a reasonable approach to continuously monitor weights. / Um método de monitoramento contínuo da massa corporal de suínos auxiliaria os produtores, assegurando que todos os animais estão ganhando massa e aumentando a sua precisão de comercialização, reduzindo-se perdas. Obter eletronicamente a massa corporal sem mover os animais para a balança eliminaria uma fonte geradora de estresse. Portanto, o desenvolvimento de métodos para monitorar as condições físicas dos animais à distância se mostra necessário para a obtenção de dados com maior qualidade. Na produção de suínos, a pesagem dos animais é uma prática que representa um papel importante no controle dos fatores que afetam o desempenho do rebanho e o monitoramento da produção. Portanto, esta pesquisa teve como objetivo extrair, automaticamente, dados de massa de suínos por meio de imagens em profundidade. Foi feita, primeiramente, uma validação de 5 sensores de profundidade Kinect &reg; para compreender seu comportamento. Além disso, foram geradas equações para corrigir os dados de dimensões (comprimento, área e volume) fornecidos por estes sensores para qualquer distância entre o sensor e os animais. Foram obtidas imagens de profundidade e massas corporais de suínos e crescimento e terminação (fêmeas e machos castrados) de três linhagens comerciais (Landrace, Duroc e Yorkshire). Em seguida, as imagens foram analisadas com o software MATLAB (2016a). Os animais nas imagens foram selecionados por diferenças de profundidade e seus volumes foram calculados e depois ajustados utilizando a equação de correção desenvolvida. Foram coletadas, ainda, dimensões dos animais para atualização de dados existentes. Curvas de massa versus volumes corrigidos e de dimensões corrigidas versus massa, foram ajustadas. Equações para predição de massa a partir do volume foram ajustadas para os dois sexos e para as três linhagens comerciais. Uma equação reduzida, sem considerar as diferenças entre sexos e linhagens, também foi ajustada e comparada com as equações individuais utilizando o algoritmo de Efroymson. O resultado mostrou que não houve diferença significativa entre a equação reduzida e as equações individuais tanto para sexo (p <0,05), quanto para linhagens (p <0,05). A equação global pode predizer massas a partir do volume obtido com o sensor, com um R2 de 0,9905. Portanto, os resultados deste estudo mostram que o sensor de profundidade é uma abordagem razoável para monitorar as massas dos animais.

Conselho Nacional de Desenvolvimento Científico e Tecnológico / O objetivo do presente trabalho foi avaliar comparativamente parâmetros biomecânicos (tanto antropométricos, quanto cinemáticos) de dados obtidos a partir do console Microsoft Kinect (2010). A avaliação destes parâmetros foi realizada para validar seu uso para obter informações complementares à Análise Ergonomica do Trabalho (AET) e em outras pesquisas, cujos objetivos envolvem o diagnóstico de uso de produtos ou ambientes de trabalho a partir da análises posturais e interações da população que o utiliza. A pesquisa com este console em particular é justificada uma vez que seu lançamento modificou o cenário da biomecânica, já que se trata de um equipamento acessível e portátil. Porém, sua precisão em relação à outros equipamentos ainda está em aberto, sendo inclusive, objeto de estudo de muitas pesquisas em andamento. Os dados obtidos por meio de sistemas de captura de movimentos tridimensionais permitem a avaliação de produtos, atividades e análises de interações homem-objeto. No campo do Design, é uma importante realização, uma vez que permite que profissionais tenham acesso à ferramenta que, anteriormente, era limitada à nichos especializados. O console foi comparado com o sistema de captura de movimentos inercial MVN Biomech (XSENS TECHNOLOGIES) e com o tradicional registro por meio de vídeo. Para obter dados do console Kinect, um software disponível no mercado foi selecionado a partir de critérios predefinidos para obter dados cinemáticos do console. Dois experimentos laboratoriais foram realizados: o primeiro, teve como objetivo obter dados operacionais dos equipamentos e suas limitações de uso; e o segundo foi realizado de forma a obter dados biomecânicos e compará-los a partir de três parâmetros estáticos e um dinâmico. Os parâmetros estáticos envolveram ângulos articulares e segmentares em posturas selecionadas e dimensões segmentares, onde a proposta foi avaliar dados antropométricos e as características do modelo biomecânico referente à manter os corpos rígidos durante a movimentação. O parâmetro dinâmico foi realizado de forma a obter dados de deslocamento global das articulações em movimentações selecionadas. Para possibilitar esta análise, uma plataforma digital foi desenvolvida, constituindo um campo neutro para o tratamento dos dados. A plataforma mantém os dados originais dos sistemas, permitindo a distinção entre os modelos biomecânicos e a retirada de dados que possam ser comparados. Os experimentos realizados permitiram avaliar a usabilidade do console, fornecendo diretrizes para seu uso. Para avaliar a utilização do console em ambientes reais de trabalho, foram realizados registros preliminares em laboratórios químicos, os quais se mostraram viáveis se as limitações, semelhantes às de sistemas baseados em tecnologia ótica, sejam consideradas. Futuras análises devem ser conduzidas para validar estatisticamente os resultados obtidos. Porém, considerando o objetivo do trabalho, pode-se concluir que o sistema avaliado é uma alternativa confiável no contexto proposto. / The aim of the present study was to evaluate biomechanical parameters (both, anthropometric and kinematic) from data acquired through Microsoft Kinect (2010). The validation of its biomechanical characteristics will allow its use in gathering information to complement Ergonomic Work Analysis (EWA) and other user researches that provide product and work environment diagnosis through postural and dynamic assessment. The use of MS Kinect in this research is justified by the fact that is it has changed biomechanical scenario due to the fact that it is an inexpensive and portable alternative to the available motion capture systems available in the market. However, its accuracy has been the subject of many ongoing researches Data acquired from 3D motion capture systems provide means for evaluating products, activities and human-object interactions. In Design, its an important achievement, since it allows professionals to use the tool, considering that most motion capture systems available in the market are not accessible. The Microsoft console was compared to MVN Biomech inertial system (XSENS TECHNOLOGIES) and traditional 2D video data. In order to acquire kinematic data form MS Kinect, a software was chosen, following a few criteria. Two laboratorial experiments were held, where the first aimed to acquire operational details and limitations from the equipments, as for the second aimed to compare biomechanical data through three static parameters and one dynamic. The static parameters involved joint and segment angles, as well as a segments dimensional comparison, whereas the proposals were to assess anthropometric features and to understand if the biomechanical model considers the segments as rigid bodies. The dynamic comparison was based on joints global displacement in selected movements. In order to analyze data from different systems, a digital platform based on a game engine was developed, constituting an even ground for evaluation. The platform maintains original data from the biomechanical models and extracts kinematic parameters, which can be compared. The experiments have provided understanding on the consoles operations, providing guidelines for its usage. In order to also evaluate its usage in real work environments, trial recordings were held in chemical laboratories. These trials have shown the alternative to be viable if the limitations, similar to optical systems, are considered. Future analyses should be conducted in order to statistically validate the results. However, given the goals and context of this research, it can be concluded that the evaluated system is a reliable motion capture alternative.