O objetivo deste trabalho é tornar possível a inserção de um robô humanoide para auxiliar pacientes em sessões de fisioterapia. Um sistema robótico é proposto que utiliza um robô humanoide, denominado NAO, visando analisar os movimentos feitos pelos pacientes e corrigi-los se necessário, além de motivá-los durante uma sessão de fisioterapia. O sistema desenvolvido permite que o robô, em primeiro lugar, aprenda um exercício correto de fisioterapia observando sua execução por um fisioterapeuta; em segundo lugar, que ele demonstre o exercício para que um paciente possa imitá-lo; e, finalmente, corrija erros cometidos pelo paciente durante a execução do exercício. O exercício correto é capturado por um sensor Kinect e dividido em uma sequência de estados em dimensão espaço-temporal usando k-means clustering. Estes estados então formam uma máquina de estados finitos para verificar se os movimentos do paciente estão corretos. A transição de um estado para o próximo corresponde a movimentos parciais que compõem o movimento aprendido, e acontece somente quando o robô observa o mesmo movimento parcial executado corretamente pelo paciente; caso contrário o robô sugere uma correção e pede que o paciente tente novamente. O sistema foi testado com vários pacientes em tratamento fisioterapêutico para problemas motores. Os resultados obtidos, em termos de precisão e recuperação para cada movimento, mostraram-se muito promissores. Além disso, o estado emocional dos pacientes foi também avaliado por meio de um questionário aplicado antes e depois do tratamento e durante o tratamento com um software de reconhecimento facial de emoções e os resultados indicam um impacto emocional bastante positivo e que pode vir a auxiliar pacientes durante tratamento fisioterapêuticos. / This dissertation develops a robotic system to guide patients through physiotherapy sessions. The proposed system uses the humanoid robot NAO, and it analyses patients movements to guide, correct, and motivate them during a session. Firstly, the system learns a correct physiotherapy exercise by observing a physiotherapist perform it; secondly, it demonstrates the exercise so that the patient can reproduce it; and finally, it corrects any mistakes that the patient might make during the exercise. The correct exercise is captured via Kinect sensor and divided into a sequence of states in spatial-temporal dimension using k-means clustering. Those states compose a finite state machine that is used to verify whether the patients movements are correct. The transition from one state to the next corresponds to partial movements that compose the learned exercise. If the patient executes the partial movement incorrectly, the system suggests a correction and returns to the same state, asking that the patient try again. The system was tested with multiple patients undergoing physiotherapeutic treatment for motor impairments. Based on the results obtained, the system achieved high precision and recall across all partial movements. The emotional impact of treatment on patients was also measured, via before and after questionnaires and via a software that recognizes emotions from video taken during treatment, showing a positive impact that could help motivate physiotherapy patients, improving their motivation and recovery.

O objetivo deste trabalho é tornar possível a inserção de um robô humanoide para auxiliar pacientes em sessões de fisioterapia. Um sistema robótico é proposto que utiliza um robô humanoide, denominado NAO, visando analisar os movimentos feitos pelos pacientes e corrigi-los se necessário, além de motivá-los durante uma sessão de fisioterapia. O sistema desenvolvido permite que o robô, em primeiro lugar, aprenda um exercício correto de fisioterapia observando sua execução por um fisioterapeuta; em segundo lugar, que ele demonstre o exercício para que um paciente possa imitá-lo; e, finalmente, corrija erros cometidos pelo paciente durante a execução do exercício. O exercício correto é capturado por um sensor Kinect e dividido em uma sequência de estados em dimensão espaço-temporal usando k-means clustering. Estes estados então formam uma máquina de estados finitos para verificar se os movimentos do paciente estão corretos. A transição de um estado para o próximo corresponde a movimentos parciais que compõem o movimento aprendido, e acontece somente quando o robô observa o mesmo movimento parcial executado corretamente pelo paciente; caso contrário o robô sugere uma correção e pede que o paciente tente novamente. O sistema foi testado com vários pacientes em tratamento fisioterapêutico para problemas motores. Os resultados obtidos, em termos de precisão e recuperação para cada movimento, mostraram-se muito promissores. Além disso, o estado emocional dos pacientes foi também avaliado por meio de um questionário aplicado antes e depois do tratamento e durante o tratamento com um software de reconhecimento facial de emoções e os resultados indicam um impacto emocional bastante positivo e que pode vir a auxiliar pacientes durante tratamento fisioterapêuticos. / This dissertation develops a robotic system to guide patients through physiotherapy sessions. The proposed system uses the humanoid robot NAO, and it analyses patients movements to guide, correct, and motivate them during a session. Firstly, the system learns a correct physiotherapy exercise by observing a physiotherapist perform it; secondly, it demonstrates the exercise so that the patient can reproduce it; and finally, it corrects any mistakes that the patient might make during the exercise. The correct exercise is captured via Kinect sensor and divided into a sequence of states in spatial-temporal dimension using k-means clustering. Those states compose a finite state machine that is used to verify whether the patients movements are correct. The transition from one state to the next corresponds to partial movements that compose the learned exercise. If the patient executes the partial movement incorrectly, the system suggests a correction and returns to the same state, asking that the patient try again. The system was tested with multiple patients undergoing physiotherapeutic treatment for motor impairments. Based on the results obtained, the system achieved high precision and recall across all partial movements. The emotional impact of treatment on patients was also measured, via before and after questionnaires and via a software that recognizes emotions from video taken during treatment, showing a positive impact that could help motivate physiotherapy patients, improving their motivation and recovery.

Submitted by Fernando Souza (fernandoafsou@gmail.com) on 2017-08-10T11:47:56Z No. of bitstreams: 1 arquivototal.pdf: 11498612 bytes, checksum: 9182e9402b0905c4209bc405c726f8cc (MD5) / Made available in DSpace on 2017-08-10T11:47:56Z (GMT). No. of bitstreams: 1 arquivototal.pdf: 11498612 bytes, checksum: 9182e9402b0905c4209bc405c726f8cc (MD5) Previous issue date: 2017-02-17 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES / With the advance in the research of mobile robots localization algorithms, the need for natural landmark identification and recognition has increased. The detection of natural landmarks is a challenging task because their appearance can be different in shape and design and, as well, they suffer influence of the environment illumination. As an example, a typical 2D object recognition algorithm may not be able to handle the large optical variety of doors and staircases in large corridors. On another direction, recent improvements in low-cost 3D sensors (of the type RGB-D) enable robots to perceive the environment as a 3D spatial structure. Thus, using this new technology, an algorithm for natural landmark identification and recognition based on images acquired from an RGB-D camera is proposed. Basically, during the identification phase that is a first step for working with landmarks, the algorithm exploits the basic structural knowledge about the landmarks by extracting their edges and creating a cloud of edge points. In the next, the recognition phase, the edges are used with a proposed on-the-fly unsupervised recognition algorithm in order to demonstrate the effectiveness of the approach in recognizing doors and staircases. Two methods of recognition have been proposed and results show that a general technique of the two methods passes from the 96 of accuracy. Future approaches propose a mix of these two methods for better results of recognition, as well as inclusion of new objects such as drinking fountains, dumps and compare this modified approach with other approaches that require training, such as nearest K-neighbors, Bayes and neural networks . / Com o avanço na pesquisa de algoritmos de localização de robôs móveis, a necessidade de identificação e reconhecimento de pontos de referência naturais aumentou. A detecção de marcos naturais é uma tarefa desafiadora, porque a sua aparência pode ser diferente em forma e design e, também, eles sofrem influência da iluminação do ambiente. Como um exemplo, um algoritmo de reconhecimento de objeto 2D típico pode não ser capaz de lidar com a grande variedade óptica de portas e escadas em corredores grandes. Em outra direção, as melhorias recentes em sensores 3D de baixo custo (do tipo RGB-D) permitem aos robôs perceber o ambiente como uma estrutura espacial 3D. Assim, usando esta nova tecnologia, um algoritmo para identificação e reconhecimento de marco natural baseado em imagens adquiridas a partir de uma câmera RGB-D é proposto. Basicamente, durante a fase de identificação que é um primeiro passo para trabalhar com marcos, o algoritmo explora o conhecimento estrutural básico sobre os pontos de referência, extraindo suas bordas e criando uma nuvem de pontos de borda. No próxima, a fase de reconhecimento, as arestas são usadas com um algoritmo de reconhecimento não supervisionado proposto on-the-fly para demonstrar a eficácia da abordagem no reconhecimento de portas e escadarias. Dois métodos de Reconhecimento foram propostos e resultados mostram que a eficiência geral dos dois métodos passa dos 96% de Precisão de reconhecimento. Abordagens futuras propõem-se a fusão dos dois métodos para melhores resultados no reconhecimento, bem como inclusão de novos objetos como bebedouros, lixeiras e comparar essa abordagem modificada com outras abordagens que necessitam de treinamento, como K-Neighbouring mais próximo, Bayes e redes neurais.

Made available in DSpace on 2015-04-11T14:02:52Z (GMT). No. of bitstreams: 1 milton.pdf: 1235914 bytes, checksum: dff60afa3cc8a29da9cf209d407c7d8f (MD5) Previous issue date: 2013-03-26 / The three Attitude Parameters or Critical Flight Parameters - Attack, Yaw and Roll - are the angles that describe the rotational movements of an aerial vehicle in three-dimensional space. From the estimate of these angles, we can accomplish the stabilization of flight. The need for it varies for each type of aerial vehicle in inverse proportion to the stability provided by their mechanical characteristics. Moreover, the association of critical angles with other flight parameters, such as altitude and velocity, enables the description of all vehicle movements, and consequently, the execution of a flight path predetermined. Critical Flight Parameters can be inferred by electromechanical inertial sensors, Global Positioning System or by visual perception. Several authors mention that the electromechanical sensors fail and Global Positioning System are unavailable for some period of time under various environmental conditions, leading to loss of orientation and, in the case of unmanned vehicles, several accidents, given the lack of support from a pilot on these situations. In this work two techniques are integrated to estimate these parameters, based on Robotic Vision: the first one is based on the position and inclination of the Horizon about the aerial vehicle; and the second one is based on the estimation of optical flow of the scene viewed by the aerial vehicle. The use of optical flow provides the estimation of Yaw Parameter, which is not got at Horizon approach. It also enables the estimation of Critical Flight Parameters when the Horizon is not present. Both techniques are associated with camera parameters and integrated to provide more robustness to the flight angles estimation. Experiments conducted using real images of fixed-wing aircraft flight proved the method efficacy in open and unstructured envinroment. / Os três Parâmetros de Atitude ou Parâmetros Críticos de Voo Ataque, Guinada e Rolagem são os ângulos que descrevem os movimentos rotacionais de um veículo aéreo no espaço tridimensional. A partir da estimativa destes ângulos, pode-se realizar a estabilização de voo, cuja necessidade varia para cada tipo de veículo aéreo em proporção inversa à estabilidade proporcionada pelas suas características mecânicas. Além disto, a associação dos ângulos críticos de voo com outros parâmetros, como altitude e velocidade, possibilita a descrição de todos os movimentos do veículo, e consequentemente, a execução de uma rota de voo pré-determinada. Os ângulos críticos de voo podem ser inferidos por sensores eletromecânicos inerciais, pelo Sistema de Posicionamento Global ou por percepção visual. Diversos autores citam que os sensores eletromecânicos falham e o Sistema de Posicionamento Global fica indisponível por algum intervalo de tempo sob diversas condições ambientais, ocasionando a perda da orientação e, nos casos de veículos nãotripulados, acidentes e perdas de veículos, dada a falta do apoio de um piloto nestas situações. Neste trabalho são integradas duas técnicas de estimativa destes parâmetros, baseadas em Visão Robótica: a primeira é baseada na posição e inclinação do Horizonte com relação ao veículo aéreo; a segunda é baseada na estimativa do Fluxo Óptico da cena frontal ao veículo aéreo. O uso do Fluxo Óptico possibilita a estimativa do Parâmetro de Guinada, que não é realizada na abordagem baseada no Horizonte. Também possibilita a estimativa dos Parâmetros Críticos de Voo quando o Horizonte não está presente. As duas técnicas são associadas a parâmetros da câmera e integradas para dar mais robustez à estimativa dos ângulos de voo. Experimentos realizados usando-se imagens reais de voos de veículos aéreos de asa fixa provaram a eficiência do método em ambiente aberto e não-estruturado.