Made available in DSpace on 2018-08-02T00:02:01Z (GMT). No. of bitstreams: 1 tese_4978_Sistema de Supervisão e Controle para Interação Assistiva Humano-Robô.pdf: 55493794 bytes, checksum: 217248b67b482e14d47d1cf6b280d67a (MD5) Previous issue date: 2016-08-04 / A proposta desta tese de doutorado é apresentar a construção de uma plataforma robotizada, a qual pode assumir duas configurações para dois propósitos distintos. Em ambas as configurações se usa como base o robô Pioneer 3-DX. As configurações do robô são intercambiáveis por meio da troca da estrutura adjacente ao robô, sendo que este último se mantém em ambas configurações. A primeira configuração é a de um andador robótico para ajuda a pessoas com mobilidade reduzida. Uma estrutura feita em alumínio se conecta à estrutura do robô, e o sistema como um todo se transforma em um andador inteligente que possui sensores laser e ultrassom. Este andador é capaz de detectar a distância e o ângulo das pernas do usuário, mantendo ambas as medidas em um determinado valor, enquanto o usuário utiliza o sistema. Toda esta estrutura pode ser útil para melhorar a forma de caminhar de pessoas com mobilidade reduzida, bem como em tratamentos de fisioterapia. Além disso, também permite a pessoas que não podem suportar todo o peso nos membros inferiores a distribuir o peso entre as pernas e o andador. A outra configuração que o robô pode assumir é a de um robô para assistência à interação social, com o qual crianças com autismo podem interagir. A ideia de utilizar robôs para interagir com autistas vem do conceito de que as crianças terão menos medo de interagir com o mesmo. Uma vez que se consiga uma melhoria na interação das crianças com o robô pode-se tentar propor novos tratamentos para o transtorno do espectro autista (TEA) e também pode ser um passo para uma melhor interação com humanos. Para ambos os casos, há sistemas de controle, supervisão e segurança e uma interface que auxiliam a utilização o robô. Para o modo andador, foi desenvolvido um controle de formação entre um humano e o robô, sendo o humano líder da formação sem possuir nenhum sensor anexado a seu corpo. No modo de interação social foi utilizado controle manual e controle baseado em cinemática inversa, os quais garantiram a usabilidade do sistema. Além disso, neste último modo também foram utilizados sistemas multimídia para atrair a atenção das crianças com autismo.

A investigação da multimodalidade nas interações tem sido contemplada em campos de pesquisa cada vez mais diversos. No entanto, ainda é incipiente o entendimento de como os significados são construídos pela mobilização de múltiplas dimensões semióticas, atuando concomitantemente dentro do evento interacional. Esta tese busca contribuir para expandir esse entendimento, sobretudo, em episódios de desacordo. A Análise da Conversa, de base etnometodológica, e os Estudos dos Gestos são as linhas teóricas que balizam esta tese. Pelas contribuições da Análise da Conversa, pudemos observar como os próprios participantes se orientam uns em relação aos outros, revelando-nos os recursos mobilizados como práticas interacionais voltadas à realização e coordenação de suas ações durante a interação. Das contribuições dos Estudos dos Gestos, pudemos explorar as relações entre língua e ações gestuais e verificar o importante papel da gestualidade tanto para o estabelecimento de práticas interacionais quanto para o enquadramento das ações que estão em processo de formação. Os dados desta pesquisa compreendem vários tipos de interação realizados por falantes nativos de português brasileiro, perfazendo aproximadamente 15 horas de registros audiovisuais, coletados entre julho de 2012 e agosto de 2015. Desse material, selecionamos excertos para exemplificação teórica e 6 excertos para análise minuciosa, realizada dentro do programa ELAN, das sequências de desacordo. As análises mostram que os participantes se valem das ações gestuais como um recurso dinâmico e flexível que eles utilizam situadamente; que as ações faciais auxiliam os participantes a demonstrar suas posições e entendimentos a respeito das ações uns dos outros; que as ações gestuais dos coparticipantes produzidas em possíveis pontos de completude do turno do falante parecem ser tomadas como as primeiras manifestações das discordâncias que estão em processo de desenvolvimento; que o falante parece considerar essas ações do coparticipante para produzir seus enunciados subsequentes; que tal prática também parece servir ao propósito de oferecer ao falante uma oportunidade para promover ajustes interacionais antes que os desacordos verbais do coparticipante venham a ser produzidos. Algumas das contribuições desta tese são: (1) mostrar a necessidade de se estabelecer um padrão de transcrição multimodal que possa contemplar as várias dimensões semióticas envolvidas na interação, revelando toda a complexidade do que está acontecendo momento a momento; (2) mostrar como uma análise multimodal minuciosa elucida detalhes interacionais que ficam apagados na análise verbo-vocal; (3) apresentar uma mudança na compreensão das ações gestuais produzidas pelo coparticipante durante o turno do falante, mostrando como essas ações não devem ser entendidas como pré-ações antecipatórias de desacordos verbais, mas como primeiras manifestações da discordância em processo de formação; (4) mostrar como as ações gestuais emergem como parte de uma organização sequencial no desenrolar da interação, agregando informações a respeito do tipo de ação em desenvolvimento; e (5) mostrar como as ações gestuais são práticas recorrentes que podem ser definidas dentro da sequência interacional quando se analisa a sua progressão temporal. / Research on the multimodality of interaction is being carried out in increasingly diverse fields of studies. However, comprehension of how meanings are constructed through the deployment of multiple semiotic dimensions acting concomitantly within the interactional event is still in its infancy. This dissertation contributes to expanding this understanding specifically in episodes of disagreement. Conversation Analysis and Gesture Studies are the theoretical bases for this dissertation. By applying Conversation Analysis, we are able to observe how participants orient towards each other, revealing how resources are mobilized in interactional practices that help them coordinate and accomplish their actions during the interaction. By applying the findings of Gesture Studies, we are able to explore the relations between language and bodily actions and to verify the important role of bodily action both for the establishment of interactional practices and for the framing of action formation. Varied types of interaction, approximately 15 hours of audiovisual records, collected between July 2012 and August 2015, and performed by native speakers of Brazilian Portuguese compose the data of this research. From this material, using ELAN, we selected excerpts for theoretical exemplification and 6 excerpts for detailed analysis of sequences of disagreement. The analyses show that participants use bodily actions as a dynamic and flexible resource, locally performed; that facial actions help participants demonstrate their positions and understandings about one another\'s actions; that coparticipants bodily actions, produced at transitional-relevance places in the speaker\'s turn seem to be taken as first manifestations of disagreements that are in the process of developing; that the speaker appears to consider these coparticipant actions in producing his subsequent utterances. Such a practice also seems to serve the purpose of giving the speaker an opportunity to promote interactive adjustments before verbal disagreements of the co-participant would be produced. Some of the contributions of this dissertation are: (1) to show the need to establish a multimodal transcription pattern that can contemplate the multiple semiotic dimensions involved in the interaction, revealing all the complexity of what is happening moment by moment; (2) to show how a detailed multimodal analysis elucidates interactional details that are \"erased\" in the verb-vocal analysis; (3) to present a change in the understandings of the bodily actions produced by the coparticipant during the speaker\'s turn, showing how these actions should not be understood as anticipatory pre-actions of verbal disagreements, but as the first manifestations of the disagreement that is in the formation process; (4) to show how bodily actions emerge as part of a sequential organization in the course of the interaction, adding information about the type of action in development; and (5) to show how bodily actions are recurrent practices that can be defined within the interactional sequence when analyzing its temporal progression.

A investigação da multimodalidade nas interações tem sido contemplada em campos de pesquisa cada vez mais diversos. No entanto, ainda é incipiente o entendimento de como os significados são construídos pela mobilização de múltiplas dimensões semióticas, atuando concomitantemente dentro do evento interacional. Esta tese busca contribuir para expandir esse entendimento, sobretudo, em episódios de desacordo. A Análise da Conversa, de base etnometodológica, e os Estudos dos Gestos são as linhas teóricas que balizam esta tese. Pelas contribuições da Análise da Conversa, pudemos observar como os próprios participantes se orientam uns em relação aos outros, revelando-nos os recursos mobilizados como práticas interacionais voltadas à realização e coordenação de suas ações durante a interação. Das contribuições dos Estudos dos Gestos, pudemos explorar as relações entre língua e ações gestuais e verificar o importante papel da gestualidade tanto para o estabelecimento de práticas interacionais quanto para o enquadramento das ações que estão em processo de formação. Os dados desta pesquisa compreendem vários tipos de interação realizados por falantes nativos de português brasileiro, perfazendo aproximadamente 15 horas de registros audiovisuais, coletados entre julho de 2012 e agosto de 2015. Desse material, selecionamos excertos para exemplificação teórica e 6 excertos para análise minuciosa, realizada dentro do programa ELAN, das sequências de desacordo. As análises mostram que os participantes se valem das ações gestuais como um recurso dinâmico e flexível que eles utilizam situadamente; que as ações faciais auxiliam os participantes a demonstrar suas posições e entendimentos a respeito das ações uns dos outros; que as ações gestuais dos coparticipantes produzidas em possíveis pontos de completude do turno do falante parecem ser tomadas como as primeiras manifestações das discordâncias que estão em processo de desenvolvimento; que o falante parece considerar essas ações do coparticipante para produzir seus enunciados subsequentes; que tal prática também parece servir ao propósito de oferecer ao falante uma oportunidade para promover ajustes interacionais antes que os desacordos verbais do coparticipante venham a ser produzidos. Algumas das contribuições desta tese são: (1) mostrar a necessidade de se estabelecer um padrão de transcrição multimodal que possa contemplar as várias dimensões semióticas envolvidas na interação, revelando toda a complexidade do que está acontecendo momento a momento; (2) mostrar como uma análise multimodal minuciosa elucida detalhes interacionais que ficam apagados na análise verbo-vocal; (3) apresentar uma mudança na compreensão das ações gestuais produzidas pelo coparticipante durante o turno do falante, mostrando como essas ações não devem ser entendidas como pré-ações antecipatórias de desacordos verbais, mas como primeiras manifestações da discordância em processo de formação; (4) mostrar como as ações gestuais emergem como parte de uma organização sequencial no desenrolar da interação, agregando informações a respeito do tipo de ação em desenvolvimento; e (5) mostrar como as ações gestuais são práticas recorrentes que podem ser definidas dentro da sequência interacional quando se analisa a sua progressão temporal. / Research on the multimodality of interaction is being carried out in increasingly diverse fields of studies. However, comprehension of how meanings are constructed through the deployment of multiple semiotic dimensions acting concomitantly within the interactional event is still in its infancy. This dissertation contributes to expanding this understanding specifically in episodes of disagreement. Conversation Analysis and Gesture Studies are the theoretical bases for this dissertation. By applying Conversation Analysis, we are able to observe how participants orient towards each other, revealing how resources are mobilized in interactional practices that help them coordinate and accomplish their actions during the interaction. By applying the findings of Gesture Studies, we are able to explore the relations between language and bodily actions and to verify the important role of bodily action both for the establishment of interactional practices and for the framing of action formation. Varied types of interaction, approximately 15 hours of audiovisual records, collected between July 2012 and August 2015, and performed by native speakers of Brazilian Portuguese compose the data of this research. From this material, using ELAN, we selected excerpts for theoretical exemplification and 6 excerpts for detailed analysis of sequences of disagreement. The analyses show that participants use bodily actions as a dynamic and flexible resource, locally performed; that facial actions help participants demonstrate their positions and understandings about one another\'s actions; that coparticipants bodily actions, produced at transitional-relevance places in the speaker\'s turn seem to be taken as first manifestations of disagreements that are in the process of developing; that the speaker appears to consider these coparticipant actions in producing his subsequent utterances. Such a practice also seems to serve the purpose of giving the speaker an opportunity to promote interactive adjustments before verbal disagreements of the co-participant would be produced. Some of the contributions of this dissertation are: (1) to show the need to establish a multimodal transcription pattern that can contemplate the multiple semiotic dimensions involved in the interaction, revealing all the complexity of what is happening moment by moment; (2) to show how a detailed multimodal analysis elucidates interactional details that are \"erased\" in the verb-vocal analysis; (3) to present a change in the understandings of the bodily actions produced by the coparticipant during the speaker\'s turn, showing how these actions should not be understood as anticipatory pre-actions of verbal disagreements, but as the first manifestations of the disagreement that is in the formation process; (4) to show how bodily actions emerge as part of a sequential organization in the course of the interaction, adding information about the type of action in development; and (5) to show how bodily actions are recurrent practices that can be defined within the interactional sequence when analyzing its temporal progression.

Existem aplicações na área da robótica móvel em que, além da navegação autônoma do robô, é necessário que um usuário humano interaja no controle de navegação do robô. Neste caso, considerado como controle semi-autônomo, o usuário humano têm a possibilidade de alterar localmente a trajetória autônoma previamente planejada para o robô. Entretanto, o sistema de controle inteligente do robô, por meio de um módulo independente do usuário, continuamente evita colisões, mesmo que para isso os comandos do usuário precisem ser modificados. Esta abordagem cria um ambiente seguro para navegação que pode ser usado em cadeiras de rodas robotizadas e veículos robóticos tripulados onde a segurança do ser humano deve ser garantida. Um sistema de controle que possua estas características deve ser baseado numa arquitetura para robôs móveis adequada. Esta arquitetura deve integrar a entrada de comandos de um ser humano com a camada de controle autônomo do sistema que evita colisões com obstáculos estáticos e dinâmicos, e que conduz o robô em direção ao seu objetivo de navegação. Neste trabalho é proposta uma arquitetura de controle híbrida (deliberativa/reativa) para um robô móvel com interação humana. Esta arquitetura, desenvolvida principalmente para tarefas de navegação, permite que o robô seja operado em diferentes níveis de autonomia, possibilitando que um usuário humano compartilhe o controle do robô de forma segura enquanto o sistema de controle evita colisões. Nesta arquitetura, o plano de movimento do robô é representado por uma função de navegação. É proposto um método para combinar um comportamento deliberativo que executa o plano de movimento, com comportamentos reativos definidos no contexto de navegação, e com entradas contínuas de controle provenientes do usuário. O sistema de controle inteligente definido por meio da arquitetura foi implementado em uma cadeira de rodas robotizada. São apresentados alguns dos resultados obtidos por meio de experimentos realizados com o sistema de controle implementado operando em diferentes modos de autonomia. / There are some applications in mobile robotics that require human user interaction besides the autonomous navigation control of the robot. For these applications, in a semi-autonomous control mode, the human user can locally modify the autonomous pre-planned robot trajectory by sending continuous commands to the robot. In this case, independently from the user\'s commands, the intelligent control system must continuously avoid collisions, modifying the user\'s commands if necessary. This approach creates a safety navigation system that can be used in robotic wheelchairs and manned robotic vehicles where the human safety must be guaranteed. A control system with those characteristics should be based on a suitable mobile robot architecture. This architecture must integrate the human user\'s commands with the autonomous control layer of the system which is responsible for avoiding static and dynamic obstacles and for driving the robot to its navigation goal. In this work we propose a hybrid (deliberative/reactive) mobile robot architecture with human interaction. This architecture was developed mainly for navigation tasks and allows the robot to be operated on different levels of autonomy. The user can share the robot control with the system while the system ensures the user and robot\'s safety. In this architecture, a navigation function is used for representing the robot\'s navigation plan. We propose a method for combining the deliberative behavior responsible for executing the navigation plan, with the reactive behaviors defined to be used while navigating, and with the continuous human user\'s inputs. The intelligent control system defined by the proposed architecture was implemented in a robotic wheelchair, and we present some experimental results of the chair operating on different autonomy modes.

Existem aplicações na área da robótica móvel em que, além da navegação autônoma do robô, é necessário que um usuário humano interaja no controle de navegação do robô. Neste caso, considerado como controle semi-autônomo, o usuário humano têm a possibilidade de alterar localmente a trajetória autônoma previamente planejada para o robô. Entretanto, o sistema de controle inteligente do robô, por meio de um módulo independente do usuário, continuamente evita colisões, mesmo que para isso os comandos do usuário precisem ser modificados. Esta abordagem cria um ambiente seguro para navegação que pode ser usado em cadeiras de rodas robotizadas e veículos robóticos tripulados onde a segurança do ser humano deve ser garantida. Um sistema de controle que possua estas características deve ser baseado numa arquitetura para robôs móveis adequada. Esta arquitetura deve integrar a entrada de comandos de um ser humano com a camada de controle autônomo do sistema que evita colisões com obstáculos estáticos e dinâmicos, e que conduz o robô em direção ao seu objetivo de navegação. Neste trabalho é proposta uma arquitetura de controle híbrida (deliberativa/reativa) para um robô móvel com interação humana. Esta arquitetura, desenvolvida principalmente para tarefas de navegação, permite que o robô seja operado em diferentes níveis de autonomia, possibilitando que um usuário humano compartilhe o controle do robô de forma segura enquanto o sistema de controle evita colisões. Nesta arquitetura, o plano de movimento do robô é representado por uma função de navegação. É proposto um método para combinar um comportamento deliberativo que executa o plano de movimento, com comportamentos reativos definidos no contexto de navegação, e com entradas contínuas de controle provenientes do usuário. O sistema de controle inteligente definido por meio da arquitetura foi implementado em uma cadeira de rodas robotizada. São apresentados alguns dos resultados obtidos por meio de experimentos realizados com o sistema de controle implementado operando em diferentes modos de autonomia. / There are some applications in mobile robotics that require human user interaction besides the autonomous navigation control of the robot. For these applications, in a semi-autonomous control mode, the human user can locally modify the autonomous pre-planned robot trajectory by sending continuous commands to the robot. In this case, independently from the user\'s commands, the intelligent control system must continuously avoid collisions, modifying the user\'s commands if necessary. This approach creates a safety navigation system that can be used in robotic wheelchairs and manned robotic vehicles where the human safety must be guaranteed. A control system with those characteristics should be based on a suitable mobile robot architecture. This architecture must integrate the human user\'s commands with the autonomous control layer of the system which is responsible for avoiding static and dynamic obstacles and for driving the robot to its navigation goal. In this work we propose a hybrid (deliberative/reactive) mobile robot architecture with human interaction. This architecture was developed mainly for navigation tasks and allows the robot to be operated on different levels of autonomy. The user can share the robot control with the system while the system ensures the user and robot\'s safety. In this architecture, a navigation function is used for representing the robot\'s navigation plan. We propose a method for combining the deliberative behavior responsible for executing the navigation plan, with the reactive behaviors defined to be used while navigating, and with the continuous human user\'s inputs. The intelligent control system defined by the proposed architecture was implemented in a robotic wheelchair, and we present some experimental results of the chair operating on different autonomy modes.