Um aspecto importante da interação humana é a atenção compartilhada. Ela é um processo de comunicação onde uma pessoa redireciona a sua atenção para um objeto ou evento e a outra pessoa ou pessoas seguem o seu olhar para o mesmo lugar. O processo é finalizado com a pessoa que segue a atenção realizando um apontamento sobre o objeto e um comentário sobre a situação. Esta habilidade importante é aprendida por nós durante o período da infância e hoje, alguns pesquisadores em robótica estão tentando desenvolver arquiteturas robóticas para aprender essa habilidade em robôs. Deste modo, o laboratório de aprendizado de robôs está trabalhando em uma arquitetura robótica para esse fim. Ela é composta por três módulos, percepção de estímulo, controle de consequência e emissão de resposta. Esta arquitetura robótica foi avaliada no controle de uma cabeça robótica e foi capaz de aprender a seguir o olhar e identificar alguns objetos. No entanto, todos esses módulos têm algumas limitações. A fim de ter uma melhor interação entre um robô e um humano e reduzir os efeitos das limitações, algumas melhorias foram desenvolvidas. Entre elas incluem um novo algoritmo de classificação das posições da cabeça através do histograma de gradiente orientado, inserir novas funcionalidades (definidas como reflexos) ao módulo de controle de consequência e novos algoritmos de aprendizado para selecionar a melhor ação. Todas as modificações realizadas reduziram as limitações e pode melhorar as interações entre um robô e um ser humano / One important aspect of human interaction is the shared attention. It is a communication process where one person redirect his or her attention to an object or event and the other person or people follow gaze to the same place. This process end with a pointing and a comment about the situation by the person that follows the attention. This important ability was learned by us during the childhood and some roboticist are trying to develop robotics architectures to learn this ability in robots. In this way, the Learning Lab Robotics has been working on a robotic architecture used with this proposed. It is composed by three modules, stimulus perception, consequence control and response emission. This robotic architecture was evaluated to control a robotic head and it was capable to learn to follow gaze and identify some objects. However, all of these modules have some limitations. In order to take a better interaction between a robot and a human and reduce the effects of limitations, some improvements were developed. They include a new head pose classification algorithm using histogram of oriented gradient, increase the capability of consequence control with new reflexes and new learning algorithms to select the best action. All modification reduce the limitations and it can improve the interactions between a robot and a human being

Um aspecto importante da interação humana é a atenção compartilhada. Ela é um processo de comunicação onde uma pessoa redireciona a sua atenção para um objeto ou evento e a outra pessoa ou pessoas seguem o seu olhar para o mesmo lugar. O processo é finalizado com a pessoa que segue a atenção realizando um apontamento sobre o objeto e um comentário sobre a situação. Esta habilidade importante é aprendida por nós durante o período da infância e hoje, alguns pesquisadores em robótica estão tentando desenvolver arquiteturas robóticas para aprender essa habilidade em robôs. Deste modo, o laboratório de aprendizado de robôs está trabalhando em uma arquitetura robótica para esse fim. Ela é composta por três módulos, percepção de estímulo, controle de consequência e emissão de resposta. Esta arquitetura robótica foi avaliada no controle de uma cabeça robótica e foi capaz de aprender a seguir o olhar e identificar alguns objetos. No entanto, todos esses módulos têm algumas limitações. A fim de ter uma melhor interação entre um robô e um humano e reduzir os efeitos das limitações, algumas melhorias foram desenvolvidas. Entre elas incluem um novo algoritmo de classificação das posições da cabeça através do histograma de gradiente orientado, inserir novas funcionalidades (definidas como reflexos) ao módulo de controle de consequência e novos algoritmos de aprendizado para selecionar a melhor ação. Todas as modificações realizadas reduziram as limitações e pode melhorar as interações entre um robô e um ser humano / One important aspect of human interaction is the shared attention. It is a communication process where one person redirect his or her attention to an object or event and the other person or people follow gaze to the same place. This process end with a pointing and a comment about the situation by the person that follows the attention. This important ability was learned by us during the childhood and some roboticist are trying to develop robotics architectures to learn this ability in robots. In this way, the Learning Lab Robotics has been working on a robotic architecture used with this proposed. It is composed by three modules, stimulus perception, consequence control and response emission. This robotic architecture was evaluated to control a robotic head and it was capable to learn to follow gaze and identify some objects. However, all of these modules have some limitations. In order to take a better interaction between a robot and a human and reduce the effects of limitations, some improvements were developed. They include a new head pose classification algorithm using histogram of oriented gradient, increase the capability of consequence control with new reflexes and new learning algorithms to select the best action. All modification reduce the limitations and it can improve the interactions between a robot and a human being

A inteligência artificial não busca somente entender mas construir entidades inteligentes. A inteligência pode ser dividida em vários fatores e um deles é conhecido como aprendizado. A área de aprendizado de máquina visa o desenvolvimento de técnicas para aprendizado automático de máquinas, que incluem computadores, robôs ou qualquer outro dispositivo. Entre essas técnicas encontra-se o Aprendizado por Reforço, foco principal deste trabalho. Mais especificamente, o aprendizado por reforço relacional (ARR) foi investigado, que representa na forma relacional o aprendizado obtido através da interação direta com o ambiente. O ARR é bem interessante no campo de robótica, pois, em geral, não se dispôe do modelo do ambiente e se requer econômia de recursos utilizados. A técnica ARR foi investigada dentro do contexto de aprendizado de uma cabeça robótica. Uma modificação no algoritmo ARR foi proposta, denominada por ETG, e incorporada em uma arquitetura de controle de uma cabeça robótica. A arquitetura foi avaliada no contexto de um problema real não trivial: o aprendizado da atenção compartilhada. Os resultados obtidos mostram que a arquitetura é capaz de exibir comportamentos apropriados durante uma interação social controlada, através da utilização do ETG. Uma análise comparativa com outros métodos foi realizada que mostram que o algoritmo proposto conseguiu obter um desempenho superior na maioria dos experimentos realizados / The artificial Intelligence search not only understand but to build intelligent entities. The intelligence can be divided into several factors and one of them is known as learning. The area of machine learning aimed at the development techniques for automatic learning of machinery, including computers, robots or any other device. Reinforcement Learning is one of those techniques, main focus of this work. Specifically, the relational reinforcement learning was investigated, which is use relational representation for learning obtained through direct interaction with the environment. The relational reinforcement learning is quite interesting in the field of robotics, because, in general, it does not have the model of environment and economy of resources used are required. The relational reinforcement learning technique was investigated within the context of learning a robotic head. A change in the relational reinforcement learning algorithm was proposed, called TGE, and incorporated into an architecture of control of a robotic head. The architecture was evaluated in the context of a real problem not trivial: the learning of shared attention. The results show that the architecture is capable of displaying appropriate behavior during a social interaction controlled through the use of TGE. A comparative analysis was performed with other methods show that the proposed algorithm has achieved a superior performance in most experiments

Nas ciências de computação, o estudo de emoções tem sido impulsionado pela construção de ambientes interativos, especialmente no contexto dos dispositivos móveis. Pesquisas envolvendo interação humano-robô têm explorado emoções para propiciar experiências naturais de interação com robôs sociais. Um dos aspectos a serem investigados é o das abordagens práticas que exploram mudanças na personalidade de um sistema artificial propiciadas por alterações em um estado emocional inferido do usuário. Neste trabalho, é proposto um ambiente para interação humano-robô baseado em emoções, reconhecidas por meio de análise de expressões faciais, para plataforma Android. Esse sistema consistiu em um agente virtual agregado a um aplicativo, o qual usou informação proveniente de um reconhecedor de emoções para adaptar sua estratégia de interação, alternando entre dois paradigmas discretos pré-definidos. Nos experimentos realizados, verificou-se que a abordagem proposta tende a produzir mais empatia do que uma condição controle, entretanto esse resultado foi observado somente em interações suficientemente longas. / In computer sciences, the development of interactive environments have motivated the study of emotions, especially on the context of mobile devices. Research in human-robot interaction have explored emotions to create natural experiences on interaction with social robots. A fertile aspect consist on practical approaches concerning changes on the personality of an artificial system caused by modifications on the users inferred emotional state. The present project proposes to develop, for Android platform, an environment for human-robot interaction based on emotions. A dedicated module will be responsible for recognizing emotions by analyzing facial expressions. This system consisted of a virtual agent aggregated to an application, which used information of the emotion recognizer to adapt its interaction strategy, alternating between two pre-defined discrete paradigms. In the experiments performed, it was found that the proposed approach tends to produce more empathy than a control condition, however this result was observed only in sufficiently long interactions.

Nas ciências de computação, o estudo de emoções tem sido impulsionado pela construção de ambientes interativos, especialmente no contexto dos dispositivos móveis. Pesquisas envolvendo interação humano-robô têm explorado emoções para propiciar experiências naturais de interação com robôs sociais. Um dos aspectos a serem investigados é o das abordagens práticas que exploram mudanças na personalidade de um sistema artificial propiciadas por alterações em um estado emocional inferido do usuário. Neste trabalho, é proposto um ambiente para interação humano-robô baseado em emoções, reconhecidas por meio de análise de expressões faciais, para plataforma Android. Esse sistema consistiu em um agente virtual agregado a um aplicativo, o qual usou informação proveniente de um reconhecedor de emoções para adaptar sua estratégia de interação, alternando entre dois paradigmas discretos pré-definidos. Nos experimentos realizados, verificou-se que a abordagem proposta tende a produzir mais empatia do que uma condição controle, entretanto esse resultado foi observado somente em interações suficientemente longas. / In computer sciences, the development of interactive environments have motivated the study of emotions, especially on the context of mobile devices. Research in human-robot interaction have explored emotions to create natural experiences on interaction with social robots. A fertile aspect consist on practical approaches concerning changes on the personality of an artificial system caused by modifications on the users inferred emotional state. The present project proposes to develop, for Android platform, an environment for human-robot interaction based on emotions. A dedicated module will be responsible for recognizing emotions by analyzing facial expressions. This system consisted of a virtual agent aggregated to an application, which used information of the emotion recognizer to adapt its interaction strategy, alternating between two pre-defined discrete paradigms. In the experiments performed, it was found that the proposed approach tends to produce more empathy than a control condition, however this result was observed only in sufficiently long interactions.

A inteligência artificial não busca somente entender mas construir entidades inteligentes. A inteligência pode ser dividida em vários fatores e um deles é conhecido como aprendizado. A área de aprendizado de máquina visa o desenvolvimento de técnicas para aprendizado automático de máquinas, que incluem computadores, robôs ou qualquer outro dispositivo. Entre essas técnicas encontra-se o Aprendizado por Reforço, foco principal deste trabalho. Mais especificamente, o aprendizado por reforço relacional (ARR) foi investigado, que representa na forma relacional o aprendizado obtido através da interação direta com o ambiente. O ARR é bem interessante no campo de robótica, pois, em geral, não se dispôe do modelo do ambiente e se requer econômia de recursos utilizados. A técnica ARR foi investigada dentro do contexto de aprendizado de uma cabeça robótica. Uma modificação no algoritmo ARR foi proposta, denominada por ETG, e incorporada em uma arquitetura de controle de uma cabeça robótica. A arquitetura foi avaliada no contexto de um problema real não trivial: o aprendizado da atenção compartilhada. Os resultados obtidos mostram que a arquitetura é capaz de exibir comportamentos apropriados durante uma interação social controlada, através da utilização do ETG. Uma análise comparativa com outros métodos foi realizada que mostram que o algoritmo proposto conseguiu obter um desempenho superior na maioria dos experimentos realizados / The artificial Intelligence search not only understand but to build intelligent entities. The intelligence can be divided into several factors and one of them is known as learning. The area of machine learning aimed at the development techniques for automatic learning of machinery, including computers, robots or any other device. Reinforcement Learning is one of those techniques, main focus of this work. Specifically, the relational reinforcement learning was investigated, which is use relational representation for learning obtained through direct interaction with the environment. The relational reinforcement learning is quite interesting in the field of robotics, because, in general, it does not have the model of environment and economy of resources used are required. The relational reinforcement learning technique was investigated within the context of learning a robotic head. A change in the relational reinforcement learning algorithm was proposed, called TGE, and incorporated into an architecture of control of a robotic head. The architecture was evaluated in the context of a real problem not trivial: the learning of shared attention. The results show that the architecture is capable of displaying appropriate behavior during a social interaction controlled through the use of TGE. A comparative analysis was performed with other methods show that the proposed algorithm has achieved a superior performance in most experiments

A disseminação do uso de robôs na sociedade moderna é uma realidade. Do começo restrito às operações fabris como pintura e soldagem, até o início de seu uso nas residências, apenas algumas décadas se passaram. A robótica social é uma área de pesquisa que visa desenvolver modelos para que a interação direta de robôs com seres humanos ocorra de forma natural. Um dos fatores que compromete a rápida evolução da robótica social é a dificuldade em integrar sistemas cognitivos e robóticos, principalmente devido ao volume e complexidade da informação produzida por um mundo caótico repleto de dados sensoriais. Além disso, a existência de múltiplas configurações de robôs, com arquiteturas e interfaces distintas, dificulta a verificação e repetibilidade dos experimentos realizados pelos diversos grupos de pesquisa. Esta tese contribui para a evolução da robótica social ao definir uma arquitetura, denominada Cognitive Model Development Environment (CMDE) que simplifica a conexão entre sistemas cognitivos e robóticos. Essa conexão é formalizada com uma ontologia, denominada OntPercept, que modela a percepção do ambiente a partir de informações sensoriais captadas pelos sensores presentes no agente robótico. Nos últimos anos, diversas ontologias foram propostas para aplicações robóticas, mas elas não são genéricas o suficiente para atender completamente às necessidades das áreas de robótica e automação. A formalização oferecida pela OntPercept facilita o desenvolvimento, a reprodução e a comparação de experimentos associados a robótica social. A validação do sistema proposto ocorre com suporte do simulador Robot House Simulator (RHS), que fornece um ambiente onde, o agente robótico e o personagem humano podem interagir socialmente com níveis crescentes de processamento cognitivo. A proposta da CMDE viabiliza a utilização de qualquer sistema cognitivo, em particular, o experimento elaborado para validação desta pesquisa utiliza Soar como arquitetura cognitiva. Em conjunto, os elementos: arquitetura CMDE, ontologia OntPercept e simulador RHS, todos disponibilizados livremente no GitHub, estabelecem um ambiente completo que propiciam o desenvolvimento de experimentos envolvendo sistemas cognitivos dirigidos para a área de robótica social. / The use of robots in modern society is a reality. From the beginning restricted to the manufacturing operations like painting and welding, until the beginning of its use in the residences, only a few decades have passed. Social robotics is an area that aims to develop models so that the direct interaction of robots with humans occurs naturally. One of the factors that compromises the rapid evolution of social robotics is the difficulty in integrating cognitive and robotic systems, mainly due to the volume and complexity of the information produced by a chaotic world full of sensory data. In addition, the existence of multiple configurations of robots, with different architectures and interfaces, makes it difficult to verify and repeat the experiments performed by the different research groups. This research contributes to the evolution of social robotics by defining an architecture, called Cognitive Model Development Environment (CMDE), which simplifies the connection between cognitive and robotic systems. This connection is formalized with an ontology, called OntPercept, which models the perception of the environment from the sensory information captured by the sensors present in the robotic agent. In recent years, several ontologies have been proposed for robotic applications, but they are not generic enough to fully address the needs of robotics and automation. The formalization offered by OntPercept facilitates the development, reproduction and comparison of experiments associated with social robotics. The validation of the proposed system occurs with support of the Robot House Simulator (RHS), which provides an environment where the robotic agent and the human character can interact socially with increasing levels of cognitive processing. All together, the elements: CMDE architecture, OntPercept ontology and RHS simulator, all freely available in GitHub, establish a complete environment that allows the dev

Robôs sociáveis devem ser capazes de interagir, se comunicar, compreender e se relacionar com os seres humanos de uma maneira natural. Embora diversos robôs sociáveis tenham sido desenvolvidos com sucesso, ainda existem muitas limitações a serem superadas. São necessários importantes avanços no desenvolvimento de mecanismos que possibilitem interações mais realísticas, bem como regulem o relacionamento entre robôs e humanos. Um forma de tornar mais realísticas as interações é através de expressões faciais de emoção. Nesse contexto, este trabalho fornece capacidade de imitação de expressão facial de emoções a uma cabeça robótica virtual, com o objetivo de permitir interações mais realísticas e duradouras com o ser humano. Para isso, é incorporado à mesma aprendizado por imitação, no qual a cabeça robótica imita expressões faciais apresentadas por um usuário durante a interação social. O aprendizado por imitação foi realizado atráves de redes neurais artificiais. As expressões faciais consideradas neste trabalho são: neutra, alegria, raiva, surpresa e tristeza. Os resultados experimentais são apresentados, os quais mostram o bom desempenho do sistema de imitação proposto / Sociable robots must be able to interact, communicate, understand and relate to humans in a natural way. Although many social robots have been developed successfully, there are still many limitations to overcome. Important advances are needed in the development of mechanisms that allow more realistic interactions and that regulate the relationship between robots and humans. One way to make more realistic interactions is through facial expressions of emotion. In this context, this project provides ability for imitation of facial expressions of emotion to a virtual robotic head, in order to allow more realistic and lasting interactions with humans. For such, learning by imitation is used, in which the robotic head mimics facial expressions made by a user during social interaction. The imitation learning was performed by artificial neural networks. Facial expressions considered in this work are: neutral, happiness, anger, surprise and sadness. Experimental results are presented which show the good performance of the proposed system imitation

Robôs sociáveis devem ser capazes de interagir, se comunicar, compreender e se relacionar com os seres humanos de uma maneira natural. Embora diversos robôs sociáveis tenham sido desenvolvidos com sucesso, ainda existem muitas limitações a serem superadas. São necessários importantes avanços no desenvolvimento de mecanismos que possibilitem interações mais realísticas, bem como regulem o relacionamento entre robôs e humanos. Um forma de tornar mais realísticas as interações é através de expressões faciais de emoção. Nesse contexto, este trabalho fornece capacidade de imitação de expressão facial de emoções a uma cabeça robótica virtual, com o objetivo de permitir interações mais realísticas e duradouras com o ser humano. Para isso, é incorporado à mesma aprendizado por imitação, no qual a cabeça robótica imita expressões faciais apresentadas por um usuário durante a interação social. O aprendizado por imitação foi realizado atráves de redes neurais artificiais. As expressões faciais consideradas neste trabalho são: neutra, alegria, raiva, surpresa e tristeza. Os resultados experimentais são apresentados, os quais mostram o bom desempenho do sistema de imitação proposto / Sociable robots must be able to interact, communicate, understand and relate to humans in a natural way. Although many social robots have been developed successfully, there are still many limitations to overcome. Important advances are needed in the development of mechanisms that allow more realistic interactions and that regulate the relationship between robots and humans. One way to make more realistic interactions is through facial expressions of emotion. In this context, this project provides ability for imitation of facial expressions of emotion to a virtual robotic head, in order to allow more realistic and lasting interactions with humans. For such, learning by imitation is used, in which the robotic head mimics facial expressions made by a user during social interaction. The imitation learning was performed by artificial neural networks. Facial expressions considered in this work are: neutral, happiness, anger, surprise and sadness. Experimental results are presented which show the good performance of the proposed system imitation

A disseminação do uso de robôs na sociedade moderna é uma realidade. Do começo restrito às operações fabris como pintura e soldagem, até o início de seu uso nas residências, apenas algumas décadas se passaram. A robótica social é uma área de pesquisa que visa desenvolver modelos para que a interação direta de robôs com seres humanos ocorra de forma natural. Um dos fatores que compromete a rápida evolução da robótica social é a dificuldade em integrar sistemas cognitivos e robóticos, principalmente devido ao volume e complexidade da informação produzida por um mundo caótico repleto de dados sensoriais. Além disso, a existência de múltiplas configurações de robôs, com arquiteturas e interfaces distintas, dificulta a verificação e repetibilidade dos experimentos realizados pelos diversos grupos de pesquisa. Esta tese contribui para a evolução da robótica social ao definir uma arquitetura, denominada Cognitive Model Development Environment (CMDE) que simplifica a conexão entre sistemas cognitivos e robóticos. Essa conexão é formalizada com uma ontologia, denominada OntPercept, que modela a percepção do ambiente a partir de informações sensoriais captadas pelos sensores presentes no agente robótico. Nos últimos anos, diversas ontologias foram propostas para aplicações robóticas, mas elas não são genéricas o suficiente para atender completamente às necessidades das áreas de robótica e automação. A formalização oferecida pela OntPercept facilita o desenvolvimento, a reprodução e a comparação de experimentos associados a robótica social. A validação do sistema proposto ocorre com suporte do simulador Robot House Simulator (RHS), que fornece um ambiente onde, o agente robótico e o personagem humano podem interagir socialmente com níveis crescentes de processamento cognitivo. A proposta da CMDE viabiliza a utilização de qualquer sistema cognitivo, em particular, o experimento elaborado para validação desta pesquisa utiliza Soar como arquitetura cognitiva. Em conjunto, os elementos: arquitetura CMDE, ontologia OntPercept e simulador RHS, todos disponibilizados livremente no GitHub, estabelecem um ambiente completo que propiciam o desenvolvimento de experimentos envolvendo sistemas cognitivos dirigidos para a área de robótica social. / The use of robots in modern society is a reality. From the beginning restricted to the manufacturing operations like painting and welding, until the beginning of its use in the residences, only a few decades have passed. Social robotics is an area that aims to develop models so that the direct interaction of robots with humans occurs naturally. One of the factors that compromises the rapid evolution of social robotics is the difficulty in integrating cognitive and robotic systems, mainly due to the volume and complexity of the information produced by a chaotic world full of sensory data. In addition, the existence of multiple configurations of robots, with different architectures and interfaces, makes it difficult to verify and repeat the experiments performed by the different research groups. This research contributes to the evolution of social robotics by defining an architecture, called Cognitive Model Development Environment (CMDE), which simplifies the connection between cognitive and robotic systems. This connection is formalized with an ontology, called OntPercept, which models the perception of the environment from the sensory information captured by the sensors present in the robotic agent. In recent years, several ontologies have been proposed for robotic applications, but they are not generic enough to fully address the needs of robotics and automation. The formalization offered by OntPercept facilitates the development, reproduction and comparison of experiments associated with social robotics. The validation of the proposed system occurs with support of the Robot House Simulator (RHS), which provides an environment where the robotic agent and the human character can interact socially with increasing levels of cognitive processing. All together, the elements: CMDE architecture, OntPercept ontology and RHS simulator, all freely available in GitHub, establish a complete environment that allows the dev