Reabilitação robótica tem um papel importante em exercícios terapêuticos ao combinar robôs com jogos sérios de computador em uma atraente plataforma terapêutica. Entretanto, a tarefa de medir o grau de adesão do paciente ao tratamento não é trivial. A dificuldade de aplicar técnicas baseadas em questionários e entrevistas, particularmente em pacientes que tiveram a fala comprometida por acidente vascular encefálico (AVE), nos inspirou a investigar técnicas não verbais e não invasivas para classificar emoções. Com este propósito, uma rede neural supervisionada foi projetada para interpretar imagens térmicas infravermelhas faciais de indivíduos realizando terapia robótica de reabilitação integrada com os jogos. Uma base de dados contendo imagens de 8 voluntários foi criada e contém reações emocionais espontâneas e provocadas. No total, foram analizadas 2445 imagens térmicas faciais, em média 100 imagens por pessoa por 3 categorias de emoções (neutra, motivado e sobrecarregado). Baseado em análise de matriz de confusão, os resultados experimentais se correlacionaram muito bem com as estimativas manuais, produzindo um desempenho global de 92,6%. / Rehabilitation robotic plays an important role in therapeutic exercises by combining robots with computer serious games into an attractive therapeutic platform. However, measuring the degree of engagement of the user is not a trivial task. The difficulty of applying question-based techniques, particularly for patients who have the speech capacity compromised due to cerebrovascular accidents, has inspired us to investigate noninvasive and nonverbal techniques aiming to classifying emotions. For this purpose, a supervised artificial neural network interprets facial infrared thermal images of individuals performing rehabilitation robotic therapy integrated with games. A database containing images of 8 users was generated by combining evoked and spontaneous emotional reactions. In total, 2445 facial thermal images with an average of 100 images per person for three categories of emotions (neutral, motivated, and overstressed) were analyzed. Based on confusion matrix analysis, the experimental results correlated very well with manual estimates, producing an overall performance of 92.6%.

Reabilitação robótica tem um papel importante em exercícios terapêuticos ao combinar robôs com jogos sérios de computador em uma atraente plataforma terapêutica. Entretanto, a tarefa de medir o grau de adesão do paciente ao tratamento não é trivial. A dificuldade de aplicar técnicas baseadas em questionários e entrevistas, particularmente em pacientes que tiveram a fala comprometida por acidente vascular encefálico (AVE), nos inspirou a investigar técnicas não verbais e não invasivas para classificar emoções. Com este propósito, uma rede neural supervisionada foi projetada para interpretar imagens térmicas infravermelhas faciais de indivíduos realizando terapia robótica de reabilitação integrada com os jogos. Uma base de dados contendo imagens de 8 voluntários foi criada e contém reações emocionais espontâneas e provocadas. No total, foram analizadas 2445 imagens térmicas faciais, em média 100 imagens por pessoa por 3 categorias de emoções (neutra, motivado e sobrecarregado). Baseado em análise de matriz de confusão, os resultados experimentais se correlacionaram muito bem com as estimativas manuais, produzindo um desempenho global de 92,6%. / Rehabilitation robotic plays an important role in therapeutic exercises by combining robots with computer serious games into an attractive therapeutic platform. However, measuring the degree of engagement of the user is not a trivial task. The difficulty of applying question-based techniques, particularly for patients who have the speech capacity compromised due to cerebrovascular accidents, has inspired us to investigate noninvasive and nonverbal techniques aiming to classifying emotions. For this purpose, a supervised artificial neural network interprets facial infrared thermal images of individuals performing rehabilitation robotic therapy integrated with games. A database containing images of 8 users was generated by combining evoked and spontaneous emotional reactions. In total, 2445 facial thermal images with an average of 100 images per person for three categories of emotions (neutral, motivated, and overstressed) were analyzed. Based on confusion matrix analysis, the experimental results correlated very well with manual estimates, producing an overall performance of 92.6%.

Submitted by Marta Toyoda (1144061@mackenzie.br) on 2018-09-17T20:49:58Z No. of bitstreams: 2 ISABELA RUIZ ROQUE DA SILVA.pdf: 2148028 bytes, checksum: 749a03beaf2994824bdd3130eef3a554 (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Approved for entry into archive by Paola Damato (repositorio@mackenzie.br) on 2018-09-21T12:06:22Z (GMT) No. of bitstreams: 2 ISABELA RUIZ ROQUE DA SILVA.pdf: 2148028 bytes, checksum: 749a03beaf2994824bdd3130eef3a554 (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Made available in DSpace on 2018-09-21T12:06:22Z (GMT). No. of bitstreams: 2 ISABELA RUIZ ROQUE DA SILVA.pdf: 2148028 bytes, checksum: 749a03beaf2994824bdd3130eef3a554 (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Previous issue date: 2018-08-07 / Conselho Nacional de Desenvolvimento Científico e Tecnológico / Emotions are important in interpersonal relationships and are part of the human being. Many people can express their feelings or emotions through social media, like Twitter and Facebook. Many computational techniques have been proposed for the study of emotions, and most use a bag-of-words representation for documents. Recently, new approaches, such as Word2Vec, ca-pable of generating distributed representations of words, called word vectors, have arisen and are being used for the syntactic and semantic study of documents. To contribute to the research in emotional states analysis from social media data and a better understanding of the use of distributed word representation models, this dissertation proposes to investigate three hypothe-ses: the Word2Vec parameters influence the distributed representations of words and, conse-quently, the performance of the emotional state classifiers that use these representations; the distributed representations of words can improve the performance of conventional classifiers applied to the study of emotional states; and clustering word vectors generate groups that carry the semantic context of emotional states. The experiments performed showed little influence of the algorithm parameters on its performance for this specific problem. We also observed that the word vectors could not be applied directly in the training of classifiers and the resulting vector greatly deteriorated the performance of the classifiers when compared to the traditional bag of words model. Finally, we found that the grouping of word vectors, while generating groups with clear semantic meaning, does not generate groups that reflect emotional states. / Emoções são importantes nas relações interpessoais e fazem parte do ser humano. Muitas pessoas podem expressar seus sentimentos ou emoções nas mídias sociais, como no Twitter e no Facebook. Muitas técnicas computacionais foram propostas para o estudo das emoções e a maior parte delas utiliza uma representação baseada em conjuntos de palavras (bag of words) para os documentos. Recentemente, novas abordagens, como o Word2Vec, capazes de gerar representações distribuídas de palavras, chamadas de vetores de palavras ou word vectors, surgiram e vêm sendo empregadas para o estudo sintático e semântico de documentos. Para contribuir com a pesquisa nas áreas de análise de estados emocionais a partir de dados de mídias sociais e numa melhor compreensão sobre o uso de modelos de representação distribuída de palavras, essa dissertação propõe investigar três hipóteses de pesquisa: os parâmetros do Word2Vec influenciam as representações distribuídas das palavras e, consequentemente, o desempenho dos classificadores de estados emocionais que usam essas representações; as representações distribuídas de palavras podem melhorar o desempenho de classificadores convencionais aplicados ao estudo de estados emocionais; e o agrupamento dos vetores de palavras geram grupos que carregam o contexto semântico dos estados emocionais. Os experimentos realizados mostraram pouca influência dos parâmetros do algoritmo no seu desempenho para esse problema específico. Também observamos que os vetores de palavras não podem ser aplicados diretamente no treinamento dos classificadores e o vetor resultante deteriorou muito o desempenho dos classificadores quando comparado ao modelo tradicional do tipo bag of words. Por fim, verificamos que o agrupamento dos vetores de palavras, embora gere grupos com significado semântico claro, não gera os grupos que refletem os estados emocionais.