A presente pesquisa aborda uma investigação interdisciplinar (Educação e Computação) sobre estudos que estabeleceram como foco a influência da afetividade na educação e sobre como reconhecer o desânimo do aluno em interação em um ambiente virtual de ensino e aprendizagem (AVEA) utilizando mineração de dados educacionais (MDE). A afetividade pode influenciar na aprendizagem do aluno, principalmente com relação aos aspectos negativos, frustrações, sensações de solidão, desânimo, fazendo com que o aluno possa, inclusive, desistir de um curso, tornando-se uma problemática no ensino. Identificar esses aspectos em cursos à distância torna-se desafiador para o professor devido à distância temporal e assincronicidade desse meio. Nos cursos à distância, essa possibilidade pode ser permitida através das análises dos dados das interações do aluno no ambiente, porém, o volume de dados existentes torna-se muito grande para ser analisado pelo professor, fazendo com que seja mais difícil realizar essa identificação. Na busca por identificar o estado de ânimo desanimado, esta tese apresenta um Modelo de Predição do Desânimo baseado em comportamento observável e autorrelato armazenados em AVEA, utilizando regras de associação. Para desenvolver o Modelo de Predição do aluno, as variáveis comportamentais indicadoras do desânimo foram evidenciadas na pesquisa, bem como a utilização dos fundamentos e instrumento de Scherer para identificação dos estados afetivos, mais precisamente do estado de ânimo desanimado, que duram por longos períodos, possibilitando sua identificação após determinados fatos terem ocorrido no processo de aprendizagem, o que possibilitou ter uma metodologia de acompanhamento do aluno. As regras de associação foram descobertas devido ao potencial da MDE, que, além de propiciar a inferência e predição, pode ser usada para fornecer apoio tanto ao professor, no processo de ensino e acompanhamento do aluno, quanto ao aluno, no processo de aprendizagem. Nesse contexto, a pesquisa é aplicada ao processo de ensino e aprendizagem utilizando como procedimento técnico experimentos para coleta de dados. Foram feitos experimentos com aplicação de técnicas computacionais para apoio à inferência e geração do modelo de predição. Em cada experimento onde se aplicou a MDE, as melhores regras foram escolhidas com base nas medidas de interesse e presença do estado de ânimo desanimado. A partir dessas melhores regras, uma validação foi realizada em um novo experimento propondo o Modelo de Predição do aluno desanimado em interação no AVEA Moodle. Além de apresentar o Modelo de Predição do Aluno Desanimado, este modelo foi implementado e integrado como ferramenta computacional à plataforma Moodle. A pesquisa justifica-se na medida em que apresenta inovação tecnológica para investigar a influência da afetividade na aprendizagem dentro do contexto da Educação a Distância (EAD) e aplica técnicas computacionais desenvolvendo um Modelo de Predição do Aluno Desanimado, que fornece para o professor uma visão geral do modelo e melhor acompanhamento de seus alunos, através de dashboard, contribuindo na sua prática docente. Logo, a tese apresenta como destaque inovador um produto de pesquisa com utilidade na prática docente no ensino superior, principalmente em cursos EAD, para o reconhecimento de aspectos relacionados à afetividade no contexto educacional. Através da ferramenta computacional, um melhor acompanhamento de alunos desanimados em interação em AVEA pode ser feito pelo professor, permitindo a este fomentar uma metodologia de acompanhamento desses alunos, a fim de minimizar futuras evasões, bem como desistências em cursos e disciplinas, beneficiando a comunidade acadêmica. / This research addresses an interdisciplinary research (Education and Computer) on studies that established focus on the influence of affectivity in education and how to recognize the dismay of student interaction in a virtual teaching and learning environment (VTLE) using educational data mining (EDM). Affection can influence student learning, particularly with respect to the negative, frustration, feelings of loneliness, discouragement, causing the student can even give up a course, becoming a problematic teaching. Identify these aspects in distance courses becomes challenging for the teacher due to the temporal distance and asynchronicity that medium. In distance learning courses, this possibility may be permitted by the data analysis of student interactions in the environment, however, the amount of data becomes too large to be analyzed by the teacher, making it more difficult to carry out such identification. In seeking to identify the state of despondent mood, this thesis presents a prediction model of the observable behavior-based Discouragement and self-report stored in VTLE using association rules. To develop the prediction model student, the indicator behavioral variables of discouragement were evident in the research, and the use of the grounds and Scherer tool to identify the affective states, specifically the state of despondent mood that last for long periods, enabling identification after certain events have occurred in the learning process, making it possible to have a follow-up methodology of the student. Association rules were discovered due to the potential of the EAW, which, besides providing the inference and prediction, can be used to provide support to both the teacher in the teaching and monitoring of the student as the student in the learning process. In this context, the research is applied to the teaching and learning process using as a technical procedure experiments to collect data. experiments were made with application of computational techniques to support the inference and generation of the prediction model. In each experiment where we applied the MED, the best rules were chosen based on measures of interest and presence in the state of despondent mood. From these best rules, a validation was performed on a new experiment proposing the Prediction Model discouraged student interaction in VTLE Moodle. In addition to presenting the Prediction Model of Student Discouraged, this model was implemented and integrated as a computational tool to the Moodle platform. The research is justified in that it presents technological innovation to investigate the influence of affect on learning within the education context Distance Learning and applies computational techniques developing a prediction model Discouraged Student, which provides for the teacher a view general model and better monitoring of their students through dashboard, contributing to their teaching practice. Therefore, the thesis shows how innovative highlight a research product to use in teaching practice in higher education, especially in distance education courses, for the recognition of aspects related to affectivity in the educational context. Through computational tool for better monitoring of disheartened students interacting in VTLE it can be done by the teacher, allowing him to promote a follow-up methodology of these students in order to minimize future evasions and dropouts courses and disciplines, benefiting the community academic. / Esta investigación se ocupa de una investigación interdisciplinaria (Educación e Informática) en los que se estableció el enfoque sobre la influencia de la afectividad en la educación y cómo reconocer la consternación de la interacción del estudiante en un entorno virtual de enseñanza aprendizaje (AVEA) utilizando la minería de datos educativa (MDE). El afecto puede influir en el aprendizaje del estudiante, en particular con respecto a la negativa, frustración, sentimientos de soledad, desánimo, haciendo que el estudiante puede incluso renunciar a un curso, convirtiéndose en una enseñanza problemática. Identificar estos aspectos en los cursos a distancia se convierte en un reto para el maestro debido a la distancia temporal y asincronía ese medio. En los cursos de enseñanza a distancia, esta posibilidad puede ser permitido por el análisis de los datos de las interacciones de los estudiantes en el ambiente, sin embargo, la cantidad de datos es demasiado grande para ser analizados por el profesor, lo que hace más difícil llevar a cabo dicha identificación. Al tratar de identificar el estado de ánimo deprimido, esta tesis presenta un modelo de predicción del desaliento observables basada en el comportamiento y auto-informe almacenado en AVEA las reglas de asociación. Para desarrollar el estudiante modelo de predicción, las variables de comportamiento del indicador de desaliento eran evidentes en la investigación, y el uso de los terrenos y Scherer herramienta para identificar los estados afectivos, específicamente el estado de ánimo deprimido que duran por largos períodos de tiempo, que permite la identificación después de ciertos acontecimientos se han producido en el proceso de aprendizaje, por lo que es posible tener una metodología de seguimiento del estudiante. Reglas de asociación fueron descubiertos debido al potencial de la orden de detención europea, que, además de proporcionar la inferencia y la predicción, se puede utilizar para proporcionar apoyo tanto a la maestra en la enseñanza y el seguimiento del alumno como estudiante en el proceso de aprendizaje. En este contexto, la investigación se aplica al proceso de enseñanza y aprendizaje mediante experimentos como un procedimiento técnico para recopilar datos. experimentos se hicieron con la aplicación de técnicas computacionales para apoyar la inferencia y la generación del modelo de predicción. En cada experimento en el que se aplicó el MDE, las mejores reglas fueron elegidos en base a medidas de interés y presencia en el estado de ánimo deprimido. A partir de estas mejores reglas, una validación se realizó en un nuevo experimento que propone la interacción de los estudiantes desalentado modelo de predicción de AVEA Moodle. Además de presentar el Modelo de Predicción del Estudiante Desalentado, este modelo fue implementado e integrado como una herramienta computacional para la plataforma Moodle. La investigación se justifica porque presenta la innovación tecnológica para investigar la influencia del efecto sobre el aprendizaje en el contexto de la educación a distancia (EAD) y aplica técnicas computacionales en desarrollo un modelo de predicción de Estudiantes Desalentado, que prevé el profesor una vista modelo general y un mejor seguimiento de sus estudiantes a través de tablero de instrumentos, contribuyendo a su práctica docente. Por lo tanto, la tesis muestra cómo destacado innovador de un producto de investigación a utilizar en la práctica docente en la enseñanza superior, sobre todo en los cursos de educación a distancia, para el reconocimiento de los aspectos relacionados con la afectividad en el contexto educativo. A través de la herramienta computacional para un mejor seguimiento de los estudiantes desanimados que interactúan en AVEA se puede hacer por el profesor, lo que le permite promover una metodología de seguimiento de estos estudiantes con el fin de reducir al mínimo las evasivas y abandonos futuros cursos y disciplinas, en beneficio de la comunidad académica.

A presente pesquisa aborda uma investigação interdisciplinar (Educação e Computação) sobre estudos que estabeleceram como foco a influência da afetividade na educação e sobre como reconhecer o desânimo do aluno em interação em um ambiente virtual de ensino e aprendizagem (AVEA) utilizando mineração de dados educacionais (MDE). A afetividade pode influenciar na aprendizagem do aluno, principalmente com relação aos aspectos negativos, frustrações, sensações de solidão, desânimo, fazendo com que o aluno possa, inclusive, desistir de um curso, tornando-se uma problemática no ensino. Identificar esses aspectos em cursos à distância torna-se desafiador para o professor devido à distância temporal e assincronicidade desse meio. Nos cursos à distância, essa possibilidade pode ser permitida através das análises dos dados das interações do aluno no ambiente, porém, o volume de dados existentes torna-se muito grande para ser analisado pelo professor, fazendo com que seja mais difícil realizar essa identificação. Na busca por identificar o estado de ânimo desanimado, esta tese apresenta um Modelo de Predição do Desânimo baseado em comportamento observável e autorrelato armazenados em AVEA, utilizando regras de associação. Para desenvolver o Modelo de Predição do aluno, as variáveis comportamentais indicadoras do desânimo foram evidenciadas na pesquisa, bem como a utilização dos fundamentos e instrumento de Scherer para identificação dos estados afetivos, mais precisamente do estado de ânimo desanimado, que duram por longos períodos, possibilitando sua identificação após determinados fatos terem ocorrido no processo de aprendizagem, o que possibilitou ter uma metodologia de acompanhamento do aluno. As regras de associação foram descobertas devido ao potencial da MDE, que, além de propiciar a inferência e predição, pode ser usada para fornecer apoio tanto ao professor, no processo de ensino e acompanhamento do aluno, quanto ao aluno, no processo de aprendizagem. Nesse contexto, a pesquisa é aplicada ao processo de ensino e aprendizagem utilizando como procedimento técnico experimentos para coleta de dados. Foram feitos experimentos com aplicação de técnicas computacionais para apoio à inferência e geração do modelo de predição. Em cada experimento onde se aplicou a MDE, as melhores regras foram escolhidas com base nas medidas de interesse e presença do estado de ânimo desanimado. A partir dessas melhores regras, uma validação foi realizada em um novo experimento propondo o Modelo de Predição do aluno desanimado em interação no AVEA Moodle. Além de apresentar o Modelo de Predição do Aluno Desanimado, este modelo foi implementado e integrado como ferramenta computacional à plataforma Moodle. A pesquisa justifica-se na medida em que apresenta inovação tecnológica para investigar a influência da afetividade na aprendizagem dentro do contexto da Educação a Distância (EAD) e aplica técnicas computacionais desenvolvendo um Modelo de Predição do Aluno Desanimado, que fornece para o professor uma visão geral do modelo e melhor acompanhamento de seus alunos, através de dashboard, contribuindo na sua prática docente. Logo, a tese apresenta como destaque inovador um produto de pesquisa com utilidade na prática docente no ensino superior, principalmente em cursos EAD, para o reconhecimento de aspectos relacionados à afetividade no contexto educacional. Através da ferramenta computacional, um melhor acompanhamento de alunos desanimados em interação em AVEA pode ser feito pelo professor, permitindo a este fomentar uma metodologia de acompanhamento desses alunos, a fim de minimizar futuras evasões, bem como desistências em cursos e disciplinas, beneficiando a comunidade acadêmica. / This research addresses an interdisciplinary research (Education and Computer) on studies that established focus on the influence of affectivity in education and how to recognize the dismay of student interaction in a virtual teaching and learning environment (VTLE) using educational data mining (EDM). Affection can influence student learning, particularly with respect to the negative, frustration, feelings of loneliness, discouragement, causing the student can even give up a course, becoming a problematic teaching. Identify these aspects in distance courses becomes challenging for the teacher due to the temporal distance and asynchronicity that medium. In distance learning courses, this possibility may be permitted by the data analysis of student interactions in the environment, however, the amount of data becomes too large to be analyzed by the teacher, making it more difficult to carry out such identification. In seeking to identify the state of despondent mood, this thesis presents a prediction model of the observable behavior-based Discouragement and self-report stored in VTLE using association rules. To develop the prediction model student, the indicator behavioral variables of discouragement were evident in the research, and the use of the grounds and Scherer tool to identify the affective states, specifically the state of despondent mood that last for long periods, enabling identification after certain events have occurred in the learning process, making it possible to have a follow-up methodology of the student. Association rules were discovered due to the potential of the EAW, which, besides providing the inference and prediction, can be used to provide support to both the teacher in the teaching and monitoring of the student as the student in the learning process. In this context, the research is applied to the teaching and learning process using as a technical procedure experiments to collect data. experiments were made with application of computational techniques to support the inference and generation of the prediction model. In each experiment where we applied the MED, the best rules were chosen based on measures of interest and presence in the state of despondent mood. From these best rules, a validation was performed on a new experiment proposing the Prediction Model discouraged student interaction in VTLE Moodle. In addition to presenting the Prediction Model of Student Discouraged, this model was implemented and integrated as a computational tool to the Moodle platform. The research is justified in that it presents technological innovation to investigate the influence of affect on learning within the education context Distance Learning and applies computational techniques developing a prediction model Discouraged Student, which provides for the teacher a view general model and better monitoring of their students through dashboard, contributing to their teaching practice. Therefore, the thesis shows how innovative highlight a research product to use in teaching practice in higher education, especially in distance education courses, for the recognition of aspects related to affectivity in the educational context. Through computational tool for better monitoring of disheartened students interacting in VTLE it can be done by the teacher, allowing him to promote a follow-up methodology of these students in order to minimize future evasions and dropouts courses and disciplines, benefiting the community academic. / Esta investigación se ocupa de una investigación interdisciplinaria (Educación e Informática) en los que se estableció el enfoque sobre la influencia de la afectividad en la educación y cómo reconocer la consternación de la interacción del estudiante en un entorno virtual de enseñanza aprendizaje (AVEA) utilizando la minería de datos educativa (MDE). El afecto puede influir en el aprendizaje del estudiante, en particular con respecto a la negativa, frustración, sentimientos de soledad, desánimo, haciendo que el estudiante puede incluso renunciar a un curso, convirtiéndose en una enseñanza problemática. Identificar estos aspectos en los cursos a distancia se convierte en un reto para el maestro debido a la distancia temporal y asincronía ese medio. En los cursos de enseñanza a distancia, esta posibilidad puede ser permitido por el análisis de los datos de las interacciones de los estudiantes en el ambiente, sin embargo, la cantidad de datos es demasiado grande para ser analizados por el profesor, lo que hace más difícil llevar a cabo dicha identificación. Al tratar de identificar el estado de ánimo deprimido, esta tesis presenta un modelo de predicción del desaliento observables basada en el comportamiento y auto-informe almacenado en AVEA las reglas de asociación. Para desarrollar el estudiante modelo de predicción, las variables de comportamiento del indicador de desaliento eran evidentes en la investigación, y el uso de los terrenos y Scherer herramienta para identificar los estados afectivos, específicamente el estado de ánimo deprimido que duran por largos períodos de tiempo, que permite la identificación después de ciertos acontecimientos se han producido en el proceso de aprendizaje, por lo que es posible tener una metodología de seguimiento del estudiante. Reglas de asociación fueron descubiertos debido al potencial de la orden de detención europea, que, además de proporcionar la inferencia y la predicción, se puede utilizar para proporcionar apoyo tanto a la maestra en la enseñanza y el seguimiento del alumno como estudiante en el proceso de aprendizaje. En este contexto, la investigación se aplica al proceso de enseñanza y aprendizaje mediante experimentos como un procedimiento técnico para recopilar datos. experimentos se hicieron con la aplicación de técnicas computacionales para apoyar la inferencia y la generación del modelo de predicción. En cada experimento en el que se aplicó el MDE, las mejores reglas fueron elegidos en base a medidas de interés y presencia en el estado de ánimo deprimido. A partir de estas mejores reglas, una validación se realizó en un nuevo experimento que propone la interacción de los estudiantes desalentado modelo de predicción de AVEA Moodle. Además de presentar el Modelo de Predicción del Estudiante Desalentado, este modelo fue implementado e integrado como una herramienta computacional para la plataforma Moodle. La investigación se justifica porque presenta la innovación tecnológica para investigar la influencia del efecto sobre el aprendizaje en el contexto de la educación a distancia (EAD) y aplica técnicas computacionales en desarrollo un modelo de predicción de Estudiantes Desalentado, que prevé el profesor una vista modelo general y un mejor seguimiento de sus estudiantes a través de tablero de instrumentos, contribuyendo a su práctica docente. Por lo tanto, la tesis muestra cómo destacado innovador de un producto de investigación a utilizar en la práctica docente en la enseñanza superior, sobre todo en los cursos de educación a distancia, para el reconocimiento de los aspectos relacionados con la afectividad en el contexto educativo. A través de la herramienta computacional para un mejor seguimiento de los estudiantes desanimados que interactúan en AVEA se puede hacer por el profesor, lo que le permite promover una metodología de seguimiento de estos estudiantes con el fin de reducir al mínimo las evasivas y abandonos futuros cursos y disciplinas, en beneficio de la comunidad académica.

Pervasive computing systems aim to improve human-computer interaction, using users situation variables that define context. The boom of Internet makes growing availables items to choose, giving cost in made decision process. Affective Computing has in its goals to identify user s affective/emotional state in a computing interaction, in order to respond to it automatically. Recommendation systems help made decision selecting and suggesting items in scenarios where there are huge information volume, using, traditionally, users prefferences data. This process could be enhanced using context information (as physical, environmental or social), rising the Context-Aware Recommendation Systems. Due to emotions importance in our lives, that could be treated with Affective Computing, this work uses affective context as context variable, in recommendation process, proposing the Affective-Recommender a recommendation system that uses user s affective state to select and to suggest items. The system s model has four components: (i) detector, that identifies affective-state, using the multidimesional Pleasure, Arousal and Dominance model, and Self-Assessment Maniking instrument, that asks user to inform how he/she feels; (ii) recommender, that selects and suggests items, using a collaborative-filtering based approache, in which user s prefference to an item is his/her affective reaction to it as the affective state detected after access; (iii) application, which interacts with user, shows probable most interesting items defined by recommender, and requests affect identification when it is necessarly; and (iv) data base, that stores available items and users prefferences. As a use case, Affective-Recommender is used in a e-learning scenario, due to personalization obtained with recommendation and emotion importances in learning process. The system was implemented over Moodle LMS. To exposes its operation, a use scenario was organized, simulating recommendation process. In order to check system applicability, with students opinion about to inform how he/she feels and to receive suggestions, it was applied in three UFSM graduation courses classes, and then it were analyzed data access and the answers to a sent questionnaire. As results, it was perceived that students were able to inform how they feel, and that occured changes in their affecive state, based on accessed item, although they don t see improvements with the recommendation, due to small data available to process and showr time of application. / Sistemas de Computação Pervasiva buscam melhorar a interação humano-computador através do uso de variáveis da situação do usuário que definem o contexto. A explosão da Internet e das tecnologias de informação e comunicação torna crescente a quantidade de itens disponíveis para a escolha, impondo custo para o usuário no processo de tomada de decisão. A Computação Afetiva tem entre seus objetivos identificar o estado emocional/afetivo do usuário durante uma interação computacional, para automaticamente responder a ele. Já Sistemas de Recomendação auxiliam a tomada de decisão, selecionando e sugerindo itens em situações onde há grandes volumes de informação, tradicionalmente, utilizando as preferências dos usuários para a seleção e sugestão. Esse processo pode ser melhorado com o uso do contexto (físico, ambiental, social), surgindo os Sistemas de Recomendação Sensíveis ao Contexto. Tendo em vista a importância das emoções em nossas vidas, e a possibilidade de tratamento delas com a Computação Afetiva, este trabalho utiliza o contexto afetivo do usuário como variável da situação, durante o processo de recomendação, propondo o Affective-Recommender um sistema de recomendação que faz uso do estado afetivo do usuário para selecionar e sugerir itens. O sistema foi modelado a partir de quatro componentes: (i) detector, que identifica o estado afetivo, utilizando o modelo multidimensional Pleasure, Arousal e Dominance e o instrumento Self-Assessment Manikin, solicitando que o usuário informe como se sente; (ii) recomendador, que escolhe e sugere itens, utilizando uma abordagem baseada em filtragem colaborativa, em que a preferência de um usuário para um item é vista como sua reação estado afetivo detectado após o contato ao item; (iii) aplicação, que interage com o usuário, exibe os itens de provável maior interesse definidos pelo recomendador, e solicita que o estado seja identificado, sempre que necessário; e (iv) base de dados, que armazena os itens disponíveis para serem sugeridos e as preferências de cada usuário. Como um caso de uso e prova de conceito, o Affective-Recommender é empregado em um cenário de e-learning, devido à importância da personalização, obtida com a recomendação, e das emoções no processo de aprendizagem. O sistema foi implementado utilizando-se como base o AVEA Moodle. Para expor o funcionamento, estruturou-se um cenário de uso, simulando-se o processo de recomendação. Para verificar a aplicabilidade real do sistema, ele foi empregado em três turmas de cursos de graduação da UFSM, sendo analisados dados de acesso e aplicado um questionário para identificar as impressões do alunos quanto a informar como se sentem e receber recomendações. Como resultados, percebeu-se que os alunos conseguiram informar seus estados afetivos, e que houve uma mudança em neste estado com base no item acessado, embora não tenham vislumbrado melhorias com as recomendações, em virtude da pequena quantidade de dados disponível para processamento e do curto tempo de aplicação.

Physiological signals, which are controlled by the autonomic nervous system (ANS), could be used to detect the affective state of computer users and therefore find applications in medicine and engineering. The Pupil Diameter (PD) seems to provide a strong indication of the affective state, as found by previous research, but it has not been investigated fully yet. In this study, new approaches based on monitoring and processing the PD signal for off-line and on-line affective assessment (“relaxation” vs. “stress”) are proposed. Wavelet denoising and Kalman filtering methods are first used to remove abrupt changes in the raw Pupil Diameter (PD) signal. Then three features (PDmean, PDmax and PDWalsh) are extracted from the preprocessed PD signal for the affective state classification. In order to select more relevant and reliable physiological data for further analysis, two types of data selection methods are applied, which are based on the paired t-test and subject self-evaluation, respectively. In addition, five different kinds of the classifiers are implemented on the selected data, which achieve average accuracies up to 86.43% and 87.20%, respectively. Finally, the receiver operating characteristic (ROC) curve is utilized to investigate the discriminating potential of each individual feature by evaluation of the area under the ROC curve, which reaches values above 0.90. For the on-line affective assessment, a hard threshold is implemented first in order to remove the eye blinks from the PD signal and then a moving average window is utilized to obtain the representative value PDr for every one-second time interval of PD. There are three main steps for the on-line affective assessment algorithm, which are preparation, feature-based decision voting and affective determination. The final results show that the accuracies are 72.30% and 73.55% for the data subsets, which were respectively chosen using two types of data selection methods (paired t-test and subject self-evaluation). In order to further analyze the efficiency of affective recognition through the PD signal, the Galvanic Skin Response (GSR) was also monitored and processed. The highest affective assessment classification rate obtained from GSR processing is only 63.57% (based on the off-line processing algorithm). The overall results confirm that the PD signal should be considered as one of the most powerful physiological signals to involve in future automated real-time affective recognition systems, especially for detecting the “relaxation” vs. “stress” states.

We present a set of easy-to-use methods and tools to analyze human attention, behaviour, and physiological responses. A potential application of our work is evaluating user interfaces being used in a natural manner. Our approach is designed to be scalable and to work remotely on regular personal computers using expensive and noninvasive equipment. The data sources our tool processes are nonintrusive, and captured from video; i.e. eye tracking, and facial expressions. For video data retrieval, we use a basic webcam. We investigate combinations of observation modalities to detect and extract affective and mental states. Our tool provides a pipeline-based approach that 1) collects observational, data 2) incorporates and synchronizes the signal modality mentioned above, 3) detects users' affective and mental state, 4) records user interaction with applications and pinpoints the parts of the screen users are looking at, 5) analyzes and visualizes results. We describe the design, implementation, and validation of a novel multimodal signal fusion engine, Deep Temporal Credence Network (DTCN). The engine uses Deep Neural Networks to provide 1) a generative and probabilistic inference model, and 2) to handle multimodal data such that its performance does not degrade due to the absence of some modalities. We report on the recognition accuracy of basic emotions for each modality. Then, we evaluate our engine in terms of effectiveness of recognizing basic six emotions and six mental states, which are agreeing, concentrating, disagreeing, interested, thinking, and unsure. Our principal contributions include the implementation of a 1) multimodal signal fusion engine, 2) real time recognition of affective and primary mental states from nonintrusive and inexpensive modality, 3) novel mental state-based visualization techniques, 3D heatmaps, 3D scanpaths, and widget heatmaps that find parts of the user interface where users are perhaps unsure, annoyed, frustrated, or satisfied.

La parole est le moyen de communication dominant chez les humains. Les signaux vocaux véhiculent à la fois des informations et des émotions du locuteur. La combinaison de ces informations aide le récepteur à mieux comprendre ce que veut dire le locuteur et diminue la probabilité de malentendus. Les robots et les ordinateurs peuvent également bénéficier de ce mode de communication. La capacité de reconnaître les émotions dans la voix des locuteurs aide les ordinateurs à mieux répondre aux besoins humains. Cette amélioration de la communication entre les humains et les ordinateurs conduit à une satisfaction accrue des utilisateurs. Dans cette étude, nous avons proposé plusieurs approches pour détecter les émotions de la parole ou de la voix par ordinateur. Nous avons étudié comment différentes techniques et classificateurs d'apprentissage automatique et d'apprentissage profond permettent de détecter les émotions de la parole. Les classificateurs sont entraînés avec des ensembles de données d'émotions audio couramment utilisés et bien connus, ainsi qu'un ensemble de données personnalisé. Cet ensemble de données personnalisé a été enregistré à partir de personnes non-acteurs et non-experts tout en essayant de déclencher des émotions associées. La raison de considérer cet ensemble de données important est de rendre le modèle compétent pour reconnaître les émotions chez les personnes qui ne sont pas aussi parfaites que les acteurs pour refléter leurs émotions dans leur voix. Les résultats de plusieurs classificateurs d'apprentissage automatique et d'apprentissage profond tout en reconnaissant sept émotions de colère, de bonheur, de tristesse, de neutralité, de surprise, de peur et de dégoût sont rapportés et analysés. Les modèles ont été évalués avec et sans prise en compte de l'ensemble de données personnalisé pour montrer l'effet de l'utilisation d'un ensemble de données imparfait. Dans cette étude, tirer parti des techniques d'apprentissage en profondeur et des méthodes d'apprentissage en ensemble a dépassé les autres techniques. Nos meilleurs classificateurs pourraient obtenir des précisions de 90,41 % et 91,96 %, tout en étant entraînés par des réseaux de neurones récurrents et des classificateurs d'ensemble à vote majoritaire, respectivement. / Speech is the dominant way of communication among humans. Voice signals carry both information and emotion of the speaker. The combination of this information helps the receiver to get a better understanding of what the speaker means and decreases the probability of misunderstandings. Robots and computers can also benefit from this way of communication. The capability of recognizing emotions in speakers voice, helps the computers to serve the human need better. This improvement in communication between humans and computers leads to increased user satisfaction. In this study we have proposed several approaches to detect the emotions from speech or voice computationally. We have investigated how different machine learning and deep learning techniques and classifiers perform in detecting the emotions from speech. The classifiers are trained with some commonly used and well-known audio emotion datasets together with a custom dataset. This custom dataset was recorded from non-actor and non-expert people while trying to trigger related emotions in them. The reason for considering this important dataset is to make the model proficient in recognizing emotions in people who are not as perfect as actors in reflecting their emotions in their voices. The results from several machine learning and deep learning classifiers while recognizing seven emotions of anger, happiness, sadness, neutrality, surprise, fear and disgust are reported and analyzed. Models were evaluated with and without considering the custom data set to show the effect of employing an imperfect dataset. In this study, leveraging deep learning techniques and ensemble learning methods has surpassed the other techniques. Our best classifiers could obtain accuracies of 90.41% and 91.96%, while being trained by recurrent neural networks and majority voting ensemble classifiers, respectively.

With podcasts being a fast growing audio-only form of media, an effective way of promoting different podcast shows becomes more and more vital to all the stakeholders concerned, including the podcast creators, the podcast streaming platforms, and the podcast listeners. This thesis investigates the relatively little studied topic of automatic podcast trailer generation, with the purpose of en- hancing the overall visibility and publicity of different podcast contents and gen- erating more user engagement in podcast listening. This thesis takes a hotspot- based approach, by specifically defining the vague concept of “hotspot” and designing different appropriate methods for hotspot detection. Different meth- ods are analyzed and compared, and the best methods are selected. The selected methods are then used to construct an automatic podcast trailer generation sys- tem, which consists of four major components and one schema to coordinate the components. The system can take a random podcast episode audio as input and generate an around 1 minute long trailer for it. This thesis also proposes two human-based podcast trailer evaluation approaches, and the evaluation results show that the proposed system outperforms the baseline with a large margin and achieves promising results in terms of both aesthetics and functionality.

Tesis por compendio / [ES] Los seres humanos somos por naturaleza seres afectivos, las emociones, el estado de ánimo, nuestra personalidad, o nuestras relaciones con los demás guían nuestras motivaciones y nuestras decisiones. Una de las principales habilidades cognitivas relacionadas con el afecto es la empatía. La empatía es un constructo psicológico cuya definición ha ido evolucionando a lo largo de los años y cuyo significado hace referencia a un amplio abanico de competencias afectivas y cognitivas que son fundamentales en el desarrollo del ser humano como ser social. El uso de la empatía en el ámbito de la inteligencia artificial puede revolucionar la forma en la que interactuamos con las máquinas así como la forma en la que simulamos el comportamiento humano. Por otro lado, hay que tener en cuenta que los seres humanos habitualmente acudimos al uso de distintas palabras como ``triste'' o ``contento'' para expresar o verbalizar el estado afectivo. Sin embargo, estas palabras son simplificaciones que abarcan un amplio espectro de procesos cognitivos y estados mentales. Además, hay que considerar que estas palabras tienen una alta dependencia del idioma y la cultura en la que se utilizan. Por tanto, los modelos de representación computacional de los estados afectivos deben se capaces de adaptarse a distintos entornos culturales y de permitir que un agente exprese o represente, mediante palabras, un determinado estado afectivo. En esta tesis se propone un nuevo modelo de agente empático capaz de adaptar su comportamiento a distintos entornos culturales. Para ello, en primer lugar, se presenta una nueva metodología basada en la experimentación para adaptar un espacio de representación de emociones basado en las dimensiones del placer y la activación para la simulación y el reconocimiento computacional afectivo a diferentes entornos culturales. Los resultados del experimento realizado con hispanohablantes europeos se utilizan para proporcionar un nuevo modelo basado en la lógica difusa para representar estados afectivos en las dimensiones de placer y activación utilizando un enfoque de coordenadas polares. Para demostrar que las diferencias culturales afectan a los valores de placer y activación asociados a cada emoción, el experimento se repitió con participantes portugueses y suecos. En segundo lugar, se presenta un nuevo modelo de elicitación de emociones en agentes afectivos que utiliza lógica difusa. Las emociones generadas en el agente por las reglas de valoración difusa se expresan en el modelo de representación del afecto resultante de los experimentos previamente descritos. Además, se propone un nuevo proceso de regulación del afecto que adapta el estado de ánimo del agente, representado mediante un vector en el espacio placer-activación, cada vez que una emoción es elicitada. En tercer lugar, se propone una formalización de la sintaxis, la semántica y el ciclo de razonamiento de AgentSpeak para permitir el desarrollo de agentes afectivos con capacidades empáticas. Partiendo de las teorías de valoración empática y regulación empática, se modifica la estructura de razonamiento del agente para permitir que la empatía afecte al proceso de toma de decisiones. Finalmente, se presenta un modelo de agente pedagógico empático para la educación sobre buenas prácticas en el uso de las redes sociales. El agente es capaz de reconocer la emoción del usuario cuando interactúa con la red social. En base a la emoción del usuario y su comportamiento en la red social, el agente estima un plan para educar al usuario en el uso correcto y seguro de las redes sociales. / [CA] Els éssers humans som per naturalesa éssers afectius, les emocions, l'estat d'ànim, la nostra personalitat o les nostres relacions amb els altres guien les nostres motivacions i les nostres decisions. Una de les habilitats cognitives principals relacionades amb l'afecte és l'empatia. L'empatia és un constructe psicològic la definició del qual ha anat evolucionant al llarg dels anys i el significat del qual fa referència a un ampli ventall de competències afectives i cognitives que són fonamentals en el desenvolupament de l'ésser humà com a ésser social. L'ús de l'empatia en l'àmbit de la intel·ligència artificial pot revolucionar la forma en la qual interactuem amb les màquines així com la forma en què simulem el comportament humà. D'altra banda, cal tenir en compte que els éssers humans habitualment acudim a l'ús de diferents paraules com ``trist'' o ``content'' per expressar o verbalitzar l'estat afectiu. Tot i això, aquestes paraules són simplificacions que abasten un ampli espectre de processos cognitius i estats mentals. A més, cal considerar que aquestes paraules tenen una alta dependència de l'idioma i la cultura en què s'utilitzen. Per tant, els models de representació computacional dels estats afectius han de ser capaços d'adaptar-se a diferents entorns culturals i de permetre que un agent expresse o represente, mitjançant paraules, un estat afectiu determinat. En aquesta tesi es proposa un nou model d'agent empàtic capaç d'adaptar el seu comportament a diferents entorns culturals. Per això, en primer lloc, es presenta una metodologia nova basada en l'experimentació per adaptar un espai de representació d'emocions basat en les dimensions del plaer i l'activació per a la simulació i el reconeixement computacional afectiu a diferents entorns culturals. Els resultats de l'experiment realitzat amb hispanoparlants europeus es fan servir per proporcionar un nou model basat en la lògica difusa per representar estats afectius en les dimensions de plaer i activació mitjançant un enfocament de coordenades polars. Per demostrar que les diferències culturals afecten els valors de plaer i activació associats a cada emoció, l'experiment es va repetir amb participants portuguesos i suecs. En segon lloc, es presenta un nou model d'elicitació d'emocions en agents afectius que fa servir lògica difusa. Les emocions generades a l'agent per les regles de valoració difusa s'expressen en el model de representació de l'afecte resultant dels experiments descrits prèviament. A més, es proposa un nou procés de regulació de l'afecte que adapta l'estat d'ànim de l'agent, representat mitjançant un vector a l'espai plaer-activació, cada cop que una emoció és elicitada. En tercer lloc, es proposa una formalització de la sintaxi, semàntica i cicle de raonament d'AgentSpeak per permetre el desenvolupament d'agents afectius amb capacitats empàtiques. Partint de les teories de valoració empàtica i regulació empàtica, es modifica l'estructura de raonament de l'agent per permetre que l'empatia afecti el procés de presa de decisions. Finalment, es presenta un model d'agent pedagògic empàtic per a l'educació sobre bones pràctiques en l'ús de les xarxes socials. L'agent és capaç de reconèixer l'emoció de l'usuari quan interactua amb la xarxa social. En base a l'emoció de l'usuari i el seu comportament a la xarxa social, l'agent estima un pla per educar l'usuari en l'ús correcte i segur de les xarxes socials. / [EN] Human beings are, by nature, affective beings; our emotions, moods, personality, or relationships with others guide our motivations and our decisions. One of the main cognitive abilities related to affect is empathy. Empathy is a psychological construct whose definition has evolved over the years and whose meaning refers to a wide range of affective and cognitive competencies that are fundamental in the development of human beings as social beings. The use of empathy in the field of artificial intelligence can revolutionize the way we interact with machines as well as the way we simulate human behavior. On the other hand, it must be considered that human beings usually resort to the use of different words such as ``sad'' or ``happy'' to express or verbalize our affective state. However, these words are simplifications that cover a wide spectrum of cognitive processes and mental states. Moreover, it should be considered that these words have a high dependence on the language and culture in which they are used. Therefore, computational representation models of affective states must adaptable to different cultural environments and to allow an agent to express or represent, by means of words, a given affective state. In this thesis, a new model of empathic agent capable of adapting its behavior to different cultural environments is proposed. To this end, first, a new experiment-based methodology to adapt an emotion representation space based on the dimensions of pleasure and arousal for simulation and affective computational recognition to different cultural environments is presented. The results of an experiment conducted with European Spanish speakers are used to provide a new fuzzy logic-based model for representing affective states in the dimensions of pleasure and arousal using a polar coordinate approach. To prove that cultural differences affect the pleasure and arousal values associated with each emotion, the experiment was replicated with Portuguese and Swedish participants. Secondly, a new model of emotion elicitation in affective agents using fuzzy logic is presented. The emotions generated in the agent by the fuzzy appraisal rules are expressed in the model of affect representation resulting from the previously described experiments. In addition, a new affect regulation process is proposed to adapt the agent's mood, represented by a vector in the pleasure-arousal space, when an emotion is elicited. Third, a formalization of the syntax, semantics and reasoning cycle of AgentSpeak to enable the development of affective agents with empathic capabilities is presented. Drawing on the theories of empathic appraisal and empathic regulation, the agent's reasoning structure is modified to allow empathy to affect the decision-making process. Finally, a model of an empathic pedagogical agent for education on good practices in the use of social networks is introduced. The agent is able to recognize the user's emotion when interacting with the social network. Based on the user's emotion and behavior in the social network, the agent estimates a plan to educate the user in the correct and secure use of social networks. / This thesis has been partially supported by the Generalitat Valenciana and European Social Fund by the FPI grant ACIF/2017/085 and by the Spanish Government project PID2020- 113416RB-I00. / Taverner Aparicio, JJ. (2022). A BDI Empathic Agent Model Based on a Multidimensional Cross-Cultural Emotion Representation [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/181181 / TESIS / Compendio

Les risques psychosociaux sont un enjeu de santé publique majeur, en particulier à cause des troubles qu'ils peuvent engendrer : stress, changements d'humeurs, burn-out, etc. Bien que le diagnostic de ces troubles doive être réalisé par un professionel, l'Affective Computing peut apporter une contribution en améliorant la compréhension des phénomènes. L'Affective Computing (ou Informatique Affective) est un domaine pluridisciplinaire, faisant intervenir des concepts d'Intelligence Artificielle, de psychologie et de psychiatrie, notamment. Dans ce travail de recherche, on s'intéresse à deux éléments pouvant faire l'objet de troubles : l'état émotionnel et l'état dépressif des individus.Le concept d'émotion couvre un très large champ de définitions et de modélisations, pour la plupart issues de travaux en psychiatrie ou en psychologie. C'est le cas, par exemple, du circumplex de Russell, qui définit une émotion comme étant la combinaison de deux dimensions affectives, nommées valence et arousal. La valence dénote le caractère triste ou joyeux d'un individu, alors que l'arousal qualifie son caractère passif ou actif. L'évaluation automatique des états émotionnels a suscité, dans la dernière décénie, un regain d'intérêt notable. Des méthodes issues de l'Intelligence Artificielle permettent d'atteindre des performances intéressantes, à partir de données capturées de manière non-invasive, comme des vidéos. Cependant, il demeure un aspect peu étudié : celui des intensités émotionnelles, et de la possibilité de les reconnaître. Dans cette thèse, nous avons exploré cet aspect au moyen de méthodes de visualisation et de classification pour montrer que l'usage de classes d'intensités émotionnelles, plutôt que de valeurs continues, bénéficie à la fois à la reconnaissance automatique et à l'interprétation des états.Le concept de dépression connaît un cadre plus strict, dans la mesure où c'est une maladie reconnue en tant que telle. Elle atteint les individus sans distinction d'âge, de genre ou de métier, mais varie en intensité ou en nature des symptômes. Pour cette raison, son étude tant au niveau de la détection que du suivi, présente un intérêt majeur pour la prévention des risques psychosociaux.Toutefois, son diagnostic est rendu difficile par le caractère parfois anodin des symptômes et par la démarche souvent délicate de consulter un spécialiste. L'échelle de Beck et le score associé permettent, au moyen d'un questionnaire, d'évaluer la sévérité de l'état dépressif d'un individu. Le système que nous avons développé est capable de reconnaître automatiquement le score dépressif d'un individu à partir de vidéos. Il comprend, d'une part, un descripteur visuel spatio-temporel bas niveau qui quantifie les micro et les macro-mouvements faciaux et, d'autre part, des méthodes neuronales issues des sciences cognitives. Sa rapidité autorise des applications de reconnaissance des états dépressifs en temps réel, et ses performances sont intéressantes au regard de l'état de l'art. La fusion des modalités visuelles et auditives a également fait l'objet d'une étude, qui montre que l'utilisation de ces deux canaux sensoriels bénéficie à la reconnaissance des états dépressifs.Au-delà des performances et de son originalité, l'un des points forts de ce travail de thèse est l'interprétabilité des méthodes. En effet, dans un contexte pluridisciplinaire tel que celui posé par l'Affective Computing, l'amélioration des connaissances et la compréhension des phénomènes étudiés sont des aspects majeurs que les méthodes informatiques sous forme de "boîte noire" ont souvent du mal à appréhender. / Psychosocial risks are a major public health issue, because of the disorders they can trigger : stress, mood swings, burn-outs, etc. Although propoer diagnosis can only be made by a healthcare professionnel, Affective Computing can make a contribution by improving the understanding of the phenomena. Affective Computing is a multidisciplinary field involving concepts of Artificial Intelligence, psychology and psychiatry, among others. In this research, we are interested in two elements that can be subject to disorders: the emotional state and the depressive state of individuals.The concept of emotion covers a wide range of definitions and models, most of which are based on work in psychiatry or psychology. A famous example is Russell's circumplex, which defines an emotion as the combination of two emotional dimensions, called valence and arousal. Valence denotes an individual's sad or joyful character, while arousal denotes his passive or active character. The automatic evaluation of emotional states has generated a significant revival of interest in the last decade. Methods from Artificial Intelligence allow to achieve interesting performances, from data captured in a non-invasive manner, such as videos. However, there is one aspect that has not been studied much: that of emotional intensities and the possibility of recognizing them. In this thesis, we have explored this aspect using visualization and classification methods to show that the use of emotional intensity classes, rather than continuous values, benefits both automatic recognition and state interpretation.The concept of depression is more strict, as it is a recognized disease as such. It affects individuals regardless of age, gender or occupation, but varies in intensity or nature of symptoms. For this reason, its study, both at the level of detection and monitoring, is of major interest for the prevention of psychosocial risks.However, his diagnosis is made difficult by the sometimes innocuous nature of the symptoms and by the often delicate process of consulting a specialist. The Beck's scale and the associated score allow, by means of a questionnaire, to evaluate the severity of an individual's state of depression. The system we have developed is able to automatically recognize an individual's depressive score from videos. It includes, on the one hand, a low-level visual spatio-temporal descriptor that quantifies micro and macro facial movements and, on the other hand, neural methods from the cognitive sciences. Its speed allows applications for real-time recognition of depressive states, and its performance is interesting with regard to the state of the art. The fusion of visual and auditory modalities has also been studied, showing that the use of these two sensory channels benefits the recognition of depressive states.Beyond performance and originality, one of the strong points of this thesis is the interpretability of the methods. Indeed, in a multidisciplinary context such as that of Affective Computing, improving knowledge and understanding of the studied phenomena is a key point that usual computer methods implemeted as "black boxes" can't deal with.

No description available.