本論文では，漸進型遺伝的プログラミングを用いて特定ユーザを対象にした感情認識モデルを進化的に実現する方法論について提案した．特徴量の木構造で解を表現する遺伝的プログラミングを用い，時間情報も含め顔表情データを取得できる汎用センサの情報を基にユーザ適応型の感情認識モデルを進化させた．同時に遺伝的プログラミングの非決定性，汎化性の欠如，過適応に対処するため，進化を漸進的に展開する機構を組み込んだ漸進型遺伝的プログラミング法を開発した． / This research proposes a model to tackle challenges common in Emotion Recognition based on facial expression. First, we use pervasive sensor and environment, enabling natural expressions of user, as opposed to unnatural expressions on a large dataset. Second, the model analyzes relevant temporal information, unlike many other researches. Third, we employ user-specific approach and adaptation to user. We also show that our evolved model by genetic programming can be analyzed on how it really works and not a black-box model. / 博士(工学) / Doctor of Philosophy in Engineering / 同志社大学 / Doshisha University

No description available.

This research aims to make the first step in the direction of creating guidelines to use for building an instrument capable to collect information about citizens’ emotional reaction toward their city.Through the use of an existing mobile application meant to collect data about one’s own emotions I tried to evaluated the availability of people in sharing how they feel.Later on, based on the evaluations of this app, I created two subsequent analog prototypes that can be placed in urban spaces to collect people’s place related emotions. The devices have been used both inside the university and in open urban spaces in Malmö. Using the experiences made with these prototypes, concerning the availability of people in sharing their emotions about spaces, this thesis is used to develop guidelines and design opportunities for further development of interactive street furniture designed to collect place related emotions.

Tesis por compendio / [ES] El uso de la realidad virtual (RV) se ha incrementado notablemente en la comunidad científica para la investigación del comportamiento humano. En particular, la RV inmersiva ha crecido debido a la democratización de las gafas de realidad virtual o head mounted displays (HMD), que ofrecen un alto rendimiento con una inversión económica. Uno de los campos que ha emergido con fuerza en la última década es el Affective Computing, que combina psicofisiología, informática, ingeniería biomédica e inteligencia artificial, desarrollando sistemas que puedan reconocer emociones automáticamente. Su progreso es especialmente importante en el campo de la investigación del comportamiento humano, debido al papel fundamental que las emociones juegan en muchos procesos psicológicos como la percepción, la toma de decisiones, la creatividad, la memoria y la interacción social. Muchos estudios se han centrado en intentar obtener una metodología fiable para evocar y automáticamente identificar estados emocionales, usando medidas fisiológicas objetivas y métodos de aprendizaje automático. Sin embargo, la mayoría de los estudios previos utilizan imágenes, audios o vídeos para generar los estados emocionales y, hasta donde llega nuestro conocimiento, ninguno de ellos ha desarrollado un sistema de reconocimiento emocional usando RV inmersiva. Aunque algunos trabajos anteriores sí analizan las respuestas fisiológicas en RV inmersivas, estos no presentan modelos de aprendizaje automático para procesamiento y clasificación automática de bioseñales. Además, un concepto crucial cuando se usa la RV en investigación del comportamiento humano es la validez: la capacidad de evocar respuestas similares en un entorno virtual a las evocadas por el espacio físico. Aunque algunos estudios previos han usado dimensiones psicológicas y cognitivas para comparar respuestas entre entornos reales y virtuales, las investigaciones que analizan respuestas fisiológicas o comportamentales están mucho menos extendidas. Según nuestros conocimientos, este es el primer trabajo que compara entornos físicos con su réplica en RV, empleando respuestas fisiológicas y algoritmos de aprendizaje automático y analizando la capacidad de la RV de transferir y extrapolar las conclusiones obtenidas al entorno real que se está simulando. El objetivo principal de la tesis es validar el uso de la RV inmersiva como una herramienta de estimulación emocional usando respuestas psicofisiológicas y comportamentales en combinación con algoritmos de aprendizaje automático, así como realizar una comparación directa entre un entorno real y virtual. Para ello, se ha desarrollado un protocolo experimental que incluye entornos emocionales 360º, un museo real y una virtualización 3D altamente realista del mismo museo. La tesis presenta novedosas contribuciones del uso de la RV inmersiva en la investigación del comportamiento humano, en particular en lo relativo al estudio de las emociones. Esta ayudará a aplicar metodologías a estímulos más realistas para evaluar entornos y situaciones de la vida diaria, superando las actuales limitaciones de la estimulación emocional que clásicamente ha incluido imágenes, audios o vídeos. Además, en ella se analiza la validez de la RV realizando una comparación directa usando una simulación altamente realista. Creemos que la RV inmersiva va a revolucionar los métodos de estimulación emocional en entornos de laboratorio. Además, su sinergia junto a las medidas fisiológicas y las técnicas de aprendizaje automático, impactarán transversalmente en muchas áreas de investigación como la arquitectura, la salud, la evaluación psicológica, el entrenamiento, la educación, la conducción o el marketing, abriendo un nuevo horizonte de oportunidades para la comunidad científica. La presente tesis espera contribuir a caminar en esa senda. / [EN] In recent years the scientific community has significantly increased its use of virtual reality (VR) technologies in human behaviour research. In particular, the use of immersive VR has grown due to the introduction of affordable, high performance head mounted displays (HMDs). Among the fields that has strongly emerged in the last decade is affective computing, which combines psychophysiology, computer science, biomedical engineering and artificial intelligence in the development of systems that can automatically recognize emotions. The progress of affective computing is especially important in human behaviour research due to the central role that emotions play in many background processes, such as perception, decision-making, creativity, memory and social interaction. Several studies have tried to develop a reliable methodology to evoke and automatically identify emotional states using objective physiological measures and machine learning methods. However, the majority of previous studies used images, audio or video to elicit emotional statements; to the best of our knowledge, no previous research has developed an emotion recognition system using immersive VR. Although some previous studies analysed physiological responses in immersive VR, they did not use machine learning techniques for biosignal processing and classification. Moreover, a crucial concept when using VR for human behaviour research is validity: the capacity to evoke a response from the user in a simulated environment similar to the response that might be evoked in a physical environment. Although some previous studies have used psychological and cognitive dimensions to compare responses in real and virtual environments, few have extended this research to analyse physiological or behavioural responses. Moreover, to our knowledge, this is the first study to compare VR scenarios with their real-world equivalents using physiological measures coupled with machine learning algorithms, and to analyse the ability of VR to transfer and extrapolate insights obtained from VR environments to real environments. The main objective of this thesis is, using psycho-physiological and behavioural responses in combination with machine learning methods, and by performing a direct comparison between a real and virtual environment, to validate immersive VR as an emotion elicitation tool. To do so we develop an experimental protocol involving emotional 360º environments, an art exhibition in a real museum, and a highly-realistic 3D virtualization of the same art exhibition. This thesis provides novel contributions to the use of immersive VR in human behaviour research, particularly in relation to emotions. VR can help in the application of methodologies designed to present more realistic stimuli in the assessment of daily-life environments and situations, thus overcoming the current limitations of affective elicitation, which classically uses images, audio and video. Moreover, it analyses the validity of VR by performing a direct comparison using highly-realistic simulation. We believe that immersive VR will revolutionize laboratory-based emotion elicitation methods. Moreover, its synergy with physiological measurement and machine learning techniques will impact transversely in many other research areas, such as architecture, health, assessment, training, education, driving and marketing, and thus open new opportunities for the scientific community. The present dissertation aims to contribute to this progress. / [CA] L'ús de la realitat virtual (RV) s'ha incrementat notablement en la comunitat científica per a la recerca del comportament humà. En particular, la RV immersiva ha crescut a causa de la democratització de les ulleres de realitat virtual o head mounted displays (HMD), que ofereixen un alt rendiment amb una reduïda inversió econòmica. Un dels camps que ha emergit amb força en l'última dècada és el Affective Computing, que combina psicofisiologia, informàtica, enginyeria biomèdica i intel·ligència artificial, desenvolupant sistemes que puguen reconéixer emocions automàticament. El seu progrés és especialment important en el camp de la recerca del comportament humà, a causa del paper fonamental que les emocions juguen en molts processos psicològics com la percepció, la presa de decisions, la creativitat, la memòria i la interacció social. Molts estudis s'han centrat en intentar obtenir una metodologia fiable per a evocar i automàticament identificar estats emocionals, utilitzant mesures fisiològiques objectives i mètodes d'aprenentatge automàtic. No obstant això, la major part dels estudis previs utilitzen imatges, àudios o vídeos per a generar els estats emocionals i, fins on arriba el nostre coneixement, cap d'ells ha desenvolupat un sistema de reconeixement emocional mitjançant l'ús de la RV immersiva. Encara que alguns treballs anteriors sí que analitzen les respostes fisiològiques en RV immersives, aquests no presenten models d'aprenentatge automàtic per a processament i classificació automàtica de biosenyals. A més, un concepte crucial quan s'utilitza la RV en la recerca del comportament humà és la validesa: la capacitat d'evocar respostes similars en un entorn virtual a les evocades per l'espai físic. Encara que alguns estudis previs han utilitzat dimensions psicològiques i cognitives per a comparar respostes entre entorns reals i virtuals, les recerques que analitzen respostes fisiològiques o comportamentals estan molt menys esteses. Segons els nostres coneixements, aquest és el primer treball que compara entorns físics amb la seua rèplica en RV, emprant respostes fisiològiques i algorismes d'aprenentatge automàtic i analitzant la capacitat de la RV de transferir i extrapolar les conclusions obtingudes a l'entorn real que s'està simulant. L'objectiu principal de la tesi és validar l'ús de la RV immersiva com una eina d'estimulació emocional usant respostes psicofisiològiques i comportamentals en combinació amb algorismes d'aprenentatge automàtic, així com realitzar una comparació directa entre un entorn real i virtual. Per a això, s'ha desenvolupat un protocol experimental que inclou entorns emocionals 360º, un museu real i una virtualització 3D altament realista del mateix museu. La tesi presenta noves contribucions de l'ús de la RV immersiva en la recerca del comportament humà, en particular quant a l'estudi de les emocions. Aquesta ajudarà a aplicar metodologies a estímuls més realistes per a avaluar entorns i situacions de la vida diària, superant les actuals limitacions de l'estimulació emocional que clàssicament ha inclòs imatges, àudios o vídeos. A més, en ella s'analitza la validesa de la RV realitzant una comparació directa usant una simulació altament realista. Creiem que la RV immersiva revolucionarà els mètodes d'estimulació emocional en entorns de laboratori. A més, la seua sinergia al costat de les mesures fisiològiques i les tècniques d'aprenentatge automàtic, impactaran transversalment en moltes àrees de recerca com l'arquitectura, la salut, l'avaluació psicològica, l'entrenament, l'educació, la conducció o el màrqueting, obrint un nou horitzó d'oportunitats per a la comunitat científica. La present tesi espera contribuir a caminar en aquesta senda. / Marín Morales, J. (2020). Modelling human emotions using immersive virtual reality, physiological signals and behavioural responses [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/148717 / Compendio

Dans ce travail, nous explorons la faisabilité de doter les machines de la capacité de prédire, dans un contexte d'interaction homme-machine (IHM), l'émotion d'un utilisateur, ainsi que son intensité, de manière instantanée pour une grande variété de situations. Plus spécifiquement, une application a été développée, appelée machine émotionnelle, capable de «comprendre» la signification d'une situation en se basant sur le modèle théorique d'évaluation de l'émotion Ortony, Clore et Collins (OCC). Cette machine est apte, également, à prédire les réactions émotionnelles des utilisateurs, en combinant des versions améliorées des k plus proches voisins et des réseaux de neurones. Une procédure empirique a été réalisée pour l'acquisition des données. Ces dernières ont fourni une connaissance consistante aux algorithmes d'apprentissage choisis et ont permis de tester la performance de la machine. Les résultats obtenus montrent que la machine émotionnelle proposée est capable de produire de bonnes prédictions. Une telle réalisation pourrait encourager son utilisation future dans des domaines exploitant la reconnaissance automatique de l'émotion. / This work explores the feasibility of equipping computers with the ability to predict, in a context of a human computer interaction, the probable user’s emotion and its intensity for a wide variety of emotion-eliciting situations. More specifically, an online framework, the Emotional Machine, is developed enabling computers to «understand» situations using OCC model of emotion and to predict user’s reaction by combining refined versions of Artificial Neural Network and k Nearest Neighbours algorithms. An empirical procedure including a web-based anonymous questionnaire for data acquisition was designed to provide the chosen machine learning algorithms with a consistent knowledge and to test the application’s recognition performance. Results from the empirical investigation show that the proposed Emotional Machine is capable of producing accurate predictions. Such an achievement may encourage future using of our framework for automated emotion recognition in various application fields.

O mercado cinematográfico pode ser caracterizado como uma indústria de entretenimento com a produção de bens de informação que são também bens de experiência, cuja qualidade só é conhecida após o consumo. Deste modo, a revisão crítica se torna importante para induzir seu consumo, fornecendo previamente algum grau de informação sobre a qualidade do bem. Segue-se o trabalho de Reinstein e Snyder (2005) para determinar se as revisões críticas conduzidas por consumidores e por críticos profissionais online afetam o tempo de exibição de filmes no mercado americano de cinema, medido em quantidades de semanas, conforme modelos de duração/sobrevivência na literatura. Para esta finalidade foi gerado, a partir de sites de cinemas americanos (Box Office Mojo e Rotten Tomatoes), um banco de dados extremamente rico com informações semanais de todos os filmes disponíveis no cinema americano de 2004 a 2015. Especificamente, investigou-se os efeitos das revisões críticas de críticos profissionais de primeira linha (Tops) e de consumidores, conforme a média das notas atribuídas na semana de lançamento de cada filme. No que se refere à avaliação dos consumidores foi aplicada a computação afetiva, que reconhece o sentimento e a emoção em suas resenhas online para captar o efeito boca a boca potencializado pelas mídias sociais e fornecendo, portanto, uma análise mais profunda do boca a boca online. O estudo controla por possíveis problemas de endogeneidade decorrente de simultaneidade, usando as críticas somente antes e durante a semana de lançamento dos filmes. Os resultados sugerem que os críticos profissionais exercem grande influência no tempo de duração dos filmes em cartaz, bem como a positividade dos consumidores em relação ao filme. No entanto, o efeito dos críticos profissionais é em média 3 vezes maior do que dos consumidores. Adicionalmente, pode-se observar que algumas emoções afetam a expectativa de vida dos filmes a depender do gênero do mesmo / The movie market may be considered as entertainment industry, which produces experience goods that is also information goods, whose quality is only known only after consumption. Thus, critical reviews becomes important to induce consumption, since it provides some level of information about product quality. We follow Reinstein and Snyder (2005) works in order to determine if experts and consumers online critical reviews affect the survival time of movies at the American movie market, measured by number of weeks, according to survival analysis models in the literature. For this purpose, an extremely rich database with weekly information on all the films available in American cinema from 2004 to 2015 was generated from American movie sites (Box Office Mojo and Rotten Tomatoes). Specifically, we investigate the effects of critical reviews from top professionals and from consumers, according to the average ratings assigned in each movie\'s release week. As far as consumer assessment was concerned, affective computing was applied, which recognizes the sentiment (sentiment analysis) and emotion (emotion mining) in their online reviews to capture the word-of-mouth effect boosted by social media. The study controls for possible problems of endogeneity due to simultaneity, using the criticisms before and during the week of release of the films. The results suggest that the professional critics exert a great influence on the duration of the films in exhibition, as well as the positivity of the consumers in relation to the film. Thus, the effect of professionals are 5 times greater, generally, than the effect of the consumer critics. Additionally, it can be observed that some emotions affect movie life expectancy depending on the its genre

A presente pesquisa aborda uma investigação interdisciplinar (Educação e Computação) sobre estudos que estabeleceram como foco a influência da afetividade na educação e sobre como reconhecer o desânimo do aluno em interação em um ambiente virtual de ensino e aprendizagem (AVEA) utilizando mineração de dados educacionais (MDE). A afetividade pode influenciar na aprendizagem do aluno, principalmente com relação aos aspectos negativos, frustrações, sensações de solidão, desânimo, fazendo com que o aluno possa, inclusive, desistir de um curso, tornando-se uma problemática no ensino. Identificar esses aspectos em cursos à distância torna-se desafiador para o professor devido à distância temporal e assincronicidade desse meio. Nos cursos à distância, essa possibilidade pode ser permitida através das análises dos dados das interações do aluno no ambiente, porém, o volume de dados existentes torna-se muito grande para ser analisado pelo professor, fazendo com que seja mais difícil realizar essa identificação. Na busca por identificar o estado de ânimo desanimado, esta tese apresenta um Modelo de Predição do Desânimo baseado em comportamento observável e autorrelato armazenados em AVEA, utilizando regras de associação. Para desenvolver o Modelo de Predição do aluno, as variáveis comportamentais indicadoras do desânimo foram evidenciadas na pesquisa, bem como a utilização dos fundamentos e instrumento de Scherer para identificação dos estados afetivos, mais precisamente do estado de ânimo desanimado, que duram por longos períodos, possibilitando sua identificação após determinados fatos terem ocorrido no processo de aprendizagem, o que possibilitou ter uma metodologia de acompanhamento do aluno. As regras de associação foram descobertas devido ao potencial da MDE, que, além de propiciar a inferência e predição, pode ser usada para fornecer apoio tanto ao professor, no processo de ensino e acompanhamento do aluno, quanto ao aluno, no processo de aprendizagem. Nesse contexto, a pesquisa é aplicada ao processo de ensino e aprendizagem utilizando como procedimento técnico experimentos para coleta de dados. Foram feitos experimentos com aplicação de técnicas computacionais para apoio à inferência e geração do modelo de predição. Em cada experimento onde se aplicou a MDE, as melhores regras foram escolhidas com base nas medidas de interesse e presença do estado de ânimo desanimado. A partir dessas melhores regras, uma validação foi realizada em um novo experimento propondo o Modelo de Predição do aluno desanimado em interação no AVEA Moodle. Além de apresentar o Modelo de Predição do Aluno Desanimado, este modelo foi implementado e integrado como ferramenta computacional à plataforma Moodle. A pesquisa justifica-se na medida em que apresenta inovação tecnológica para investigar a influência da afetividade na aprendizagem dentro do contexto da Educação a Distância (EAD) e aplica técnicas computacionais desenvolvendo um Modelo de Predição do Aluno Desanimado, que fornece para o professor uma visão geral do modelo e melhor acompanhamento de seus alunos, através de dashboard, contribuindo na sua prática docente. Logo, a tese apresenta como destaque inovador um produto de pesquisa com utilidade na prática docente no ensino superior, principalmente em cursos EAD, para o reconhecimento de aspectos relacionados à afetividade no contexto educacional. Através da ferramenta computacional, um melhor acompanhamento de alunos desanimados em interação em AVEA pode ser feito pelo professor, permitindo a este fomentar uma metodologia de acompanhamento desses alunos, a fim de minimizar futuras evasões, bem como desistências em cursos e disciplinas, beneficiando a comunidade acadêmica. / This research addresses an interdisciplinary research (Education and Computer) on studies that established focus on the influence of affectivity in education and how to recognize the dismay of student interaction in a virtual teaching and learning environment (VTLE) using educational data mining (EDM). Affection can influence student learning, particularly with respect to the negative, frustration, feelings of loneliness, discouragement, causing the student can even give up a course, becoming a problematic teaching. Identify these aspects in distance courses becomes challenging for the teacher due to the temporal distance and asynchronicity that medium. In distance learning courses, this possibility may be permitted by the data analysis of student interactions in the environment, however, the amount of data becomes too large to be analyzed by the teacher, making it more difficult to carry out such identification. In seeking to identify the state of despondent mood, this thesis presents a prediction model of the observable behavior-based Discouragement and self-report stored in VTLE using association rules. To develop the prediction model student, the indicator behavioral variables of discouragement were evident in the research, and the use of the grounds and Scherer tool to identify the affective states, specifically the state of despondent mood that last for long periods, enabling identification after certain events have occurred in the learning process, making it possible to have a follow-up methodology of the student. Association rules were discovered due to the potential of the EAW, which, besides providing the inference and prediction, can be used to provide support to both the teacher in the teaching and monitoring of the student as the student in the learning process. In this context, the research is applied to the teaching and learning process using as a technical procedure experiments to collect data. experiments were made with application of computational techniques to support the inference and generation of the prediction model. In each experiment where we applied the MED, the best rules were chosen based on measures of interest and presence in the state of despondent mood. From these best rules, a validation was performed on a new experiment proposing the Prediction Model discouraged student interaction in VTLE Moodle. In addition to presenting the Prediction Model of Student Discouraged, this model was implemented and integrated as a computational tool to the Moodle platform. The research is justified in that it presents technological innovation to investigate the influence of affect on learning within the education context Distance Learning and applies computational techniques developing a prediction model Discouraged Student, which provides for the teacher a view general model and better monitoring of their students through dashboard, contributing to their teaching practice. Therefore, the thesis shows how innovative highlight a research product to use in teaching practice in higher education, especially in distance education courses, for the recognition of aspects related to affectivity in the educational context. Through computational tool for better monitoring of disheartened students interacting in VTLE it can be done by the teacher, allowing him to promote a follow-up methodology of these students in order to minimize future evasions and dropouts courses and disciplines, benefiting the community academic. / Esta investigación se ocupa de una investigación interdisciplinaria (Educación e Informática) en los que se estableció el enfoque sobre la influencia de la afectividad en la educación y cómo reconocer la consternación de la interacción del estudiante en un entorno virtual de enseñanza aprendizaje (AVEA) utilizando la minería de datos educativa (MDE). El afecto puede influir en el aprendizaje del estudiante, en particular con respecto a la negativa, frustración, sentimientos de soledad, desánimo, haciendo que el estudiante puede incluso renunciar a un curso, convirtiéndose en una enseñanza problemática. Identificar estos aspectos en los cursos a distancia se convierte en un reto para el maestro debido a la distancia temporal y asincronía ese medio. En los cursos de enseñanza a distancia, esta posibilidad puede ser permitido por el análisis de los datos de las interacciones de los estudiantes en el ambiente, sin embargo, la cantidad de datos es demasiado grande para ser analizados por el profesor, lo que hace más difícil llevar a cabo dicha identificación. Al tratar de identificar el estado de ánimo deprimido, esta tesis presenta un modelo de predicción del desaliento observables basada en el comportamiento y auto-informe almacenado en AVEA las reglas de asociación. Para desarrollar el estudiante modelo de predicción, las variables de comportamiento del indicador de desaliento eran evidentes en la investigación, y el uso de los terrenos y Scherer herramienta para identificar los estados afectivos, específicamente el estado de ánimo deprimido que duran por largos períodos de tiempo, que permite la identificación después de ciertos acontecimientos se han producido en el proceso de aprendizaje, por lo que es posible tener una metodología de seguimiento del estudiante. Reglas de asociación fueron descubiertos debido al potencial de la orden de detención europea, que, además de proporcionar la inferencia y la predicción, se puede utilizar para proporcionar apoyo tanto a la maestra en la enseñanza y el seguimiento del alumno como estudiante en el proceso de aprendizaje. En este contexto, la investigación se aplica al proceso de enseñanza y aprendizaje mediante experimentos como un procedimiento técnico para recopilar datos. experimentos se hicieron con la aplicación de técnicas computacionales para apoyar la inferencia y la generación del modelo de predicción. En cada experimento en el que se aplicó el MDE, las mejores reglas fueron elegidos en base a medidas de interés y presencia en el estado de ánimo deprimido. A partir de estas mejores reglas, una validación se realizó en un nuevo experimento que propone la interacción de los estudiantes desalentado modelo de predicción de AVEA Moodle. Además de presentar el Modelo de Predicción del Estudiante Desalentado, este modelo fue implementado e integrado como una herramienta computacional para la plataforma Moodle. La investigación se justifica porque presenta la innovación tecnológica para investigar la influencia del efecto sobre el aprendizaje en el contexto de la educación a distancia (EAD) y aplica técnicas computacionales en desarrollo un modelo de predicción de Estudiantes Desalentado, que prevé el profesor una vista modelo general y un mejor seguimiento de sus estudiantes a través de tablero de instrumentos, contribuyendo a su práctica docente. Por lo tanto, la tesis muestra cómo destacado innovador de un producto de investigación a utilizar en la práctica docente en la enseñanza superior, sobre todo en los cursos de educación a distancia, para el reconocimiento de los aspectos relacionados con la afectividad en el contexto educativo. A través de la herramienta computacional para un mejor seguimiento de los estudiantes desanimados que interactúan en AVEA se puede hacer por el profesor, lo que le permite promover una metodología de seguimiento de estos estudiantes con el fin de reducir al mínimo las evasivas y abandonos futuros cursos y disciplinas, en beneficio de la comunidad académica.

O mercado cinematográfico pode ser caracterizado como uma indústria de entretenimento com a produção de bens de informação que são também bens de experiência, cuja qualidade só é conhecida após o consumo. Deste modo, a revisão crítica se torna importante para induzir seu consumo, fornecendo previamente algum grau de informação sobre a qualidade do bem. Segue-se o trabalho de Reinstein e Snyder (2005) para determinar se as revisões críticas conduzidas por consumidores e por críticos profissionais online afetam o tempo de exibição de filmes no mercado americano de cinema, medido em quantidades de semanas, conforme modelos de duração/sobrevivência na literatura. Para esta finalidade foi gerado, a partir de sites de cinemas americanos (Box Office Mojo e Rotten Tomatoes), um banco de dados extremamente rico com informações semanais de todos os filmes disponíveis no cinema americano de 2004 a 2015. Especificamente, investigou-se os efeitos das revisões críticas de críticos profissionais de primeira linha (Tops) e de consumidores, conforme a média das notas atribuídas na semana de lançamento de cada filme. No que se refere à avaliação dos consumidores foi aplicada a computação afetiva, que reconhece o sentimento e a emoção em suas resenhas online para captar o efeito boca a boca potencializado pelas mídias sociais e fornecendo, portanto, uma análise mais profunda do boca a boca online. O estudo controla por possíveis problemas de endogeneidade decorrente de simultaneidade, usando as críticas somente antes e durante a semana de lançamento dos filmes. Os resultados sugerem que os críticos profissionais exercem grande influência no tempo de duração dos filmes em cartaz, bem como a positividade dos consumidores em relação ao filme. No entanto, o efeito dos críticos profissionais é em média 3 vezes maior do que dos consumidores. Adicionalmente, pode-se observar que algumas emoções afetam a expectativa de vida dos filmes a depender do gênero do mesmo / The movie market may be considered as entertainment industry, which produces experience goods that is also information goods, whose quality is only known only after consumption. Thus, critical reviews becomes important to induce consumption, since it provides some level of information about product quality. We follow Reinstein and Snyder (2005) works in order to determine if experts and consumers online critical reviews affect the survival time of movies at the American movie market, measured by number of weeks, according to survival analysis models in the literature. For this purpose, an extremely rich database with weekly information on all the films available in American cinema from 2004 to 2015 was generated from American movie sites (Box Office Mojo and Rotten Tomatoes). Specifically, we investigate the effects of critical reviews from top professionals and from consumers, according to the average ratings assigned in each movie\'s release week. As far as consumer assessment was concerned, affective computing was applied, which recognizes the sentiment (sentiment analysis) and emotion (emotion mining) in their online reviews to capture the word-of-mouth effect boosted by social media. The study controls for possible problems of endogeneity due to simultaneity, using the criticisms before and during the week of release of the films. The results suggest that the professional critics exert a great influence on the duration of the films in exhibition, as well as the positivity of the consumers in relation to the film. Thus, the effect of professionals are 5 times greater, generally, than the effect of the consumer critics. Additionally, it can be observed that some emotions affect movie life expectancy depending on the its genre

Music mood recognition by machine continues to attract attention from both academia and industry. This thesis explores the hypothesis that the music emotion problem is circular, and is a primary step in determining the efficacy of circular regression as a machine learning method for automatic music mood recognition. This hypothesis is tested through experiments conducted using instances of the two commonly accepted models of affect used in machine learning (categorical and two-dimensional), as well as on an original circular model proposed by the author. Polygonal approximations of circular regression are proposed as a practical way to investigate whether the circularity of the annotations can be exploited. An original dataset assembled and annotated for the models is also presented. Next, the architecture and implementation choices of all three models are given, with an emphasis on the new polygonal approximations of circular regression. Experiments with different polygons demonstrate consistent and in some cases significant improvements over the categorical model on a dataset containing ambiguous extracts (ones for which the human annotators did not fully agree upon). Through a comprehensive analysis of the results, errors and inconsistencies observed, evidence is provided that mood recognition can be improved if approached as a circular problem. Finally, a proposed multi-tagging strategy based on the circular predictions is put forward as a pragmatic method to automatically annotate music based on the circular model. / Graduate / 0984 / 0800 / 0413 / zazz101@hotmail.com

Dans ce travail, nous explorons la faisabilité de doter les machines de la capacité de prédire, dans un contexte d'interaction homme-machine (IHM), l'émotion d'un utilisateur, ainsi que son intensité, de manière instantanée pour une grande variété de situations. Plus spécifiquement, une application a été développée, appelée machine émotionnelle, capable de «comprendre» la signification d'une situation en se basant sur le modèle théorique d'évaluation de l'émotion Ortony, Clore et Collins (OCC). Cette machine est apte, également, à prédire les réactions émotionnelles des utilisateurs, en combinant des versions améliorées des k plus proches voisins et des réseaux de neurones. Une procédure empirique a été réalisée pour l'acquisition des données. Ces dernières ont fourni une connaissance consistante aux algorithmes d'apprentissage choisis et ont permis de tester la performance de la machine. Les résultats obtenus montrent que la machine émotionnelle proposée est capable de produire de bonnes prédictions. Une telle réalisation pourrait encourager son utilisation future dans des domaines exploitant la reconnaissance automatique de l'émotion. / This work explores the feasibility of equipping computers with the ability to predict, in a context of a human computer interaction, the probable user’s emotion and its intensity for a wide variety of emotion-eliciting situations. More specifically, an online framework, the Emotional Machine, is developed enabling computers to «understand» situations using OCC model of emotion and to predict user’s reaction by combining refined versions of Artificial Neural Network and k Nearest Neighbours algorithms. An empirical procedure including a web-based anonymous questionnaire for data acquisition was designed to provide the chosen machine learning algorithms with a consistent knowledge and to test the application’s recognition performance. Results from the empirical investigation show that the proposed Emotional Machine is capable of producing accurate predictions. Such an achievement may encourage future using of our framework for automated emotion recognition in various application fields.