Introduction. L'humour est un processus cognitif complexe qui peut entraîner un état émotionnel
positif d’amusement. La réponse émotionnelle déclenchée par l'humour possède plusieurs
bénéfices pour la santé. Son utilisation en recherche et lors d’essais cliniques est d’ailleurs de plus
en plus fréquente. Malheureusement, l’appréciation de l’humour varie considérablement d’un
individu à l’autre, et entraîne des réponses émotionnelles très différentes. Cette variabilité,
rarement prise en compte dans les études de recherche, est donc importante à quantifier pour
pouvoir évaluer de manière robuste les effets de l’humour sur la santé. Objectifs. Ce projet de
maîtrise vise à explorer différentes modalités permettant d’établir une mesure objective de
l'appréciation de l'humour via des techniques d'apprentissage automatique et d'apprentissage
profond. Les caractéristiques de la vidéo, les expressions faciales et l'activité cérébrale ont été
testées comme prédicteur potentiels de l’intensité de l'amusement. Étude 1. Dans notre
première étude, les participants (n = 40) ont regardé et évalué des vidéos humoristiques et
neutres pendant que leurs expressions faciales étaient enregistrées. Pour chaque vidéo, nous
avons calculé le mouvement moyen, la saillance et deux scores sémantiques. L’algorithme
d’arbres aléatoire a été entraîné sur les caractéristiques des vidéos et le sourire des participants
afin de prédire à quel point le participant a évalué la vidéo comme étant drôle, et ce, à trois
moments durant la vidéo (début, milieu et fin). De plus, nous avons utilisé l'expression faciale du
participant pour explorer la dynamique temporelle de l'appréciation de l'humour tout au long de
la vidéo et ses impacts sur la vidéo suivante. Nos résultats ont montré que les caractéristiques
des vidéos permettent de bien classifier les vidéos neutres et les vidéos humoristiques, mais ne
permettent pas de différencier les intensités d'humour. À l’inverse, le sourire est un bon
prédicteur de l’intensité de l’amusement au sein des vidéos humoristiques (contribution=0.53) et
est la seule modalité à fluctuer dans le temps; montrant ainsi que l'appréciation de l'humour est
plus grande à la fin de la vidéo et après la vidéo. Étude 2. Notre deuxième étude a utilisé des
techniques d'apprentissage profond afin de prédire l’intensité de l’amusement ressenti par les
participants (n = 10) lorsqu’ils visionnaient des vidéos humoristiques avec un casque EEG
commercial. Nous avons utilisé un algorithme LSTM pour prédire les intensités d'amusement
vi
(faible, modéré, élevé, très élevé) en fonction d'une seconde d'activité cérébrale. Les résultats
ont montré une bonne transférabilité entre les participants et une précision de décodage
dépassant 80% d’exactitude. Conclusion. Les caractéristiques de la vidéo, les expressions faciales
des participants et l'activité cérébrale ont permis de prédire l'appréciation de l'humour. À partir
de ces trois modalités, nous avons trouvé que les réactions physiologiques (expression faciale et
activité cérébrale) prédisent mieux les intensités de l’amusement tout en offrant une meilleure
précision temporelle de la dynamique d'appréciation de l'humour. Les futures études employant
l'humour gagneraient à inclure le niveau d’appréciation, mesuré via le sourire ou l’activité
cérébrale, comme variable d’intérêt dans leurs protocoles expérimentaux. / Introduction. Humour is a complex cognitive process that can result in a positive emotional state of amusement. The emotional response triggered by humour has several health benefits and is used in many research and clinical trials as treatments. Humour appreciation varies greatly between participants and can trigger different levels of emotional response. Unfortunately, research rarely considers these individual differences, which could impact the implication of humour in research. These researches would benefit from having an objective method to detect humour appreciation. Objectives. This master's thesis seeks to provide an appropriate solution for an objective measure of humour appreciation by using machine learning and deep learning techniques to predict how individuals react to humorous videos. Video characteristics, facial expressions and brain activity were tested as potential predictors of amusement’s intensity. Study 1. In our first study, participants (n=40) watched and rated humorous and neutral videos while their facial expressions were recorded. For each video, we computed the average movement, saliency and semantics associated with the video. Random Forest Classifier was used to predict how funny the participant rated the video at three moments during the clip (begging, middle, end) based on the video's characteristics and the smiles of the participant. Furthermore, we used the participant's facial expression to explore the temporal dynamics of humour appreciation throughout the video and its impacts on the following video. Our results showed that video characteristics are better to classify between neutral and humorous videos but cannot differentiate humour intensities. On the other hand, smiling was better to determine how funny the humorous videos were rated. The proportion of smiles also had more significant fluctuations in time, showing that humour appreciation is greater at the end of the video and the moment just after. Study 2. Our second study used deep learning techniques to predict how funny participants (n=10) rated humorous videos with a commercial EEG headset. We used an LSTM algorithm to predict the intensities of amusement (low, medium, high, very high) based on one second of brain activity. Results showed good transferability across participants, and decoding accuracy reached over 80%. Conclusion. Video characteristics, participant's facial expressions and brain activity allowed us to predict humour appreciation. From these three, we found that physiological reactions (facial expression and brain activity) better predict funniness intensities while also offering a better temporal precision as to when humour appreciation occurs. Further studies using humour would benefit from adding physiological responses as a variable of interest in their experimental protocol.
| Identifer | oai:union.ndltd.org:umontreal.ca/oai:papyrus.bib.umontreal.ca:1866/26582 |
| Date | 05 1900 |
| Creators | Toupin, Gabrielle |
| Contributors | Jerbi, Karim |
| Source Sets | Université de Montréal |
| Language | fra |
| Detected Language | French |
| Type | thesis, thèse |
| Format | application/pdf |
Page generated in 0.0023 seconds