La fatigue mentale est un état complexe qui résulte d'une activité cognitive prolongée. Les
symptômes de la fatigue mentale inclus des changements d'humeur, de motivation et une
détérioration temporaire de diverses fonctions cognitives. Plusieurs recherches approfondies ont
été menées pour développer des méthodes de reconnaissance des signes physiologiques et
psychophysiologiques de la fatigue mentale. Les signes psychophysiologiques concernent
principalement signaux d'activité cérébrale et leur relation avec la psychologie et la cognition.
Celles-ci ont permise le développement de nombreux modèles basés sur l'IA pour classer
différents niveaux de fatigue, en utilisant des données extraites d'un appareil eye-tracking, d'un
électroencéphalogramme (EEG) pour mesurer l’activité cérébrale ou d'un électrocardiogramme
(ECG) pour mesurer l’activité cérébrale. Dans cette mémoire, nous présentons le protocole
expérimental et développé par mes directeurs de recherche et moi-même, qui vise à la fois à
générer et mesurer la fatigue mentale, et à proposer des stratégies efficaces de récupération via
des séances de réalité virtuelle couplées à des dispositifs EEG et eye tracking. Réussir à générer
de la fatigue mentale est nécessaire pour générer un ensemble de données suivant l’évolution de
la fatigue et de la récupération au cours de l’expérience, et sera également utilisé pour classer
différents niveaux de fatigue à l’aide de l’apprentissage automatique. Cette mémoire fournit
d'abord un état de l'art complet des facteurs prédictifs de la fatigue mentale, des méthodes de
mesure et des stratégies de récupération. Ensuite, l'article présente un protocole expérimental
résultant de l'état de l'art pour (1) générer et mesurer la fatigue mentale et (2) évaluer l'efficacité
de la thérapie virtuelle pour la récupération de la fatigue, (3) entrainer un algorithme
d'apprentissage automatique sur les données EEG pour classer 3 niveaux de fatigue différents en
utilisant un environnement simulé de réalité virtuelle (VR). La thérapie virtuelle est une technique
favorisant la relaxation dans un environnement simulé virtuel et interactif qui vise à réduire le
stress. Dans notre travail, nous avons réussi à générer de la fatigue mentale en accomplissant des
tâches cognitives dans un environnement virtuel. Les participants ont montré une diminution
significative du diamètre de la pupille et du score thêta/alpha au cours des différentes tâches
cognitives. Le score alpha/thêta est un indice EEG qui suit les fluctuations de la charge cognitiveet de la fatigue mentale. Divers algorithmes d'apprentissage automatique ont été formés et testés
sur des segments de données EEG afin de sélectionner le modèle qui s'ajuste le mieux à ces
données en ce qui concerne la métrique d'évaluation "précision équilibrée" et "f1". Parmi les 8
différents classificateurs, le SVM RBF a montré les meilleures performances avec une précision
équilibrée de 95 % et une valeur de mesure f de 0,82. La précision équilibrée fournit une mesure
précise de la performance dans le cas de jeu de données déséquilibrées, en tenant compte de la
sensibilité et de la spécificité, et le f-score est une mesure d'évaluation qui combine les scores de
précision et de rappel. Finalement, nos résultats montrent que le temps alloué à la thérapie
virtuelle n'a pas amélioré le diamètre pupillaire en période post-relaxation. D'autres recherches
sur l'impact de la thérapie devraient consacrer un temps plus proche du temps de récupération
standard de 60 min. / Mental fatigue is a complex state that results from prolonged cognitive activity. Symptoms of
mental fatigue can include change in mood, motivation, and temporary deterioration of various
cognitive functions involved in goal-directed behavior. Extensive research has been done to
develop methods for recognizing physiological and psychophysiological signs of mental fatigue.
Psychophysiological signs are mostly concern with patterns of brain activity and their relation to
psychology and cognition. This has allowed the development of many AI-based models to classify
different levels of fatigue, using data extracted from eye-tracking devices, electroencephalogram
(EEG) measuring brain activity, or electrocardiogram (ECG) measuring cardiac activity. In this
thesis, we present the experimental protocol developed by my research directors and I, which
aims to both generate/measure mental fatigue and provide effective strategies for recuperation
via VR sessions paired with EEG and eye-tracking devices. Successfully generating mental fatigue
is crucial to generate a time-series dataset tracking the evolution of fatigue and recuperation
during the experiment and will also be used to classify different levels of fatigue using machine
learning. This thesis first provides a state-of-the-art of mental fatigue predictive factors,
measurement methods, and recuperation strategies. The goal of this protocol is to (1) generate
and measure mental fatigue, (2) evaluate the effectiveness of virtual therapy for fatigue
recuperation, using a virtual reality (VR) simulated environment and (3) train a machine learning
algorithm on EEG data to classify 3 different levels of fatigue. Virtual therapy is relaxation
promoting technique in a virtual and interactive simulated environment which aims to reduce
stress. In our work, we successfully generated mental fatigue through completion of cognitive
tasks in a virtual simulated environment. Participants showed significant decline in pupil diameter
and theta/alpha score during the various cognitive tasks. The alpha/theta score is an EEG index
tracking fluctuations in cognitive load and mental fatigue. Various machine learning algorithm
candidates were trained and tested on EEG data segments in order to select the classifier that
best fits EEG data with respect to evaluation metric ‘balanced accuracy’ and 'f1-measures'. Among
the 8 different classifier candidates, RBF SVM showed the best performance with 95% balanced
accuracy 0.82 f-score value and on the validation set, and 92% accuracy and 0.90 f-score on test set. Balanced accuracy provides an accurate measure of performance in the case of imbalanced
data, considering sensitivity and specificity and f-score is an evaluation metric which combines
precision and recall scores. Finally, our results show that the time allocated for virtual therapy did
not improve pupil diameter in the post-relaxation period. Further research on the impact of
relaxation therapy should allocate time closer to the standard recovery time of 60 min.
| Identifer | oai:union.ndltd.org:umontreal.ca/oai:papyrus.bib.umontreal.ca:1866/32490 |
| Date | 04 1900 |
| Creators | Hajj Assaf, Alyssa |
| Contributors | Frasson, Claude |
| Source Sets | Université de Montréal |
| Language | English |
| Detected Language | French |
| Type | thesis, thèse |
| Format | application/pdf |
Page generated in 0.0183 seconds