Cette thèse s'inscrit dans le cadre du projet Européen intégré VERE (Virtual Embodiement and Robotics re-Embodiement). Il s'agit de proposer une architecture logicielle intégrant un ensemble de stratégies de contrôle et de retours informationnels basés sur la "fonction tâche" pour incorporer (embodiment) un opérateur humain dans un humanoïde robotique ou un avatar notamment par la pensée. Les problèmes sous-jacents peuvent se révéler par le démonstrateur suivant (auquel on souhaite aboutir à l'issue de cette thèse). Imaginons un opérateur doté d'une interface cerveau-ordinateur ; le but est d'arriver à extraire de ces signaux la pensée de l'opérateur humain, de la traduire en commandes robotique et de faire un retour sensoriel afin que l'opérateur s'approprie le "corps" robotique ou virtuel de son "avatar". Une illustration cinématographique de cet objectif est le film récent "Avatar" ou encore "Surrogates". Dans cette thèse, on s'intéressera tout d'abord à certains problèmes que l'on a rencontré en travaillant sur l'utilisation des interfaces cerveau-ordinateur pour le contrôle de robots ou d'avatars, par exemple, la nécessité de multiplier les comportements ou les particularités liées aux retours sensoriels du robot. Dans un second temps, nous aborderons le cœur de notre contribution en introduisant le concept d'interface cerveau-ordinateur orienté objet pour le contrôle de robots humanoïdes. Nous présenterons ensuite les résultats d'une étude concernant le rôle du son dans le processus d'embodiment. Enfin, nous montrerons les premières expériences concernant le contrôle d'un robot humanoïde en interface cerveau-ordinateur utilisant l'électrocorticographie, une technologie d'acquisition des signaux cérébraux implantée dans la boîte crânienne. / This thesis is part of the European project VERE (Virtual Embodiment and Robotics re-Embodiment). The goal is to propose a software framework integrating a set of control strategies and information feedback based on the "task function" in order to embody a human operator within a humanoid robot or a virtual avatar using his thoughts. The underlying problems can be shown by considering the following demonstrator. Let us imagine an operator equipped with a brain-computer interface; the goal is to extract the though of the human operator from these signals, then translate it into robotic commands and finally to give an appropriate sensory feedback to the operator so that he can appropriate the "body", robotic or virtual, of his avatar. A cinematographic illustration of this objective can be seen in recent movies such as "Avatar" or "Surrogates". In this thesis, we start by discussing specific problems that we encountered while using a brain-computer interface for the control of robots or avatars, e.g. the arising need for multiple behaviours or the specific problems induced by the sensory feedback provided by the robot. We will then introduce our main contribution which is the concept of object-oriented brain-computer interface for the control of humanoid robot. We will then present the results of a study regarding the role of sound in the embodiment process. Finally, we show some preliminary experiments where we used electrocorticography (ECoG)~--~a technology used to acquire signals from the brain that is implanted within the cranium~--~to control a humanoid robot.

Thèse numérisée par la Division de la gestion de documents et des archives de l'Université de Montréal.

La thématique générale de notre thèse porte sur le transfert virtuel/réel de connaissances spatiales, et plus particulièrement sur l’identification de variables susceptibles d’optimiser ce transfert. Notamment, nous nous sommes intéressés à l’influence des interfaces de déplacement, de l’engagement physique et des informations sensorielles relatives au corps sur l’acquisition et le transfert de connaissances spatiales du virtuel vers le réel. L’engagement physique a été manipulé à l’aide de deux interacteurs (tapis roulant Vs joystick) proposant respectivement un fort et un faible engagement physique, ainsi que par une Interface Cerveau Ordinateur (ICO), permettant de commander un déplacement à l’aide de l’activité cérébrale du sujet, supprimant ainsi toute composante motrice effective. Enfin nous avons également manipulé l’expertise en jeu vidéo, variable susceptible de jouer un rôle important dans l’acquisition et l’utilisation des compétences spatiales au sens large, et plus spécifiquement dans le transfert virtuel-réel.Nos expérimentations consistaient à apprendre un trajet à l’aide d’une des situations d’interaction définie ci-dessus. Le transfert virtuel/réel des connaissances spatiales a été ensuite évalué à l’aide de 6 tâches : une tâche de classification chronologique de photos, une tâche d’estimation de la distance parcourue et une tâche d’estimation de directions (tâches égocentriques) ; une tâche de croquis du trajet, une tâche d’estimation de la direction du point de départ du trajet (tâche allocentrique) ; et enfin une tâche globale de wayfinding consistant à reproduire en environnement réel le trajet préalablement appris en virtuel.Nos résultats montrent que les effets de l’engagement physique (en particulier des informations proprioceptives et vestibulaires) et de l’expertise en jeu vidéo sont différents selon la nature de la compétence spatiale sollicitée (composante égocentrique, allocentrique ou reproduction du parcours). De plus, les résultats obtenus à l’aide de l’ICO permettent de préciser le rôle de la composante motrice dans l’acquisition et le transfert virtuel/réel de compétences spatiales.L’ensemble de ces données sont discutées au regard des modèles d’acquisition et d’utilisation des connaissances spatiales, tels que le modèle Landmark-Route-Survey et la théorie des graphes. Les perspectives de notre travail concernent le développement d’interfaces adaptées aux utilisateurs ainsi que l’entraînement ou le réentraînement des compétences spatiales de sujets âgés ou de patients présentant des pathologies lésionnelles et/ou dégénératives. / The general theme of our thesis focuses on the transfer of spatial learning from a virtual to a real environment, and more precisely on the identification of parameters that might optimize this transfer. Namely, we investigated the influence of displacement interfaces, of the physical involvement, and of the body-based information on the acquisition and the transfer of spatial learning from a virtual to a real world. The physical involvement was manipulated with the help of two interactors (Treadmill vs. Joystick) that respectively propose strong and mild physical involvements as well with the help of a Brain-Computer Interface (BCI). The BCI allows controlling displacements using subject’s brain activity, thus nullifying all effective motor components. Finally, we also manipulated videogame experience, a parameter supposed to play an important role in the acquisition and the use of spatial skills in the widest sense and, more specifically in the virtual-to-real transfer. Our experimentations first consisted in route learning within one of the above described interaction conditions. Then, the virtual-to-real transfer of spatial learning was evaluated with 6 tasks: the picture classification task, the distance estimation task, and the direction estimation task (egocentric task); the sketch-mapping task, the starting point estimation task (exocentric task); and finally the global wayfinding task, consisting in reproducing the previously learned virtual route in the real environment.Our results reveal that the effects of the physical involvement (in particular, of the proprioceptive and vestibular information) and of the videogame experience are different, depending on the nature of the spatial ability needed (egocentric or exocentric component, route reproduction). Moreover, the results obtained with the BCI allow to precise the role of the motor component in the acquisition and the transfer of spatial skills from the virtual to the real environment.These findings are discussed relative to the models of spatial knowledge acquisition and its utilization, such as the Landmark-Route-Survey model and the graph theory. Future trends of our work will concern the development of user-friendly interfaces as well as the training or the retraining of spatial abilities in older adults with or without degenerative disorders and patients with various brain lesions.

Une Interface Cerveau-Ordinateur (ICO) est un système de communication qui permet à ses utilisateurs d'envoyer des commandes à un ordinateur via leur activité cérébrale, cette activité étant mesurée, généralement par ÉlectroEncéphaloGraphie (EEG), et traitée par le système. Dans la première partie de cette thèse, dédiée au traitement et à la classification des signaux EEG, nous avons cherché à concevoir des ICOs interprétables et plus efficaces. Pour ce faire, nous avons tout d'abord proposé FuRIA, un algorithme d'extraction de caractéris- tiques utilisant les solutions inverses. Nous avons également proposé et étudié l'utilisation des Systèmes d'Inférences Flous (SIF) pour la classification. Nos évaluations ont montré que FuRIA et les SIF pouvaient obtenir de très bonnes performances de classification. De plus, nous avons proposé une méthode utilisant ces deux algorithmes afin de concevoir une ICO complétement interprétable. Enfin, nous avons proposé de considérer la conception d'ICOs asynchrones comme un problème de rejet de motifs. Notre étude a introduit de nouvelles techniques et a permis d'identifier les classifieurs et les techniques de rejet les plus appropriés pour ce problème. Dans la deuxième partie de cette thèse, nous avons cherché à concevoir des applications de Réalité Virtuelle (RV) controlées par une ICO. Nous avons tout d'abord étudié les performances et les préférences de participants qui interagissaient avec une application ludique de RV à l'aide d'une ICO asynchrone. Nos résultats ont mis en évidence le besoin d'utiliser des ICO adaptées à l'utilisateur ainsi que l'importance du retour visuel. Enfin, nous avons développé une application de RV permettant à un utilisateur d'explorer un musée virtuel par la pensée. Dans ce but, nous avons conçu une ICO asynchrone et proposé une nouvelle technique d'interaction permettant à l'utilisateur d'envoyer des commandes de haut niveau. Une première évaluation semble montrer que l'utilisateur peut explorer le musée plus rapidement avec cette technique qu'avec les techniques actuelles.

Thèse numérisée par la Division de la gestion de documents et des archives de l'Université de Montréal

L'interface cerveau-ordinateur (ICO) décode les signaux électriques du cerveau requise par l’électroencéphalographie et transforme ces signaux en commande pour contrôler un appareil ou un logiciel. Un nombre limité de tâches mentales ont été détectés et classifier par différents groupes de recherche. D’autres types de contrôle, par exemple l’exécution d'un mouvement du pied, réel ou imaginaire, peut modifier les ondes cérébrales du cortex moteur. Nous avons utilisé un ICO pour déterminer si nous pouvions faire une classification entre la navigation de type marche avant et arrière, en temps réel et en temps différé, en utilisant différentes méthodes. Dix personnes en bonne santé ont participé à l’expérience sur les ICO dans un tunnel virtuel. L’expérience fut a était divisé en deux séances (48 min chaque). Chaque séance comprenait 320 essais. On a demandé au sujets d’imaginer un déplacement avant ou arrière dans le tunnel virtuel de façon aléatoire d’après une commande écrite sur l'écran. Les essais ont été menés avec feedback. Trois électrodes ont été montées sur le scalp, vis-à-vis du cortex moteur. Durant la 1re séance, la classification des deux taches (navigation avant et arrière) a été réalisée par les méthodes de puissance de bande, de représentation temporel-fréquence, des modèles autorégressifs et des rapports d’asymétrie du rythme β avec classificateurs d’analyse discriminante linéaire et SVM. Les seuils ont été calculés en temps différé pour former des signaux de contrôle qui ont été utilisés en temps réel durant la 2e séance afin d’initier, par les ondes cérébrales de l'utilisateur, le déplacement du tunnel virtuel dans le sens demandé. Après 96 min d'entrainement, la méthode « online biofeedback » de la puissance de bande a atteint une précision de classification moyenne de 76 %, et la classification en temps différé avec les rapports d’asymétrie et puissance de bande, a atteint une précision de classification d’environ 80 %. / A Brain-Computer Interface (BCI) decodes the brain signals representing a desire to do something, and transforms those signals into a control command. However, only a limited number of mental tasks have been previously detected and classified. Performing a real or imaginary navigation movement can similarly change the brainwaves over the motor cortex. We used an ERS-BCI to see if we can classify between movements in forward and backward direction offline and then online using different methods. Ten healthy people participated in BCI experiments comprised two-sessions (48 min each) in a virtual environment tunnel. Each session consisted of 320 trials where subjects were asked to imagine themselves moving in the tunnel in a forward or backward motion after a randomly presented (forward versus backward) command on the screen. Three EEG electrodes were mounted bilaterally on the scalp over the motor cortex. Trials were conducted with feedback. In session 1, Band Power method, Time-frequency representation, Autoregressive models and asymmetry ratio were used in the β rhythm range with a Linear-Discriminant-analysis classifier and a Support Vector Machine classifier to discriminate between the two mental tasks. Thresholds for both tasks were computed offline and then used to form control signals that were used online in session 2 to trigger the virtual tunnel to move in the direction requested by the user's brain signals. After 96 min of training, the online band-power biofeedback training achieved an average classification precision of 76 %, whereas the offline classification with asymmetrical ratio and band-power achieved an average classification precision of 80%.

L'étude par neuro-imagerie de l'activité de plusieurs cerveaux en interaction (hyperscanning) permet d'étendre notre compréhension des neurosciences sociales. Nous proposons un cadre pour l'hyperscanning utilisant les interfaces cerveau-ordinateur multi-utilisateur qui inclut différents paradigmes sociaux tels que la coopération ou la compétition. Les travaux de cette thèse comportent trois contributions interdépendantes. Notre première contribution est le développement d'une plateforme expérimentale sous la forme d'un jeu vidéo multijoueur, nommé Brain Invaders 2, contrôlé par la classification de potentiels évoqués visuels enregistrés par électroencéphalographie (EEG). Cette plateforme est validée par deux protocoles expérimentaux comprenant dix-neuf et vingt-deux paires de sujets et utilise différentes approches de classification adaptative par géométrie riemannienne. Ces approches sont théoriquement et expérimentalement comparées et nous montrons la supériorité de la fusion des classifieurs indépendants sur la classification d'un hypercerveau durant la seconde contribution. L'analyse de coïncidence des signaux entre les individus est une approche classique pour l'hyperscanning, elle est pourtant difficile quand les signaux EEG concernés sont transitoires avec une grande variabilité (intra- et inter-sujet) spatio-temporelle et avec un faible rapport signal-à-bruit. En troisième contribution, nous proposons un nouveau modèle composite de séparation aveugle de sources physiologiquement plausibles permettant de compenser cette variabilité. Une solution par diagonalisation conjointe approchée est proposée avec une implémentation d'un algorithme de type Jacobi. A partir des données de Brain Invaders 2, nous montrons que cette solution permet d'extraire simultanément des sources d'artéfacts, des sources d'EEG évoquées et des sources d'EEG continues avec plus de robustesse et de précision que les modèles existants. / The study of several brains interacting (hyperscanning) with neuroimagery allows to extend our understanding of social neurosciences. We propose a framework for hyperscanning using multi-user Brain-Computer Interfaces (BCI) that includes several social paradigms such as cooperation or competition. This dissertation includes three interdependent contribution. The first contribution is the development of an experimental platform consisting of a multi-player video game, namely Brain Invaders 2, controlled by classification of visual event related potentials (ERP) recorded by electroencephalography (EEG). The plateform is validated through two experimental protocols including nineteen and twenty two pairs of subjects while using different adaptive classification approaches using Riemannian geometry. Those approaches are theoretically and experimentally compared during the second contribution ; we demonstrates the superiority in term of accuracy of merging independent classifications over the classification of the hyperbrain during the second contribution. Analysis of inter-brain synchronizations is a common approach for hyperscanning, however it is challenging for transient EEG waves with an great spatio-temporal variability (intra- and inter-subject) and with low signal-to-noise ratio such as ERP. Therefore, as third contribution, we propose a new blind source separation model, namely composite model, to extract simultaneously evoked EEG sources and ongoing EEG sources that allows to compensate this variability. A solution using approximate joint diagonalization is given and implemented with a fast Jacobi-like algorithm. We demonstrate on Brain Invaders 2 data that our solution extracts simultaneously evoked and ongoing EEG sources and performs better in term of accuracy and robustness compared to the existing models.

L'interface cerveau-ordinateur (ICO) décode les signaux électriques du cerveau requise par l’électroencéphalographie et transforme ces signaux en commande pour contrôler un appareil ou un logiciel. Un nombre limité de tâches mentales ont été détectés et classifier par différents groupes de recherche. D’autres types de contrôle, par exemple l’exécution d'un mouvement du pied, réel ou imaginaire, peut modifier les ondes cérébrales du cortex moteur. Nous avons utilisé un ICO pour déterminer si nous pouvions faire une classification entre la navigation de type marche avant et arrière, en temps réel et en temps différé, en utilisant différentes méthodes. Dix personnes en bonne santé ont participé à l’expérience sur les ICO dans un tunnel virtuel. L’expérience fut a était divisé en deux séances (48 min chaque). Chaque séance comprenait 320 essais. On a demandé au sujets d’imaginer un déplacement avant ou arrière dans le tunnel virtuel de façon aléatoire d’après une commande écrite sur l'écran. Les essais ont été menés avec feedback. Trois électrodes ont été montées sur le scalp, vis-à-vis du cortex moteur. Durant la 1re séance, la classification des deux taches (navigation avant et arrière) a été réalisée par les méthodes de puissance de bande, de représentation temporel-fréquence, des modèles autorégressifs et des rapports d’asymétrie du rythme β avec classificateurs d’analyse discriminante linéaire et SVM. Les seuils ont été calculés en temps différé pour former des signaux de contrôle qui ont été utilisés en temps réel durant la 2e séance afin d’initier, par les ondes cérébrales de l'utilisateur, le déplacement du tunnel virtuel dans le sens demandé. Après 96 min d'entrainement, la méthode « online biofeedback » de la puissance de bande a atteint une précision de classification moyenne de 76 %, et la classification en temps différé avec les rapports d’asymétrie et puissance de bande, a atteint une précision de classification d’environ 80 %. / A Brain-Computer Interface (BCI) decodes the brain signals representing a desire to do something, and transforms those signals into a control command. However, only a limited number of mental tasks have been previously detected and classified. Performing a real or imaginary navigation movement can similarly change the brainwaves over the motor cortex. We used an ERS-BCI to see if we can classify between movements in forward and backward direction offline and then online using different methods. Ten healthy people participated in BCI experiments comprised two-sessions (48 min each) in a virtual environment tunnel. Each session consisted of 320 trials where subjects were asked to imagine themselves moving in the tunnel in a forward or backward motion after a randomly presented (forward versus backward) command on the screen. Three EEG electrodes were mounted bilaterally on the scalp over the motor cortex. Trials were conducted with feedback. In session 1, Band Power method, Time-frequency representation, Autoregressive models and asymmetry ratio were used in the β rhythm range with a Linear-Discriminant-analysis classifier and a Support Vector Machine classifier to discriminate between the two mental tasks. Thresholds for both tasks were computed offline and then used to form control signals that were used online in session 2 to trigger the virtual tunnel to move in the direction requested by the user's brain signals. After 96 min of training, the online band-power biofeedback training achieved an average classification precision of 76 %, whereas the offline classification with asymmetrical ratio and band-power achieved an average classification precision of 80%.

Les interfaces cerveau-ordinateur basées sur l’imagerie mentale (MI-BCIs) offrent de nouvelles possibilités d’interaction avec les technologies numériques, telles que les neuroprothèses ou les jeux vidéo, uniquement en effectuant des tâches d’imagerie mentale, telles qu’imaginer d’un objet en rotation. La reconnaissance de la commande envoyée au système par l’utilisateur repose sur l’analyse de l’activité cérébrale de ce dernier. Les utilisateurs doivent apprendre à produire des patterns d’activité cérébrale reconnaissables par le système afin de contrôler les MI-BCIs. Cependant, les protocoles de formation actuels ne permettent pas à 10 à 30 % des personnes d’acquérir les compétences nécessaires pour utiliser les MI-BCIs. Ce manque de fiabilité des BCIs limite le développement de la technologie en dehors des laboratoires de recherche. Cette thèse a pour objectif d’examiner comment le feedback fourni tout au longde la formation peut être amélioré et adapté aux traits et aux états des utilisateurs. Dans un premier temps, nous examinons le rôle qui est actuellement donné au feedback dans les applications et les protocoles d’entraînement à l’utilisation des MI-BCIs. Nous analysons également les théories et les contributions expérimentales discutant de son rôle et de son utilité dans le processus d’apprentissage de contrôle de correlats neurophysiologiques. Ensuite, nous fournissons une analyse de l’utilité de différents feedback pour l’entraînement à l’utilisation des MI-BCIs. Nous nous concentrons sur trois caractéristiques principales du feedback, i.e., son contenu, sa modalité de présentation et enfin sa dimension temporelle. Pour chacune de ces caractéristiques, nous avons examiné la littérature afin d’évaluer quels types de feedback ont été testés et quel impact ils semblent avoir sur l’entraînement. Nous avons également analysé quels traits ou états des apprenants influaient sur les résultats de cet entraînement. En nous basant sur ces analyses de la littérature, nous avons émis l’hypothèse que différentes caractéristiques du feedback pourraient être exploitées afin d’améliorer l’entraînement en fonction des traits ou états des apprenants. Nous rapportons les résultats de nos contributions expérimentales pour chacune des caractéristiques du feedback. Enfin, nous présentons différentes recommandations et défis concernant chaque caractéristique du feedback. Des solutions potentielles sont proposées pour à l’avenir surmonter ces défis et répondre à ces recommandations. / Mental-Imagery based Brain-Computer Interfaces (MI-BCIs) present new opportunities to interact with digital technologies, such as neuroprostheses or videogames, only by performing mental imagery tasks, such as imagining an object rotating. The recognition of the command for the system is based on the analysis of the brain activity of the user. The users must learn to produce brain activity patterns that are recognizable by the system in order to control BCIs. However, current training protocols do not enable 10 to 30% of persons to acquire the skills required to use BCIs. The lack of robustness of BCIs limit the development of the technology outside of research laboratories. This thesis aims at investigating how the feedback provided throughout the training can be improved and adapted to the traits and states of the users. First, we investigate the role that feedback is currently given in MI-BCI applications and training protocols. We also analyse the theories and experimental contributions discussing its role and usefulness. Then, we review the different feedback that have been used to train MI-BCI users. We focus on three main characteristics of feedback, i.e., its content, its modality of presentation and finally its timing. For each of these characteristics, we reviewed the literature to assess which types of feedback have been tested and what is their impact on the training. We also analysed which traits or states of the learners were shown to influence BCI training outcome. Based on these reviews of the literature, we hypothesised that different characteristics of feedback could be leveraged to improve the training of the learners depending on either traits or states. We reported the results of our experimental contributions for each of the characteristics of feedback. Finally, we presented different recommendations and challenges regarding each characteristic of feedback. Potential solutions were proposed to meet these recommendations in the future.

La parole est le moyen de communication dominant chez les humains. Les signaux vocaux véhiculent à la fois des informations et des émotions du locuteur. La combinaison de ces informations aide le récepteur à mieux comprendre ce que veut dire le locuteur et diminue la probabilité de malentendus. Les robots et les ordinateurs peuvent également bénéficier de ce mode de communication. La capacité de reconnaître les émotions dans la voix des locuteurs aide les ordinateurs à mieux répondre aux besoins humains. Cette amélioration de la communication entre les humains et les ordinateurs conduit à une satisfaction accrue des utilisateurs. Dans cette étude, nous avons proposé plusieurs approches pour détecter les émotions de la parole ou de la voix par ordinateur. Nous avons étudié comment différentes techniques et classificateurs d'apprentissage automatique et d'apprentissage profond permettent de détecter les émotions de la parole. Les classificateurs sont entraînés avec des ensembles de données d'émotions audio couramment utilisés et bien connus, ainsi qu'un ensemble de données personnalisé. Cet ensemble de données personnalisé a été enregistré à partir de personnes non-acteurs et non-experts tout en essayant de déclencher des émotions associées. La raison de considérer cet ensemble de données important est de rendre le modèle compétent pour reconnaître les émotions chez les personnes qui ne sont pas aussi parfaites que les acteurs pour refléter leurs émotions dans leur voix. Les résultats de plusieurs classificateurs d'apprentissage automatique et d'apprentissage profond tout en reconnaissant sept émotions de colère, de bonheur, de tristesse, de neutralité, de surprise, de peur et de dégoût sont rapportés et analysés. Les modèles ont été évalués avec et sans prise en compte de l'ensemble de données personnalisé pour montrer l'effet de l'utilisation d'un ensemble de données imparfait. Dans cette étude, tirer parti des techniques d'apprentissage en profondeur et des méthodes d'apprentissage en ensemble a dépassé les autres techniques. Nos meilleurs classificateurs pourraient obtenir des précisions de 90,41 % et 91,96 %, tout en étant entraînés par des réseaux de neurones récurrents et des classificateurs d'ensemble à vote majoritaire, respectivement. / Speech is the dominant way of communication among humans. Voice signals carry both information and emotion of the speaker. The combination of this information helps the receiver to get a better understanding of what the speaker means and decreases the probability of misunderstandings. Robots and computers can also benefit from this way of communication. The capability of recognizing emotions in speakers voice, helps the computers to serve the human need better. This improvement in communication between humans and computers leads to increased user satisfaction. In this study we have proposed several approaches to detect the emotions from speech or voice computationally. We have investigated how different machine learning and deep learning techniques and classifiers perform in detecting the emotions from speech. The classifiers are trained with some commonly used and well-known audio emotion datasets together with a custom dataset. This custom dataset was recorded from non-actor and non-expert people while trying to trigger related emotions in them. The reason for considering this important dataset is to make the model proficient in recognizing emotions in people who are not as perfect as actors in reflecting their emotions in their voices. The results from several machine learning and deep learning classifiers while recognizing seven emotions of anger, happiness, sadness, neutrality, surprise, fear and disgust are reported and analyzed. Models were evaluated with and without considering the custom data set to show the effect of employing an imperfect dataset. In this study, leveraging deep learning techniques and ensemble learning methods has surpassed the other techniques. Our best classifiers could obtain accuracies of 90.41% and 91.96%, while being trained by recurrent neural networks and majority voting ensemble classifiers, respectively.