Le emozioni sono state largamente indagate da discipline differenti che ne hanno evidenziato il ruolo fondamentale nei processi cognitivi, sociali e comportamentali degli individui. Alla luce di queste evidenze, la presente tesi di dottorato si è proposta di indagare, attraverso l’utilizzo di un approccio multimetodologico caratterizzato dall’uso di elettroencefalografia (EEG), spettroscopia funzionale nel vicino infrarosso (fNIRS) e biofeedback, il ruolo e l’influenza delle emozioni in differenti contesti di vita sociale, passando da una prospettiva “intra-soggettiva” ad una “inter-soggettiva”. Nello specifico, il primo studio ha indagato i correlati neurofisiologici impliciti ed espliciti delle risposte emotive caratterizzanti la presa di decisione morale nel singolo individuo. Il secondo studio, attraverso l’utilizzo dell’hyperscanning, ha osservato i correlati neurofisiologici e i meccanismi di sintonizzazione cerebrale e periferica associati alle risposte emotive di individui interagenti durante uno scambio prosociale. Infine, il terzo studio ha investigato i correlati neurofisiologici e i meccanismi di sintonizzazione emotiva sottostanti un’interazione comunicativa non-verbale. In conclusione, i tre studi si sono proposti di osservare, adottando un livello crescente di complessità, da una prospettiva sul singolo individuo ad una diadica, come l’utilizzo di un approccio multimetodologico possa informare sui meccanismi impliciti ed espliciti delle risposte emotive durante differenti situazioni sociali. / Emotions have been extensively investigated by different disciplines, highlighting their fundamental role in individuals’ cognitive, social and behavioral processes. In light of this evidence, the present doctoral thesis aims to investigate, through the use of a multimetodological approach characterized by the use of electroencephalography (EEG), functional Near-Infrared Spectroscopy (fNIRS), and biofeedback, the role and influence of emotions in different contexts of social life, passing from an “intra-subjective” to an “inter-subjective” perspective. Specifically, the first study has investigated the implicit and explicit neurophysiological correlates of emotional responses characterizing moral decision-making in single individuals. The second study, through the use of the hyperscanning paradigm, has observed the neurophysiological correlates and the brain and peripheral tuning mechanisms associated with emotional responses of interacting individuals during a prosocial exchange. Finally, the third study has investigated the neurophysiological correlates and emotional synthonization mechanisms underlying a non-verbal communicative interaction. In conclusion, the three studies set out to observe, adopting an increasing level of complexity, from a single individual to a dyadic perspective, how using a multimetodological approach can inform about the implicit and explicit mechanisms of emotional responses during different social situations.

Il tema delle emozioni è sempre stato considerato marginale rispetto allo studio della cognizione umana, nonostante la ricerca sull’argomento sia sempre stata circondata da grande interesse. Tuttavia negli ultimi 30 anni si è affacciata una nuova prospettiva che descrive le emozioni come cause, mediatori o conseguenze di altri processi psicologici, ma soprattutto delle relazioni interpersonali. Il primo studio della presente Tesi di Dottorato è stato concepito come un paradigma di induzione emotiva allo scopo di individuare alcuni marcatori biologici legati all’esperienza soggettiva, all’interno di una prospettiva multimetodologica. In seguito, nel tentativo di considerare anche una dimensione sociale della condivisione emotiva, è stato condotto il secondo studio proponendo stimoli che rappresentassero interazioni reali tra due soggetti interagenti. Questi potevano variare anche in base alla vicinanza filogenetica, ipotizzando che, grazie a meccanismi di mirroring e simulazione, la percezione delle emozioni altrui possa essere più immediata quando l’altro soggetto viene percepito come simile. Infine, l’idea che alcune variabili legate all’interlocutore sociale siano in grado di modulare la capacità di entrare in risonanza con le emozioni altrui è stata approfondita con il terzo studio: un compito sociale reale con pradigma hyperscanning. L’obiettivo era quello di esplorare la presenza di pattern di sincronizzazione durante il compito eseguito in modo cooperativo. In conclusione, i tre studi sono stati condotti seguendo un livello di complessità crescente, da una prospettiva su singolo soggetto ad un approccio diadico, tramite l’utilizzo di stimoli emotivi standard, interattivi e dinamici applicati a contesti semplici, complessi e iper-complessi. / Despite the great interest addressed to the topic of emotions, it has always been treated as a marginal issue if compared to cognition. Nonetheless in the last 30 years a new perspective suggested that emotions are effectively the causes, mediators, or consequences of other psychological processes, and, above all, of interpersonal relations. The first study of the present Doctoral Thesis was conceived as an emotion induction paradigm in the attempt to identify some biological markers of the subjective emotional experience within a multi-method perspective. Then, in the attempt to move a step forward in describing the social dimension of the emotional sharing, the second study was designed by creating emotional stimuli that represented real interactions between two inter-agents. They could also vary for phylogenetic closeness following the hypothesis that, thanks to mirroring and simulation processes, emotion perception is easier when the other agent is perceived as similar. Finally, the idea that some variables related to the social encounter are able to modulate the capacity to resonate with others’ emotions was better explored in the last study: a real social cooperative task in the form of a hyperscanning paradigm. The aim was to explore the presence of synchronized patterns during the joint action. To conclude, the three studies have been designed according to an increased level of complexity, from a single-subject perspective towards a two-person approach, with simple, interactive, and dynamic emotional cues during simple, complex, and hyper-complex emotional contexts.

In der Hyperscanning-Literatur finden sich wiederholt Befunde, die darauf hinweisen, dass synchronisierte Muster zwischen Gehirnen (inter-brain-Synchronisation) interpersonale Handlungskoordination charakterisieren. Die funktionale Bedeutung dieser Muster wird in der Literatur kontrovers diskutiert. Mit einer Serie empirischer Studien untersucht diese Dissertation den Einfluss einzelner kognitiver Mechanismen auf die inter-brain-Synchronisation. Studie I untersucht den Zusammenhang zwischen Aufmerksamkeit und inter-brain-Synchronisation im Kontext einer visuellen Suchaufgabe. Studie II vergleicht, mittels eines neu entwickelten experimentellen Paradigmas, bei konstanter Dynamik der motorischen Handlungen zweier Probanden reziproke und parallele interpersonale Handlungskoordination. Studie III dient der Etablierung der schwachen Wechselstromtechnologie in unserem Labor. In Studie IV werden mittels dieser Technik zwei miteinander trommelnde Probanden auf ‚die gleiche Wellenlänge‘ gebracht um einen möglichen kausalen Zusammenhangs zwischen inter-brain-Synchronisation und interpersonaler Verhaltenssynchronisation zu testen. In der übergreifenden Diskussion der Befunde meiner Studien zeige ich eine mögliche Ursache für die bisherige Unklarheit der funktionalen Rolle von inter-brain-Synchronisation auf: der Mangel einer Definition sozialer Interaktion in der Hyperscanning-Literatur. Basierend auf Theorien der interper¬sonalen Handlungskoordination führe ich eine Arbeitsdefinition sozialer Interaktion und der ihr zugrunde liegenden kognitiven Prozesse ein: Mechanismen der Aufmerksamkeit, der Handlungsvorhersage und der Handlungsreaktion. Ich schließe diese Dissertation mit der Überlegung, dass inter-brain-Synchronisation Übereinstimmungen der Handlungen und der mentalen Handlungsmodelle mehrerer Individuen reflektiert, und zwar unabhängig davon, ob diese Übereinstimmungen von gemeinsamem Handeln begleitet werden oder nicht. / The literature on hyperscanning gives ample evidence that inter-brain synchronized patterns emerge during social interaction. However, it remains under debate to what extent synchronized patterns between brains serve a mechanistic function in social interaction. In this dissertation, I try to disentangle the contribution of cognitive mechanisms on inter-brain synchronized patterns with a series of empirical studies. Study I investigates the influence of modified attention on inter-brain phase synchronization during an enumeration visual search paradigm. Study II uses a novel paradigm of interpersonal action coordination. It compares reciprocal real-time coordination to parallel coordination with a common driver, while keeping behavioral dynamics comparable across conditions. Study III builds methodological expertise in transcranial alternating current stimulation (tACS). In Study IV, the tACS setup is extended to the simultaneous phase-locked stimulation of multiple individuals (hyper-tACS). This directly tests a potential relation between inter-brain synchronization and interpersonal synchronization performance during dyadic drumming by attempting to experimentally tune two participants’ brains more or less ‚on the same wavelength‘ using the tACS device. In discussing the results of this series of empirical studies, I suggest that the lack of a clear definition of social interaction may be at the origin of controversies about the functional role of inter-brain synchronization patterns. Building on a conceptual framework of interpersonal action coordination, I propose a working definition of social interaction and its cognitive core processes. I suggest to stop trying to disentangle inherent aspects of social interaction, such as synchronized actions, from ‚true social interaction‘ and instead to focus on the relative influence of attentive, predictive and, reactive mechanisms on inter-brain synchronization and associated behavioral dynamics.

Cette thèse s'est intéressée à l'impact des interactions sociales sur l'acitivité motrice, à la fois au niveau comportempentale et cérébral et de caractériser cette modulation au cours d'actions simultanées et d'actions conjointes. Dans un premier temps, nous avons étudié les effets de l'observation d'une activation sur l'exécution motrice. En couplant analyse cinématique et enregistrement EEG, nous avons mis en évidence que l'activation du système des neurones miroirs facilitait l'action seulement lorsque les événements d'exécution et d'observation étaient temporellement coordonnées. Dans un deuxième temps, nous avons cherché à meiux caractériser l'influence du contexte interactif sur l'activité cérébrale de deux participants d'une interaction grâce à une étude en double-EEG et cinématique. Grâce à la comparaison des activités cérébrales motrices intra- et inter-individuelles chez deux participants qui effectuaient ou observaient des actions isolées ou des actions conjointes, nous avons pu mettre en évidence des modulations de l'activité motrice similaires chez les deux particiapnts ainsi que certaines modulations spécifiques à la fois du contexte social (humain vs robot) et du rôle dans l'interaction. L'analyse inter-individuelle a par ailleurs mis en évidence un couplage entre les aires visuelles et motrices des deux particiapnts pendant la condition d'action conjointe. L'ensemble des résultats suggère que le système moteur permet un couplage fin entre les participants d'une interaction, à la fois au travers d'un couplage temporel qui pourrait faciliter l'interaction et également au travers d'une boucle d'action-perception formant une représentation commune de l'action conjointe. / This research investigated the impact of social interaction on motor activity, both ona behavioural and cerebral level. More precisely, the aim of the thesis was to characterise this modulation during simultaneous actions, when two participants interact, jointly or not, and to determine its functions. First , we studied the effect of action observation on motor execution. Coupling kinematics analysis and EEG recording, we gave evidence that the temporal time course of motor system activation was crucial for motor interference. We found that motor performances were facilitated by the observation of an action, only when execution and observation events were temporally coordinated. Second, we sought to characterise the influence of an interactive context on brain activity of two interacting participants through the coupling of dual-EEG and kinematic recordings. Thanks to the comparison of intra- and inter-individual brain activity of two participants that observed or performed individual or joint actions, we were able to highlight modulations of cerebral motor activity common in both participants as well as modulations of brain activity specific to the social context (human vs robot) and the role in the interaction (actor vs observer). Moreover, the inter-individual analysis revealed a coupling between the two participants' visual and motor brain areas during the joint action condition. Taken toghther, these results suggest that the motor system allows a tight coupling between interacting participants, mediated by temporal coupling that could facilitate the interaction and through an action-perception loop forming a common motor representation of the joint action.

This project added to the sparse body of research on the neural underpinnings of turn-taking with an electroencephalography (EEG) investigation of spontaneous conversation. Eighteen participants (3 male, 15 female, mean age 29.79), recruited and participating in pairs, underwent EEG hyperscanning as they conversed on a freely chosen topic for 45 minutes. In line with previous research, it was predicted that a time-frequency analysis of the EEG might reveal either increased power at around 10 Hz (the location of one of two components of the mu rhythm, an oscillation possibly involved in motor preparation for speech), or reduced alpha (8-12 Hz) power (reflecting non-motor aspects of turn preparation) prior to taking one’s turn. Increased power between 8-12 Hz was observed around 1.5 and 1 second preceding turn-taking, but similar power increases also occurred prior to turn-yielding and the conversation partner continuing after a pause, and a reduction in alpha power was found in turn-taking relative to listening to the other speaker continue after a pause. It is unclear whether this activity reflected motor or non-motor aspects of turn preparation, but the spontaneous conversation paradigm proved feasible for investigating brain activity coupled to turn-taking despite the methodological obstacles. / Detta forskningsprojekt bedrar till ett ämne där relativt få studier har genomförts med en elektroencefalografi- (EEG-) undersökning av hjärnaktivitet som är kopplad till turtagning i spontant samtal. Arton deltagare (3 män, 15 kvinnor, medelålder 29,79) som rekryterades och deltog i par, genomgick EEG-hyperscanning medan de pratade om ett fritt valt ämne i 45 minuter. Det förutsades att en tidsfrekvensanalys av EEG kan avslöja antingen ökad effekt vid cirka 10 Hz (vilket motsvarar en av två komponenter i mu-rytmen, en oscillation som eventuellt är involverad i motoriska förberedelser för tal) eller reducerad alfaeffekt (8 -12 Hz) (vilket möjligen återspeglar icke-motoriska aspekter av turtagningsförberedelser) innan man tar sin tur. Ökad effekt mellan 8-12 Hz observerades ungefär 1,5 och 1 sekund före turtagning, men liknande ökningar inträffade också innan samtalspartnern tog sin tur eller fortsatte efter en paus, och en minskning av alfaeffekt observerades när turtagning jämfördes till kontexter där försökspersonerna lyssnade när den andra talaren fortsatte efter en paus. Det är oklart om denna aktivitet återspeglade motoriska eller icke-motoriska aspekter av turtagningsförberedelser, men det visar sig vara möjligt att undersöka hjärnaktivitet kopplad till spontant samtal på ett rimligt sätt trots paradigmens metodologiska svårigheter. / Hidden events in turn-taking

L'étude par neuro-imagerie de l'activité de plusieurs cerveaux en interaction (hyperscanning) permet d'étendre notre compréhension des neurosciences sociales. Nous proposons un cadre pour l'hyperscanning utilisant les interfaces cerveau-ordinateur multi-utilisateur qui inclut différents paradigmes sociaux tels que la coopération ou la compétition. Les travaux de cette thèse comportent trois contributions interdépendantes. Notre première contribution est le développement d'une plateforme expérimentale sous la forme d'un jeu vidéo multijoueur, nommé Brain Invaders 2, contrôlé par la classification de potentiels évoqués visuels enregistrés par électroencéphalographie (EEG). Cette plateforme est validée par deux protocoles expérimentaux comprenant dix-neuf et vingt-deux paires de sujets et utilise différentes approches de classification adaptative par géométrie riemannienne. Ces approches sont théoriquement et expérimentalement comparées et nous montrons la supériorité de la fusion des classifieurs indépendants sur la classification d'un hypercerveau durant la seconde contribution. L'analyse de coïncidence des signaux entre les individus est une approche classique pour l'hyperscanning, elle est pourtant difficile quand les signaux EEG concernés sont transitoires avec une grande variabilité (intra- et inter-sujet) spatio-temporelle et avec un faible rapport signal-à-bruit. En troisième contribution, nous proposons un nouveau modèle composite de séparation aveugle de sources physiologiquement plausibles permettant de compenser cette variabilité. Une solution par diagonalisation conjointe approchée est proposée avec une implémentation d'un algorithme de type Jacobi. A partir des données de Brain Invaders 2, nous montrons que cette solution permet d'extraire simultanément des sources d'artéfacts, des sources d'EEG évoquées et des sources d'EEG continues avec plus de robustesse et de précision que les modèles existants. / The study of several brains interacting (hyperscanning) with neuroimagery allows to extend our understanding of social neurosciences. We propose a framework for hyperscanning using multi-user Brain-Computer Interfaces (BCI) that includes several social paradigms such as cooperation or competition. This dissertation includes three interdependent contribution. The first contribution is the development of an experimental platform consisting of a multi-player video game, namely Brain Invaders 2, controlled by classification of visual event related potentials (ERP) recorded by electroencephalography (EEG). The plateform is validated through two experimental protocols including nineteen and twenty two pairs of subjects while using different adaptive classification approaches using Riemannian geometry. Those approaches are theoretically and experimentally compared during the second contribution ; we demonstrates the superiority in term of accuracy of merging independent classifications over the classification of the hyperbrain during the second contribution. Analysis of inter-brain synchronizations is a common approach for hyperscanning, however it is challenging for transient EEG waves with an great spatio-temporal variability (intra- and inter-subject) and with low signal-to-noise ratio such as ERP. Therefore, as third contribution, we propose a new blind source separation model, namely composite model, to extract simultaneously evoked EEG sources and ongoing EEG sources that allows to compensate this variability. A solution using approximate joint diagonalization is given and implemented with a fast Jacobi-like algorithm. We demonstrate on Brain Invaders 2 data that our solution extracts simultaneously evoked and ongoing EEG sources and performs better in term of accuracy and robustness compared to the existing models.

L’objectif de notre recherche est de comprendre les bases cérébrales de l’interaction sociale dans un contexte de performance musicale grâce à des outils issus des neurosciences (électroencéphalographie : EEG) et du traitement du signal. Ce manuscrit présente tout d’abord un état de l’art des études récentes dans le domaine de l’hyperscanning. Nous offrons une réflexion sur les prérequis et la méthodologie à adopter pour concevoir une expérience prédisposant à l’émergence d’une synchronisation neuronale. Nous explorons ensuite les processus cérébraux mis en jeu lors de la pratique de la musique au travers d’études réalisées en neurosciences. Par la suite nous présentons plusieurs méthodes permettant de calculer des indices de couplage cérébral sur les données récoltées lors d’expériences en hyperscanning. Nous y décrivons en particulier les méthodes de séparation de source conjointe (jBSS) dont l’avantage est de se rapprocher d’une réalité anatomique et physiologique, ainsi que de prendre en compte l’information inter-sujets lors de l’estimation des sources. Enfin, nous détaillons notre contribution au champ des neurosciences sociales sous la forme d’une expérience longitudinale en hyperscanning-EEG. Elle étudie l’interaction sociale de pianistes à quatre mains lors de l’apprentissage d’un morceau de musique sur une période de deux mois. Nous mettons en évidence qu’il existe une corrélation entre l’augmentation de la performance musicale au cours du temps, la synchronisation cérébrale et la qualité de la relation entre les musiciens. / The aim of our research is to understand the neural bases of social interaction in a musical performance context with tools from neuroscience (electroencephalography: EEG) and signal processing. This manuscript first presents a state of the art of recent studies in the field of hyperscanning. We introduce our recommendations on the prerequisites and methodology to design experiments facilitating the emergence of neuronal synchronization. We then explore the cerebral processes involved in the practice of music through studies in neuroscience of music. Subsequently we present several methods to calculate brain coupling on data collected during experiments in hyperscanning. We describe in particular the methods of joint blind source separation (jBSS) whose advantages are to approach anatomical and physiological reality, as well as taking into account inter-subject information when estimating sources. Finally, we detail our contribution to the field of social neuroscience with a longitudinal experience in hyperscanning-EEG. We studied social interaction from musicians playing four hands piano over a two-month period. We highlight a correlation between increased musical performance over time, cerebral synchronization and quality of the relationship between the pianists.

Notre recherche vise à explorer les bases cérébrales de l'interaction sociale, par le biais notamment de l'électro-encéphalographie synchrone de plusieurs individus (hyperscanning-EEG). Cette thèse s'articule autour de trois volets théoriques, méthodologiques et expérimentaux complémentaires dans leur fonction. En premier lieu, nous proposons deux cadres conceptuels éclairant l'analyse des synchronies interindividuelles (couplage) chez l'humain. Le premier cadre s'intéresse aux conditions d'apparition du couplage, que l'on présente en considérant les principes fondamentaux qui semblent prédisposer à son émergence. Le second cadre théorique a pour but d'appréhender les rôles fonctionnels possibles du couplage. On y propose une taxonomie des processus de cognition sociale explorés au cours d'expériences sur le couplage entre sujets en interaction. En second lieu, des travaux en traitement du signal visent à développer des méthodes d'analyse adéquates pour les données produites au cours d'expérimentations en hyperscanning. On s'intéresse en particulier aux approches de séparation de source conjointe (JBSS) permettant de prendre en compte l'information inter-sujet dans la séparation. L'avantage de ces développements récents sur les méthodes classiques est démontré par une étude comparative de leurs performances sur données réelles acquises en hyperscanning-EEG. En dernier lieu, on contribue au champ des neurosciences sociales à travers une étude hyperscanning-EEG qui porte sur les effets du toucher affectif sur le couplage des activités cérébrales et physiologiques entre individus en interaction. Nous montrons que, chez des partenaires en couple, le toucher peut accroitre la dépendance des activités physiologiques, un résultat qui appuie son rôle particulier pour la communication et le support affectif au sein des relations intimes. / This research aims at exploring the neural bases of social interaction with use ofelectroencephalography acquired simultaneously from multiple individuals (hyperscanning-EEG). Wedo so by contributing on three complementary aspects at a theoretical, methodological andexperimental level. First, we provide two theoretical frameworks that can guide and inform theanalysis of interpersonal synchronies. Our first frame focuses on the necessary conditions for brain-tobraincoupling to occur. Our second frame provides a taxonomy for social cognition and situatesexisting studies in the neuroscience of social interaction. Second, we advance on the methodologicalaspects by extending the analysis framework, thereby considering and benefiting from hyperscanning-EEG data. Specifically, we focus on Joint Blind Source Separation (JBSS), a novel signal processing toolthat can take into account brain-to-brain coupling in the estimation of cortical activity. We provide acomparative study of such algorithms on real-world hyperscanning-EEG data and we demonstratetheir appropriateness for analysis of joint neural data. Finally, we contribute experimentally with ahyperscanning-EEG study in which we investigate the effect of affective touch on interpersonalcoupling during a natural interaction. We show that touch can increase coupling of physiologicalactivities between romantic partners. This results supports an instrumental role of interactive touchfor affective communication and support in close relationships.

Notre recherche vise à explorer les bases cérébrales de l'interaction sociale, par le biais notamment de l'électro-encéphalographie synchrone de plusieurs individus (hyperscanning-EEG). Cette thèse s'articule autour de trois volets théoriques, méthodologiques et expérimentaux complémentaires dans leur fonction. En premier lieu, nous proposons deux cadres conceptuels éclairant l'analyse des synchronies interindividuelles (couplage) chez l'humain. Le premier cadre s'intéresse aux conditions d'apparition du couplage, que l'on présente en considérant les principes fondamentaux qui semblent prédisposer à son émergence. Le second cadre théorique a pour but d'appréhender les rôles fonctionnels possibles du couplage. On y propose une taxonomie des processus de cognition sociale explorés au cours d'expériences sur le couplage entre sujets en interaction. En second lieu, des travaux en traitement du signal visent à développer des méthodes d'analyse adéquates pour les données produites au cours d'expérimentations en hyperscanning. On s'intéresse en particulier aux approches de séparation de source conjointe (JBSS) permettant de prendre en compte l'information inter-sujet dans la séparation. L'avantage de ces développements récents sur les méthodes classiques est démontré par une étude comparative de leurs performances sur données réelles acquises en hyperscanning-EEG. En dernier lieu, on contribue au champ des neurosciences sociales à travers une étude hyperscanning-EEG qui porte sur les effets du toucher affectif sur le couplage des activités cérébrales et physiologiques entre individus en interaction. Nous montrons que, chez des partenaires en couple, le toucher peut accroitre la dépendance des activités physiologiques, un résultat qui appuie son rôle particulier pour la communication et le support affectif au sein des relations intimes.

Electroencephalographic data recorded on the human scalp can be modeled as a linear mixture of underlying dipolar source generators. The characterization of such generators is the aim of several families of signal processing methods. In this HDR we consider in several details three of such families, namely 1) EEG distributed inverse solutions, 2) diagonalization methods, including spatial filtering and blind source separation and 3) Riemannian geometry. We highlight our contributions in each of this family, we describe algorithms reporting all necessary information to make purposeful use of these methods and we give numerous examples with real data pertaining to our published studies. Traditionally only the single-subject scenario is considered; here we consider in addition the extension of some methods to the simultaneous multi-subject recording scenario. This HDR can be seen as an handbook for EEG source analysis. It will be particularly useful to students and other colleagues approaching the field.