Le vieillissement de la population à travers le monde nous amène à considérer sérieusement l'intégration dans notre quotidien de robots de service afin d'alléger les besoins pour la prestation de soins. Or, il n'existe pas présentement de robots de service suffisamment avancés pour être utiles en tant que véritables assistants à des personnes en perte d'autonomie. Un des problèmes freinant le développement de tels robots en est un d'intégration logicielle. En effet, il est difficile d'intégrer les multiples capacités de perception et d'action nécessaires à interagir de manière naturelle et adéquate avec une personne en milieu réel, les limites des ressources de calculs disponibles sur une plateforme robotique étant rapidement atteintes. Même si le cerveau humain a des capacités supérieures à un ordinateur, lui aussi a des limites sur ses capacités de traitement de l'information. Pour faire face à ces limites, l'humain gère ses capacités cognitives avec l'aide de l'attention sélective. L'attention sélective lui permet par exemple d'ignorer certains stimuli pour concentrer ses ressources sur ceux utiles à sa tâche. Puisque les robots pourraient grandement bénéficier d'un tel mécanisme, l'objectif de la thèse est de développer une architecture de contrôle intégrant un mécanisme d'attention sélective afin de diminuer la charge de calcul demandée par les différents modules de traitement du robot. L'architecture de contrôle utilisé est basée sur l'approche comportementale, et porte le nom HBBA, pour Hybrid Behavior-Based Architecture. Pour répondre à cet objectif, le robot humanoïde nommé IRL-1 a été conçu pour permettre l'intégration de multiples capacités de perception et d'action sur une seule et même plateforme, afin de s'en servir comme plateforme expérimentale pouvant bénéficier de mécanismes d'attention sélective. Les capacités implémentées permettent d'interagir avec IRL-1 selon différentes modalités. IRL-1 peut être guidé physiquement en percevant les forces externes par le bias d'actionneurs élastiques utilisés dans la direction de sa plateforme omnidirectionnelle. La vision, le mouvement et l'audition ont été intégrés dans une interface de téléprésence augmentée. De plus, l'influence des délais de réaction à des sons dans l'environnement a pu être examinée. Cette implémentation a permis de valider l'usage de HBBA comme base de travail pour la prise de décision du robot, ainsi que d'explorer les limites en termes de capacités de traitement des modules sur le robot. Ensuite, un mécanisme d'attention sélective a été développé au sein de HBBA. Le mécanisme en question intègre l'activation de modules de traitement avec le filtrage perceptuel, soit la capacité de moduler la quantité de stimuli utilisés par les modules de traitement afin d'adapter le traitement aux ressources de calculs disponibles. Les résultats obtenus démontrent les bénéfices qu'apportent un tel mécanisme afin de permettre au robot d'optimiser l'usage de ses ressources de calculs afin de satisfaire ses buts. De ces travaux résulte une base sur laquelle il est maintenant possible de poursuivre l'intégration de capacités encore plus avancées et ainsi progresser efficacement vers la conception de robots domestiques pouvant nous assister dans notre quotidien.

L’interaction physique humain-robot est un domaine d’étude qui s’est vu porter beaucoup d’intérêt ces dernières années. Une optique de coopération entre les deux entités entrevoit le potentiel d’associer les forces de l’humain (comme son intelligence et son adaptabilité) à celle du robot (comme sa puissance et sa précision). Toutefois, la mise en service des applications développées reste une opération délicate tant les problèmes liés à la sécurité demeurent importants. Les robots constituent généralement de lourdes machines capables de déplacements très rapides qui peuvent blesser gravement un individu situé à proximité. Ce projet de recherche aborde le problème de sécurité en amont avec le développement d’une stratégie dite "pré-collision". Celle-ci se caractérise par la conception d’un système de planification de mouvements visant à optimiser la sécurité de l’individu lors de tâches d’interaction humain-robot dans un contexte industriel. Pour ce faire, un algorithme basé sur l’échantillonnage a été employé et adapté aux contraintes de l’application visée. Dans un premier temps, l’intégration d’une méthode exacte de détection de collision certifie que le chemin trouvé ne présente, a priori, aucun contact indésirable. Ensuite, l’évaluation de paramètres pertinents introduit notre notion de sécurité et définit un ensemble d’objectifs à optimiser. Ces critères prennent en compte la proximité par rapport aux obstacles, l’état de conscience des êtres humains inclus dans l’espace de travail ainsi que le potentiel de réaction du robot en cas d'évènement imprévu. Un système inédit de combinaison d’objectifs guide la recherche et mène à l’obtention du chemin jugé comme étant le plus sûr, pour une connaissance donnée de l’environnement. Le processus de contrôle se base sur une acquisition minimale de données environnementales (dispositif de surveillance visuelle) dans le but de nécessiter une installation matérielle qui se veut la plus simple possible. Le fonctionnement du système a été validé sur le robot industriel Baxter.

Un robot social doit être capable d'interagir avec des humains. Pour cela, il est essentiel de savoir communiquer de façon naturelle. L'audition artificielle appliquée en robotique est une approche intéressante puisque la voix est le principal mécanisme de communication des humains entre eux. Au-delà des mots prononcés, il est aussi important de savoir y décoder le contenu paralinguistique qui donne beaucoup de renseignements sur le locuteur. Entre autres, les émotions véhiculées dans la voix du locuteur peuvent aider un robot à comprendre une situation, à savoir si une personne est satisfaite ou non de son travail, si une personne a peur, etc. Pour qu'une interaction par la voix avec un robot soit fonctionnelle et intéressante pour le locuteur, plusieurs éléments matériels et logiciels sont nécessaires. L'interaction doit aussi tenir compte de certaines règles de conduite qui facilitent les échanges d'information et la compréhension lors d'un dialogue. Ce mémoire présente donc un système d'interaction humain-robot par la voix qui intègre ces éléments dans une même plateforme. Il utilise 8SoundsUSB et le système ManyEars pour faire l'acquisition et le prétraitement du signal audio. Un détecteur d'activité vocale vient ensuite distinguer le bruit stationnaire ambiant des sources sonores représentant la voix. Une fois le signal de la voix récupéré, il est analysé pour en décoder les mots prononcés et l'émotion. La reconnaissance de la parole est effectuée à partir de l'outil Google Speech API. La reconnaissance des émotions par la voix est basée sur l'algorithme de [Attabi et Dumouchel, 2013] qui utilise les Anchor Models, et caractérise les émotions perçues en trois catégories : neutre, négatif ou positif. Une nouvelle implémentation de cet algorithme a été validée en simulation, puis dans des essais en temps-réel. Le logiciel Palaver [McClain, 2013] permet ensuite d'interpréter les mots et les émotions en les associant à une réponse que le robot peut prononcer à l'aide d'un module de synthèse vocale. Enfin, le gestionnaire de dialogues Disco [Rich et Sidner, 2012] est utilisé afin de réaliser des interactions plus soutenues sur un même sujet. L'objectif final du projet est de vérifier si l'ajout de la capacité à percevoir les émotions dans la voix améliore l'interaction humain-robot. Pour cela, une interface graphique utilisant des concepts de la bande-dessinée a été développée afin d'illustrer de manière intégrée le contenu linguistique et le contenu paralinguistique détecté. Les résultats d'une étude réalisée auprès de 30 participants suggèrent que l'interaction humain-robot est plus appréciée lorsque le système reconnaît les émotions que lorsqu'il ne les reconnaît pas. Le projet a aussi permis d'identifier des éléments qui permettraient une meilleure intégration des différents éléments du système. Entre autres, l'amélioration du modèle des émotions doit passer par une base de données de voix locales plus grande et annotée par un plus grand nombre de personnes.

Le domaine de l'Interaction Humain-Robot (HRI) est en pleine expansion. En effet, de plus en plus de plateformes robotiques sont mises en oeuvre pour faire évoluer ce domaine. Sur ces plateformes, toujours plus de modalités d'interaction sont mises en place telles que les mouvements corporels, la reconnaissance de gestes ou d'objets, la reconnaissance et la synthèse vocale ou encore la mobilité, pour pouvoir effectuer l'interaction la plus complète et la plus naturelle pour l'humain. Mais ceci amène aussi une complexité croissante de l'intégration de ces modalités sur une seule et même plateforme. Aussi, le domaine HRI étant à ses débuts, la méthodologie expérimentale des travaux se limite le plus souvent à des preuves de concept éprouvées en laboratoire ou en milieux ouverts non contrôlés. Il se trouve que peu de chercheurs présentent une démarche structurée et rigoureuse pour l'évaluation expérimentale d'interaction humain-robot en milieux ouverts, et il en résulte des recherches de types exploratoires qui examinent principalement la complexité technologique des modalités interactives à mettre en oeuvre, et non l'impact de ces modalités sur la qualité des interactions. Le but de l'étude présentée dans ce document est d'étudier l'intégration de plusieurs modalités interactives sur un robot mobile humanoïde telles que la parole, les gestes et la mobilité sur la qualité des interactions humain-robot. Plus spécifiquement, le contexte de l'étude consiste à examiner l'impact de modalités interactives sur la capacité du robot à attirer l'attention d'une personne et à engager une interaction avec elle. Le scénario expérimental consiste à permettre au robot, à partir de la parole, d'expressions faciales, de mouvement de la tête, de gestes avec son bras et de sa mobilité, de demander de l'assistance à une personne à proximité de lui remettre un objet se trouvant au sol. L'hypothèse sous-jacente est que l'intégration de l'ensemble de ces modalités devrait améliorer la capacité du robot à engager des personnes à interagir avec lui. Des expérimentations ont été faites en milieu contrôlé et non-contrôlé selon deux protocoles expérimentaux : une étude des modalités à l'intérieur d'une population, et une étude de variation entre individus. D'une manière générale, il en ressort que l'ajout de modalités améliore la qualité de l'engagement de l'interaction par le robot, mais qu'il faut porter une attention particulière à l'approche de la personne par le robot, principalement pour les personnes non familières avec ce dernier. De plus, les observations indiquent qu'il est plus facile d'obtenir des résultats significatifs en environnement contrôlé, elles permettent d'identifier des pistes d'amélioration pour éventuellement arriver à en obtenir en milieu non-contrôlé. Enfin, ce premier projet d'intégration et d'évaluation de capacités interactives d'un robot mobile servira à alimenter une prochaine itération avec un robot plus sophistiqué présentement en conception.

Les forces et faiblesses des robots différant grandement de celles des humains, les robots chirurgicaux ont plusieurs avantages qui expliquent leur utilisation croissante en salle d'opération. Cependant, la robotique chirurgicale demeure un domaine qui comporte de nombreux défis. Plutôt que de travailler directement au niveau de l'application sur un robot spécifique, il a été décidé de concentrer les efforts sur une des composantes mécaniques qui impose des limitations aux interactions humain-robot : l'actionneur. Dans cette optique, un prototype de bras interactif a été réalisé en utilisant la technologie de l'Actionneur Différentiel Élastique (ADE), un actionneur élastique haute-performance de faible impédance mécanique intrinsèque. Le bras à trois degrés de liberté, dont les actionneurs sont contrôlés en impédance, pourra servir à étudier la façon dont les interactions humain/robot permettent d'augmenter les capacités humaines de manipulation. Le contrôle d'impédance de l'ADE a été utilisé en tant que noyau central lors du développement du contrôle du bras interactif. L'analyse des performances dans la plage de fréquence d'intérêt suggère un bon comportement de l'actionneur lorsque l'impédance mécanique demandée est faible.Les premiers essais d'interaction humain-robot avec le bras interactif suggèrent que l'ADE est tout indiqué pour une telle application. Le contrôle d'impédance développé a pu être utilisé dans le cadre d'une autre application robotique : le contrôle des axes de direction du robot mobile omnidirectionnel AZIMUT[indice inférieur 3].

Les systèmes robotiques modernes sont généralement des machines mécaniquement rigides et contrôlées en position. Cette conception, bien que cohérente avec une recherche de performance en contrôle du mouvement, limite l'applicabilité aux environnements structurés et sécurisés. Pour que leur domaine d'application puisse s'étendre aux environnements partiellement inconnus, dynamiques ou anthropiques, des capacités d'interaction physique accrues sont nécessaires. Dans ce contexte, répondre aux exigences de sécurité, de robustesse et de polyvalence représente un défi, entre autres parce que les performances des technologies d'actionneur communément disponibles ne sont pas adéquates. Pour adresser cette problématique, ce mémoire propose une solution technologique basée sur l'usage synergique d'un moteur électromagnétique et de deux freins magnétorhéologiques. Le moteur agit comme source de vitesse et fournit la puissance mécanique. Les deux freins dirigent ce flux de puissance en contrôlant l'amplitude et la direction du couple appliqué en sortie. Cette approche découple la sortie de l'actionneur du moteur, permettant une impédance (inertie et friction) de sortie très faible. Elle permet également un contrôle en force relativement précis à haute bande passante. À l'aide de l'information de position de la sortie, elle permet également de réaliser des interactions complexes de façon sécuritaire et performante. Dans ce mémoire, le concept et la réalisation de prototypes sont présentés. Les performances de contrôle de force, d'interaction et de mouvement sont illustrées et discutées. Ces résultats indiquent des performances relativement uniques qui valident le potentiel de l'actionneur pour répondre à la problématique décrite. Une suite possible à ce projet serait la révision du prototype en vue d'optimiser des paramètres tels que la densité de couple, le coût de fabrication et la robustesse. Il s'agirait ensuite de tester l'actionneur dans un système robotique effectuant une tâche choisie. La technologie développée au cours de la maîtrise et décrite dans ce mémoire fait l'objet d'une demande de brevet international (protocole PCT) [Fauteux et al., 2009b].

Afin de répondre à la problématique de la sécurité lors des interactions humain-robot, le Laboratoire IntRoLab de la Faculté de génie à l'Université de Sherbrooke a développé un actionneur basé sur l'agencement d'un système mécanique à double différentiel et de deux freins magnétorhéologiques. Ce nouvel actionneur a été baptisé ADDR pour Actionneur Double Différentiel Rhéologique. Contrairement aux actionneurs classiques, l'ADDR n'est pas conçu pour être simplement contrôlé en position, mais il offre la possibilité d'être contrôlé en couple indépendamment de sa vitesse de rotation. Cela, ainsi que sa faible inertie de sortie, lui confère une grande sécurité lors de ses déplacements, même dans des environnements inconnus ou dynamiques. Ce mémoire présente la mise au point de l'électronique embarquée de contrôle de l'ADDR lui permettant d'interagir de façon sécuritaire avec des humains. Une première carte électronique est réalisée pour démontrer la faisabilité de contrôle de ce nouvel actionneur et caractériser ses performances. Le contrôle d'interaction étudié est le contrôle d'impédance par lequel un actionneur cherche à reproduire la réponse dynamique d'un système mécanique réel connu. Par la suite, l'électronique de contrôle est revue et miniaturisée afin d'être intégrée à l'intérieur même de l'ADDR. La large bande passante en couple mesurée permet de conclure que l'ADDR est tout à fait approprié pour être utilisé pour des interactions humain-robot par le biais du contrôle d'impédance. De plus, la réalisation d'une interface haptique qui ajoute un retour d'informations visuelles à l'utilisateur améliore la sensation de toucher de la dynamique du système mécanique simulé. Dans l'avenir, il serait intéressant d'utiliser plusieurs ADDR et leur contrôle d'impédance pour la conception d'un système mécanique tel qu'un bras robotique. Ainsi, les interactions humain-robot pourraient être plus complexes tout en apportant une très grande sécurité par rapport au même bras robotique réalisé à partir d'actionneurs classiques.

La grande majorité des robots actuels sont utilisés dans le domaine industriel. Ils doivent travailler à l’intérieur d’un environnement contrôlé afin de ne pas blesser les gens qui les entourent. Les robots industriels sont habituellement rigides et ne sont pas adaptés pour travailler dans des environnements non contrôlés. Afin de pallier à ce problème, une nouvelle branche de la robotique est en émergence. Qualifiée de robotique sécuritaire avec les humains, elle permet à des robots de travailler à proximité des humains et par le fait même, d’être utilisés dans plusieurs autres domaines dont l’environnement n’est pas contrôlé. L’utilisation d’actionneurs compliants est une approche utilisée pour la conception de robot souple. La majorité de ces types d’actionneurs possèdent une bande passante limitée en force ce qui est problématique pour plusieurs tâches nécessitant un contrôle à la fois précis en position et en force. Ce projet de maîtrise traite de l’élaboration et du contrôle d’un nouveau concept d’actionneur à grande densité de force utilisant la technologie magnétorhéologique (MR), et ce, dans un embrayage combiné à l’enroulement de tendons. Les embrayages MR permettent d’avoir de larges bandes passantes en force, d’isoler l’inertie du moteur avec le joint externe, de distribuer la puissance d’une seule source d’énergie cinétique et possède une grande densité de force. En combinant les embrayages MR à l’enroulement de tendons, il est possible de repousser la masse du robot à sa base, ce qui réduit grandement l’inertie de la structure du système. En utilisant le fluide MR dans un embrayage, le contrôle du couple est plus simple à implémenter. Par exemple, il est possible d’effectuer des mouvements qui requièrent beaucoup de force dans un court intervalle de temps, tout en étant capable d’effectuer une tâche qui requiert une grande précision de mouvement. Cette combinaison, inexistante actuellement, pourrait mener à des changements importants dans le secteur de la robotique sécuritaire avec les humains et de la robotique mobile. En plus de combiner ces dernières technologies mécaniques, les techniques de contrôle doivent être adaptées afin d’exploiter le plein potentiel de ce type de système. Dans ce mémoire, la conception et la réalisation de prototypes et de techniques de contrôle sont présentés. Pour valider les performances du nouveau type d’actionneur, les performances de bande passante en couple de l’embrayage MR et en force en ajoutant le système de transmission par câble sont illustrées et discutées. Par la suite, un prototype complet utilisant quatre embrayages MR est présenté et caractérisé au niveau de la bande passante en force et en position. En plus de l’aspect mécanique, une technique de contrôle adaptée au nouveau système d’actionnement est présentée. Pour valider et développer l’algorithme de contrôle en position, un prototype utilisant des moteurs électriques est développé. La capacité à s’adapter au changement de configuration du système d’actionneur est illustrée et discutée. Les algorithmes de contrôle sont ensuite validés sur le prototype utilisant les embrayages MR.

Les travaux de recherche de la thèse portent sur l'étude et la formalisation des interactions émotionnelles Humain-Machine. Au delà d’une détection d'informations paralinguistiques (émotions, disfluences,...) ponctuelles, il s'agit de fournir au système un profil interactionnel et émotionnel de l'utilisateur dynamique, enrichi pendant l’interaction. Ce profil permet d’adapter les stratégies de réponses de la machine au locuteur, et il peut également servir pour mieux gérer des relations à long terme. Le profil est fondé sur une représentation multi-niveau du traitement des indices émotionnels et interactionnels extraits à partir de l'audio via les outils de détection des émotions du LIMSI. Ainsi, des indices bas niveau (variations de la F0, d'énergie, etc.), fournissent des informations sur le type d'émotion exprimée, la force de l'émotion, le degré de loquacité, etc. Ces éléments à moyen niveau sont exploités dans le système afin de déterminer, au fil des interactions, le profil émotionnel et interactionnel de l'utilisateur. Ce profil est composé de six dimensions : optimisme, extraversion, stabilité émotionnelle, confiance en soi, affinité et domination (basé sur le modèle de personnalité OCEAN et les théories de l’interpersonal circumplex). Le comportement social du système est adapté en fonction de ce profil, de l'état de la tâche en cours, et du comportement courant du robot. Les règles de création et de mise à jour du profil émotionnel et interactionnel, ainsi que de sélection automatique du comportement du robot, ont été implémentées en logique floue à l'aide du moteur de décision développé par un partenaire du projet ROMEO. L’implémentation du système a été réalisée sur le robot NAO. Afin d’étudier les différents éléments de la boucle d’interaction émotionnelle entre l’utilisateur et le système, nous avons participé à la conception de plusieurs systèmes : système en Magicien d’Oz pré-scripté, système semi-automatisé, et système d’interaction émotionnelle autonome. Ces systèmes ont permis de recueillir des données en contrôlant plusieurs paramètres d’élicitation des émotions au sein d’une interaction ; nous présentons les résultats de ces expérimentations, et des protocoles d’évaluation de l’Interaction Humain-Robot via l’utilisation de systèmes à différents degrés d’autonomie. / Analysing and formalising the emotional aspect of the Human-Machine Interaction is the key to a successful relation. Beyond and isolated paralinguistic detection (emotion, disfluences…), our aim consists in providing the system with a dynamic emotional and interactional profile of the user, which can evolve throughout the interaction. This profile allows for an adaptation of the machine’s response strategy, and can deal with long term relationships. A multi-level processing of the emotional and interactional cues extracted from speech (LIMSI emotion detection tools) leads to the constitution of the profile. Low level cues ( F0, energy, etc.), are then interpreted in terms of expressed emotion, strength, or talkativeness of the speaker. These mid-level cues are processed in the system so as to determine, over the interaction sessions, the emotional and interactional profile of the user. The profile is made up of six dimensions: optimism, extroversion, emotional stability, self-confidence, affinity and dominance (based on the OCEAN personality model and the interpersonal circumplex theories). The information derived from this profile could allow for a measurement of the engagement of the speaker. The social behaviour of the system is adapted according to the profile, and the current task state and robot behaviour. Fuzzy logic rules drive the constitution of the profile and the automatic selection of the robotic behaviour. These determinist rules are implemented on a decision engine designed by a partner in the project ROMEO. We implemented the system on the humanoid robot NAO. The overriding issue dealt with in this thesis is the viable interpretation of the paralinguistic cues extracted from speech into a relevant emotional representation of the user. We deem it noteworthy to point out that multimodal cues could reinforce the profile’s robustness. So as to analyse the different parts of the emotional interaction loop between the user and the system, we collaborated in the design of several systems with different autonomy degrees: a pre-scripted Wizard-of-Oz system, a semi-automated system, and a fully autonomous system. Using these systems allowed us to collect emotional data in robotic interaction contexts, by controlling several emotion elicitation parameters. This thesis presents the results of these data collections, and offers an evaluation protocol for Human-Robot Interaction through systems with various degrees of autonomy.

Mes travaux de thèse s'intéressent à la voix émotionnelle dans un contexte d'interaction humain-robot. Dans une interaction réaliste, nous définissons au moins quatre grands types de variabilités : l'environnement (salle, microphone); le locuteur, ses caractéristiques physiques (genre, âge, type de voix) et sa personnalité; ses états émotionnels; et enfin le type d'interaction (jeu, situation d'urgence ou de vie quotidienne). A partir de signaux audio collectés dans différentes conditions, nous avons cherché, grâce à des descripteurs acoustiques, à imbriquer la caractérisation d'un locuteur et de son état émotionnel en prenant en compte ces variabilités.Déterminer quels descripteurs sont essentiels et quels sont ceux à éviter est un défi complexe puisqu'il nécessite de travailler sur un grand nombre de variabilités et donc d'avoir à sa disposition des corpus riches et variés. Les principaux résultats portent à la fois sur la collecte et l'annotation de corpus émotionnels réalistes avec des locuteurs variés (enfants, adultes, personnes âgées), dans plusieurs environnements, et sur la robustesse de descripteurs acoustiques suivant ces quatre variabilités. Deux résultats intéressants découlent de cette analyse acoustique: la caractérisation sonore d'un corpus et l'établissement d'une liste "noire" de descripteurs très variables. Les émotions ne sont qu'une partie des indices paralinguistiques supportés par le signal audio, la personnalité et le stress dans la voix ont également été étudiés. Nous avons également mis en oeuvre un module de reconnaissance automatique des émotions et de caractérisation du locuteur qui a été testé au cours d'interactions humain-robot réalistes. Une réflexion éthique a été menée sur ces travaux.