Dans un environnement non contrôlé, un robot doit pouvoir interagir avec les personnes d’une façon autonome. Cette autonomie doit également inclure une interaction grâce à la voix humaine. Lorsque l’interaction s’effectue à une distance de quelques mètres, des phénomènes tels que la réverbération et la présence de bruit ambiant doivent être pris en considération pour effectuer efficacement des tâches comme la reconnaissance de la parole ou de locuteur. En ce sens, le robot doit être en mesure de localiser, suivre et séparer les sources sonores présentes dans son environnement. L’augmentation récente de la puissance de calcul des processeurs et la diminution de leur consommation énergétique permettent dorénavant d’intégrer ces systèmes d’audition articielle sur des systèmes embarqués en temps réel. L’audition robotique est un domaine relativement jeune qui compte deux principales librairies d’audition artificielle : ManyEars et HARK. Jusqu’à présent, le nombre de microphones se limite généralement à huit, en raison de l’augmentation rapide de charge de calculs lorsque des microphones supplémentaires sont ajoutés. De plus, il est parfois difficile d’utiliser ces librairies avec des robots possédant des géométries variées puisqu’il est nécessaire de les calibrer manuellement. Cette thèse présente la librairie ODAS qui apporte des solutions à ces difficultés. Afin d’effectuer une localisation et une séparation plus robuste aux matrices de microphones fermées, ODAS introduit un modèle de directivité pour chaque microphone. Une recherche hiérarchique dans l’espace permet également de réduire la quantité de calculs nécessaires. De plus, une mesure de l’incertitude du délai d’arrivée du son est introduite pour ajuster automatiquement plusieurs paramètres et ainsi éviter une calibration manuelle du système. ODAS propose également un nouveau module de suivi de sources sonores qui emploie des filtres de Kalman plutôt que des filtres particulaires. Les résultats démontrent que les méthodes proposées réduisent la quantité de fausses détections durant la localisation, améliorent la robustesse du suivi pour des sources sonores multiples et augmentent la qualité de la séparation de 2.7 dB dans le cas d’un formateur de faisceau à variance minimale. La quantité de calculs requis diminue par un facteur allant jusqu’à 4 pour la localisation et jusqu’à 30 pour le suivi par rapport à la librairie ManyEars. Le module de séparation des sources sonores exploite plus efficacement la géométrie de la matrice de microphones, sans qu’il soit nécessaire de mesurer et calibrer manuellement le système. Avec les performances observées, la librairie ODAS ouvre aussi la porte à des applications dans le domaine de la détection des drones par le bruit, la localisation de bruits extérieurs pour une navigation plus efficace pour les véhicules autonomes, des assistants main-libre à domicile et l’intégration dans des aides auditives.

Ces dernières années, de nombreuses compagnies ont mis sur le marché des robots de téléprésence pour des usages de vidéoconférence mobile. Ces plateformes robotiques transmettent généralement la vidéo, l’audio et les données de capteurs de proximité à l’opérateur distant par l’intermédiaire d’une interface de téléopération s’exécutant sur un ordinateur de bureau standard. De nouvelles modalités d’interaction comme la localisation et le suivi de sources sonores, la capacité de ressentir les forces appliquées et la visualisation d’une représentation 3D de l’environnement sont développées et testées sur des plateformes robotique avancées. Il devient donc nécessaire d’explorer de nouvelles techniques pour intégrer ces informations supplémentaires au sein de l’interface. Ce projet de maîtrise propose une solution pour représenter visuellement les sources sonores et les forces d’interaction du robot à travers une interface de téléopération 3D. Cette interface inclut sous une seule vue les fonctionnalités de base comme la représentation du modèle du robot, la reconstruction 3D du nuage de points transmis par le capteur Kinect, la présentation des données des capteurs de proximité ainsi que la possibilité de passer d’une vue égocentrique à une vue exocentrique. L’affichage des sources sonores est réalisé avec des bulles de bandes dessinées pour la parole et des anneaux bleus pour tous les autres types de sons. L’intensité des forces d’interaction sur les bras du robot est affichée par changement de couleur et de taille du modèle 3D et avec des jauges. La direction des forces exercées est matérialisée par des flèches. Enfin, le champs de vision limité de la caméra est augmenté par l’affichage d’une représentation 3D de l’environnement construit dynamiquement par le robot. La phase de validation a été effectuée avec la plateforme robotique IRL-1 qui dispose des modalités perceptuelles nécessaires. Les performances de 31 participants ont été comparées dans l’exécution de trois sous-tâches réalisées avec et sans l’ajout des modalités supplémentaires. La première épreuve d’écoute visait à connaître l’impact de l’affichage de la position des sources sonores. La tâche de manipulation évaluait l’impact de l’affichage des forces ressenties sur les bras. Enfin, le pilotage du robot à travers un slalom avait pour but de tester l’impact de la représentation 3D de l’environnement. L’étude démontre que l’affichage visuel des modalités d’interaction sonores et de force du robot soulage et améliore les performances des utilisateurs dans la réalisation de certaines tâches précises d’écoute ou de manipulation. Cependant, les tests de pilotage du robot à travers un slalom autour de trois cylindres ne permettent pas d’affirmer que l’ajout d’une représentation 3D de l’environnement déjà visité par le robot améliore les performances de navigation.

Le bruit est aujourd'hui un enjeu majeur dans l'aéronautique. Au coeur d'un milieu concurrentiel, les motoristes aéronautiques doivent réduire les émissions sonores de leurs produits pour améliorer le confort des passagers des avions. C'est le cas de Pratt and Whitney Canada (P&WC) qui doit réduire le niveau sonore de ses moteurs, et donc avant tout connaître ces sources sonores. L'objectif de ce projet de recherche est d'identifier et de discriminer les sources acoustiques des sources aéroacoustiques de moteurs d'avions fabriqués par P&WC placés dans des cellules de tests. Ces cellules sont déjà utilisées à des fins aéroacoustiques par P&WC. Pour ce faire, l'utilisation d'outils de calcul numériques est primordiale pour simuler le problème. Dans un premier temps, ils permettront de dimensionner une antenne (géométrie, nombre de microphones, envergure) de manière optimale pour effectuer la mesure du champ acoustique généré par les sources sonores. Ensuite, les simulations numériques permettront de proposer des algorithmes de localisation de sources sonores se basant sur la technique de formation de voies (beamforming en anglais). Ils doivent s'adapter aux conditions expérimentales imposées par P&WC. En effet, toutes les mesures se font dans les salles de test de P&WC, qui sont des milieux réverbérants. Les murs de ces salles réfléchissent les ondes acoustiques, ajoutant ainsi du bruit indésirable au signal initial, rendant l'établissement de la cartographie sonore plus difficile, voire inexact. Des mesures dans les salles de test de P&WC permettront de les caractériser acoustiquement (temps de réverbération, coefficient de réflexion des murs etc...). Ensuite, des expériences en salle réverbérante au Groupe d'Acoustique de l'Université de Sherbrooke (GAUS) seront menées pour valider différentes approches du problème. L'application aux salles de P&WC suivra. La technique sera compatible avec tous les moteurs de P&WC (et même généralisable à une multitude d'autres situations). Elle permettra d'identifier et de localiser les sources acoustiques des moteurs.

Nous proposons de traiter l'extraction de la mélodie principale, ainsi que la séparation de l'instrument jouant cette mélodie. La première tâche appartient au domaine de la recherche d'information musicale (MIR) : nous cherchons à indexer les morceaux de musique à l'aide de leur mélodie. La seconde application est la séparation aveugle de sources sonores (BASS) : extraire une piste audio pour chaque source présente dans un mélange sonore. La séparation de la mélodie principale et de l'accompagnement et l'extraction de cette mélodie sont traitées au sein d'un même cadre statistique. Le modèle pour l'instrument principal est un modèle de production source/filtre. Il suppose deux états cachés correspondant à l'état du filtre et de la source. Le modèle spectral choisi permet de prendre compte les fréquences fondamentales de l'instrument désiré et de séparer ce dernier de l'accompagnement. Deux modèles de signaux sont proposés, un modèle de mélange de gaussiennes amplifiées (GSMM) et un modèle de mélange instantané (IMM). L'accompagnement est modélisé par un modèle spectral plus général. Cinq systèmes sont proposés, trois systèmes fournissent la mélodie sous forme de séquence de fréquences fondamentales, un système fournit les notes de la mélodie et le dernier système sépare l'instrument principal de l'accompagnement. Les résultats en estimation de la mélodie et en séparation sont du niveau de l'état de l'art, comme l'ont montré nos participations aux évaluations internationales (MIREX'08, MIREX'09 et SiSEC'08). Nous avons ainsi réussi à intégrer de la connaissance musicale améliorant les résultats de travaux antérieurs sur la séparation de sources sonores.

La grande majorité des systèmes perceptifs proposés en robotique héritent d'une conception passive de la perception dans laquelle la génération d'une commande motrice est l'étape ultime d'une succession de traitements purement passifs. Dans le cadre de la localisation de sources sonores, qui est une tâche fondamentale du système auditif, cette approche passive offre de bons résultats lorsque les conditions environnementales sont bien connues et facilement modélisables. Cependant des difficultés apparaissent lorsque l'environnement se complexifie, a fortiori s'il est inconnu ou changeant. Ces difficultés constituent un enjeu important dans le domaine de l'audition artificielle. Cette thèse considère une approche radicalement différente de l'approche passive, inspirée de la psychologie de la perception et de la théorie des contingences sensorimotrices. Cette approche place l'action au coeur du processus de perception, qui est alors vu comme une interaction qu'un agent biologique ou robotique entretient avec son environnement. Alors que l'approche passive nécessite des connaissances sur l'environnement, implicement intégrées dans les traitements par le roboticien, l'approche sensorimotrice suggère au contraire que ces connaissances sont acquises par l'agent de manière autonome, à travers son expérience sensorimotrice. Ainsi cette thèse applique la théorie des contingences sensorimotrices à la localisation de sources sonores pour la robotique autonome. Sur la base d'un modèle bioinspiré du système auditif adapté au contexte robotique, cette thèse propose une redéfinition du problème de la localisation en termes sensorimoteurs. Un modèle de localisation sensorimotrice est alors proposé. Celui-ci se base sur des capacités de perception active bas-niveau pour construire une représentation de l'espace auditif qui est ensuite utilisée pour une localisation passive. En exploitant les capacités d'action du robot, ce modèle permet de s'affranchir des dépendances à l'environnement qui mettent en difficulté l'approche passive, en proposant ainsi un degré d'autonomie supérieur à celui des modèles actuels / The vast majority of perceptual systems proposed in robotics inherit apassive conception of perception, in which the generation of a motor command is the final stage of successive passive processes. In the field of sound sources localization, which is a fundamental task of the auditory system, this passive approach provides good results when the environment is well known and easily modeled. However, difficulties arise when the environment becomes more complex, unknown or changing. These difficulties are a major issue in the field of machine hearing. This thesis considers a radically different approach inspired by the psychology of perception and theory of sensorimotor contingencies. This approach places action at the heart of the process of perception, which is seen as an interaction of a biological or robotic agent with it's environment. While passive approach requires environmental knowledge, implicitly integrated into models by the robotisist, the sensorimotor approach suggests that this knowledge is acquired by the agent by itself, through its sensorimotor experience. Thus, this thesis applies the theory of sensorimotor contingencies to sound sources localization for autonomous robots. Based on a model of the auditory system adapted to robotics, this thesis proposes a redefinition of the localization problem in sensorimotor terms. A sensorimotor model of localization is then proposed. It is based on active and low-level perception skills which are used to learn a representation of the auditory space. This representation is then used for a passive localization of new sound sources. By exploiting the active capabilities of the robot, this model eliminates the environment dependencies that put difficulty in the passive approach, thus offering a degree of autonomy higher than current models

La plupart des applications qui intègrent le son 3D en environnement virtuel sont limitées à la simulation acoustique. L'objectif de cette thèse est d'étudier l'apport du son 3D dans l'interaction en environnement virtuel. Nous avons développé une technique de stimulation sonore appelée: Sensation Artificielle Spatialisée Auditive (SASA), basée sur la création d'effets sonores. Cette technique restitue des sensations de spatialisation de son permettant la localisation précise (en azimut et en élévation) de sources sonores. Afin d'améliorer le temps de localisation de sources sonores, nous avons développé un modèle qui intègre la fonction HRTF (Head-Related Transfer Function) avec la technique SASA. Pour simuler la profondeur de sources sonores, nous avons développé une technique basée sur la combinaison entre l'indice d'intensité et les différences interaurales de temps. Les techniques développées dans le cadre de cette thèse ont été utilisées pour le guidage auditif afin de fournir des informations spatiales en azimut, en élévation et en profondeur. Nous avons appliqué cette technique dans la simulation chirurgicale pour assister l'opérateur dans la phase de triangulation. Nous avons validé cette approche en termes de performance de manipulation et du retour d'informations de l'utilisateur. Les résultats obtenus des travaux de cette thèse sont prometteurs pour l'utilisation de son 3D dans l'interaction en environnement virtuel.

La grande majorité des systèmes perceptifs proposés en robotique héritent d'une conception passive de la perception dans laquelle la génération d'une commande motrice est l'étape ultime d'une succession de traitements purement passifs. Dans le cadre de la localisation de sources sonores, qui est une tâche fondamentale du système auditif, cette approche passive offre de bons résultats lorsque les conditions environnementales sont bien connues et facilement modélisables. Cependant des difficultés apparaissent lorsque l'environnement se complexifie, a fortiori s'il est inconnu ou changeant. Ces difficultés constituent un enjeu important dans le domaine de l'audition artificielle. Cette thèse considère une approche radicalement différente de l'approche passive, inspirée de la psychologie de la perception et de la théorie des contingences sensorimotrices. Cette approche place l'action au coeur du processus de perception, qui est alors vu comme une interaction qu'un agent biologique ou robotique entretient avec son environnement. Alors que l'approche passive nécessite des connaissances sur l'environnement, implicement intégrées dans les traitements par le roboticien, l'approche sensorimotrice suggère au contraire que ces connaissances sont acquises par l'agent de manière autonome, à travers son expérience sensorimotrice. Ainsi cette thèse applique la théorie des contingences sensorimotrices à la localisation de sources sonores pour la robotique autonome. Sur la base d'un modèle bioinspiré du système auditif adapté au contexte robotique, cette thèse propose une redéfinition du problème de la localisation en termes sensorimoteurs. Un modèle de localisation sensorimotrice est alors proposé. Celui-ci se base sur des capacités de perception active bas-niveau pour construire une représentation de l'espace auditif qui est ensuite utilisée pour une localisation passive. En exploitant les capacités d'action du robot, ce modèle permet de s'affranchir des dépendances à l'environnement qui mettent en difficulté l'approche passive, en proposant ainsi un degré d'autonomie supérieur à celui des modèles actuels

Dans les systèmes d'échappement automobile, les sources de bruit d'origine aéro-acoustique représentent une partie importante du contenu fréquentiel, objectivement et subjectivement identifiable. De robustes procédures de tests ont été mises en place mais la simulation du contenu du bruit n'a pas encore fait ses preuves dans les processus de développement au quotidien. Cette thèse montre que le bruit aéro-acoustique provenant de sources type dipôle est dominant pour ce qui concerne les systèmes automobiles. La simulation des écoulements à l'origine de ces bruits spécifiques combinée avec les outils de calculs acoustiques classiques est très lourde voir tout simplement impossible. Le but de cette thèse est d'analyser la loi d'échelle pour des modèles de sources compactes, permettant de déterminer l'émission de la puissance acoustique selon différentes configurations géométriques "simples" et généralement répandues (par ex. tube perforé, diaphragme placé dans un tube…) basées sur des données empiriques. Il est démontré à l'aide de simulations que son utilisation est simple et que la précision de ces modèles de sources est satisfaisante si l'on ne s'écarte pas trop des géométries déjà analysées. / On automotive exhaust systems aero acoustic noise is a dominant and critical noise content, which is clearly objectively and subjectively detectable. Robust test procedures are established but the simulation of this noise content has not gained ground in the real life development processes. This thesis shows that the dominating characteristic of the aero acoustic noise of automotive systems is dipole noise. The simulation of these specific noise sources with classical computational areo acoustics is very cumbersome or even just impossible. The aim of the thesis is a review of the scaling law approach for compact source models, enabling the determination of the sound power emission of discret configurations based on empirical data. Application simulations show that the use of these source models is simple and that the accuracy is acceptable within the geometry limits analysed.

Ce travail de recherche porte sur le problème de l'identification des sources de bruit en espace clos. La motivation principale était de proposer une technique capable de localiser et quantifier les sources de bruit à l'intérieur des véhicules industriels, d'une manière efficace en temps. Dans cette optique, la méthode pourrait être utilisée par les industriels à des fins de réduction de bruit, et donc construire des véhicules plus silencieux. Un modèle simplifié basé sur la formulation par sources équivalentes a été utilisé pour résoudre le problème. Nous montrerons que le problème est mal conditionné, dans le sens où il est très sensible face aux erreurs de mesure, et donc des techniques dites de régularisation sont nécessaires. Une étude détaillée de cette question, en particulier le réglage de ce qu'on appelle de paramètre de régularisation, a été important pour assurer la stabilité de la solution. En particulier, un critère de régularisation basé sur une approche bayésienne s'est montré très robuste pour ajuster le paramètre de régularisation de manière optimale. L'application cible concernant des environnements intérieurs relativement grands, nous a imposé des difficultés supplémentaires, à savoir: (a) le positionnement de l'antenne de capteurs à l'intérieur de l'espace; (b) le nombre d'inconnues (sources potentielles) beaucoup plus important que le nombre de positions de mesure. Une formulation par pondération itérative a ensuite été proposé pour surmonter les problèmes ci-dessus de manière à: (1) corriger pour le positionnement de l'antenne de capteurs dans l'habitacle ; (2) obtenir des résultats corrects en terme de quantification des sources identifiées. Par ailleurs, l'approche itérative nous a conduit à des résultats avec une meilleure résolution spatiale ainsi qu'une meilleure dynamique. Plusieurs études numériques ont été réalisées afin de valider la méthode ainsi que d'évaluer sa sensibilité face aux erreurs de modèle. En particulier, nous avons montré que l'approche est affectée par des conditions non-anéchoïques, dans le sens où les réflexions sont identifiées comme des vraies sources. Une technique de post-traitement qui permet de distinguer entre les chemins directs et réverbérants a été étudiée. La dernière partie de cette thèse porte sur des validations expérimentales et applications pratiques de la méthode. Une antenne sphérique constituée d'une sphère rigide et 31 microphones a été construite pour les tests expérimentaux. Plusieurs validations académiques ont été réalisées dans des environnements semi-anéchoïques, et nous ont illustré les avantages et limites de la méthode. Enfin, l'approche a été testé dans une application pratique, qui a consisté à identifier les sources de bruit ou faiblesses acoustiques à l'intérieur d'un bus. / This thesis is concerned with the problem of noise source identification in closed spaces. The main motivation was to propose a technique which allows to locate and quantify noise sources within industrial vehicles, in a time-effective manner. In turn, the technique might be used by manufacturers for noise abatement purposes such as to provide quieter vehicles. A simplified model based on the equivalent source formulation was used to tackle the problem. It was shown that the problem is ill-conditioned, in the sense that it is very sensitive to errors in measurement data, thus regularization techniques were required. A detailed study of this issue, in particular the tuning of the so-called regularization parameter, was of importance to ensure the stability of the solution. In particular, a Bayesian regularization criterion was shown to be a very robust approach to optimally adjust the regularization parameter in an automated way. The target application concerns very large interior environments, which imposes additional difficulties, namely: (a) the positioning of the measurement array inside the enclosure; (b) a number of unknowns ("candidate" sources) much larger than the number of measurement positions. An iterative weighted formulation was then proposed to overcome the above issues by: first correct for the positioning of the array within the enclosure and second iteratively solve the problem in order to obtain a correct source quantification. In addition, the iterative approach has provided results with an enhanced spatial resolution and dynamic range. Several numerical studies have been carried out to validate the method as well as to evaluate its sensitivity to modeling errors. In particular, it was shown that the approach is affected by non-anechoic conditions, in the sense that reflections are identified as "real" sources. A post-processing technique which helps to distinguish between direct and reverberant paths has been discussed. The last part of the thesis was concerned with experimental validations and practical applications of the method. A custom spherical array consisting of a rigid sphere and 31 microphones has been built for the experimental tests. Several academic experimental validations have been carried out in semi-anechoic environments, which illustrated the advantages and limits of the method. Finally, the approach was tested in a practical application, which consisted in identifying noise sources inside a bus at driving conditions.

La séparation aveugle de sources est une technique prometteuse pour l'identification, la localisation, et la classification des sources sonores. L'objectif de cette thèse est de proposer des méthodes pour séparer des sources sonores incohérentes qui peuvent se chevaucher à la fois dans les domaines spatial et fréquentiel par l'exploitation de l'information spatiale. De telles méthodes sont d'intérêt dans les applications acoustiques nécessitant l'identification et la classification des sources sonores ayant des origines physiques différentes. Le principe fondamental de toutes les méthodes proposées se décrit en deux étapes, la première étant relative à la reconstruction du champ source (comme par exemple à l'aide de l'holographie acoustique de champ proche) et la seconde à la séparation aveugle de sources. Spécifiquement, l'ensemble complexe des sources est d'abord décomposé en une combinaison linéaire de fonctions de base spatiales dont les coefficients sont définis en rétropropageant les pressions mesurées par un réseau de microphones sur le domaine source. Cela conduit à une formulation similaire, mais pas identique, à la séparation aveugle de sources. Dans la seconde étape, ces coefficients sont séparés en variables latentes décorrélées, affectées à des “sources virtuelles” incohérentes. Il est montré que ces dernières sont définies par une rotation arbitraire. Un ensemble unique de sources sonores est finalement résolu par la recherche de la rotation (par gradient conjugué dans la variété Stiefel des matrices unitaires) qui minimise certains critères spatiaux, tels que la variance spatiale, l'entropie spatiale, ou l'orthogonalité spatiale. Il en résulte la proposition de trois critères de séparation à savoir la “moindre variance spatiale”, la “moindre entropie spatiale”, et la “décorrélation spatiale”, respectivement. De plus, la condition sous laquelle la décorrélation classique (analyse en composantes principales) peut résoudre le problème est établit de une manière rigoureuse. Le même concept d'entropie spatiale, qui est au cœur de cette thèse, est également exploité dans la définition d'un nouveau critère, la courbe en L entropique, qui permet de déterminer le nombre de sources sonores actives sur le domaine source d'intérêt. L'idée consiste à considérer le nombre de sources qui réalise le meilleur compromis entre une faible entropie spatiale (comme prévu à partir de sources compactes) et une faible entropie statistique (comme prévu à partir d'une faible erreur résiduelle). / Blind source separation is a promising technique for the identification, localization, and ranking of sound sources. The aim of this dissertation is to offer methods for separating incoherent sound sources which may overlap in both the space and frequency domains by exploiting spatial information. This is found of interest in acoustical applications involving the identification and ranking of sound sources stemming from different physical origins. The fundamental principle of all proposed methods proceeds in two steps, the first one being reminiscent to source reconstruction (e.g. as in near-field acoustical holography) and the second one to blind source separation. Specifically, the source mixture is first expanded into a linear combination of spatial basis functions whose coefficients are set by backpropagating the pressures measured by an array of microphones to the source domain. This leads to a formulation similar, but no identical, to blind source separation. In the second step, these coefficients are blindly separated into uncorrelated latent variables, assigned to incoherent “virtual sources”. These are shown to be defined up to an arbitrary rotation. A unique set of sound sources is finally recovered by searching for that rotation (conjugate gradient descent in the Stiefel manifold of unitary matrices) which minimizes some spatial criteria, such as spatial variance, spatial entropy, or spatial orthogonality. This results in the proposal of three separation criteria coined “least spatial variance”, “least spatial entropy”, and “spatial decorrelation”, respectively. Meanwhile, the condition under which classical decorrelation (principal component analysis) can solve the problem is deduced in a rigorous way. The same concept of spatial entropy, which is central to the dissertation, is also exploited in defining a new criterion, the entropic L-curve, dedicated to determining the number of active sound sources on the source domain of interest. The idea consists in considering the number of sources that achieves the best compromise between a low spatial entropy (as expected from compact sources) and a low statistical entropy (as expected from a low residual error).