Bien que le traitement conjoint des mesures multimodales soit supposé conduire à de meilleures performances que celles obtenues en exploitant une seule modalité ou plusieurs modalités indépendamment, il existe des exemples en littérature qui prouvent que c'est pas toujours vrai. Dans cette thèse, nous analysons rigoureusement, en termes d'information mutuelle et d'erreur d'estimation, les différentes situations de l'analyse multimodale afin de déterminer les conditions conduisant à des performances optimales.Dans la première partie, nous considérons le cas simple de deux ou trois modalités, chacune étant associée à la mesure bruitée d'un signal, avec des liens entre modalités matérialisés par les corrélations entre les parties utiles du signal et par les corrélations les bruits. Nous montrons comment les performances obtenues sont améliorées avec l'exploitation des liens entre les modalités. Dans la seconde partie, nous étudions l'impact sur les performances d'erreurs sur les liens entre modalités. Nous montrons que ces fausses hypothèses dégradent les performances, qui peuvent alors devenir inférieure à celles atteintes avec une seule modalité.Dans le cas général, nous modélisons les multiples modalités comme un canal gaussien bruité. Nous étendons alors des résultats de la littérature en considérant l'impact d'erreurs sur les densités de probabilité du signal et du bruit sur l'information transmise par le canal. Nous analysons ensuite cette relation dans la cas d'un modèle simple de deux modalités. Nos résultats montrent en particulier le fait inattendu qu'une double inadéquation du bruit et du signal peuvent parfois se compenser et ainsi conduire à de très bonnes performances. / The joint processing of multimodal measurements is supposed to lead to better performances than those obtained using a single modality or several modalities independently. However, in literature, there are examples that show that is not always true. In this thesis, we analyze, in terms of mutual information and estimation error, the different situations of multimodal analysis in order to determine the conditions to achieve the optimal performances.In the first part, we consider the simple case of two or three modalities, each associated with noisy measurement of a signal. These modalities are linked through the correlations between the useful parts of the signal and the correlations between the noises. We show that the performances are improved if the links between the modalities are exploited. In the second part, we study the impact on performance of wrong links between modalities. We show that these false assumptions decline the performance, which can become lower than the performance achieved using a single modality.In the general case, we model the multiple modalities as a noisy Gaussian channel. We then extend literature results by considering the impact of the errors on signal and noise probability densities on the information transmitted by the channel. We then analyze this relationship in the case of a simple model of two modalities. Our results show in particular the unexpected fact that a double mismatch of the noise and the signal can sometimes compensate for each other, and thus lead to very good performances.

La thèse explore trois questions méthodologiques en imagerie de diffusion (DTI) clinique du cerveau, dans le contexte d’une étude sur le VIH. La première question est comment améliorer la résolution du DTI. Le deuxième problème est comment créer un atlas multimodal spécifique à la population. La troisième question porte sur le calcul des statistiques pour comparer les zones de matière blanche entre les contrôles et patients. Les DTI cliniques ont une résolution spatiale et un rapport signal sur bruit faibles, ce qui rend difficile le calcul de statistiques significatives. Nous proposons un algorithme de super-résolution pour améliorer la résolution qui utilise un a priori spatial anisotrope. Cette méthode démontre une amélioration de l’anisotropie fractionnelle et de la tractographie. Pour normaliser spatialement les images du cerveau dans un système de coordonnées commun, nous proposons ensuite de construire un atlas multimodal spécifique á la population. Ceci permet de créer un atlas probabiliste de la matière blanche qui est consistant avec l’atlas anatomique. Cet atlas peut être utilisé pour des statistiques basées sur des régions d’intérêt ou pour le raffinement d’une segmentation. Enfin, nous améliorons les résultats de la méthode TBSS (Tract-Based Spatial Statistics) en utilisant le recalage des images DTI. Contrairement á la méthode TBSS traditionnelle, nous utilisons ici des statistiques multivariées. Nous montrons que ceci permet de détecter des différences dans les régions de matière blanche qui étaient non significatives auparavant, et de les corréler avec les scores des tests neuropsychologiques. / The thesis explores three major methodological questions in clinical brain DTI, in the context of a clinical study on HIV. The first question is how to improve the DTI resolution. The second problem addressed in the thesis is how to create a multimodal population specific atlas. The third question is on the computation of statistics to compare white matter (WM) regions among controls and HIV patients. Clinical DTIs have low spatial resolution and signal-to-noise ratio making it difficult to compute meaningful statistics. We propose a super-resolution (SRR) algorithm for improving DTI resolution. The SRR is achieved using anisotropic regularization prior. This method demonstrates improved fractional anisotropy and tractography. In order to spatially normalize all images in a consistent coordinate system, we create a multimodal population specific brain atlas using the T1 and DTI images from a HIV dataset. We also transfer WM labels from an existing white matter parcellation map to create probabilistic WM atlas. This atlas can be used for region of interest based statistics and refining manual segmentation. On the statistical analysis side, we improve the existing tract based spatial statistics (TBSS) by using DTI based registration for spatial normalization. Contrary to traditional TBSS routines, we use multivariate statistics for detecting changes in WM tracts. With the improved method it is possible to detect differences in WM regions and correlate it with the neuropschylogical test scores of the subjects.

Dans cette dissertation, nous discutons comment utiliser les données du regard humain pour améliorer la performance du modèle d'apprentissage supervisé faible dans la classification des images. Le contexte de ce sujet est à l'ère de la technologie de l'information en pleine croissance. En conséquence, les données à analyser augmentent de façon spectaculaire. Étant donné que la quantité de données pouvant être annotées par l'humain ne peut pas tenir compte de la quantité de données elle-même, les approches d'apprentissage supervisées bien développées actuelles peuvent faire face aux goulets d'étranglement l'avenir. Dans ce contexte, l'utilisation de annotations faibles pour les méthodes d'apprentissage à haute performance est digne d'étude. Plus précisément, nous essayons de résoudre le problème à partir de deux aspects: l'un consiste à proposer une annotation plus longue, un regard de suivi des yeux humains, comme une annotation alternative par rapport à l'annotation traditionnelle longue, par exemple boîte de délimitation. L'autre consiste à intégrer l'annotation du regard dans un système d'apprentissage faiblement supervisé pour la classification de l'image. Ce schéma bénéficie de l'annotation du regard pour inférer les régions contenant l'objet cible. Une propriété utile de notre modèle est qu'elle exploite seulement regardez pour la formation, alors que la phase de test est libre de regard. Cette propriété réduit encore la demande d'annotations. Les deux aspects isolés sont liés ensemble dans nos modèles, ce qui permet d'obtenir des résultats expérimentaux compétitifs. / In this dissertation, we discuss how to use the human gaze data to improve the performance of the weak supervised learning model in image classification. The background of this topic is in the era of rapidly growing information technology. As a consequence, the data to analyze is also growing dramatically. Since the amount of data that can be annotated by the human cannot keep up with the amount of data itself, current well-developed supervised learning approaches may confront bottlenecks in the future. In this context, the use of weak annotations for high-performance learning methods is worthy of study. Specifically, we try to solve the problem from two aspects: One is to propose a more time-saving annotation, human eye-tracking gaze, as an alternative annotation with respect to the traditional time-consuming annotation, e.g. bounding box. The other is to integrate gaze annotation into a weakly supervised learning scheme for image classification. This scheme benefits from the gaze annotation for inferring the regions containing the target object. A useful property of our model is that it only exploits gaze for training, while the test phase is gaze free. This property further reduces the demand of annotations. The two isolated aspects are connected together in our models, which further achieve competitive experimental results.

Des études récentes ont rapporté que les individus âgés avec un trouble cognitif léger (TCL) ont de plus grandes activations en lien avec la réalisation d’une tâche cognitive que des personnes âgées saines. Des auteurs ont proposé que ces hyperactivations pourraient refléter des processus de plasticité cérébrale compensatoires ayant lieu pendant la phase précoce de la maladie d’Alzheimer. Des processus de compensations fonctionnelles pourraient émerger en réponse à une perte d’intégrité structurelle dans les régions du cerveau normalement requises pour compléter une tâche. Dans ce mémoire, j’ai évalué cette hypothèse chez des personnes avec TCL en faisant appel à une tâche de mémoire de travail comportant plusieurs niveaux de difficulté ainsi qu’aux techniques d’imagerie par résonnance magnétique (IRM) structurelle et fonctionnelle. Des analyses de régression multiples ont été utilisées afin d’identifier les régions cérébrales dont l’activité variait en fonction de l’intégrité neuronale telle que définie par le volume de l’hippocampe. Les valeurs estimées des paramètres du signal de ces régions furent ensuite extraites afin de procéder à des analyses corrélationnelles sur la performance ainsi que sur le volume de différentes structures cérébrales. Les résultats indiquent des hyperactivations dans les régions frontales droites chez les participants TCL souffrant d’une plus grande atteinte neuronale. De plus, le niveau d’activation est négativement corrélé au volume de structures frontales et pariétales. Ces résultats indique la présence d’une hyperactivation compensatoire dans la phase du TCL associée à la réalisation d’une tâche de mémoire de travail. / Recent studies have shown greater task-related activation in individuals with mild cognitive impairment (MCI) compared to healthy older adults. It has been suggested that these hyperactivations reflect compensatory processes of brain plasticity in the early phase of Alzheimer’s disease (AD). Functional compensation processes could emerge in response to a loss of structural integrity in brain regions typically required for the task. In this masters dissertation, I examined this hypothesis in MCI using a working memory task that incorporated a parametrical variation of difficulty level as well as functional and structural magnetic resonance imaging (MRI). Multiple regression analyses were used to identify areas of the brain in MCI in which functional activation varied as a function of neural injury as measured by hippocampal volume. Parameter estimates from these areas were then extracted and used for further correlational analyses with performance and structural volumes. Results indicate that MCI participants with high neural injury hyperactivated a subset of regions in the right frontal lobe. Furthermore, the level of activation was negatively correlated with the volume of frontal and parietal regions. These results indicate the presence of compensatory hyperactivations associated with a working memory task in persons with MCI.

Bien que de plus en plus de données sonores et audiovisuelles soient disponibles, la majorité des interfaces qui permettent d’y accéder reposent uniquement sur une présentation visuelle. De nombreuses techniques de visualisation ont déjà été proposées utilisant une présentation simultanée de plusieurs documents et des distorsions permettant de mettre en relief l’information plus pertinente. Nous proposons de définir des équivalents auditifs pour la présentation de plusieurs fichiers sonores en concurrence, et de combiner de façon optimale les stratégies audio et visuelles pour la présentation de documents multimédia. Afin d’adapter au mieux ces stratégies à l’utilisateur, nous avons dirigé nos recherches sur l’étude des processus perceptifs et attentionnels impliqués dans l’écoute et l’observation d’objets audiovisuels concurrents, en insistant sur les interactions entre les deux modalités.Exploitant les paramètres de taille visuelle et de volume sonore, nous avons étendu le concept de lentille grossissante, utilisée dans les méthodes focus+contexte visuelles, aux modalités auditive et audiovisuelle. A partir de ce concept, une application de navigation dans une collection de documents vidéo a été développée. Nous avons comparé notre outil à un autre mode de rendu dit de Pan&Zoom à travers une étude d’utilisabilité. Les résultats, en particulier subjectifs, encouragent à poursuivre vers des stratégies de présentation multimodales associant un rendu audio aux rendus visuels déjà disponibles.Une seconde étude a concerné l’identification de sons d’environnement en milieu bruité en présence d’un contexte visuel. Le bruit simule la présence de plusieurs sources sonores simultanées telles qu’on pourrait les retrouver dans une interface où les documents audio et audiovisuels sont présentés ensemble. Les résultats de cette expérience ont confirmé l’avantage de la multimodalité en condition de dégradation. De plus, au-delà des buts premiers de la thèse, l’étude a confirmé l’importance de la congruence sémantique entre les composantes visuelle et sonore pour la reconnaissance d’objets et a permis d’approfondir les connaissances sur la perception auditive des sons d’environnement.Finalement, nous nous sommes intéressée aux processus attentionnels impliqués dans la recherche d’un objet parmi plusieurs, en particulier au phénomène de « pop-out » par lequel un objet saillant attire l’attention automatiquement. En visuel, un objet net attire l’attention au milieu d’objets flous et certaines stratégies de présentation visuelle exploitent déjà ce paramètre visuel. Nous avons alors étendu la notion de flou aux modalités auditives et audiovisuelles par analogie. Une série d’expériences perceptives a confirmé qu’un objet net parmi des objets flous attire l’attention, quelle que soit la modalité. Les processus de recherche et d’identification sont alors accélérés quand l’indice de netteté correspond à la cible, mais ralentis quand il s’agit d’un distracteur, mettant ainsi en avant un phénomène de guidage involontaire. Concernant l’interaction intermodale, la combinaison redondante des flous audio et visuel s’est révélée encore plus efficace qu’une présentation unimodale. Les résultats indiquent aussi qu’une combinaison optimale n’implique pas d’appliquer obligatoirement une distorsion sur les deux modalités. / Although more and more sound and audiovisual data are available, the majority of access interfaces are solely based on a visual presentation. Many visualization techniques have been proposed that use simultaneous presentation of multiple documents and distortions to highlight the most relevant information. We propose to define equivalent audio technique for the presentation of several competing sound files, and optimally combine such audio and visual presentation strategies for multimedia documents. To better adapt these strategies to the user, we studied attentional and perceptual processes involved in listening and watching simultaneous audio-visual objects, focusing on the interactions between the two modalities.Combining visual size and sound level parameters, we extended the visual concept of magnifying lens to auditory and audiovisual modalities. Exploiting this concept, a navigation application in a video collection has been developed. We compared our tool with another rendering mode called Pan & Zoom through a usability study. Results, especially subjective results, encourage further research to develop multimodal presentation strategies by combining an audio rendering to the visual renderings already available.A second study concerned the identification of environmental sounds in a noisy environment in the presence of a visual context. The noise simulated the presence of multiple competing sounds as would be observed in an interface where several multimedia documents are presented together. The experimental results confirmed the multimodality advantage in condition of audio degradation. Moreover, beyond the primary goals of the thesis, this study confirms the importance of the semantic congruency between visual and auditory components for object recognition and provides deeper knowledge about the auditory perception of environmental sounds.Finally, we investigated attentional processes involved in the search of a specific object among many, especially the “pop-out” phenomenon whereby a salient object automatically attracts attention. In vision, an sharp object attracts attention among blurred objects and some visual strategies already exploit this parameter to display the information. We extended by analogy the concept of visual blur to auditory and audiovisual modalities. A serie of experiments confirmed that a perceptual object among blurred objects attracts attention, regardless of the modality. The identification and search process is then accelerated when the sharpness parameter is applied to the target, but slow when it is applied to a distractor. These results highlight an involuntary attraction effect. Concerning the crossmodal interaction, a redundant combination of audio and visual blur proved to be more effective than a unimodal presentation. Results also indicate that optimal combination does not necessarily require a distortion of both modalities.

Le travail de recherche relaté dans ce manuscrit présente mes activités en traitement d'images que j'ai menées successivement dans trois organismes, à savoir le Laboratoire des Sciences de l'Image, de l'Informatique et de la Télédétection (LSIIT, UMR CNRS/Université Louis Pasteur de Strasbourg), l'Institut für Techno- und Wirtschaftsmathematik'' (Fraunhofer Institut, Kaiserslautern, Allemagne) et le Centre de Recherche en Automatique de Nancy (CRAN, UMR CNRS/Nancy Université). D'un point de vue scientifique, mes principales activités en traitement d'images concernent la segmentation d'images dont le contenu, relativement complexe, requiert des algorithmes utilisant des connaissances a priori liées aux objets à segmenter (contours actifs, méthode s'inspirant de la transformée de Hough. Le recalage de donnée 2D ou 3D et monomodales ou multimodales est un autre aspect scientifique caractérisant le travail décrit ici. Ces thèmes de recherche, ainsi que des méthodes de reconstruction et/ou de superposition de données 3D ont conduit à des solutions originales dans le cadre de problèmes industriels (reconstruction 3D de pièces manufacturées pour une mesure dimensionnelle et classification de surfaces en fonction de leur teinte et texture) ou médicaux (diagnostic précoce du cancer du sein via la reconstruction du foyer de microcalcifications, positionnement de patients en radiothérapie intra crânienne par recalage 3D multimodal, aide au diagnostic de maladies cardio-vasculaires par la superposition de données multimodales et détection du cancer de la vessie par mosaïquage d'images).

Ces travaux portent sur le recalage et la fusion d'informations multimodales dans le cadre de l'optimisation de la thérapie de resynchronisation cardiaque (CRT). Des descripteurs locaux du couplage électromécanique cardiaque sont extraits à partir d'informations anatomiques, fonctionnelles, électriques et mécaniques issues de volumes scanner (CT), d'échocardiographie par ''speckle tracking'' (US) et de cartographies électroanatomiques (EAM). L'approche proposée repose sur le recalage des données multimodales sur un modèle 3D+t du ventricule gauche (VG) calculé à partir de surfaces segmentées. Cette approche procède en deux temps : (1) un recalage semi-interactif des données EAM et d'images CT ; (2) un recalage de données US avec le modèle dynamique pour lequel les deux méthodes automatiques (statique et dynamique) ont été développées. Ces techniques intègrent un mode de projection radiale et une interpolation de mise en correspondance temporelle (par Dynamic Time Warping) des données EAM et US. Ces méthodes offrent la possibilité de calculer, sous différents modes de simulation cardiaque, les délais d'activation électrique, les cartes de voltage, les délais mécaniques et les délais électromécaniques locaux. La visualisation (cartographies 3D et 2D) de ces descripteurs permet de caractériser le couplage électromécanique intra-segments du VG. Ces méthodes ont été appliquées sur données simulées et réelles. Elles ont montré leur pertinence quant à la possibilité d'extraire des descripteurs locaux de la fonction cardiaque significatifs pour l'optimisation de la pose de stimulateur en CRT.

Le cancer du sein est le cancer le plus répandu chez les femmes de plus de 40 ans. En effet, des études ont montré qu'une détection précoce et un traitement approprié du cancer du sein augmentent de manière significative les chances de survie. La mammographie constitue le moyen d'investigation le plus utilisé dans le diagnostic des lésions mammaires. Cependant, cette technique peut être insuffisante pour montrer les structures du sein et faire apparaître les anomalies présentes et le médecin peut faire appel à d'autres modalités d'imagerie telle que l'imagerie IRM. Ces modalités sont généralement complémentaires. Par conséquent, le médecin procède à une fusion mentale des différentes informations sur les deux images dans le but d'effectuer le diagnostic adéquat. Pour assister le médecin et l'aider dans ce processus, nous proposons une solution permettant de fusionner les deux images. Bien que l'idée de la fusion paraisse simple, sa mise en oeuvre pose de nombreux problèmes liés non seulement au problème de fusion en général mais aussi à la nature des images médicales qui sont généralement des images mal contrastées et présentant des données hétérogènes, imprécises et ambigües. Notons que les images mammographiques et les images IRM présentent des représentations très différentes des informations, étant donnée qu'elles sont prises dans des conditions distinctes. Ce qui nous amène à poser la question suivante: Comment passer de la représentation hétérogène des informations dans l'espace image, à un autre espace de représentation uniforme. Afin de traiter cette problématique, nous optons pour une approche de traitement multi-niveaux : niveau pixel, niveau primitives, niveau objet et niveau scène. Nous modélisons les objets pathologiques extraits des différentes images par des ontologies locales. La fusion est ensuite effectuée sur ces ontologies locales et résulte en une ontologie globale contenant les différentes connaissances sur les objets pathologiques du cas étudié. Cette ontologie globale sert à instancier une ontologie de référence modélisant les connaissances du diagnostic médical des lésions mammaires. Un raisonnement à base de cas est exploité pour fournir les rapports diagnostic des cas les plus similaires pouvant aider le médecin à prendre la meilleure décision. Dans le but de modéliser l'imperfection des informations traitées, nous utilisons la théorie des possibilités avec les différentes ontologies. Le résultat fourni est présenté sous forme de rapports diagnostic comportant les cas les plus similaires au cas étudié avec des degrés de similarité exprimés en mesures de possibilité. Un modèle virtuel 3D complète le rapport diagnostic par un aperçu simplifié de la scène étudiée. / The breast cancer is the most prevalent cancer among women over 40 years old. Indeed, studies evinced that an early detection and an appropriate treatment of breast cancer increases significantly the chances of survival. The mammography is the most tool used in the diagnosis of breast lesions. However, this technique may be insufficient to evince the structures of the breast and reveal the anomalies present. The doctor can use additional imaging modalities such as MRI (Magnetic Reasoning Image). Therefore, the doctor proceeds to a mental fusion of the different information on the two images in order to make the adequate diagnosis. To assist the doctor in this process, we propose a solution to merge the two images. Although the idea of the fusion seems simple, its implementation poses many problems not only related to the paradigm of fusion in general but also to the nature of medical images that are generally poorly contrasted images, and presenting heterogeneous, inaccurate and ambiguous data. Mammography images and IRM images present very different information representations, since they are taken under different conditions. Which leads us to pose the following question: How to pass from the heterogeneous representation of information in the image space, to another space of uniform representation from the two modalities? In order to treat this problem, we opt a multilevel processing approach : the pixel level, the primitive level, the object level and the scene level. We model the pathological objects extracted from the different images by local ontologies. The fusion is then performed on these local ontologies and results in a global ontology containing the different knowledge on the pathological objects of the studied case. This global ontology serves to instantiate a reference ontology modeling knowledge of the medical diagnosis of breast lesions. Case-based reasoning (CBR) is used to provide the diagnostic reports of the most similar cases that can help the doctor to make the best decision. In order to model the imperfection of the treated information, we use the possibility theory with the ontologies. The final result is a diagnostic reports containing the most similar cases to the studied case with similarity degrees expressed with possibility measures. A 3D symbolic model complete the diagnostic report with a simplified overview of the studied scene.

L'environnement urbain est le siège de fortes nuisances sonores notamment générées par les moyens de transport. Afin de lutter contre ces nuisances, la réglementation européenne impose la réalisation de cartographies de bruit. Dans ce contexte, des travaux fondamentaux sont menés autour de la propagation d'ondes acoustiques basses fréquences en milieu urbain. Différents travaux de recherche récents portent sur la mise en œuvre de méthodes ondulatoires pour la propagation d'ondes acoustiques dans de tels milieux. Le coût numérique de ces méthodes limite cependant leur utilisation dans un contexte d'ingénierie. L'objectif de ces travaux de thèse porte sur l'approximation unidirectionnelle de la propagation des ondes, appliquée à l'acoustique urbaine. Cette approximation permet d'apporter des simplifications à l'équation d'onde afin de limiter le temps de calcul lors de sa résolution. La particularité de ce travail de thèse réside dans la prise en compte des variations, continues ou discontinues, de la largeur des rues. Deux formalismes sont utilisés : l'équation parabolique et une approche multimodale. L'approche multimodale sert de support à une étude théorique sur les mécanismes de couplages de modes dans des guides d'ondes irréguliers bidimensionnels. Pour cela, le champ de pression est décomposé en fonction du sens de propagation des ondes à la manière d'une série de Bremmer. La contribution particulière de l'approximation unidirectionnelle est étudiée en fonction des paramètres géométriques du guide d'ondes, ce qui permet de mieux cerner les limites de validité de cette approximation. L'utilisation de l'équation parabolique a pour but une application à l'acoustique urbaine. Une transformation de coordonnées est associée à l'équation parabolique grand angle afin de prendre en compte l'effet de la variation de la section du guide d'ondes. Une méthode de résolution est alors spécifiquement développée et permet une évaluation précise du champ de pression. D'autre part, une méthode de résolution de l'équation parabolique grand angle tridimensionnelle est adaptée à la modélisation de la propagation acoustique en milieu urbain. Cette méthode permet de tenir compte des variations brusques ou continues de la largeur de la rue. Une comparaison avec des mesures sur maquette de rue à échelle réduite permet de mettre en avant les possibilités de la méthode. / The urban environment is the seat of loud noise generated by means of transportation. To fight against these nuisances, European legislation requires the achievement of noise maps. In this context, fundamental work is carried around the propagation of acoustic low-frequency waves in urban areas. Several recent research focuses on the implementation of wave methods for acoustic wave propagation in such environments. The computational cost of these methods, however, limits their use in the context of engineering. The objective of this thesis focuses on the one-way approximation of wave propagation, applied to urban acoustics. This approximation allows to make simplifications on the wave equation in order to limit the computation time. The particularity of this thesis lies in the consideration of variations, continuous or discontinuous, of the width of streets. Two formalisms are used: parabolic equation and a multimodal approach. The multimodal approach provides support for a theoretical study on the mode-coupling mechanisms in two-dimensional irregular waveguides. For this, the pressure field is decomposed according to the direction of wave propagation in the manner of a Bremmer series. The specific contribution of the one-way approximation is studied as a function of the geometric parameters of the waveguide, which helps identify the limits of validity of this approximation. Use of the parabolic equation is intended for application to urban acoustic. A coordinate transformation is associated with the wide-angle parabolic-equation in order to take into account the variation effect of the waveguide section. A resolution method is developed specifically and allows an accurate assessment of the pressure field. On the other hand, a solving method of the three-dimensional parabolic-equation is suitable for the modeling of acoustic propagation in urban areas. This method takes into account sudden or continuous variations of the street width. A comparison with measurements on scaled model of street allows to highlight the possibilities of the method.

Perceptual multistability is a phenomenon that is mostly studied in all modalities separately. The phenomenon reveals fundamental principles of the perceptual system in the formation of an emerging cognitive representation in the consciousness. The momentary perceptual organizations evoked during the stimulation with ambiguous stimuli switches between several perceptual organizations or percepts: The auditory streaming stimulus in audition and the moving plaids stimulus in vision, elicit different at least two percepts that dominate awareness exclusively for a random phase or dominance duration before an inevitable switch to another percept occurs. The similarity in the perceptual experience has led to propose a global mechanism contributing to the perceptual multistability phenomena crossmodally. Contrary, the difference in the perceptual experience has led to propose a distributed mechanism that is modality-specific. The development of a hybrid model has synergized both approaches. We accumulate empirical evidence for the contribution of a global mechanism, albeit distributed mechanisms play an indispensable role in this cross-modal interplay. The overt report of the perceptual experience in our experiments is accompanied by the recording of objective, cognitive markers of the consciousness: Reflexive movements of the eyes, namely the dilation of the pupil and the optokinetic nystagmus, correlate with the unobservable perceptual switches and perceptual states respectively and have their neuronal rooting in the brainstem. We complement earlier findings on the sensitivity of the pupil to visual multistability: It was shown in two independent experiments that the pupil dilates at the time of reported perceptual switches in auditory multistability. A control condition on confounding effects from the reporting process confines the results. Endogenous, evoked internally by the unchanged stimulus ambiguity, and exogenous, evoked externally by the changes in the physical properties of the stimulus, perceptual switches could be discriminated based on the maximal amplitude of the dilation. The effect of exogenous perceptual has on the pupil were captured in a report and no-report task to detect confounding perceptual effects. In two additional studies, the moment-by-moment coupling and coupling properties of percepts between concurrent multistable processes in audition, evoked by auditory streaming, and in vision, evoked by moving plaids, were found crossmodally. In the last study, the externally induced percept in the visual multistable process was not relayed to the simultaneous auditory multistable process: Still, the observed general coupling is fragile but existent. The requirement for the investigation of a moment-by-moment coupling of the multistable perceptual processes was the application of a no-report paradigm in vision: The visual stimulus evokes an optokinetic nystagmus that has machine learnable different properties when following either of the two percepts. In combination with the manually reported auditory percept, attentional bottlenecks due to a parallel report were circumvented. The two main findings, the dilation of the pupil along reported auditory perceptual switches and the crossmodal coupling of percepts in bimodal audiovisual multistability, speak in favor of a partly global mechanism being involved in control of perceptual multistability; the global mechanism is incarcerated by the, partly independent, distributed competition of percepts on modality level. Potentially, supramodal attention-related modulations consolidate the outcome of locally distributed perceptual competition in all modalities.:COVER 1 BIBLIOGRAPHISCHE BESCHREIBUNG 2 ACKNOWLEDGEMENTS 3 CONTENTS 4 CHAPTER 1: Introduction 6 C1.1: Stability and uncertainty in perception 6 C1.2: Auditory, visual and audio-visual multistability 14 C1.3: Capturing the subjective perceptual experience 25 C1.4: Limitations of preceding studies, objectives, and outline of the Thesis 33 CHAPTER 2: Study 1 “Pupillometry in auditory multistability” 36 C2.1.1 Experiment 1: Introduction 36 C2.1.2 Experiment 1: Material and Methods 38 C2.1.3 Experiment 1: Data analysis 44 C2.1.4 Experiment 1: Results 48 C2.1.5 Experiment 1: Discussion 52 C2.2.1 Experiment 2: Introduction 54 C2.2.2 Experiment 2: Material and Methods 54 C2.2.3 Experiment 2: Data analysis 56 C2.2.4 Experiment 2: Results 57 C2.3 Experiment 1 & 2: Discussion 61 C2.4 Supplement Study 1 65 CHAPTER 3: Study 2 “Multimodal moment-by-moment coupling in perceptual bistability” 71 C3.1.1 Experiment 1: Introduction 71 C3.1.2 Experiment 1: Results 74 C3.1.3 Experiment 1: Discussion 80 C3.1.4 Experiment 1: Material and Methods 84 C3.1.5 Experiment 1: Data analysis 87 C3.2 Supplement Study 2 92 CHAPTER 4: Study 3 “Boundaries of bimodal coupling in perceptual bistability” 93 C4.1.1 Experiment 1: Introduction 93 C4.1.2 Experiment 1: Material and Methods 98 C4.1.3 Experiment 1: Data analysis 102 C4.1.4 Experiment 1: Results 108 C4.1.5 Experiment 1: Discussion 114 C4.2.1 Experiment 2: Introduction 116 C4.2.2 Experiment 2: Material and Methods 119 C4.2.3 Experiment 2: Data analysis 125 C4.2.4 Experiment 2: Results 133 C4.3 Experiment 1 & 2: Discussion 144 C4.4 Supplement Study 3 151 CHAPTER 5: General Discussion 154 C5.1 Significance for models of multistability and implications for the perceptual architecture 162 C5.2 Recommendations for future research 166 C5.3 Conclusion 168 REFERENCES 170 APPENDIX 186 A1: List of Figures 186 A2: List of Tables 188 A3: List of Abbreviations and Symbols 189