The current program of research tests the following main hypotheses: 1) Synesthetic correspondence is an amodal property that serves to bind intersensory signals and manipulating this correspondence between pairs of audiovisual signals will affect performance on a temporal order judgment (TOJ) task; 2) Manipulating emphasis during a TOJ task from spatial to temporal aspects will strengthen the influence of task-irrelevant auditory signals; 3) The degree of dimensional overlap between audiovisual pairs will moderate the effect of synesthetic correspondence on the TOJ task; and 4) There are gaps in current perceptual theory due to the fact that synesthetic correspondence is a potential confound that has not been sufficiently considered in the design of perception research. The results support these main hypotheses. Finally, potential applications for the findings presented here are discussed.

In this thesis the usage of smell as a medium enhancing synesthetic perception is discussed. Common cross-sensory connections and their relevance for interaction design are examined. The research is based on discoveries made in psychology, cognitive science and philosophy. Smell usage in a cross-modal context is believed to enhance engagement and enrichen the interactive experience. In several experiments a correlation between the perception of color shape and smell could be detected. An approach to include synesthetic mappings in interaction design is introduced, analyzed and discussed. Finally, the cross-modal interactive art installation “The Color of Smell” is presented.

La lecture est fréquemment associée dans la modernité à un exercice de l’esprit vers l’acquisition des informations et de savoir. Cette façon de concevoir l’acte de lire comme une action centrée majoritairement sur le mental, toutefois, cache une tradition de lecture amplement corporelle pratiquée entre la basse Antiquité et la fin de la période médiévale. Cette thèse s’occupe d’examiner alors une rupture historique entre corps et lecture, un processus qui sous-tend l’avènement de la façon moderne de lire, c’est-à-dire d’un modèle qui est enraciné dans la vision et dans les fonctions intellectuelles. Ce travail s’appuie sur les études des théoriciens de l’histoire de la lecture, ainsi que sur une ample réflexion sur la sagesse émanée du corps dans le but de récupérer une lecture associée à la pratique synesthésique. Pour accomplir cette tâche, l’on cherche à l’intégration de perspectives historique, analytique et pratique pour discuter et mettre en action une lecture de teneur corporelle. Ceci implique une pratique qui entre aussi dans la dynamique de la thèse. Ainsi, on part de l’analyse de la Poésie Concrète majoritairement brésilienne pour atteindre à deux objectifs à la fois : tout d’abord, on caractérise ce mouvement poétique qui est une référence dans le contexte de la poésie visuelle, ce qui corroborait à l’importance de la vue dans le contexte de l’histoire de la lecture. D’un autre point de vue, le travail de cette thèse avec la Poésie Concrète rend tangible aussi la démonstration d’une force corporelle dans la lecture en action qu’on y apporte. Ainsi, comptant sur une approche de lecture qui est aussi pratique, la thèse vise à démontrer qu’il y a une implication inexorable du corps dans l’acte de lire. / Reading is frequently associated in modernity with a mental practice seeking to acquire knowledge and information. Nevertheless, this way of conceiving reading as an act focused mainly on intellectuality conceals a vast tradition of bodily reading practiced from late Antiquity up to the end of the medieval period. This dissertation thus aims to examine the historical rupture between the body and the reading process underlying the emergence of our modern way of reading, which emphasizes the sense of sight and purely intellectual functions. This research is grounded on theoretical studies of the history of reading, as well as on a broad reflection on knowledge emanating from the body, and thus proposes recovering a reading model associated with synesthetic practice. To accomplish this task, this study seeks to integrate historical, analytical and practical perspectives as a way to discuss and enact a reading method conscious of the body's existence; the role of the body in the act of reading is part and parcel of the dissertation’s dynamic. The analysis of Brazilian Concrete Poetry allows for achieving two objectives at once: first, a characterization of this poetic movement, considered exemplary of visual poetry, corroborates the singular importance of sight in the history of reading in modernity. In addition, however, working with the Concrete Poetry offers a tangible demonstration of the body’s force in the context of interactive reading. In other words, in endorsing an understanding of reading based on practice, the dissertation strives to show how the act of reading implies the irrepressible presence of the body.