1 |
Situated, perceptual, emotive and cognitive music systems: a psychologically grounded approach to interactive music compositionLe Groux, Sylvain 19 May 2011 (has links)
This thesis introduces a novel situated interactive composition system called the SMuSe
(for Situated Music Server) that is grounded on principles of modern cognitive science,
provides perceptual control of sound synthesis and includes emotional feedback. It
illustrates both a new music composition paradigm and a synthetic psychology
approach to the study of music perception, emotion and cognition. The SMuSe is
composed of cognitively plausible modules implemented as a hierarchy of musical
agents and relies on distributed control, parallelism, emergence and embodiment. By
interacting with its environment, which provides feedback via multiple sensors, the
system generates complex adaptive affective musical structures. Focusing on the
micro-level of sound generation, we present two complementary techniques that give
high-level perceptual control over low-level sound synthesis parameters. In a first
implicit approach, a support vector machine algorithm learns to automatically map
perceptual features such as loudness, pitch and brightness onto additive synthesis
parameters. In a second approach, a physically-inspired synthesis model provides
explicit access to perceptual and physical parameters such as pitch, loudness,
brightness, attack time, inharmonicity and damping. Moving from the study of music
generation and control towards the study of the musical experience itself, we then
evaluate how the music generated by the SMuSe influences the listeners' emotional
responses. A first psychoacoustics experiment shows the significant influence of
structural (scale, register, harmony), expressive (velocity, tempo, articulation) and
timbre (brightness, attack time, spectral flux) parameters on the emotional scales of
valence, arousal and dominance. An additional large scale experiment involving
dementia patients (an illness known to induce cognitive and affective deficits) shows
that specific sound features (e.g. low loudness, low brightness) provoke specific
emotional responses within the patients (e.g. low stress). Moreover, the patients'
emotional responses differ from the age-matched control group, and the analysis
shows an increased emotional sensitivity to sounds as the severity of the disease
increases. These results suggest that sound-based therapy and diagnosis for dementia
are possible. Finally, the maturity and flexibility of the SMuSe music system are
demonstrated by a series of real-world applications including the sonification of a
mixed-reality space, a study on physiologically-based musical interaction, a
neurofeedback musical interface, a closed loop system based on reinforcement
learning of emotional feedback, and a large scale multimedia performance using
brain-computer interfaces. A situated, perceptive, emotive and cognitive approach to
the design of musical systems paves the way for new applications for therapy but also
for interactive gaming and novel physiologically-based instruments. Our approach
provides a well-grounded paradigm to develop advanced synthetic aesthetics system
that can inform our understanding of the psychological processes on which they rely. / Esta tesis introduce un nuevo sistema de composición situada e interactiva
llamado SMuSe (por Situated Music Server). Dicho sistema está basado en
principios extraídos de la ciencia cognitiva moderna, proporciona control
perceptual sobre la síntesis sonora e incluye feedback emocional. Por lo tanto,
ilustra tanto un paradigma nuevo para la composición musical, como un
sintético enfoque psicológico al estudio de la percepción musical, las
emociones y la cognición. SMuSe consta de diversos modulos, plausibles desde
un punto de vista cognitivo, implementados como una jerarquía de agentes. El
funcionamiento de SMuSe explota los principios de control distribuido,
paralelismo, emergencia y embodiment. En función del feedback obtenido por
la interacción con el entorno, el sistema genera complejas estructuras
musicales afectivas. En concreto, a nivel de generación de sonido, presentamos
dos técnicas complementarias que proporcionan un control perceptivo de alto
nivel sobre parámetros concretos de síntesis sonora. En un primer método
implícito, un algoritmo de support vector machine aprende a traducir
automáticamente características perceptuales, como volumen, tono y brillo en
parámetros de síntesis aditiva. En el segundo método, un modelo físico de
síntesis proporciona explícitamente acceso a parámetros perceptivos y físicos,
tales como tono, volumen, brillo, tiempo de ataque, inarmonía y factor de
amortiguamiento. En lo que respecta al estudio de la experiencia musical en sí
misma, evaluamos la influencia de la música generada por SMuSe en las
respuestas emocionales del sujeto. Un primer experimento psicoacústico
muestra la influencia significativa que tienen parámetros estructurales
(escala,registro, armonía), expresivos (velocidad, tempo, articulación) y de
timbre (brillo, ataque, flujo espectral) en la escalas emocionales de valencia,
activacíon y dominancia. Adicionalmente, un experimento de gran escala
realizado con pacientes de demencia, una patología que asociada a déficits
afectivos y cognitivos, demuestra que los pacientes responden
emocionalmente a rasgos específicos del sonido (e.g. bajo volumen y brillo
inducen poca tensión). Además, la respuesta emocional de los pacientes difiere
si se compara con la mostrada por un grupo de control con la misma edad
media. De tal manera, una mayor respuesta emocional aparece asociada a un
mayor grado de demencia. Estos resultados sugieren que sería posible
desarrollar técnicas basadas en el uso de música tanto para el tratamiento de
la demencia como para su diagnóstico. Para concluir, la madurez y flexibilidad
de SMuSe se demuestra con una serie de aplicaciones que incluyen la
sonificación de un espacio de realidad mixta, un estudio acerca de la
interacción musical mediante datos fisiológicos, un interfaz musical basado en
feedback neurológico, un sistema basado en aprendizaje por refuerzo del
feedback emocional, y una performance multimedia de gran escala controlada
mediante interfaces cerebro-máquina. Este enfoque situado, perceptivo,
emocional y cognitivo al diseño de sistemas musicales abre la posibilidad de
desarrollar aplicaciones no sólo terapéuticas sino también para los juegos
interactivos y nuevos interfaces que empleen fisiología. Nuestra propuesta
proporciona un sólido paradigma para el desarrollo de sistemas de síntesis de
estéticas avanzadas, que puedan servir para entender los procesos
psicológicos subyacentes
|
2 |
Personalización subjetiva en los sistemas de música interactiva en los videojuegos. En busca de una experiencia de juego a la medida del individuoGuerra Recas, Luis 02 September 2021 (has links)
[ES] El papel de la Música como elemento de expresión e inducción emocional ha cobrado recientemente importancia en el entorno de la interactividad y los Videojuegos. Los efectos que tiene la música sobre la experiencia emocional del jugador han sido el eje vertebrador de esta investigación que, con el objetivo de crear una experiencia adaptada a la individualidad de cada persona, propone la utilización de la medición fisiológica como elemento activo en la selección musical del videojuego.
En base a la revisión de experiencias previas existentes en la literatura científica, este trabajo incluye el diseño y desarrollo de un prototipo de Sistema Musical Interactivo (SMI) basado en la medición de Respuesta Galvánica de la Piel (GSR) como detonante de las variaciones de la música, con el que poder observar la viabilidad de la propuesta con cualquier videojuego existente.
La experimentación con este sistema ha sido apoyada también por la creación de varias composiciones musicales con funcionalidad interactiva que ha tenido en cuenta, además, la incorporación de elementos musicales con demostrada efectividad en la respuesta emocional. Así ha sido posible observar distintos aspectos de la respuesta emocional de los jugadores y sugerir algunas formas de aplicación de la medición fisiológica como medio para generar una experiencia de juego individualizada. / [CA] El paper de la Música com a element d'expressió i inducció emocional ha cobrat recentment importància al voltant de la interactivitat i els Videojocs. Els efectes que té la música sobre l'experiència emocional del jugador han sigut l'eix vertebrador d'esta investigació que, amb l'objectiu de crear una experiència adaptada a la individualitat de cada persona, proposa la utilització del mesurament fisiològic com a element actiu en la selecció musical del videojoc.
Sobre la base de la revisió d'experiències prèvies existents en la literatura científica, este treball inclou el disseny i desenvolupament d'un prototip de Sistema Musical Interactiu (SMI) basat en el mesurament de Resposta Galvànica de la Pell (GSR) com a detonant de les variacions de la música, amb el qual poder observar la viabilitat de la proposta amb qualsevol videojoc existent.
L'experimentació amb este sistema ha sigut secundada també per la creació de diverses composicions musicals amb funcionalitat interactiva que ha tingut en compte, a més, la incorporació d'elements musicals amb demostrada efectivitat en la resposta emocional. Aixina, ha sigut possible observar diferents aspectes de la resposta emocional dels jugadors i suggerir algunes formes d'aplicació del mesurament fisiològic com a medi per a generar una experiència de joc individualitzada. / [EN] The role of Music as an element of expression and emotional induction has recently gained importance in the environment of interactivity and Videogames. The effects that music has on the emotional experience of the player have been the backbone of this research that, with the aim of creating an experience adapted to the individuality of each person, proposes the use of physiological measurement as an active element in the selection musical video game.
Based on the review of previous experiences in the scientific literature, this work includes the design and development of a prototype of an Interactive Musical System (SMI) based on the measurement of Galvanic Response of the Skin (GSR) as a trigger for the variations of music, with which to observe the viability of the proposal with any existing video game.
Experimentation with this system has also been supported by the creation of various musical compositions with interactive functionality that has also taken into account the incorporation of musical elements with proven effectiveness in emotional response. In this way, it has been possible to observe different aspects of the emotional response of the players and to suggest some forms of application of the physiological measurement as a means to generate an individualized gaming experience. / Guerra Recas, L. (2021). Personalización subjetiva en los sistemas de música interactiva en los videojuegos. En busca de una experiencia de juego a la medida del individuo [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/172545 / TESIS
|
Page generated in 0.0803 seconds