[ES] Los sistemas de audio han experimentado un gran desarrollo en los últimos años gracias al aumento de dispositivos con procesadores de alto rendimiento capaces de realizar un procesamiento cada vez más eficiente. Además, las comunicaciones inalámbricas permiten a los dispositivos de una red estar ubicados en diferentes lugares sin limitaciones físicas. La combinación de estas tecnologías ha dado lugar a la aparición de las redes de sensores acústicos (ASN). Una ASN está compuesta por nodos equipados con transductores de audio, como micrófonos o altavoces. En el caso de la monitorización acústica del campo, sólo es necesario incorporar sensores acústicos a los nodos ASN. Sin embargo, en el caso de las aplicaciones de control, los nodos deben interactuar con el campo acústico a través de altavoces. La ASN puede implementarse mediante dispositivos de bajo coste, como Raspberry Pi o dispositivos móviles, capaces de gestionar varios micrófonos y altavoces y de ofrecer una buena capacidad de cálculo. Además, estos dispositivos pueden comunicarse mediante conexiones inalámbricas, como Wi-Fi o Bluetooth. Por lo tanto, en esta tesis, se propone una ASN compuesta por dispositivos móviles conectados a altavoces inalámbricos mediante un enlace Bluetooth. Además, el problema de la sincronización entre los dispositivos de una ASN es uno de los principales retos a abordar, ya que el rendimiento del procesamiento de audio es muy sensible a la falta de sincronismo. Por lo tanto, también se lleva a cabo un análisis del problema de sincronización entre dispositivos conectados a altavoces inalámbricos en una ASN. En este sentido, una de las principales aportaciones es el análisis de la latencia de audio cuando los nodos acústicos de la ASN están formados por dispositivos móviles que se comunican altavoces mediante enlaces Bluetooth. Una segunda contribución significativa de esta tesis es la implementación de un método para sincronizar los diferentes dispositivos de una ASN, junto con un estudio de sus limitaciones. Por último, se ha introducido el método propuesto para implementar aplicaciones de zonas sonoras personales (PSZ). Por lo tanto, la implementación y el análisis del rendimiento de diferentes aplicaciones de audio sobre una ASN compuesta por dispositivos móviles y altavoces inalámbricos es también una contribución significativa en el área de las ASN. Cuando el entorno acústico afecta negativamente a la percepción de la señal de audio emitida por los altavoces de la ASN, se uti­lizan técnicas de ecualización para mejorar la percepción de la señal de audio. Para ello, en esta tesis se implementa un sistema de ecualización inteligente. Para ello, se emplean algoritmos psicoacústicos para implementar un procesamiento inteligente basado en el sis­tema auditivo humano capaz de adaptarse a los cambios del entorno. Por ello, otra contribución importante de esta tesis es el análisis del enmas­caramiento espectral entre dos sonidos complejos. Este análisis permitirá calcular el umbral de enmascaramiento de un sonido con más precisión que los métodos utilizados actualmente. Este método se utiliza para implementar una aplicación de ecualización perceptiva que pretende mejorar la percepción de la señal de audio en presencia de un ruido ambien­tal. Para ello, esta tesis propone dos algoritmos de ecualización diferentes: 1) la pre-ecualización de la señal de audio para que se perciba por encima del umbral de enmascaramiento del ruido ambiental y 2) diseñar un con­trol de ruido ambiental perceptivo en los sistemas de ecualización activa de ruido (ANE), para que el nivel de ruido ambiental percibido esté por debajo del umbral de enmascaramiento de la señal de audio. Por lo tanto, la ultima aportación de esta tesis es la implementación de una aplicación de ecualización perceptiva con los dos diferentes algorit­mos de ecualización embebidos y el análisis de su rendimiento a través del banco de pruebas realizado en el laboratorio GTAC-iTEAM. / [CA] El sistemes de so han experimentat un gran desenvolupament en els últims anys gràcies a l'augment de dispositius amb processadors d'alt rendiment capaços de realitzar un processament d'àudio cada vegada més eficient. D'altra banda, l'expansió de les comunicacions inalàmbriques ha permès implementar xarxes en les quals els dispositius poden estar situats a difer­ents llocs sense limitacions físiques. La combinació d'aquestes tecnologies ha donat lloc a l'aparició de les xarxes de sensors acústics (ASN). Una ASN està composta per nodes equipats amb transductors d'àudio, com micr`ofons o altaveus. En el cas del monitoratge del camp acústic, només cal incorporar sensors acústics als nodes de l'ASN. No obstant això, en el cas de les aplicacions de control, els nodes han d'interactuar amb el camp acústic a través d'altaveus. Una ASN pot implementar-se mitjant¿cant dispositius de baix cost, com ara Raspberry Pi o dispositius mòbils, capaços de gestionar di­versos micròfons i altaveus i d'oferir una bona capacitat computacional. A més, aquests dispositius poden comunicar-se a través de connexions inalàmbriques, com Wi-Fi o Bluetooth. Per això, en aquesta tesi es proposa una ASN composta per dispositius mòbils connectats a altaveus inalàmbrics a través d'un enllaç Bluetooth. El problema de la sincronització entre els dispositius d'una ASN és un dels principals reptes a abordar ja que el rendiment del processament d'àudio és molt sensible a la falta de sincronisme. Per tant, també es duu a terme una anàlisi profunda del problema de la sincronització entre els dispositius comercials connectats als altaveus inalàmbrics en una ASN. En aquest sentit, una de les principals contribucions és l'anàlisi de la latència d'àudio quan els nodes acústics en l'ASN estan compostos per dispositius mòbils que es comuniquen amb els altaveus corresponents mitjançant enllaços Bluetooth. Una segona contribuciò sig­nificativa d'aquesta tesi és la implementació d'un mètode per sincronitzar els diferents dispositius d'una ASN, juntament amb un estudi de les seves limitacions. Finalment, s'ha introduït el mètode proposat per implemen­tar aplicacions de zones de so personal. Per tant, la implementació i l'anàlisi del rendiment de diferents aplicacions d'àudio sobre una ASN composta per dispositius mòbils i al­taveus inalàmbrics és també una contribució significativa a l'àrea de les ASN. Quan l'entorn acústic afecta negativament a la percepció del senyal d'àudio emesa pels altaveus de l'ASN, es fan servir tècniques d'equalització per a millorar la percepció del senyal d'àudio. En consequència, en aquesta tesi s'implementa un sistema d'equalització intel·ligent. Per això, s'utilitzen algoritmes psicoacústics per implementar un processament intel·ligent basat en el sistema audi­tiu humà capaç d'adaptar-se als canvis de l'entorn. Per aquest motiu, una altra contribució important d'aquesta tesi és l'anàlisi de l'emmascarament espectral entre dos sons complexos. Aquesta anàlisi permetrà calcular el llindar d'emmascarament d'un so sobre amb més precisió que els mètodes utilitzats actualment. Aquest mètode s'utilitza per a imple­mentar una aplicació d'equalització perceptual que pretén millorar la per­cepció del senyal d'àudio en presència d'un soroll ambiental. Per això, aquesta tesi proposa dos algoritmes d'equalització diferents: 1) la pree­qualització del senyal d'àudio perquè es percebi per damunt del llindar d'emmascarament del soroll ambiental i 2) dissenyar un control de soroll ambiental perceptiu en els sistemes d'equalització activa de soroll (ANE) de manera que el nivell de soroll ambiental percebut estiga per davall del llindar d'emmascarament del senyal d'àudio. Per tant, l'última aportació d'aquesta tesi és la implementació d'una aplicació d'equalització perceptiva amb els dos algoritmes d'equalització embeguts i l'anàlisi del seu rendiment a través del banc de proves realitzat al laboratori GTAC-iTEAM. / [EN] Audio systems have been extensively developed in recent years thanks to the increase of devices with high-performance processors able to per­form more efficient processing. In addition, wireless communications allow devices in a network to be located in different places without physical limitations. The combination of these technologies has led to the emergence of Acoustic Sensor Networks (ASN). An ASN is com­posed of nodes equipped with audio transducers, such as microphones or speakers. In the case of acoustic field monitoring, only acoustic sensors need to be incorporated into the ASN nodes. However, in the case of control applications, the nodes must interact with the acoustic field through loudspeakers. ASN can be implemented through low-cost devices, such as Rasp­berry Pi or mobile devices, capable of managing multiple mi­crophones and loudspeakers and offering good computational capacity. In addition, these devices can communicate through wireless connections, such as Wi-Fi or Bluetooth. Therefore, in this dissertation, an ASN composed of mobile devices connected to wireless speak­ers through a Bluetooth link is proposed. Additionally, the problem of syn­chronization between the devices in an ASN is one of the main challenges to be addressed since the audio processing performance is very sensitive to the lack of synchronism. Therefore, an analysis of the synchroniza­tion problem between devices connected to wireless speakers in an ASN is also carried out. In this regard, one of the main contributions is the analysis of the audio latency of mobile devices when the acoustic nodes in the ASN are comprised of mobile devices communicating with the corresponding loudspeakers through Bluetooth links. A second significant contribution of this dissertation is the implementation of a method to synchronize the different devices of an ASN, together with a study of its limitations. Finally, the proposed method has been introduced in order to implement personal sound zones (PSZ) applications. Therefore, the imple­mentation and analysis of the performance of different audio applications over an ASN composed of mobile devices and wireless speakers is also a significant contribution in the area of ASN. In cases where the acoustic environment negatively affects the percep­tion of the audio signal emitted by the ASN loudspeakers, equalization techniques are used with the objective of enhancing the perception thresh­old of the audio signal. For this purpose, a smart equalization system is implemented in this dissertation. In this regard, psychoacous­tic algorithms are employed to implement a smart processing based on the human hearing system capable of adapting to changes in the envi­ronment. Therefore, another important contribution of this thesis focuses on the analysis of the spectral masking between two complex sounds. This analysis will allow to calculate the masking threshold of one sound over the other in a more accurate way than the currently used methods. This method is used to implement a perceptual equalization application that aims to improve the perception threshold of the audio signal in presence of ambient noise. To this end, this thesis proposes two different equalization algorithms: 1) pre-equalizing the audio signal so that it is perceived above the ambient noise masking threshold and 2) designing a perceptual control of ambient noise in active noise equalization (ANE) systems, so that the perceived ambient noise level is below the masking threshold of the audio signal. Therefore, the last contribution of this dissertation is the imple­mentation of a perceptual equalization application with the two different embedded equalization algorithms and the analysis of their performance through the testbed carried out in the GTAC-iTEAM laboratory. / This work has received financial support of the following projects: • SSPRESING: Smart Sound Processing for the Digital Living (Reference: TEC2015-67387-C4-1-R. Entity: Ministerio de Economia y Empresa. Spain). • FPI: Ayudas para contratos predoctorales para la formación de doctores (Reference: BES-2016-077899. Entity: Agencia Estatal de Investigación. Spain). DANCE: Dynamic Acoustic Networks for Changing Environments (Reference: RTI2018-098085-B-C41-AR. Entity: Agencia Estatal de Investigación. Spain). • DNOISE: Distributed Network of Active Noise Equalizers for Multi-User Sound Control (Reference: H2020-FETOPEN-4-2016-2017. Entity: I+D Colaborativa competitiva. Comisión de las comunidades europea). / Estreder Campos, J. (2022). Smart Sound Control in Acoustic Sensor Networks: a Perceptual Perspective [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/181597 / TESIS

[ES] Actualmente, existe una gran variedad de tecnologías de distribución de contenidos multimedia, de dispositivos de consumo, así como de tipos de contenidos. En cuanto a tecnologías de distribución, dichos contenidos se pueden enviar bien a través de redes broadcast, como las redes DVB, o bien a través de redes broadband, como las redes IP (por ejemplo, a través de Internet). La coordinación y convergencia entre los dos tipos de tecnologías para distribuir contenidos relacionados ofrece un gran potencial a los proveedores de contenidos, así como grandes beneficios a los consumidores (una prueba de ello es el estándar Hybrid Broadcast Broadband TV o HbbTV). Sin embargo, la recepción de contenidos relacionados procedentes de diferentes redes híbridas (broadcast/broadband) conlleva una variabilidad de retardos significativa, por lo que se deben superar una serie de retos importantes, como, por ejemplo, la necesidad de mecanismos que garanticen un consumo sincronizado de dichos contenidos, bien en un mismo dispositivo o bien en distintos dispositivos (locales o remotos). Se han especificado, implementado y evaluado soluciones de sincronización de los procesos de reproducción de contenidos híbridos (prevenientes de redes broadcast y/o broadband) tanto en entornos multidispositivo, entre dispositivos locales (Inter-Device Synchronization o IDES), como en entornos multiusuario, entre destinatarios distribuidos en red (Inter-Destination Media Synchronization o IDMS), incluyendo la sincronización de efectos multisensoriales. Se ha diseñado e implementado una plataforma extremo-a-extremo para la generación, distribución (adaptativa) y consumo de contenidos híbridos relacionados, tanto en un mismo dispositivo como en múltiples dispositivos locales (por ejemplo, escenario multipantalla) o remotos (por ejemplo, TV Social). Se han generado y preparado contenidos multimedia tradicionales (2D) y omnidireccionales (360), enriquecidos con efectos multisensoriales que mejoran el grado de realismo y la inmersividad de los usuarios. La plataforma es compatible con el estándar HbbTV y, además, incluye soluciones eficientes para aspectos clave que no están especificados en dicho estándar, pero que son necesarios para la implementación satisfactoria de servicios de TV híbridos y multidispositivo en la misma, como, por ejemplo: la necesidad de un buffer para el contenido broadcast (existente y opcional hasta la especificación HbbTV 2.0.2); mecanismos de señalización, asociación y descripción de contenido disponible y relacionado con el contenido principal; mecanismos de coordinación e interacción entre los dispositivos de consumo; o soluciones de sincronización para alinear en el tiempo el consumo de contenidos de forma satisfactoria. Los resultados obtenidos en la evaluación realizada muestran que el nivel de sincronización adquirido entre los procesos de reproducción de los diversos tipos de contenido disponibles a través de distintas tecnologías de transmisión alcanza unos valores suficientes para proporcionar al usuario un consumo con un nivel de asincronías imperceptible. Dicha precisión alcanzada ha resultado en una QoE para el consumidor muy satisfactoria, ofreciéndole al mismo un completo ecosistema de consumo de contenidos que incluye tanto contenido multimedia tradicional, como contenido omnidireccional y mulsemedia. / [CA] Actualment, hi ha una gran varietat de tecnologies de distribució de contingut multimèdia, dispositius de consum, així com tipus de contingut. Pel que fa a les tecnologies de distribució, aquest contingut es pot lliurar a través de xarxes de difusió, com ara xarxes DVB, o a través de xarxes de banda ampla, com les xarxes IP (per exemple, a través d'Internet). La coordinació i convergència entre els dos tipus de tecnologies per distribuir continguts relacionats ofereix un gran potencial als proveïdors de continguts, així com grans beneficis per als consumidors (una prova d'això és l'estàndard Hybrid Broadcast Broadband TV o HbbTV). Tanmateix, la recepció de continguts relacionats des de diferents xarxes híbrides (emissió/banda ampla) comporta una important variabilitat de retard, per la qual cosa s'han de superar una sèrie de reptes importants, com la necessitat de mecanismes que garanteixin el consum sincronitzat d'aquests continguts, ja siga en el mateix dispositiu. o en diferents dispositius (locals o remots). S'han especificat, implementat i evaluat solucions de sincronització per a processos de reproducció de continguts híbrids (xarxes de broadcast i/o de banda ampla) tant en entorns multidispositiu, entre dispositius locals (Inter-Device Synchronization o IDES), com en entorns IDMS (Inter-Destination Media Synchronization o IDMS), incloent la sincronització d'efectes multisensorials. S'ha dissenyat i implementat una plataforma d'extrem a extrem per a la generació, distribució (adaptativa) i consum de contingut híbrid relacionat, tant en un sol dispositiu com en múltiples locals (p. ex., escenari multipantalla) o remots (p. ex., Social TV). dispositius. S'han generat i preparat contingut multimèdia tradicional (2D) i omnidireccional (360), enriquit amb efectes multisensorials que milloren el grau de realisme i immersivitat dels usuaris. La plataforma és compatible amb l'estàndard HbbTV i, a més, inclou solucions eficients per a aspectes clau que no s'especifiquen en aquest estàndard, però que són necessaris per a la implantació amb èxit de serveis de televisió híbrids i multidispositiu en el mateix, com ara: la necessitat per a un buffer per a continguts de difusió (existent i opcional fins a HbbTV 2. 0.2); mecanismes de senyalització, associació i descripció dels continguts disponibles i relacionats amb el contingut principal; mecanismes de coordinació i interacció entre dispositius de consum; o solucions de sincronització per alinear en el temps el consum de continguts de manera satisfactòria. Els resultats obtinguts en l'avaluació realitzada mostren que el nivell de sincronització adquirit entre els processos de reproducció dels diferents tipus de continguts disponibles a través de diferents tecnologies de transmissió assoleix valors suficients per proporcionar a l'usuari un consum amb un nivell d'asincronies imperceptibles. La precisió aconseguida ha donat com a resultat una QoE molt satisfactòria per al consumidor, oferint-li un ecosistema complet de consum de continguts que inclou tant contingut multimèdia tradicional com contingut omnidireccional i mulsemedia. / [EN] Currently, there is a wide variety of multimedia content distribution technologies, consumer devices, as well as types of content. In terms of distribution technologies, such content can be delivered either over broadcast networks, such as DVB networks, or over broadband networks, such as IP networks (e.g. over the Internet). The coordination and convergence between the two types of technologies to distribute related content offers great potential to content providers, as well as great benefits to consumers (a proof of this is the Hybrid Broadcast Broadband TV or HbbTV standard). However, the reception of related content from different hybrid networks (broadcast/broadband) entails significant delay variability, so a number of important challenges must be overcome, such as the need for mechanisms to ensure synchronized consumption of such content, either on the same device or on different devices (local or remote). We have specified, implemented and evaluated synchronization solutions for hybrid content playback processes (broadcast and/or broadband networks) both in multi-device environments, between local devices (Inter-Device Synchronization or IDES), and in multi-user environments, between distributed network recipients (Inter-Destination Media Synchronization or IDMS), including the synchronization of multi-sensory effects. An end-to-end platform has been designed and implemented for the generation, distribution (adaptive) and consumption of related hybrid content, both on a single device and on multiple local (e.g., multiscreen scenario) or remote (e.g., Social TV) devices. Traditional (2D) and omnidirectional (360) multimedia content has been generated and prepared, enriched with multisensory effects that enhance the degree of realism and immersiveness for users. The platform is compatible with the HbbTV standard and, in addition, includes efficient solutions for key aspects that are not specified in that standard, but are necessary for the successful implementation of hybrid and multi-device TV services on it, such as: the need for a buffer for broadcast content (existing and optional up to the HbbTV 2. 0.2); mechanisms for signaling, association and description of content available and related to the main content; coordination and interaction mechanisms between consumption devices; or synchronization solutions to align in time the consumption of content in a satisfactory way. The results obtained in the evaluation carried out show that the level of synchronization acquired between the reproduction processes of the different types of content available through different transmission technologies reaches sufficient values to provide the user with a consumption with an imperceptible level of asynchronies. The accuracy achieved has resulted in a very satisfactory QoE for the consumer, offering him a complete content consumption ecosystem that includes traditional multimedia content as well as omnidirectional and mulsemedia content. / Marfil Reguero, D. (2022). Especificación, implementación y evaluación de soluciones de sincronización multimedia híbrida (broadcast/broadband) e inter-destinatario para posibilitar nuevas experiencias televisivas enriquecidas, personalizadas, inmersivas y compartidas [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/185746 / TESIS