Pendent / En esta comunicación se presenta un sistema de intepretación de escenas tridimensionales a partir de dibujos lineales a mano alzada (croquis), que constituye los niveles inferior y medio de un sistema más amplio ara la reconstrucción de objectos tridimensionales. El tipo de objectos considerado en el sistema se basa en superfícies, pudiendo aceptar sólidos si las superfícies delimitan el interior y exterior del objeto. El dominio de objetos corresponde al mundo de Origami enunciado como hasta tres superfícies por cada vértice. La adquisición de la imágen se realiza por medios ópticos (cámara, scanner, etc...). Este proyecto propone una interface usuario-sistema para la creación de escenas tridimensionales en sistemas CAD. Se formulan un conjunto de asunciones que delimitan el ámbito considerado en el sistema. Se hace un estudio de los niveles inferior y medio del sistema. El primero de ellos realiza una extracción de las características del dibujo lineal, mientras el nivel medio hace un análisis cualitativo el dibujo considerándolo como representación de un objeto tridimensional.

Les contribucions d’aquesta tesi s’emmarquen en la interacció home-computador en entorns de realitat virtual. Concretament, en la millora de tasques de selecció d’objectes tridimensionals. La selecció d’objectes és una tasca primordial en la interacció en entorns virtuals, doncs defineixen el curs de les accions de l’usuari envers l’entorn virtual. En aquesta tesi s’analitzen els factors que determinen l’eficiència de les tasques de selecció i es proposen millores en la seva usabilitat incrementant, tant la productivitat de l’usuari, com el seu confort. Al ser una tasca crítica, la seva millora és un factor prioritari. Les tasques de selecció en un entorn tridimensional requereixen la interacció mitjançant gestos, per exemple, agafar un objecte amb les mans o apuntar-lo amb el dit. L’efectivitat d’una tasca de selecció depèn de múltiples factors, com podria ser l’habilitat de l’usuari o en la percepció espacial de l’entorn. La tesi es centra en l’estudi de les limitacions de les tasques de selecció i de com els models d’interacció home-màquina existents, permeten el seu replantejament per a millorar la seva eficiència. Al llarg de la tesi es proposen diverses tècniques de selecció basades en la llei de Fitts, i s’analitza com evitar la dependència en la percepció espacial. Els anàlisis teòrics es complementen amb estudis d’usabilitat on s’avalua, tant l’efectivitat de les solucions proposades, com les ja existents. Encara que la major part de contribucions es centren en la selecció d’objectes tridimensionals, també s’estudia la selecció i manipulació d’interfícies gràfiques d’usuari 2D en entorns virtuals, i en la millora de la transferència d’informació entre usuaris en entorns col·laboratius. En aquests tipus d’entorns, és comú l’ús de la selecció per fer referència a determinats objectes o característiques del medi, a altres usuaris. No obstant, la impossibilitat de veure els objectes amb els què d’altres usuaris estan interactuant, dificulta l’intercanvi d’informació entre ells. S’ha fet un estudi de les eines utilitzades per a la gestió de l’oclusió i de com milloren l’intercanvi d’informació entre usuaris. Lloc i / Les contribucions d’aquesta tesi s’emmarquen en la interacció home-computador en entorns de realitat virtual. Concretament, en la millora de tasques de selecció d’objectes tridimensionals. La selecció d’objectes és una tasca primordial en la interacció en entorns virtuals, doncs defineixen el curs de les accions de l’usuari envers l’entorn virtual. En aquesta tesi s’analitzen els factors que determinen l’eficiència de les tasques de selecció i es proposen millores en la seva usabilitat incrementant, tant la productivitat de l’usuari, com el seu confort. Al ser una tasca crítica, la seva millora és un factor prioritari. Les tasques de selecció en un entorn tridimensional requereixen la interacció mitjançant gestos, per exemple, agafar un objecte amb les mans o apuntar-lo amb el dit. L’efectivitat d’una tasca de selecció depèn de múltiples factors, com podria ser l’habilitat de l’usuari o en la percepció espacial de l’entorn. La tesi es centra en l’estudi de les limitacions de les tasques de selecció i de com els models d’interacció home-màquina existents, permeten el seu replantejament per a millorar la seva eficiència. Al llarg de la tesi es proposen diverses tècniques de selecció basades en la llei de Fitts, i s’analitza com evitar la dependència en la percepció espacial. Els anàlisis teòrics es complementen amb estudis d’usabilitat on s’avalua, tant l’efectivitat de les solucions proposades, com les ja existents. Encara que la major part de contribucions es centren en la selecció d’objectes tridimensionals, també s’estudia la selecció i manipulació d’interfícies gràfiques d’usuari 2D en entorns virtuals, i en la millora de la transferència d’informació entre usuaris en entorns col·laboratius. En aquests tipus d’entorns, és comú l’ús de la selecció per fer referència a determinats objectes o característiques del medi, a altres usuaris. No obstant, la impossibilitat de veure els objectes amb els què d’altres usuaris estan interactuant, dificulta l’intercanvi d’informació entre ells. S’ha fet un estudi de les eines utilitzades per a la gestió de l’oclusió i de com milloren l’intercanvi d’informació entre usuaris. Lloc i

Current dialogue systems can handle friendly and collaborative communication that supports diverse types of interactions, such as menus in which the user is asked to choose an option, form filling in which the user is asked for specific information, commands for expressing users' orders, and complex questions that can even reference previously evoked entities. Consequently, dialogue systems seem to be useful for accessing different types of applications. In particular, spoken dialogue systems are appropriate for devices that do not allow web browsing, such as telephones, or the use of hands, such as vehicle GPS. Practical dialogue systems are mostly adapted to the functionality of the specific application they access, specially those incorporating speech, since voice technology still presents recognition problems in open domains. Because the adaptation of those DS to new applications is expensive and has to be done by experts, many studies have focused on the problem of developing dialogue systems that can be used for different applications and languages. Most relevant of those systems use domain and dialogue models, and have reusable domain-independent components. However the cost of adapting those systems to other types of applications is still high, specially in mixed-initiative systems, in which the dialogue initiative can be taken either by the user or the system. The work in this thesis is particularly concerned with dialogue systems for guiding the user to access web services. The huge amount of web information increase the need of communication systems adaptable to different types of users, languages, services and channels. For this reason, dialogue systems can improve the usability and accessibility of web contents. We have developed a multilingual mixed-initiative dialogue system for guiding the user when accessing web contents. To facilitate the adaptation of the dialogue system to new services and languages, the main functions of the system (language processing, dialogue control and task management) is performed by independent modules). The dialogue system developed consist of four independent general modules (Language Understanding, Language Generator, Dialogue Manager and Task Manager) as well as two knowledge structure accessible by all these modules (dialogue context and domain description). Application and language-dependent resources are incorporated in separated data structures. In order to minimize the need for application and language-restricted data we propose the use of separated general bases for representing linguistic, application and domain knowledge. In order to achieve a friendly communication, the dialogue management module follows a formal dialogue model, based on the information state model, that uses of a rich representation of the dialogue context. The dialogue manager modules also incorporates an independent submodule to adapt the dialogue strategies, according to how well the communication is progressing. This component uses a conversation model (obtained from a previously analysed corpus of dialogues) to determine the degree of the system initiative in the next intervention considering several features on how well the conversation is doing. / Els sistemes de diàleg permeten establir una conversa agradable i participativa, en la que es poden donar diferents tipus d'iteracions, com ara menús amb els que es presenta a l'usuari un conjunt d'opcions per a que n'esculli una, comandaments per expressar ordres, preguntes molt concretes i també preguntes complexes que poden fer referència a entitats prèviament evocades. Precisament perquè els sistemes de diàleg permeten diversos tipus d'iteracions, són adequats per facilitar l'accés de l'usuari a aplicacions diferents. A més, els sistemes de diàleg accessibles mitjançant la veu són molt apropiats per accessoris ens els que no es poden utilitzar les mans, com ara el telèfon o els aparells de GPS instal·lats als vehicles. La majoria de sistemes de diàleg que s'han desenvolupat s'han adaptat a una aplicació concreta, ja que el seu funcionament millora molt quan la cobertura del llenguatge es limita al necessari per expressar un conjunt de tasques determinades. El problema dels sistemes de diàleg desenvolupats per una aplicació concreta és que no són fàcilment adaptables a d'altres, el treball a realitzar és costòs i l'han de realitzar experts. Per a superar aquesta limitació s'han realitzats molts treballs de recerca centrats en el desenvolupament de sistemes de diàleg fàcilment adaptables a diverses aplicacions i llengües. Els treballs més rellevants en aquesta línia proposen l'ús de models de diàleg i del domini i la organització del sistema de diàleg en mòduls generals independents, reutilitzables per diferents aplicacions. Tot i que aquestes propostes redueixen el cost l'adaptació dels sistemes de diàleg a noves aplicacions, no s'elimina, menys quan es tracta de sistemes on la iniciativa de la comunicació és mixta, pot ser tant del sistema com de l'usuari. El treball d'aquesta tesi està centrat en els sistemes de diàleg per guiar als usuaris quan accedeixen a la serveis i continguts disponibles a la web. Hem desenvolupat un sistema de diàleg multilingüe d'iniciativa mixta per guiar a l'usuari quan accedeix als continguts de la web. Per facilitar la adaptació del sistema a nou serveis i noves llengües, les diferents tasques del sistema (processament del llenguatge, gestió del diàleg i accés a l'aplicació) són realitzades per mòduls independents. El sistema de diàleg desenvolupat consisteix en quatre mòduls independents que controlen les quatre tasques principals ( comprensió de la intervenció de l'usuari, generació de resposta, gestió del diàleg i gestió de tasques de l'aplicació) i dues estructures de dades accessibles per aquests mòduls (context del diàleg i descripció del domini). Els quatre mòduls generals del sistema utilitzen estructures dades dependents de l'aplicació (servei) i de la llengua. Amb la finalitat de facilitar la incorporació d'aquestes estructures de dades necessàries per cada nova aplicació proposem la utilització d'estructures de dades generals per representar el coneixement conceptual de l'aplicació i el seu domini, així com el coneixement lingüístic. Per tal de poder assolir una conversa agradable el gestor de diàleg incorpora un model de diàleg formal, basat en el model de l'estat de la informació, que es caracteritza per utilitzar una representació rica del context. El gestor de diàleg també incorpora un submòdul independent per adaptar les estratègies de diàleg considerant els possibles problemes que apareixen a la conversa. Aquest component utilitza un model de conversa ( desenvolupat a partir de l'anàlisi d'un corpus de diàlegs obtinguts en interaccions prèvies amb el sistema) per determinar el nivell d'iniciativa que ha de mostrar el sistema per respondre. En aquest model es consideren diferents dades relacionades amb la comunicació (per exemple, si s'ha entès perfectament la última intervenció de l'usuari, si ha demanat ajuda,...).

Els sistemes de conversió de text en parla (CTP-SU) s'encarreguen de produir veu sintètica a partir d'un text d'entrada. Els CTP basats en selecció d'unitats (CTP-SU) recuperen la millor seqüència d'unitats de veu enregistrades prèviament en una base de dades (corpus). La recuperació es realitza mitjançant algorismes de programació dinàmica i una funció de cost ponderada. La ponderació de la funció de cost es realitza típicament de forma manual per part d'un expert. No obstant, l'ajust manual resulta costós des d'un punt de vista de coneixement prèvi, i imprecís en la seva execució. Per tal d'ajustar els pesos de la funció de cost, aquesta tesi parteix de la prova de viabilitat d'ajust perceptiu presentada per Alías (2006) que empra algorismes genètics interactius actius (active interactive Genetic Algorithm - aiGA). Aquesta tesi doctoral investiga les diferents problemàtiques que es presenten en aplicar els aiGAs en l'ajust de pesos d'un CTP-SU en un context real de selecció d'unitats. Primerament la tesi realitza un estudi de l'estat de l'art en l'ajust de pesos. Tot seguit, repassa la idoneïtat de la computació evolutiva interactiva per realitzar l'ajust revisant amb profunditat el treball previ. Llavors es presenten i es validen les propostes de millora. Les quatre línies mestres que guien les contribucions d'aquesta tesi són: la precisió en l'ajust dels pesos, la robustesa dels pesos obtinguts, l'aplicabilitat de la metodologia per qualsevol funció de cost i el consens dels pesos obtinguts incorporant el criteri de diferents usuaris. En termes de precisió la tesi proposa realitzar l'ajust perceptiu per diferents tipus (clústers) d'unitats respectant les seves peculiaritats fonètiques i contextuals. En termes de robustesa la tesi incorpora diferents mètriques evolutives (indicadors) que avaluen aspectes com l'ambigüitat en la cerca, la convergència d'un usuari o el nivell de consens entre diferents usuaris. Posteriorment, per estudiar l'aplicabilitat de la metodologia proposada s'ajusten perceptivament diferents pesos que combinen informació lingüística i simbòlica. La última contribució d'aquesta tesi estudia l'idoneïtat dels models latents per modelar les preferències dels diferents usuaris i obtenir una solució de consens. Paral•lelament, per fer el pas d'una prova de viabilitat a un entorn real de selecció d'unitats es treballa amb un corpus d'extensió mitjana (1.9h) etiquetat automàticament. La tesi permet concloure que l'aiGA a nivell de clúster és una metodologia altament competitiva respecte les altres tècniques d'ajust presents en l'estat de l'art. / Los sistemas de conversión texto-habla (CTH-SU) se encargan de producir voz sintética a partir de un texto de entrada. Los CTH basados en selección de unidades (CTH-SU) recuperan la mejor secuencia de unidades de voz grabadas previamente en una base de datos (corpus). La recuperación se realitza mediante algoritmos de programación dinámica y una función de coste ponderada. La ponderación de la función de coste se realiza típicamente de forma manual por parte de un experto. Sin embargo, el ajuste manual resulta costoso desde un punto de vista de conocimiento previo e impreciso en su ejecución. Para ajustar los pesos de la función de coste, esta tesis parte de la prueba de viabilidad de ajuste perceptivo presentada por Alías (2006) que emplea algoritmos genéticos interactivos activos (active interactive Genetic Algorithm - aiGA). Esta tesis doctoral investiga las diferentes problemáticas que se presentan al aplicar los aiGAs en el ajuste de pesos de un CTH-SU en un contexto real de selección de unidades. Primeramente la tesis realiza un estudio del estado del arte en el ajuste de pesos, posteriormente repasa la idoneidad de la computación evolutiva interactiva para realizar el ajuste revisando en profundidad el trabajo previo. Entonces se presentan y se validan las propuestas de mejora. Las cuatro líneas maestras que guían las contribuciones de esta tesis son: la precisión en el ajuste de los pesos, la robustez de los pesos obtenidos, la aplicabilidad de la metodología para cualquier función de coste y el consenso de los pesos obtenidos incorporando el criterio de diferentes usuarios. En términos de precisión la tesis propone realizar el ajuste perceptivo por diferentes tipos (clusters) de unidades respetando sus peculiaridades fonéticas y contextuales. En términos de robustez la tesis incorpora diferentes métricas evolutivas (indicadores) que evalúan aspectos como la ambigüedad en la búsqueda, la convergencia de un usuario o el nivel de consenso entre diferentes usuarios. Posteriormente, para estudiar la aplicabilidad de la metodología propuesta se ajustan perceptivamente diferentes pesos que combinan información lingüística y simbólica. La última contribución de esta tesis estudia la idoneidad de los modelos latentes para modelar las preferencias de los diferentes usuarios y obtener una solución de consenso. Paralelamente, para dar el paso de una prueba de viabilidad a un entorno real de selección de unidades se trabaja con un corpus de extensión media (1.9h) etiquetado automáticamente. La tesis permite concluir que el aiGA a nivel de cluster es una metodología altamente competitiva respecto a las otras técnicas de ajuste presentes en el estado del arte. / Text-to-Speech Systems (TTS) produce synthetic speech from an input text. Unit Selection TTS (US-TTS) systems are based on the retrieval of the best sequence of recorded speech units previously recorded into a database (corpus). The retrieval is done by means of dynamic programming algorithm and a weighted cost function. An expert typically performs the weighting of the cost function by hand. However, hand tuning is costly from a standpoint of previous training and inaccurate in terms of methodology. In order to properly tune the weights of the cost function, this thesis continues the perceptual tuning proposal submitted by Alías(2006) which uses active interactive Genetic Algorithms (aiGAs). This thesis conducts an investigation to the various problems that arise in applying aiGAs to the weight tuning of the cost function. Firstly, the thesis makes a deep revision to the state-of-the-art in weight tuning. Afterwards, the thesis outlines the suitability of Interactive Evolutionary Computation (IEC) to perform the weight tuning making a thorough review of previous work. Then, the proposals of improvement are presented. The four major guidelines pursued by this thesis are: accuracy in adjusting the weights, robustness of the weights obtained, the applicability of the methodology to any subcost distance and the consensus of weights obtained by different users. In terms of precision cluster-level perceptual tuning is proposed in order to obtain weights for different types (clusters) of units considering their phonetic and contextual properties. In terms of robustness of the evolutionary process, the thesis presents different metrics (indicators) to assess aspects such as the ambiguity within the evolutionary search, the convergence of one user or the level of consensus among different users. Subsequently, to study the applicability of the proposed methodology different weights are perceptually tuned combining linguistic and symbolic information. The last contribution of this thesis examines the suitability of latent models for modeling the preferences of different users and obtains a consensus solution. In addition, the experimentation is carried out through a medium size corpus (1.9h) automatically labelled in order fill the gap between the proof-of-principle and a real unit selection scenario. The thesis concludes that aiGAs are highly competitive in comparison to other weight tuning techniques from the state-of-the-art.