Doctor en Ciencias, Mención Computación / Las interfaces naturales de usuario (NUIs) basadas en gestos manuales sin contacto (THG) tienen ventajas sobre las interfaces de usuario (UIs) convencionales en varios escenarios. Sin embargo, éstas aún presentan problemas desafiantes por ser investigados, tales como su diseño y evaluación con la finalidad de obtener resultados satisfactorios. El enfoque clásico de la participación de usuarios para escoger gestos o analizar diseños de interfaces necesita ser complementado con evaluaciones predictivas para los casos en que los métodos basados en usuarios son inaplicables o costosos de realizar. En consecuencia, modelos de usuario cuantitativos son necesarios para efectuar esas evaluaciones. Dado que la evaluación basada en modelos es importante en HCI y que los modelos disponibles son insuficientes para evaluar NUIs basadas en THG, esta tesis estudia modelos para interfaces de este tipo. Dos enfoques de modelamiento son abordados, aunque el enfoque principal está puesto en modelos predictivos. La tesis primeramente presenta un estudio para entender la articulación de gestos, el cual permitió derivar un modelo descriptivo sobre la concepción y producción de gestos de usuarios, y una taxonomía de gestos. Después, la tesis se concentra en (1) el análisis de la viabilidad de utilizar modelos cuantitativos existentes para abarcar THG; (2) la formulación de un modelo para predecir el tiempo de rendimiento para realizar tareas; y (3) la validación de este nuevo modelo. En todos los casos, el rendimiento de los modelos es estudiado de acuerdo a varias métricas usadas para hacer comparaciones con rangos típicos en el área. Así, la contribución principal de esta tesis es un modelo para estimar el tiempo que un usuario necesita para hacer una tarea con una NUI basada en THG empleando su mano. El modelo propuesto, que es llamado THGLM, está basado en el modelo clásico KLM. Prescribe que los gestos manuales sean analizados de acuerdo a su estructura temporal; es decir, utilizando gesture units . THGLM predice el tiempo de rendimiento en una forma aceptable (error de predicción = 12 %, R2 > 0.9). Los experimentos realizados también confirman la utilidad del modelo para analizar y comparar diseños de interfaces. Si bien THGLM tiene ciertas limitaciones, tiene ventajas importantes tales como su relativa facilidad de usar y extender. Más allá de las limitaciones intrínsecas de THGLM, éste debería ayudar en el diseño y evaluación de NUIs basadas en THG. Los diseñadores de UIs pueden predecir el tiempo para completar tareas sin la participación de usuarios, y luego, usar ese valor como métrica para analizar o evaluar una UI. Esta estrategia es especialmente útil en situaciones donde es difícil llevar a cabo pruebas con usuarios o como un paso preliminar a la evaluación de una interfaz. Por lo tanto, se espera que el modelo propuesto se convierta en una herramienta útil para diseñadores de software para realizar evaluaciones de usabilidad, mejorar diseños de interfaces, y desarrollar mejores aplicaciones de software utilizando gestos. / Esta tesis ha sido parcialmente financiada por SENESCYT (Ecuador, Convocatoria Abierta 2011), Universidad Técnica Estatal de Quevedo (Ecuador) y NIC Chile (DCC, Universidad de Chile)

El presente trabajo tiene como fin el desarrollo de un sistema de reconocimiento de gestos dinámicos aplicable a interfaces humano-computador. El reconocimiento es puramente visual, con imágenes obtenidas de una cámara web convencional. Un sistema de visión computacional previamente desarrollado permite extraer la posición de la cara y las manos. El trabajo se desglosa en dos objetivos. El primer objetivo es revisar y mejorar dicho sistema de visión computacional para alcanzar una mayor robustez en el tracking (seguimiento) de los movimientos corporales del usuario. El segundo objetivo consiste en proponer y estudiar un método de reconocimiento de gestos dinámicos caracterizados por la trayectoria de la mano. Para abordar el primer objetivo, se ponen a prueba varias modificaciones del sistema de tracking actual: restricción de la zona de tracking a la zona con piel y movimiento, extracción de nuevas características del objeto seguido, actualización en línea de dichas características, y búsqueda del objeto seguido a partir de múltiples puntos iniciales en la imagen. En cuanto al segundo objetivo, se observa que el reconocimiento de gestos dinámicos es un problema de reconocimiento de patrones espacio-temporales. Como tal, está sujeto a las variaciones de velocidad y geometría con que los usuarios realizan los gestos, lo cual hace necesario el uso de métodos estadísticos que den cuenta de tales variaciones. En este trabajo, se propone un método novedoso que evita el análisis temporal explícito, al reducir la secuencia de manos detectadas a estadísticas puramente geométricas. Estas estadísticas son suministradas continuamente a un conjunto de clasificadores Naïve Bayes, que entregan probabilidades de ejecución de cada gesto conocido por el sistema; al encontrarse un máximo local en dicha probabilidad, se declara la posible presencia de un gesto, el cual es validado mediante la comparación con plantillas. Se usan algunas reglas sencillas para abordar el problema de subgestos (reconocimiento errado de un gesto en vez de otro que lo contiene) y se aplican heurísticas como examinar la velocidad de la mano para determinar si el usuario desea dar por terminado el gesto o no. Los resultados de los experimentos muestran una mejoría pequeña del rendimiento del tracking gracias a los cambios introducidos. En tanto, el sistema obtiene una tasa de reconocimiento del 81,7% al reconocer dígitos dibujados con el puño en el aire, desempeño que podría ser mejorado desarrollando un mejor sistema de tracking de la mano y usando métodos geométricos más sofisticados que los propuestos en este trabajo. La velocidad de funcionamiento es de 6 a 7 cuadros por segundo, suficiente para su uso en tiempo real. El sistema también ha sido puesto a prueba con el robot de servicio Bender, con gestos diseñados especialmente para controlarlo, obteniendo una tasa de reconocimiento de 78,5%.

El objetivo de esta tesina es estudiar, desarrollar, analizar y comparar distintas técnicas de aprendizaje automático aplicables al reconocimiento automático de gestos dinámicos. Para ello, se definió un modelo de gestos a reconocer, se generó una base de datos de prueba con gestos llamadas LNHG, y se estudiaron e implementaron clasificadores basados en máquinas de vectores de soporte (SVM), redes neuronales feedfoward (FF) y redes neuronales competitivas (CPN), utilizando representaciones locales y globales para caracterizar los gestos. Además, se propone un nuevo modelo de reconocimiento de gestos, el clasificador neuronal competitivo (CNC). Los gestos a reconocer son movimientos de la mano, con invariancia a la velocidad, la rotación, la escala y la traslación. La captura de la información referida a los gestos para generar la base de datos se realizó mediante el dispositivo Kinect y su SDK correspondiente, que reconoce las partes del cuerpo y determina sus posiciones en tiempo real. Los clasificadores se entrenaron con dichos datos para poder determinar si una secuencia de posiciones de la mano es un gesto. Se implementó una librería de clasificadores con los métodos mencionados anteriormente, junto con las transformaciones para llevar una secuencia de posiciones a una representación adecuada para el reconocimiento. Se realizaron experimentos con la base de datos LNHG, compuesta de gestos que representan dígitos y letras, y con un base de datos de otro autor con gestos típicos de interacción, obteniendo resultados satisfactorios.

[EN] The main objective of this thesis is the development of new sensors and actuators using Printed Electronics technology. For this, conductive, semiconductor and dielectric polymeric materials are used on flexible and/or elastic substrates. By means of suitable designs and application processes, it is possible to manufacture sensors capable of interacting with the environment. In this way, specific sensing functionalities can be incorporated into the substrates, such as textile fabrics. Additionally, it is necessary to include electronic systems capable of processing the data obtained, as well as its registration. In the development of these sensors and actuators, the physical properties of the different materials are precisely combined. For this, multilayer structures are designed where the properties of some materials interact with those of others. The result is a sensor capable of capturing physical variations of the environment, and convert them into signals that can be processed, and finally transformed into data. On the one hand, a tactile sensor printed on textile substrate for 2D gesture recognition was developed. This sensor consists of a matrix composed of small capacitive sensors based on a capacitor type structure. These sensors were designed in such a way that, if a finger or other object with capacitive properties, gets close enough, its behaviour varies, and it can be measured. The small sensors are arranged in this matrix as in a grid. Each sensor has a position that is determined by a row and a column. The capacity of each small sensor is periodically measured in order to assess whether significant variations have been produced. For this, it is necessary to convert the sensor capacity into a value that is subsequently digitally processed. On the other hand, to improve the effectiveness in the use of the developed 2D touch sensors, the way of incorporating an actuator system was studied. Thereby, the user receives feedback that the order or action was recognized. To achieve this, the capacitive sensor grid was complemented with an electroluminescent screen printed as well. The final prototype offers a solution that combines a 2D tactile sensor with an electroluminescent actuator on a printed textile substrate. Next, the development of a 3D gesture sensor was carried out using a combination of sensors also printed on textile substrate. In this type of 3D sensor, a signal is sent generating an electric field on the sensors. This is done using a transmission electrode located very close to them. The generated field is received by the reception sensors and converted to electrical signals. For this, the sensors are based on electrodes that act as receivers. If a person places their hands within the emission area, a disturbance of the electric field lines is created. This is due to the deviation of the lines to ground using the intrinsic conductivity of the human body. This disturbance affects the signals received by the electrodes. Variations captured by all electrodes are processed together and can determine the position and movement of the hand on the sensor surface. Finally, the development of an improved 3D gesture sensor was carried out. As in the previous development, the sensor allows contactless gesture detection, but increasing the detection range. In addition to printed electronic technology, two other textile manufacturing technologies were evaluated. / [ES] La presente tesis doctoral tiene como objetivo fundamental el desarrollo de nuevos sensores y actuadores empleando la tecnología electrónica impresa, también conocida como Printed Electronics. Para ello, se emplean materiales poliméricos conductores, semiconductores y dieléctricos sobre sustratos flexibles y/o elásticos. Por medio de diseños y procesos de aplicación adecuados, es posible fabricar sensores capaces de interactuar con el entorno. De este modo, se pueden incorporar a los sustratos, como puedan ser tejidos textiles, funcionalidades específicas de medición del entorno y de respuesta ante cambios de este. Adicionalmente, es necesario incluir sistemas electrónicos, capaces de realizar el procesado de los datos obtenidos, así como de su registro. En el desarrollo de estos sensores y actuadores se combinan las propiedades físicas de los diferentes materiales de forma precisa. Para ello, se diseñan estructuras multicapa donde las propiedades de unos materiales interaccionan con las de los demás. El resultado es un sensor capaz de captar variaciones físicas del entorno, y convertirlas en señales que pueden ser procesadas y transformadas finalmente en datos. Por una parte, se ha desarrollado un sensor táctil impreso sobre sustrato textil para reconocimiento de gestos en 2D. Este sensor se compone de una matriz formada por pequeños sensores capacitivos basados en estructura de tipo condensador. Estos se han diseñado de forma que, si un dedo u otro objeto con propiedades capacitivas se aproxima suficientemente, su comportamiento varía, pudiendo ser medido. Los pequeños sensores están ordenados en dicha matriz como en una cuadrícula. Cada sensor tiene una posición que viene determinada por una fila y por una columna. Periódicamente se mide la capacidad de cada pequeño sensor con el fin de evaluar si ha sufrido variaciones significativas. Para ello es necesario convertir la capacidad del sensor en un valor que posteriormente es procesado digitalmente. Por otro lado, con el fin de mejorar la efectividad en el uso de los sensores táctiles 2D desarrollados, se ha estudiado el modo de incorporar un sistema actuador. De esta forma, el usuario recibe una retroalimentación indicando que la orden o acción ha sido reconocida. Para ello, se ha complementado la matriz de sensores capacitivos con una pantalla electroluminiscente también impresa. El resultado final ofrece una solución que combina un sensor táctil 2D con un actuador electroluminiscente realizado mediante impresión electrónica sobre sustrato textil. Posteriormente, se ha llevado a cabo el desarrollo de un sensor de gestos 3D empleando una combinación de sensores impresos también sobre sustrato textil. En este tipo de sensor 3D, se envía una señal que genera un campo eléctrico sobre los sensores impresos. Esto se lleva a cabo mediante un electrodo de transmisión situado muy cerca de ellos. El campo generado es recibido por los sensores y convertido a señales eléctricas. Para ello, los sensores se basan en electrodos que actúan de receptores. Si una persona coloca su mano dentro del área de emisión, se crea una perturbación de las líneas de los campos eléctricos. Esto es debido a la desviación de las líneas de campo a tierra utilizando la conductividad intrínseca del cuerpo humano. Esta perturbación cambia/afecta a las señales recibidas por los electrodos. Las variaciones captadas por todos los electrodos son procesadas de forma conjunta pudiendo determinar la posición y el movimiento de la mano sobre la superficie del sensor. Finalmente, se ha llevado a cabo el desarrollo de un sensor de gestos 3D mejorado. Al igual que el desarrollo anterior, permite la detección de gestos sin necesidad de contacto, pero incrementando la distancia de alcance. Además de la tecnología de impresión electrónica, se ha evaluado el empleo de otras dos tecnologías de fabricación textil. / [CA] La present tesi doctoral té com a objectiu fonamental el desenvolupament de nous sensors i actuadors fent servir la tecnologia de electrònica impresa, també coneguda com Printed Electronics. Es va fer us de materials polimèrics conductors, semiconductors i dielèctrics sobre substrats flexibles i/o elàstics. Per mitjà de dissenys i processos d'aplicació adequats, és possible fabricar sensors capaços d'interactuar amb l'entorn. D'aquesta manera, es poden incorporar als substrats, com ara teixits tèxtils, funcionalitats específiques de mesurament de l'entorn i de resposta davant canvis d'aquest. Addicionalment, és necessari incloure sistemes electrònics, capaços de realitzar el processament de les dades obtingudes, així com del seu registre. En el desenvolupament d'aquests sensors i actuadors es combinen les propietats físiques dels diferents materials de forma precisa. Cal dissenyar estructures multicapa on les propietats d'uns materials interaccionen amb les de la resta. manera El resultat es un sensor capaç de captar variacions físiques de l'entorn, i convertirles en senyals que poden ser processades i convertides en dades. D'una banda, s'ha desenvolupat un sensor tàctil imprès sobre substrat tèxtil per a reconeixement de gestos en 2D. Aquest sensor es compon d'una matriu formada amb petits sensors capacitius basats en una estructura de tipus condensador. Aquests s'han dissenyat de manera que, si un dit o un altre objecte amb propietats capacitives s'aproxima prou, el seu comportament varia, podent ser mesurat. Els petits sensors estan ordenats en aquesta matriu com en una quadrícula. Cada sensor té una posició que ve determinada per una fila i per una columna. Periòdicament es mesura la capacitat de cada petit sensor per tal d'avaluar si ha sofert variacions significatives. Per a això cal convertir la capacitat del sensor a un valor que posteriorment és processat digitalment. D'altra banda, per tal de millorar l'efectivitat en l'ús dels sensors tàctils 2D desenvolupats, s'ha estudiat la manera d'incorporar un sistema actuador. D'aquesta forma, l'usuari rep una retroalimentació indicant que l'ordre o acció ha estat reconeguda. Per a això, s'ha complementat la matriu de sensors capacitius amb una pantalla electroluminescent també impresa. El resultat final ofereix una solució que combina un sensor tàctil 2D amb un actuador electroluminescent realitzat mitjançant impressió electrònica sobre substrat tèxtil. Posteriorment, s'ha dut a terme el desenvolupament d'un sensor de gestos 3D emprant una combinació d'un mínim de sensors impresos també sobre substrat tèxtil. En aquest tipus de sensor 3D, s'envia un senyal que genera un camp elèctric sobre els sensors impresos. Això es porta a terme mitjançant un elèctrode de transmissió situat molt a proper a ells. El camp generat és rebut pels sensors i convertit a senyals elèctrics. Per això, els sensors es basen en elèctrodes que actuen de receptors. Si una persona col·loca la seva mà dins de l'àrea d'emissió, es crea una pertorbació de les línies dels camps elèctrics. Això és a causa de la desviació de les línies de camp a terra utilitzant la conductivitat intrínseca de el cos humà. Aquesta pertorbació afecta als senyals rebudes pels elèctrodes. Les variacions captades per tots els elèctrodes són processades de manera conjunta per determinar la posició i el moviment de la mà sobre la superfície del sensor. Finalment, s'ha dut a terme el desenvolupament d'un sensor de gestos 3D millorat. A l'igual que el desenvolupament anterior, permet la detecció de gestos sense necessitat de contacte, però incrementant la distància d'abast. A més a més de la tecnologia d'impressió electrònica, s'ha avaluat emprar altres dues tecnologies de fabricació tèxtil. / Ferri Pascual, J. (2020). Tactile and Touchless Sensors Printed on Flexible Textile Substrates for Gesture Recognition [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/153075 / TESIS

El presente proyecto tiene como objetivo el desarrollo de un juego serio para el aprendizaje de gestos básicos de la lengua de señas peruana en realidad virtual para personas que no padezcan de sordera, utilizando el dispositivo HTC Vive. El juego, al cual nombramos Sign Shooting, consta de 8 niveles en donde el jugador deberá aprender 3 gestos de letras por cada uno de éstos, y al final una prueba de los conocimientos aprendidos. Se implementó el Vive Hand Tracking SDK para la detección de las manos del usuario y sus características espaciales. Con esta información, generamos un dataset de los gestos a aprender, el cual utilizamos para entrenar un modelo de redes neuronales para el reconocimiento de señas, el cual fue validado con las métricas de bias y varianza. Para validar nuestra propuesta, se pidió a los usuarios completar el juego y a continuación responder una encuesta dividida en experiencia de juego y aprendizaje del usuario. Los resultados obtenidos muestran un puntaje promedio en la experiencia usuario mayor de 4 (de un máximo de 5) y que en toda la sesión de juego se aprenden un promedio de 17 gestos de letras (de un total de 24), significando que los usuarios consideran el juego entretenido, inmersivo y que cumple con su objetivo de enseñanza. Finalmente, se concluye que el uso de realidad virtual incentiva a que el usuario se sienta comprometido con el juego y busque llegar a su objetivo. / This project aims to develop a serious game for learning basic gestures of the Peruvian sign language in virtual reality to non-deaf people, employing the HTC Vive device. The game, which we name Sign Shooting, consists of 8 levels where the player must learn 3 gestures for each of these, and finally a test about the learned knowledge. The game implements the Vive Hand Tracking SDK to detect the user’s hands and their spatial features. With this information, we generate a dataset of the gestures to learn, which we use to train a neural network model for sign recognition and validate it with the bias and variance metrics. To validate our proposal, users were asked to complete the game and then answer a survey divided into user game experience and learning. The results obtained in the experiments show an average score in the user experience greater than 4 (of a maximum of 5) and that in the entire game session an average of 17 letter gestures (of a total of 24) are learned, meaning that users consider the game entertaining, immersive and that meets its teaching objective. Finally, we conclude that the use of virtual reality encourages the user to feel committed to the game and seek to reach its goal. / Tesis