Doctor en Ciencias, Mención Computación / Las interfaces naturales de usuario (NUIs) basadas en gestos manuales sin contacto (THG) tienen ventajas sobre las interfaces de usuario (UIs) convencionales en varios escenarios. Sin embargo, éstas aún presentan problemas desafiantes por ser investigados, tales como su diseño y evaluación con la finalidad de obtener resultados satisfactorios. El enfoque clásico de la participación de usuarios para escoger gestos o analizar diseños de interfaces necesita ser complementado con evaluaciones predictivas para los casos en que los métodos basados en usuarios son inaplicables o costosos de realizar. En consecuencia, modelos de usuario cuantitativos son necesarios para efectuar esas evaluaciones. Dado que la evaluación basada en modelos es importante en HCI y que los modelos disponibles son insuficientes para evaluar NUIs basadas en THG, esta tesis estudia modelos para interfaces de este tipo. Dos enfoques de modelamiento son abordados, aunque el enfoque principal está puesto en modelos predictivos. La tesis primeramente presenta un estudio para entender la articulación de gestos, el cual permitió derivar un modelo descriptivo sobre la concepción y producción de gestos de usuarios, y una taxonomía de gestos. Después, la tesis se concentra en (1) el análisis de la viabilidad de utilizar modelos cuantitativos existentes para abarcar THG; (2) la formulación de un modelo para predecir el tiempo de rendimiento para realizar tareas; y (3) la validación de este nuevo modelo. En todos los casos, el rendimiento de los modelos es estudiado de acuerdo a varias métricas usadas para hacer comparaciones con rangos típicos en el área. Así, la contribución principal de esta tesis es un modelo para estimar el tiempo que un usuario necesita para hacer una tarea con una NUI basada en THG empleando su mano. El modelo propuesto, que es llamado THGLM, está basado en el modelo clásico KLM. Prescribe que los gestos manuales sean analizados de acuerdo a su estructura temporal; es decir, utilizando gesture units . THGLM predice el tiempo de rendimiento en una forma aceptable (error de predicción = 12 %, R2 > 0.9). Los experimentos realizados también confirman la utilidad del modelo para analizar y comparar diseños de interfaces. Si bien THGLM tiene ciertas limitaciones, tiene ventajas importantes tales como su relativa facilidad de usar y extender. Más allá de las limitaciones intrínsecas de THGLM, éste debería ayudar en el diseño y evaluación de NUIs basadas en THG. Los diseñadores de UIs pueden predecir el tiempo para completar tareas sin la participación de usuarios, y luego, usar ese valor como métrica para analizar o evaluar una UI. Esta estrategia es especialmente útil en situaciones donde es difícil llevar a cabo pruebas con usuarios o como un paso preliminar a la evaluación de una interfaz. Por lo tanto, se espera que el modelo propuesto se convierta en una herramienta útil para diseñadores de software para realizar evaluaciones de usabilidad, mejorar diseños de interfaces, y desarrollar mejores aplicaciones de software utilizando gestos. / Esta tesis ha sido parcialmente financiada por SENESCYT (Ecuador, Convocatoria Abierta 2011), Universidad Técnica Estatal de Quevedo (Ecuador) y NIC Chile (DCC, Universidad de Chile)

El presente trabajo tiene como fin el desarrollo de un sistema de reconocimiento de gestos dinámicos aplicable a interfaces humano-computador. El reconocimiento es puramente visual, con imágenes obtenidas de una cámara web convencional. Un sistema de visión computacional previamente desarrollado permite extraer la posición de la cara y las manos. El trabajo se desglosa en dos objetivos. El primer objetivo es revisar y mejorar dicho sistema de visión computacional para alcanzar una mayor robustez en el tracking (seguimiento) de los movimientos corporales del usuario. El segundo objetivo consiste en proponer y estudiar un método de reconocimiento de gestos dinámicos caracterizados por la trayectoria de la mano. Para abordar el primer objetivo, se ponen a prueba varias modificaciones del sistema de tracking actual: restricción de la zona de tracking a la zona con piel y movimiento, extracción de nuevas características del objeto seguido, actualización en línea de dichas características, y búsqueda del objeto seguido a partir de múltiples puntos iniciales en la imagen. En cuanto al segundo objetivo, se observa que el reconocimiento de gestos dinámicos es un problema de reconocimiento de patrones espacio-temporales. Como tal, está sujeto a las variaciones de velocidad y geometría con que los usuarios realizan los gestos, lo cual hace necesario el uso de métodos estadísticos que den cuenta de tales variaciones. En este trabajo, se propone un método novedoso que evita el análisis temporal explícito, al reducir la secuencia de manos detectadas a estadísticas puramente geométricas. Estas estadísticas son suministradas continuamente a un conjunto de clasificadores Naïve Bayes, que entregan probabilidades de ejecución de cada gesto conocido por el sistema; al encontrarse un máximo local en dicha probabilidad, se declara la posible presencia de un gesto, el cual es validado mediante la comparación con plantillas. Se usan algunas reglas sencillas para abordar el problema de subgestos (reconocimiento errado de un gesto en vez de otro que lo contiene) y se aplican heurísticas como examinar la velocidad de la mano para determinar si el usuario desea dar por terminado el gesto o no. Los resultados de los experimentos muestran una mejoría pequeña del rendimiento del tracking gracias a los cambios introducidos. En tanto, el sistema obtiene una tasa de reconocimiento del 81,7% al reconocer dígitos dibujados con el puño en el aire, desempeño que podría ser mejorado desarrollando un mejor sistema de tracking de la mano y usando métodos geométricos más sofisticados que los propuestos en este trabajo. La velocidad de funcionamiento es de 6 a 7 cuadros por segundo, suficiente para su uso en tiempo real. El sistema también ha sido puesto a prueba con el robot de servicio Bender, con gestos diseñados especialmente para controlarlo, obteniendo una tasa de reconocimiento de 78,5%.

Hoy en día la ciencia de la computación se encuentra presente en nuestras vidas de forma cotidiana, siendo muchas veces transparente para nosotros. Un área que se ha visto potenciada por esta ciencia es la que tiene relación con apoyar el desarrollo de habilidades de Movilidad y Orientación por medio de audio. Otra área es la asociada a la Realidad Aumentada, variación de lo que se conoce como Realidad Virtual, donde en lugar de introducir completamente a un usuario en un entorno ficticio se busca introducir elementos virtuales en el entorno real. Esta memoria tuvo como objetivo diseñar, desarrollar y evaluar un sistema que, utilizando Realidad Aumentada e interfaces basadas en audio, pueda asistir a un usuario ciego en tópicos de Movilidad y Orientación. Como resultado se obtuvo ARTAB, un sistema capaz de identificar ciertos objetos de interés de un entorno real mediante un dispositivo de captura de video, y entregar así información, basada en audio, que permite conocer e identificar su entorno como si lo estuvieran viendo. Para identificar la utilidad del sistema, se realizaron evaluaciones de funcionalidad y usabilidad. La funcionalidad del sistema fue constantemente evaluada durante el desarrollo para asegurar el correcto desempeño final. La usabilidad se aplicó durante y al finalizar el proceso de desarrollo, de manera cualitativa y cuantitativa con usuarios finales, utilizando los métodos de observación y evaluación de usuario final. Estas evaluaciones permitieron detectar y solucionar tempranamente problemas de representación de la información que entrega el sistema, así como también de interacción. Los resultados obtenidos muestran que ARTAB es una aplicación útil que podrá cumplir con ayudar a usuarios ciegos en tareas de Movilidad y Orientación. Además, la percepción de los usuarios sobre ARTAB es buena, debido a que todos los usuarios participantes de las evaluaciones quedaron motivados y entusiasmados con el sistema.

La detección y localización de rostros es una de las áreas de investigación más activa en el ámbito del procesamiento digital de imágenes, debido a que es un componente principal para muchos sistemas de identificación y seguimiento de rostros, así como también para aplicaciones con interfaces hombre-máquina. Esto, apoyado por las predicciones de un fuerte crecimiento en el mercado biométrico mundial, hacen que sea de gran relevancia la búsqueda de nuevos métodos de detección de rostros, más rápidos y precisos, que se adapten de manera robusta a ambientes y condiciones complejas. En particular, está demostrado que las aplicaciones de reconocimiento de rostros dependen en gran medida de la exactitud con que se realiza su localización, motivo por el cual, es necesario contar con métodos que permitan un mayor grado de certeza en la estimación de la posición del rostro. En esta tesis, se estudiaron dos nuevos métodos que apuntan a resolver de mejor manera este problema. El primero de ellos permite obtener información precisa acerca del rostro, como son su posición, excentricidad, tamaño y rotación coronal. Este método, basado en la Transformada Elíptica Lineal (LET), asocia una elipse al rostro y funciona transformando el contorno semi elíptico inferior de la cara en un borde vertical en el espacio de salida. La detección de dicho borde, permite estimar los parámetros de la elipse que se ajusta de mejor manera al rostro. La metodología fue probada sobre las bases de datos de Purdue, Caltech, FERET y Yale-B, obteniendo tasas de localización 98.2 %, 95.3 %, 95.7 % y 79.6 % respectivamente. La segunda parte de este trabajo consistió en estudiar la optimización de moldes direccionales mediante la utilización de enjambres de partículas (Particle Swarm Optimization). La optimización tuvo por objetivo el mejorar el desempeño y selectividad de los moldes y el disminuir el tiempo de procesamiento, a la vez de estudiar el efecto de generar moldes personalizados para un individuo o situación particular. Los resultados muestran una leve mejora sobre los moldes originales de un 2 % a 3 % en las tasas de localización, pero con una reducción de 40 % en el tiempo de cálculo y una mucho mayor selectividad, lo que los hace más robustos. Las tasa de localización sobre la base de datos de Yale-B es de aproximadamente un 82 %. También, se probó la eficacia del método al ser usado en conjunto con un detector de iris para estimar la posición de los ojos en imágenes estáticas de la base de datos de Purdue, obteniéndose tasas de detección de iris por sobre el 98 % para criterios de error muy exigentes. Ambas metodologías fueran comparadas con el detector internacionalmente utilizado propuesto por Viola y Jones, obteniendo tasas de localización muy similares. En el caso de Yale-B los métodos propuestos en esta Tesis son ampliamente superiores, demostrando su robustez frente a condiciones extremas de iluminación y contraste.