Ingeniera Civil en Computación / Hoy en Chile, el currículo nacional para estudiantes sordos considera como idea básica de integración en la sociedad, el desarrollo pleno tanto de la Lengua de Señas chilena como del Español escrito, entendiendo la primera como una herramienta vehicular de comunicación y acceso al currículo, y la segunda, como herramienta básica para acceder a las exigencias académicas de la incorporación futura a los sistemas de educación superior o laboral. Entre las tareas pendientes en cuanto a la integración de la cultura sorda se refiere, es fundamental aumentar el acceso a la educación. En este contexto se desarrolló la aplicación web llamada Diccionario Multimedia INDESOR , herramienta colaborativa que enseña y facilita el aprendizaje de ambas lenguas, tanto para sordos como para oyentes, y que busca además reforzar el desarrollo de las habilidades de lectura y escritura en niños con déficit auditivo pertenecientes al primer y segundo ciclo de enseñanza básica. Esta aplicación consiste en un diccionario de libre acceso, que por cada palabra contiene su definición y un video de la seña que la representa. En torno a ésta, se creó una comunidad virtual de estudiantes, apoderados y profesionales del Instituto de la Sordera INDESOR, cuya capacidad de autogestión permite la mantención de información actualizada y de calidad dentro del sitio. Los usuarios sordos y oyentes de esta comunidad son los encargados de subir, descargar y evaluar el material del diccionario, mientras que los usuarios expertos (profesionales del INDESOR) se encargan de la aprobación o rechazo del mismo. Estas interacciones están equilibradas de tal forma de asegurar el crecimiento en volumen de la base de datos, imponiendo un modelo de puntaje intuitivo para los usuarios de la aplicación. El resultado de este trabajo, la creación de una plataforma web con cerca de 500 palabras, con una dinámica de interacción que permite a usuarios sordos y oyentes participar activamente dentro del sitio, cuyo potencial de crecimiento va en aumento. Así, desde la base de un diccionario, se genera un nuevo enfoque para el desarrollo de habilidades de comunicación, tanto para la comunidad sorda como para su entorno educativo.

El reconocimiento de gestos del lenguaje de señas a través del procesamiento de imágenes y el aprendizaje automático han sido ampliamente estudiados en años recientes. En esta tesis se presenta un conjunto de datos que consta de 2400 imágenes de los gestos estáticos del lenguaje de señas peruano alfabeto, además de aplicarlo a un sistema de reconocimiento de gestos con cámaras de baja resolución. Para el reconocimiento de gestos, se utilizó el descriptor de características de Histograma de Gradientes Orientados, junto con 4 algoritmos de clasificación. Los resultados mostraron que utilizando el Histograma de Gradientes Orientados junto con el algoritmo de clasificación de Support Vector Machine, se obtuvo el mejor resultado con un accuracy de 89.46% y el sistema pudo reconocer los gestos con variaciones de traslación, rotación y escala. / The recognition of sign language gesture through image processing and Machine Learning has been widely studied in recent years. This article presents a dataset consisting of 2400 images of the static gestures of the Peruvian sign language alphabet, in addition to applying it to a recognition system of gestures using low resolution cameras. For the gesture recognition, the Histogram Oriented Gradient feature descriptor was used, along with 4 classification algorithms. The results showed that Histogram Oriented Gradient, along with Support Vector Machine, got the best result with an 89.46% accuracy and the system was able to recognize the gestures with variations of translation, rotation and scale. / Tesis

La lengua de señas peruana (LSP) es una lengua viso-gestual originaria del Perú utilizada por la comunidad sorda del país. La presente investigación tuvo como objetivo principal describir el sistema de pronombres personales de la LSP y analizar su comportamiento. Para ello, revisamos distintos análisis de estos elementos en otras lenguas de señas y concluimos que en la LSP se pueden distinguir dos formas de persona gramatical, como propone Meier (1990): primera persona y no primera persona. Siguiendo dicha propuesta, consideramos que en LSP la primera persona agrupa a todos los apuntes dirigidos hacia el pecho del señante y la no primera persona agrupa a todas las otras formas de referencia personal. Con respecto a los apuntes a referentes no presentes en el mismo espacio que el señante (o apuntes a un locus), encontramos un comportamiento mixto de este elemento como tanto un demostrativo y un determinante, pero es claro que no es un pronombre personal. Así, el sistema de pronombres personales de la LSP estaría compuesto por un pronombre de primera persona singular y un agrupamiento de esta con la no primera persona, además de un único pronombre de no primera persona singular. / Peruvian Sign Language (LSP) is a visual-gestural native language of Peru used by the deaf community of the country. The aim of this research was to describe the personal pronouns system of LSP and analyze its behavior. To that end, we reviewed different analyses for these elements in other sign languages and we conclude that in LSP two forms of grammatical person can be distinguished, as proposed by Meier (1990): first person and non-first person. Following this proposal, we consider that in LSP first person clusters every pointing towards the signer’s chest and non-first person clusters every other form of personal reference. Regarding pointing towards non-present referents that do not share the same space as the signer (or pointing to a locus), we found a mixed behavior of this element as both a demonstrative and a determiner, but it is clear that it is not a personal pronoun. Thereby, the personal pronouns system of the LSP would be composed of a first person singular pronoun and a personal pronoun set of this person with the non-first, besides a unique singular non-first person personal pronoun.

La presente investigación ofrece un análisis de la producción en castellano escrito como segunda lengua de colaboradores sordos de la ciudad de Lima que conocen la lengua de señas peruana. La tesis muestra cuáles son las principales diferencias de su interlengua con respecto al castellano estándar en lo que se refiere al uso de artículos, preposiciones y verbos. Muestra también que el mayor dominio de la lengua de señas peruana permite un mayor dominio del castellano escrito como segunda lengua. Asimismo, propone tres tipos de material didáctico que pueden ser de utilidad, acompañados del uso de la lengua de señas peruana, en el proceso de enseñanza-aprendizaje del castellano escrito como segunda lengua. Para la recolección de información se trabajó con siete colaboradores sordos adultos, quienes, a partir de la observación de unos videos, produjeron narraciones en lengua de señas peruana y en castellano escrito como segunda lengua. Las narraciones en lengua de señas fueron analizadas y comparadas con las narraciones en castellano escrito como segunda lengua para develar la relación entre el dominio de ambas lenguas. Asimismo, las narraciones en castellano escrito como segunda lengua fueron analizadas y comparadas con el castellano estándar con el fin de recoger las principales diferencias entre la interlengua y la lengua meta de los colaboradores. Con esta información, se propuso material didáctico que permitiera aproximar la interlengua de las personas sordas a su lengua meta.

El presente proyecto tiene como objetivo el desarrollo de un juego serio para el aprendizaje de gestos básicos de la lengua de señas peruana en realidad virtual para personas que no padezcan de sordera, utilizando el dispositivo HTC Vive. El juego, al cual nombramos Sign Shooting, consta de 8 niveles en donde el jugador deberá aprender 3 gestos de letras por cada uno de éstos, y al final una prueba de los conocimientos aprendidos. Se implementó el Vive Hand Tracking SDK para la detección de las manos del usuario y sus características espaciales. Con esta información, generamos un dataset de los gestos a aprender, el cual utilizamos para entrenar un modelo de redes neuronales para el reconocimiento de señas, el cual fue validado con las métricas de bias y varianza. Para validar nuestra propuesta, se pidió a los usuarios completar el juego y a continuación responder una encuesta dividida en experiencia de juego y aprendizaje del usuario. Los resultados obtenidos muestran un puntaje promedio en la experiencia usuario mayor de 4 (de un máximo de 5) y que en toda la sesión de juego se aprenden un promedio de 17 gestos de letras (de un total de 24), significando que los usuarios consideran el juego entretenido, inmersivo y que cumple con su objetivo de enseñanza. Finalmente, se concluye que el uso de realidad virtual incentiva a que el usuario se sienta comprometido con el juego y busque llegar a su objetivo. / This project aims to develop a serious game for learning basic gestures of the Peruvian sign language in virtual reality to non-deaf people, employing the HTC Vive device. The game, which we name Sign Shooting, consists of 8 levels where the player must learn 3 gestures for each of these, and finally a test about the learned knowledge. The game implements the Vive Hand Tracking SDK to detect the user’s hands and their spatial features. With this information, we generate a dataset of the gestures to learn, which we use to train a neural network model for sign recognition and validate it with the bias and variance metrics. To validate our proposal, users were asked to complete the game and then answer a survey divided into user game experience and learning. The results obtained in the experiments show an average score in the user experience greater than 4 (of a maximum of 5) and that in the entire game session an average of 17 letter gestures (of a total of 24) are learned, meaning that users consider the game entertaining, immersive and that meets its teaching objective. Finally, we conclude that the use of virtual reality encourages the user to feel committed to the game and seek to reach its goal. / Tesis