Natural vibrissae fulfill a lot of functions. Next to object distance detection and object shape recognition, the surface texture can be determined. Inspired by the natural process of surface texture detection, the goal is to adapt it by technical concepts. Modeling the vibrissa as an Euler­Bernoulli bending beam and the vibrissa-surface contact with respect to Coulomb's Law of Friction, the first approach is formed by the group of Steigenberger and Behn. Due to the surface contact, the vibrissa gets deformed. Initiating a linear movement of the beam support in the way that the bearn tip gets pushed, first the beam tip is sticking to the surface. The acting friction force prevents a movement of the beam tip until the static friction coeflicient is reached. The displacement of the support corresponds to changes in the acting forces and moment. Out of these changes the coeflicient of static friction can be determined. Advancing the present model, the effects of an elastic support, a conical shape of the considered beam, a natural pre-curved (stress free) beam and an inclined contact plane on the resulting forces and moments are analyzed in an analytical way, and then discussed by numerical simulations in performing parameter studies. All these special features of the beam as a tactile sensor are successfully studied. The results for the conical beam shape are only of theoretical relevance. In a next step, a quasi-static model is compared to experimental data to verify the concept. The displacement is represented by a linear, stepwise change of the support of the sensor. By image processing the deformations of the beam for every support position are analyzed. This information is compared to the simulation. The concept in principal is confirmed by the experiments. / Tesis

La tecnología RFID tiene mucho potencial para el desarrollo de aplicaciones, pero aún no es de uso masivo, a pesar de que esta tecnología no es nueva. El RFID podría en un futuro reemplazar a los códigos de barra, actualmente esto no es posible debido al costo todavía elevados de las etiquetas. Sus principales aplicaciones son: El control de accesos, inventario y trazabilidad de objetos. El almacén de Electrónica de la Pontificia Universidad Católica del Perú no posee procesos automatizados aplicados al control de activos, todos los procesos son hecho de forma manual, por lo cual se identificó la necesidad de automatizarlos para poder hacerlos más eficientes. El presente trabajo de tesis tiene como objetivo diseñar un sistema de control de activos para el Almacén de Electrónica de la Pontificia Universidad Católica del Perú utilizando la tecnología RFID, que sea capaz de gestionar los préstamos, generar reportes de estos y mantener actualizado el inventario. El diseño propuesto resuelve la necesidad de control del inventario haciendo uso de la tecnología RFID, a través de un software que se ha desarrollado, el SADAEP, Sistema de Administración del Almacén de Electrónica PUCP, el cual permite registrar los préstamos de materiales del almacén por usuario, gestionar el inventario y generar reportes de préstamos.

El presente trabajo de investigación aborda la tarea del reconocimiento automático de texto escrito a mano (handwritten text recognition - HTR, por sus siglas en inglés) en los manuscritos históricos de autores peruanos, que están bajo la custodia de la Biblioteca Nacional del Perú (BNP), enfrentando diversas dificultades como la variabilidad caligráfica, el deterioro del papel, entre otras. Para esta tarea, se emplearon modelos de reconocimiento de imágenes preentrenados en otros idiomas disponibles en la plataforma de código abierto denominado OCR4all. Se entrenaron tres modelos utilizando el conjunto de datos SPA-Sentences, conjunto que consta de imágenes y traducciones de aproximadamente 13,000 oraciones en idioma español, logrando una tasa de error de caracteres (character error rate - CER) promedio de 4.11% en el conjunto de validación. Posteriormente, este modelo elaborado se aplica en los manuscritos históricos peruanos, obteniendo una tasa de error promedio de 9.39%. El CER obtenido, ligeramente menor en comparación con el conjunto de datos SPA-Sentences utilizado en la etapa de entrenamiento, es atribuible a las diferencias en la calidad de las imágenes, así como en las características propias de los manuscritos. Este trabajo y el enfoque desarrollado en él demuestran la utilidad de los modelos de reconocimiento de imágenes preentrenados para abordar la tarea de HTR en manuscritos históricos, y se identifican áreas para futuras mejoras, como la optimización de la calidad de las imágenes, la diversidad del conjunto de datos y la exploración de modelos avanzados con la arquitectura Transformer. / This paper addresses the task of automatic handwritting text recognition (HTR) in historical manuscripts of Peruvian authors held by the National Library of Peru, facing various challenges such as calligraphy variability, paper deterioration, among others. To achieve this, pre-trained mixed models in other languages available on the opensource OCR platform called OCR4all were employed. Three models were trained using the SPA-Sentences dataset, which consists of a written Spanish collection of approximately 13,000 sentences, achieving an average Character Error Rate (CER) of 4.11% on the validation set. Subsequently, this developed model is applied to the Peruvian historical manuscripts, obtaining an average error rate of 9.39%. Although this value indicates slightly lower accuracy compared to processing the SPA-Sentences dataset, this is attributed to differences in the image’s quality, as well as the specific characteristics of the manuscripts. This approach demonstrates the usefulness of pre-trained models for addressing HTR in historical manuscripts in historical manuscripts, and areas for future improvements are identified, such as optimizing image quality, dataset diversity, and exploring advanced models with Transformer architecture.

El presente trabajo de investigación aborda la implementación, análisis y selección de distintos modelos de redes neuronales recurrentes (RNN) y convolucionales (CNN) para la detección de emociones en texto y rostros; los cuales pueden ser utilizados como módulos adicionales en agentes conversacionales de tiempo real como son chatbots o robots sociales. Los módulos de detección permiten a los agentes conversacionales poder entender cómo se sienten las personas durante la interacción con ellas; conociendo estos estados los agentes conversacionales pueden responder empáticamente. En primer lugar, se revisará la literatura sobre como los agentes conversacionales buscan ser más empáticos, así como los métodos de detección de emociones mediante distintos canales como texto y rostros. Luego, se procede a recolectar y pre-procesar bases de datos públicas para el entrenamiento de los algoritmos seleccionados en base a la literatura. Finalmente, métricas tanto para la evaluación del rendimiento de predicción multiclase (Accuracy, Precision, Recall y F1), como la velocidad de procesamiento (ej. Framesper- second) son seleccionadas y analizadas para determinar cuáles son los mejores algoritmos para implementar una aplicación de tiempo real.

El progreso de la Inteligencia Artificial (IA) ha sido notable en los últimos años. Los impresionantes avances en imitar las capacidades humanas por parte de las máquinas se deben especialmente al campo del Deep Learning (DL). Este paradigma evita el complejo diseño manual de características. En su lugar, los datos pasan directamente a un algoritmo, que aprende a extraer y representar características jerárquicamente en múltiples capas a medida que aprende a resolver una tarea. Esto ha demostrado ser ideal para problemas relacionados con el mundo visual. Una solución de DL comprende datos y un modelo. La mayor parte de la investigación actual se centra en los modelos, en busca de mejores algoritmos. Sin embargo, aunque se prueben diferentes arquitecturas y configuraciones, difícilmente mejorará el rendimiento si los datos no son de buena calidad. Son escasos los estudios que se centran en mejorar los datos, pese a que constituyen el principal recurso para el aprendizaje automático. La recolección y el etiquetado de extensos datasets de imágenes consumen mucho tiempo, esfuerzo e introducen errores. La mala clasificación, la presencia de imágenes irrelevantes, el desequilibrio de las clases y la falta de representatividad del mundo real son problemas ampliamente conocidos que afectan el rendimiento de los modelos en escenarios prácticos. Nuestra propuesta enfrenta estos problemas a través de un enfoque data-centric. A través de la ingeniería del dataset original utilizando técnicas de DL, lo hacemos más adecuado para entrenar un modelo con mejor rendimiento y generalización en escenarios reales. Para demostrar esta hipótesis, consideramos dos casos prácticos que se han convertido en temas de creciente interés para la investigación. Por una parte, Internet es la plataforma mundial de comunicación y la Web es la principal fuente de información para las actividades humanas. Las páginas Web crecen a cada segundo y son cada vez más sofisticadas. Para organizar este complejo y vasto contenido, la clasificación es la técnica básica. El aspecto visual de una página Web puede ser una alternativa al análisis textual del código para distinguir entre categorías. Abordamos el reconocimiento y la clasificación de páginas Web creando un dataset de capturas de pantalla apropiado desde cero. Por otro lado, aunque los avances de la IA son significativos en el aspecto cognitivo, la parte emocional de las personas es un desafío. La expresión facial es la mejor evidencia para manifestar y transmitir nuestras emociones. Aunque algunos datasets de imágenes faciales existen para entrenar modelos de DL, no ha sido posible alcanzar el alto rendimiento en entornos controlados utilizando datasets in-the-lab. Abordamos el reconocimiento y la clasificación de emociones humanas mediante la combinación de varios datasets in-the wild de imágenes faciales. Estas dos problemáticas plantean situaciones distintas y requieren de imágenes con contenido muy diferente, por lo que hemos diseñado un método de refinamiento del dataset según el caso de estudio. En el primer caso, implementamos un modelo de DL para clasificar páginas Web en determinadas categorías utilizando únicamente capturas de pantalla, donde los resultados demostraron un problema multiclase muy difícil. Tratamos el mismo problema con la estrategia One vs. Rest y mejoramos el dataset mediante reclasificación, detección de imágenes irrelevantes, equilibrio y representatividad, además de utilizar técnicas de regularización y un nuevo mecanismo de predicción con los clasificadores binarios. Estos clasificadores operando por separado mejoran el rendimiento, en promedio incrementan un 26.29% la precisión de validación y disminuyen un 42.30% el sobreajuste, mostrando importantes mejoras respecto al clasificador múltiple que opera con todas las categorías juntas. Utilizando el nuevo modelo, hemos desarrollado un sistema en línea para clasificar páginas Web que puede ayudar a diseñadores, propietarios de sitios Web, Webmasters y usuarios en general. En el segundo caso, la estrategia consiste en refinar progresivamente el dataset de imágenes faciales mediante varios entrenamientos sucesivos de un modelo de red convolucional. En cada entrenamiento, se utilizan las imágenes faciales correspondientes a las predicciones correctas del entrenamiento anterior, lo que permite al modelo captar más características distintivas de cada clase de emoción. Tras el último entrenamiento, el modelo realiza una reclasificación automática de todo el dataset. Este proceso también nos permite detectar las imágenes irrelevantes, pero nuestro propósito es mejorar el dataset sin modificar, borrar o aumentar las imágenes, a diferencia de otros trabajos similares. Los resultados experimentales en tres datasets representativos demostraron la eficacia del método propuesto, mejorando la precisión de validación en un 20.45%, 14.47% y 39.66%, para FER2013, NHFI y AffectNet, respectivamente. Las tasas de reconocimiento en las versiones reclasificadas de estos datasets son del 86.71%, el 70.44% y el 89.17%, que alcanzan el estado del arte. Combinamos estas versiones mejor clasificadas para aumentar el número de imágenes y enriquecer la diversidad de personas, gestos y atributos de resolución, color, fondo, iluminación y formato de imagen. El dataset resultante se utiliza para entrenar un modelo más general. Frente a la necesidad de métricas más realistas de la generalización de los modelos, creamos un dataset evaluador combinado, equilibrado, imparcial y bien etiquetado. Para tal fin, organizamos este dataset en categorías de género, edad y etnia. Utilizando un predictor de estas características representativas de la población, podemos seleccionar el mismo número de imágenes y mediante el exitoso modelo Stable Diffusion es posible generar las imágenes faciales necesarias para equilibrar las categorías creadas a partir de las mencionadas características. Los experimentos single-dataset y cross-dataset indican que el modelo entrenado en el dataset combinado mejora la generalización de los modelos entrenados individualmente en FER2013, NHFI y AffectNet en un 13.93%, 24.17% y 7.45%, respectivamente. Desarrollamos un sistema en línea de reconocimiento de emociones que aprovecha el modelo más genérico obtenido del dataset combinado. Por último, la buena calidad de las imágenes faciales sintéticas y la reducción de tiempo conseguida con el método generativo nos motivan para crear el primer y mayor dataset artificial de emociones categóricas. Este producto de libre acceso puede complementar los datasets reales, que son difíciles de recopilar, etiquetar, equilibrar, controlar las características y proteger la identidad de las personas.

[ES] El procesamiento del lenguaje natural (NLP) es un conjunto de problemas computacionales con aplicaciones de máxima relevancia, que junto con otras tecnologías informáticas se ha beneficiado de la revolución que ha significado el aprendizaje profundo. Esta tesis se centra en dos problemas fundamentales para el NLP: la traducción automática (MT) y el reconocimiento automático del habla o transcripción automática (ASR); así como en una arquitectura neuronal profunda, el Transformer, que pondremos en práctica para mejorar las soluciones de MT y ASR en algunas de sus aplicaciones. El ASR y MT pueden servir para obtener textos multilingües de alta calidad a un coste razonable para una diversidad de contenidos audiovisuales. Concre- tamente, esta tesis aborda problemas como el de traducción de noticias o el de subtitulación automática de televisión. El ASR y MT también se pueden com- binar entre sí, generando automáticamente subtítulos traducidos, o con otras soluciones de NLP: resumen de textos para producir resúmenes de discursos, o síntesis del habla para crear doblajes automáticos. Estas aplicaciones quedan fuera del alcance de esta tesis pero pueden aprovechar las contribuciones que contiene, en la meduda que ayudan a mejorar el rendimiento de los sistemas automáticos de los que dependen. Esta tesis contiene una aplicación de la arquitectura Transformer al MT tal y como fue concebida, mediante la que obtenemos resultados de primer nivel en traducción de lenguas semejantes. En capítulos subsecuentes, esta tesis aborda la adaptación del Transformer como modelo de lenguaje para sistemas híbri- dos de ASR en vivo. Posteriormente, describe la aplicación de este tipus de sistemas al caso de uso de subtitulación de televisión, participando en una com- petición pública de RTVE donde obtenemos la primera posición con un marge importante. También demostramos que la mejora se debe principalmenta a la tecnología desarrollada y no tanto a la parte de los datos. / [CA] El processament del llenguage natural (NLP) és un conjunt de problemes com- putacionals amb aplicacions de màxima rellevància, que juntament amb al- tres tecnologies informàtiques s'ha beneficiat de la revolució que ha significat l'impacte de l'aprenentatge profund. Aquesta tesi se centra en dos problemes fonamentals per al NLP: la traducció automàtica (MT) i el reconeixement automàtic de la parla o transcripció automàtica (ASR); així com en una ar- quitectura neuronal profunda, el Transformer, que posarem en pràctica per a millorar les solucions de MT i ASR en algunes de les seues aplicacions. l'ASR i MT poden servir per obtindre textos multilingües d'alta qualitat a un cost raonable per a un gran ventall de continguts audiovisuals. Concretament, aquesta tesi aborda problemes com el de traducció de notícies o el de subtitu- lació automàtica de televisió. l'ASR i MT també es poden combinar entre ells, generant automàticament subtítols traduïts, o amb altres solucions de NLP: amb resum de textos per produir resums de discursos, o amb síntesi de la parla per crear doblatges automàtics. Aquestes altres aplicacions es troben fora de l'abast d'aquesta tesi però poden aprofitar les contribucions que conté, en la mesura que ajuden a millorar els resultats dels sistemes automàtics dels quals depenen. Aquesta tesi conté una aplicació de l'arquitectura Transformer al MT tal com va ser concebuda, mitjançant la qual obtenim resultats de primer nivell en traducció de llengües semblants. En capítols subseqüents, aquesta tesi aborda l'adaptació del Transformer com a model de llenguatge per a sistemes híbrids d'ASR en viu. Posteriorment, descriu l'aplicació d'aquest tipus de sistemes al cas d'ús de subtitulació de continguts televisius, participant en una competició pública de RTVE on obtenim la primera posició amb un marge significant. També demostrem que la millora es deu principalment a la tecnologia desen- volupada i no tant a la part de les dades / [EN] Natural language processing (NLP) is a set of fundamental computing prob- lems with immense applicability, as language is the natural communication vehicle for people. NLP, along with many other computer technologies, has been revolutionized in recent years by the impact of deep learning. This thesis is centered around two keystone problems for NLP: machine translation (MT) and automatic speech recognition (ASR); and a common deep neural architec- ture, the Transformer, that is leveraged to improve the technical solutions for some MT and ASR applications. ASR and MT can be utilized to produce cost-effective, high-quality multilin- gual texts for a wide array of media. Particular applications pursued in this thesis are that of news translation or that of automatic live captioning of tele- vision broadcasts. ASR and MT can also be combined with each other, for instance generating automatic translated subtitles from audio, or augmented with other NLP solutions: text summarization to produce a summary of a speech, or speech synthesis to create an automatic translated dubbing, for in- stance. These other applications fall out of the scope of this thesis, but can profit from the contributions that it contains, as they help to improve the performance of the automatic systems on which they depend. This thesis contains an application of the Transformer architecture to MT as it was originally conceived, achieving state-of-the-art results in similar language translation. In successive chapters, this thesis covers the adaptation of the Transformer as a language model for streaming hybrid ASR systems. After- wards, it describes how we applied the developed technology for a specific use case in television captioning by participating in a competitive challenge and achieving the first position by a large margin. We also show that the gains came mostly from the improvement in technology capabilities over two years including that of the Transformer language model adapted for streaming, and the data component was minor. / Baquero Arnal, P. (2023). Transformer Models for Machine Translation and Streaming Automatic Speech Recognition [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/193680

(Magíster en derecho con mención en derecho internacional, inversiones, comercio y arbitraje)

El objeto principal de esta tesis ha sido el estudio del procesamiento lingüístico y prosódico en un sistema conversor de texto a voz, basado en concatenación de unidades para un hablante limeño del castellano. Basado en la información proporcionada por el estudio antes mencionado, se realizó el análisis, diseño e implementación de los módulos del procesamiento lingüísticoprosódico de un sistema conversor texto a voz; así como también, se hicieron los cambios necesarios en los módulos del sintetizador de voz, para aprovechar la información prosódica (duración segmental y contorno de frecuencia fundamental) proveniente de esos módulos. / Tesis

En la ruta del arco iris (Na rota do arco-íris) é um trabalho sobre as vivências de pessoas LGBTI – estudantes, professorxs e servidorxs– da Universidad de Costa Rica (UCR), a partir de suas experiências como sujeitxs com uma sexualidade dissidente dentro do mundo universitário. O arco-íris é a metáfora que representa nosso símbolo e bandeira de luta (falo em ‘nosso’ porque eu também sou uma pessoa dissidente no que diz respeito à sexualidade). Trata-se de um estudo qualitativo, descritivo, sensível e escrito com metáforas; a ferramenta ético-metodológica que usei foi diálogos (tradicionalmente se chamariam de entrevistas, mas eu faço uma proposta nova). Minha intenção (objetivo geral) foi compreender as vivências que, dentro do contexto da UCR, têm pessoas que se auto-identificam com identidades não heterossexuais respeito a experiências em torno da sua sexualidade dissidente dentro do espaço universitário. Pois bem, para contextualizar as vivências, é preciso considerar que, tanto no país quanto na universidade, a religiosidade e o machismo têm uma grande influência na população, o que incide em preconceitos pelas pessoas LGBTI. De fato, a discriminação está presente com muita força na universidade; adota uma multiplicidade de formas, ou seja, se manifesta em vários níveis e sob maneiras distintas. Porém, a universidade funciona como um micro-mundo inserido na sociedade costarriquenha, e estar no seu interior também é bom, visto que oferece certa proteção e possibilita experiências positivas dentro dele. Nesse sentido, as mesmas pessoas LGBTI têm criado iniciativas de reconhecimento e afirmação, tentando fazer da UCR um lugar (ainda) melhor para nós. Como balanço geral do estado atual da universidade neste tema, certamente posso afirmar que é melhor viver dentro dela que no ‘mundo externo’; contudo, isso não significa que a universidade seja o lugar ideal para esse grupo de pessoas, pois o trabalho a fazer no assunto das dissidências sexuais e de gênero ainda é muito amplo. / En la ruta del arco iris es un trabajo sobre vivencias de personas LGBTI –estudiantes, docente y administrativxs- de la Universidad de Costa Rica (UCR), a partir de sus experiencias como sujetxs con una sexualidad disidente dentro del mundo universitario. El arco iris es la metáfora que constituye nuestro símbolo y bandera de lucha (digo ‘nuestro’ porque yo soy también una persona disidente en cuanto a su sexualidad). Se trata de un estudio que es cualitativo, descriptivo, sensible y escrito con metáforas; la “herramienta” ético-metodológica que utilicé fueron diálogos (tradicionalmente se llamaría entrevistas, pero yo hago un planteamiento diferente, una propuesta nueva). Mi intención (objetivo general) fue comprender las vivencias que, en el contexto de la UCR, han tenido personas que se auto-identifican con identidades no heteronormativas, respecto a experiencias en torno a su sexualidad disidente dentro del espacio universitario. Ahora bien, para contextualizar las vivencias, es importante tener en consideración que –tanto en el país como en la universidad– la religiosidad y el machismo tienen una gran influencia en la población, lo cual incide en prejuicios que se tienen hacia las personas LGBTI. De hecho, la discriminación está presente con mucha fuerza en la universidad; toma una multiplicidad de formas, es decir, se manifiesta en varios niveles y bajo distintas maneras. No obstante, la universidad funciona como una burbuja inserta en la sociedad costarricense y estar en el interior de ese micro-mundo también es bueno, ya que brinda cierta protección y posibilita que se vivan experiencias positivas dentro de ella. En ese sentido, las mismas personas LGBTI han gestado iniciativas de reconocimiento y afirmación, buscando hacer de la UCR un lugar (aún) mejor para nosotrxs. A modo de balance general del estado actual de la universidad en la materia, ciertamente puedo afirmar que se vive mejor dentro de ella que en el ‘mundo fuera’; sin embargo, ello no significa que esté del todo bien. El trabajo por hacer en el tema de las disidencias sexuales y de género es muy amplio.

No description available.