Premi extraordinari ex-aequo en l'àmbit d'Electrònica i Telecomunicacions. Convocatoria 1999 - 2000 / Nearest Neighbour (NN) classifiers are one of the most celebrated algorithms in machine learning. In recent years, interest in these methods has flourished again in several fields (including statistics, machine learning and pattern recognition) since, in spite of their simplicity, they reveal as powerful non-parametric classification systems in real-world problems. The present work is mainly devoted to the development of new learning algorithms for these classifiers and is focused on the following topics:- Development of learning algorithms for crisp and soft k-NN classifiers with large margin- Extension and generalization of Kohonen's LVQ algorithms- Local stabilization techniques for ensembles of NN classifiers- Study of the finite-sample convergence of the on-line LVQ1 and k-means algorithmsBesides, a novel oriented principal component analysis (OPCA) addressed for featureextraction in classification is introduced. The method integrates the feature extraction into the classifier and performs global training to extract those features useful for the classifier. The application of this general technique in the context of NN classifiers derives in a problem of learning their weight metric.

Information Extraction (IE) can be defined as the task of automatically extracting preespecified kind of information from a text document. The extracted information is encoded in the required format and then can be used, for example, for text summarization or as accurate index to retrieve new documents.The main issue when building IE systems is how to obtain the knowledge needed to identify relevant information in a document. Today, IE systems are commonly based on extraction rules or IE patterns to represent the kind of information to be extracted. Most approaches to IE pattern acquisition require expert human intervention in many steps of the acquisition process. This dissertation presents a novel method for acquiring IE patterns, Essence, that significantly reduces the need for human intervention. The method is based on ELA, a specifically designed learning algorithm for acquiring IE patterns from unannotated corpora.The distinctive features of Essence and ELA are that 1) they permit the automatic acquisition of IE patterns from unrestricted and untagged text representative of the domain, due to 2) their ability to identify regularities around semantically relevant concept-words for the IE task by 3) using non-domain-specific lexical knowledge tools such as WordNet and 4) restricting the human intervention to defining the task, and validating and typifying the set of IE patterns obtained.Since Essence does not require a corpus annotated with the type of information to be extracted and it does makes use of a general purpose ontology and widely applied syntactic tools, it reduces the expert effort required to build an IE system and therefore also reduces the effort of porting the method to any domain.In order to Essence be validated we conducted a set of experiments to test the performance of the method. We used Essence to generate IE patterns for a MUC-like task. Nevertheless, the evaluation procedure for MUC competitions does not provide a sound evaluation of IE systems, especially of learning systems. For this reason, we conducted an exhaustive set of experiments to further test the abilities of Essence.The results of these experiments indicate that the proposed method is able to learn effective IE patterns.

La forta exigència de qualitat a que són sotmesos els productes actuals fa que els processos d'inspecció i control industrial ocupin, cada vegada més, un lloc destacat en la seva fabricació. La indústria relacionada amb els materials de superfície texturada i periòdica (malles metàl·liques, plàstics, paper, làmines, roba, etc.) no és aliena a aquest problema i, en l'actualitat, està esmerçant molts esforços en aquest camp. Un cas representatiu dels materials anteriors, que presenta una ampla problemàtica en quan a inspecció i control així com una elevada exigència de qualitat en l'acabat, és el teixit tèxtil.La majoria de defectes que es produeixen en el procés productiu d'un material tèxtil, com en tants altres materials i productes industrials, són detectats encara per inspectors humans. La seva feina és, en general, molt repetitiva i rutinària i, moltes vegades, el consum de temps que hi dediquen és molt elevat. A més cal fixar l'atenció en petits detalls situats en un camp extens, que sovint es troba en moviment, el que acaba produint fatiga visual en l'operari.En les últimes dècades, gràcies al gran desenvolupament tecnològic que hi ha hagut, estem assistint a una sèrie d'avenços, molt ràpids i de gran abast, en el món dels processos d'automatització i control. A conseqüència d'això, cada vegada el procés de producció és més ràpid, el que requereix que el control de qualitat també ho sigui.L'interès industrial en automatitzar les operacions d'inspecció és cada vegada més gran. A tall d'exemple la fira tèxtil internacional que reuneix més interès i expectació a nivell mundial, ITMA-99, celebrada aquest any a París, mostrava en els seus stands diferents productes dedicats a l'automatització dels processos d'inspecció i control de qualitat. Entre les ofertes d'aquesta fira cal citar una gran varietat d'instruments i dispositius: sensors òptics per inspeccionar la qualitat del fil en temps real en processos de filatura, espectrecolorímetres acoblats a l'estampadora i a la màquina de tintar per determinar amb més precisió el color, cameres lineals i cameres 2-D ultraràpides per detectar fils trencats en ordidors. En el camp del tissatge s'ha començat a veure en aquesta fira un sistema d'inspecció format per un conjunt (10 o 12) de cameres 2-D, situades damunt del teler, que detecta defectes locals que es poden produir en la roba durant el procés de producció. Des de la penúltima fira (ITMA-94) ha sigut novetat una màquina de repassar automàtica, on un sistema digital de processat format per 4 cameres i un potent ordinador, permet detectar una més ampla varietat de defectes locals i amb una velocitat nominal que pot arribar fins a 300 metres de roba per minut. Malgrat tot, les novetats aportades per la fira presenten grans limitacions: preu elevat, infrastructura complexa en la captació i processat de la imatge i, els resultats que s'obtenen només han estat validats per casos limitats (teixit de plana i d'un sol color). A més, si es té en compte que molts processos de producció són de tirada curta, canviant constantment el tipus d'article del teler, es necessita un sistema que sigui robust i versàtil, capaç de treballar amb diferents lligaments i colors i que el seu cost sigui més baix que el dels productes actuals.Revisant la última dècada, la més rellevant en el desenvolupament d'aquestes tecnologies, s'observa un clar increment en l'aplicació de tècniques de processat digital de la imatge a l'anàlisi de mostres texturades [Brzakovic-1992]. En el cas de la inspecció de materials tèxtils Chetverikov [Chetverikov-1988] desenvolupà un procés d'inspecció automàtica en teixits tèxtils que combina l'anàlisi de textures i la segmentació d'imatges. Neubauer [Neubauer-1992] segmentà defectes en mostres reals amb l'ajut d'una camera lineal i una xarxa neuronal. Siew et al. [Siew-1988] mesuraren les característiques texturals en catifes a partir d'estadístiques de primer i segon ordre aplicades als nivells de grisos de la imatge. Zhang i Bresse [Zhang-1995] detectaren i classificaren nusos, carreres i trencades mitjançant l'autocorrelació i operacions de morfologia matemàtica. Tsai et al. [Tsai-1995] detectaren i classificaren exactament quatre classes de defectes en teixits tèxtils utilitzant matrius de co-ocurrència i xarxes neuronals. Xu [Xu-1997] mesurà la rugositat en les superfícies de catifes a partir de la dimensió fractal de la imatge. Mitjançant tècniques combinades de filtrat Gaussià, umbralització, equalització de l'histograma i autocorrelació Kang et al. [Kang-1999] determinaren densitats lineals de fils en els direccions de trama i ordit per teixits de plana.La inspecció de materials texturats quasiperiòdics i, en particular els tèxtils, mitjançant tècniques de processat òptic-digital de la imatge és un camp d'investigació relativament poc treballat i que presenta un interès renovat. En aquest apartat es troben poques contribucions entre les que cal destacar Kang et al. [Kang-1999] que trobaven directament, a partir de la llum transmesa pel teixit, el punt de creuament dels fils en teixits de plana i Ciamberlini [Ciamberlini-1996] que operava amb la TF òptica de la llum transmesa pel teixit.Les eines que actualment estan al mercat són insuficients i es centren principalment en la resolució d'un aspecte: la detecció de defectes locals. En la literatura no és troben plantejaments generals que abastin des de models i procediments per caracteritzar les estructures fins a mecanismes que determinin la seva evolució o resistència davant d'agressions, la detecció de defectes globals en l'estructura i la detecció de defectes locals. Creiem que aquest plantejament general, que pot ser vàlid per a una gran varietat de materials, és també necessari. En aquest treball s'han aplicat, principalment a materials tèxtils, un conjunt d'eines inspirades en aquest plantejament.

[ES] El procesamiento del lenguaje natural (NLP) es un conjunto de problemas computacionales con aplicaciones de máxima relevancia, que junto con otras tecnologías informáticas se ha beneficiado de la revolución que ha significado el aprendizaje profundo. Esta tesis se centra en dos problemas fundamentales para el NLP: la traducción automática (MT) y el reconocimiento automático del habla o transcripción automática (ASR); así como en una arquitectura neuronal profunda, el Transformer, que pondremos en práctica para mejorar las soluciones de MT y ASR en algunas de sus aplicaciones. El ASR y MT pueden servir para obtener textos multilingües de alta calidad a un coste razonable para una diversidad de contenidos audiovisuales. Concre- tamente, esta tesis aborda problemas como el de traducción de noticias o el de subtitulación automática de televisión. El ASR y MT también se pueden com- binar entre sí, generando automáticamente subtítulos traducidos, o con otras soluciones de NLP: resumen de textos para producir resúmenes de discursos, o síntesis del habla para crear doblajes automáticos. Estas aplicaciones quedan fuera del alcance de esta tesis pero pueden aprovechar las contribuciones que contiene, en la meduda que ayudan a mejorar el rendimiento de los sistemas automáticos de los que dependen. Esta tesis contiene una aplicación de la arquitectura Transformer al MT tal y como fue concebida, mediante la que obtenemos resultados de primer nivel en traducción de lenguas semejantes. En capítulos subsecuentes, esta tesis aborda la adaptación del Transformer como modelo de lenguaje para sistemas híbri- dos de ASR en vivo. Posteriormente, describe la aplicación de este tipus de sistemas al caso de uso de subtitulación de televisión, participando en una com- petición pública de RTVE donde obtenemos la primera posición con un marge importante. También demostramos que la mejora se debe principalmenta a la tecnología desarrollada y no tanto a la parte de los datos. / [CA] El processament del llenguage natural (NLP) és un conjunt de problemes com- putacionals amb aplicacions de màxima rellevància, que juntament amb al- tres tecnologies informàtiques s'ha beneficiat de la revolució que ha significat l'impacte de l'aprenentatge profund. Aquesta tesi se centra en dos problemes fonamentals per al NLP: la traducció automàtica (MT) i el reconeixement automàtic de la parla o transcripció automàtica (ASR); així com en una ar- quitectura neuronal profunda, el Transformer, que posarem en pràctica per a millorar les solucions de MT i ASR en algunes de les seues aplicacions. l'ASR i MT poden servir per obtindre textos multilingües d'alta qualitat a un cost raonable per a un gran ventall de continguts audiovisuals. Concretament, aquesta tesi aborda problemes com el de traducció de notícies o el de subtitu- lació automàtica de televisió. l'ASR i MT també es poden combinar entre ells, generant automàticament subtítols traduïts, o amb altres solucions de NLP: amb resum de textos per produir resums de discursos, o amb síntesi de la parla per crear doblatges automàtics. Aquestes altres aplicacions es troben fora de l'abast d'aquesta tesi però poden aprofitar les contribucions que conté, en la mesura que ajuden a millorar els resultats dels sistemes automàtics dels quals depenen. Aquesta tesi conté una aplicació de l'arquitectura Transformer al MT tal com va ser concebuda, mitjançant la qual obtenim resultats de primer nivell en traducció de llengües semblants. En capítols subseqüents, aquesta tesi aborda l'adaptació del Transformer com a model de llenguatge per a sistemes híbrids d'ASR en viu. Posteriorment, descriu l'aplicació d'aquest tipus de sistemes al cas d'ús de subtitulació de continguts televisius, participant en una competició pública de RTVE on obtenim la primera posició amb un marge significant. També demostrem que la millora es deu principalment a la tecnologia desen- volupada i no tant a la part de les dades / [EN] Natural language processing (NLP) is a set of fundamental computing prob- lems with immense applicability, as language is the natural communication vehicle for people. NLP, along with many other computer technologies, has been revolutionized in recent years by the impact of deep learning. This thesis is centered around two keystone problems for NLP: machine translation (MT) and automatic speech recognition (ASR); and a common deep neural architec- ture, the Transformer, that is leveraged to improve the technical solutions for some MT and ASR applications. ASR and MT can be utilized to produce cost-effective, high-quality multilin- gual texts for a wide array of media. Particular applications pursued in this thesis are that of news translation or that of automatic live captioning of tele- vision broadcasts. ASR and MT can also be combined with each other, for instance generating automatic translated subtitles from audio, or augmented with other NLP solutions: text summarization to produce a summary of a speech, or speech synthesis to create an automatic translated dubbing, for in- stance. These other applications fall out of the scope of this thesis, but can profit from the contributions that it contains, as they help to improve the performance of the automatic systems on which they depend. This thesis contains an application of the Transformer architecture to MT as it was originally conceived, achieving state-of-the-art results in similar language translation. In successive chapters, this thesis covers the adaptation of the Transformer as a language model for streaming hybrid ASR systems. After- wards, it describes how we applied the developed technology for a specific use case in television captioning by participating in a competitive challenge and achieving the first position by a large margin. We also show that the gains came mostly from the improvement in technology capabilities over two years including that of the Transformer language model adapted for streaming, and the data component was minor. / Baquero Arnal, P. (2023). Transformer Models for Machine Translation and Streaming Automatic Speech Recognition [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/193680