[EN] Computers are now present everywhere, but their potential is not fully exploited due to some lack of acceptance. In this thesis, the pen computer paradigm is adopted, whose main idea is to replace all input devices by a pen and/or the fingers, given that the origin of the rejection comes from using unfriendly interaction devices that must be replaced by something easier for the user. This paradigm, that was was proposed several years ago, has been only recently fully implemented in products, such as the smartphones. But computers are actual illiterates that do not understand gestures or handwriting, thus a recognition step is required to "translate" the meaning of these interactions to computer-understandable language. And for this input modality to be actually usable, its recognition accuracy must be high enough. In order to realistically think about the broader deployment of pen computing, it is necessary to improve the accuracy of handwriting and gesture recognizers. This thesis is devoted to study different approaches to improve the recognition accuracy of those systems. First, we will investigate how to take advantage of interaction-derived information to improve the accuracy of the recognizer. In particular, we will focus on interactive transcription of text images. Here the system initially proposes an automatic transcript. If necessary, the user can make some corrections, implicitly validating a correct part of the transcript. Then the system must take into account this validated prefix to suggest a suitable new hypothesis. Given that in such application the user is constantly interacting with the system, it makes sense to adapt this interactive application to be used on a pen computer. User corrections will be provided by means of pen-strokes and therefore it is necessary to introduce a recognizer in charge of decoding this king of nondeterministic user feedback. However, this recognizer performance can be boosted by taking advantage of interaction-derived information, such as the user-validated prefix. Then, this thesis focuses on the study of human movements, in particular, hand movements, from a generation point of view by tapping into the kinematic theory of rapid human movements and the Sigma-Lognormal model. Understanding how the human body generates movements and, particularly understand the origin of the human movement variability, is important in the development of a recognition system. The contribution of this thesis to this topic is important, since a new technique (which improves the previous results) to extract the Sigma-lognormal model parameters is presented. Closely related to the previous work, this thesis study the benefits of using synthetic data as training. The easiest way to train a recognizer is to provide "infinite" data, representing all possible variations. In general, the more the training data, the smaller the error. But usually it is not possible to infinitely increase the size of a training set. Recruiting participants, data collection, labeling, etc., necessary for achieving this goal can be time-consuming and expensive. One way to overcome this problem is to create and use synthetically generated data that looks like the human. We study how to create these synthetic data and explore different approaches on how to use them, both for handwriting and gesture recognition. The different contributions of this thesis have obtained good results, producing several publications in international conferences and journals. Finally, three applications related to the work of this thesis are presented. First, we created Escritorie, a digital desk prototype based on the pen computer paradigm for transcribing handwritten text images. Second, we developed "Gestures à Go Go", a web application for bootstrapping gestures. Finally, we studied another interactive application under the pen computer paradigm. In this case, we study how translation reviewing can be done more ergonomically using a pen. / [ES] Hoy en día, los ordenadores están presentes en todas partes pero su potencial no se aprovecha debido al "miedo" que se les tiene. En esta tesis se adopta el paradigma del pen computer, cuya idea fundamental es sustituir todos los dispositivos de entrada por un lápiz electrónico o, directamente, por los dedos. El origen del rechazo a los ordenadores proviene del uso de interfaces poco amigables para el humano. El origen de este paradigma data de hace más de 40 años, pero solo recientemente se ha comenzado a implementar en dispositivos móviles. La lenta y tardía implantación probablemente se deba a que es necesario incluir un reconocedor que "traduzca" los trazos del usuario (texto manuscrito o gestos) a algo entendible por el ordenador. Para pensar de forma realista en la implantación del pen computer, es necesario mejorar la precisión del reconocimiento de texto y gestos. El objetivo de esta tesis es el estudio de diferentes estrategias para mejorar esta precisión. En primer lugar, esta tesis investiga como aprovechar información derivada de la interacción para mejorar el reconocimiento, en concreto, en la transcripción interactiva de imágenes con texto manuscrito. En la transcripción interactiva, el sistema y el usuario trabajan "codo con codo" para generar la transcripción. El usuario valida la salida del sistema proporcionando ciertas correcciones, mediante texto manuscrito, que el sistema debe tener en cuenta para proporcionar una mejor transcripción. Este texto manuscrito debe ser reconocido para ser utilizado. En esta tesis se propone aprovechar información contextual, como por ejemplo, el prefijo validado por el usuario, para mejorar la calidad del reconocimiento de la interacción. Tras esto, la tesis se centra en el estudio del movimiento humano, en particular del movimiento de las manos, utilizando la Teoría Cinemática y su modelo Sigma-Lognormal. Entender como se mueven las manos al escribir, y en particular, entender el origen de la variabilidad de la escritura, es importante para el desarrollo de un sistema de reconocimiento, La contribución de esta tesis a este tópico es importante, dado que se presenta una nueva técnica (que mejora los resultados previos) para extraer el modelo Sigma-Lognormal de trazos manuscritos. De forma muy relacionada con el trabajo anterior, se estudia el beneficio de utilizar datos sintéticos como entrenamiento. La forma más fácil de entrenar un reconocedor es proporcionar un conjunto de datos "infinito" que representen todas las posibles variaciones. En general, cuanto más datos de entrenamiento, menor será el error del reconocedor. No obstante, muchas veces no es posible proporcionar más datos, o hacerlo es muy caro. Por ello, se ha estudiado como crear y usar datos sintéticos que se parezcan a los reales. Las diferentes contribuciones de esta tesis han obtenido buenos resultados, produciendo varias publicaciones en conferencias internacionales y revistas. Finalmente, también se han explorado tres aplicaciones relaciones con el trabajo de esta tesis. En primer lugar, se ha creado Escritorie, un prototipo de mesa digital basada en el paradigma del pen computer para realizar transcripción interactiva de documentos manuscritos. En segundo lugar, se ha desarrollado "Gestures à Go Go", una aplicación web para generar datos sintéticos y empaquetarlos con un reconocedor de forma rápida y sencilla. Por último, se presenta un sistema interactivo real bajo el paradigma del pen computer. En este caso, se estudia como la revisión de traducciones automáticas se puede realizar de forma más ergonómica. / [CA] Avui en dia, els ordinadors són presents a tot arreu i es comunament acceptat que la seva utilització proporciona beneficis. No obstant això, moltes vegades el seu potencial no s'aprofita totalment. En aquesta tesi s'adopta el paradigma del pen computer, on la idea fonamental és substituir tots els dispositius d'entrada per un llapis electrònic, o, directament, pels dits. Aquest paradigma postula que l'origen del rebuig als ordinadors prové de l'ús d'interfícies poc amigables per a l'humà, que han de ser substituïdes per alguna cosa més coneguda. Per tant, la interacció amb l'ordinador sota aquest paradigma es realitza per mitjà de text manuscrit i/o gestos. L'origen d'aquest paradigma data de fa més de 40 anys, però només recentment s'ha començat a implementar en dispositius mòbils. La lenta i tardana implantació probablement es degui al fet que és necessari incloure un reconeixedor que "tradueixi" els traços de l'usuari (text manuscrit o gestos) a alguna cosa comprensible per l'ordinador, i el resultat d'aquest reconeixement, actualment, és lluny de ser òptim. Per pensar de forma realista en la implantació del pen computer, cal millorar la precisió del reconeixement de text i gestos. L'objectiu d'aquesta tesi és l'estudi de diferents estratègies per millorar aquesta precisió. En primer lloc, aquesta tesi investiga com aprofitar informació derivada de la interacció per millorar el reconeixement, en concret, en la transcripció interactiva d'imatges amb text manuscrit. En la transcripció interactiva, el sistema i l'usuari treballen "braç a braç" per generar la transcripció. L'usuari valida la sortida del sistema donant certes correccions, que el sistema ha d'usar per millorar la transcripció. En aquesta tesi es proposa utilitzar correccions manuscrites, que el sistema ha de reconèixer primer. La qualitat del reconeixement d'aquesta interacció és millorada, tenint en compte informació contextual, com per exemple, el prefix validat per l'usuari. Després d'això, la tesi se centra en l'estudi del moviment humà en particular del moviment de les mans, des del punt de vista generatiu, utilitzant la Teoria Cinemàtica i el model Sigma-Lognormal. Entendre com es mouen les mans en escriure és important per al desenvolupament d'un sistema de reconeixement, en particular, per entendre l'origen de la variabilitat de l'escriptura. La contribució d'aquesta tesi a aquest tòpic és important, atès que es presenta una nova tècnica (que millora els resultats previs) per extreure el model Sigma- Lognormal de traços manuscrits. De forma molt relacionada amb el treball anterior, s'estudia el benefici d'utilitzar dades sintètiques per a l'entrenament. La forma més fàcil d'entrenar un reconeixedor és proporcionar un conjunt de dades "infinit" que representin totes les possibles variacions. En general, com més dades d'entrenament, menor serà l'error del reconeixedor. No obstant això, moltes vegades no és possible proporcionar més dades, o fer-ho és molt car. Per això, s'ha estudiat com crear i utilitzar dades sintètiques que s'assemblin a les reals. Les diferents contribucions d'aquesta tesi han obtingut bons resultats, produint diverses publicacions en conferències internacionals i revistes. Finalment, també s'han explorat tres aplicacions relacionades amb el treball d'aquesta tesi. En primer lloc, s'ha creat Escritorie, un prototip de taula digital basada en el paradigma del pen computer per realitzar transcripció interactiva de documents manuscrits. En segon lloc, s'ha desenvolupat "Gestures à Go Go", una aplicació web per a generar dades sintètiques i empaquetar-les amb un reconeixedor de forma ràpida i senzilla. Finalment, es presenta un altre sistema inter- actiu sota el paradigma del pen computer. En aquest cas, s'estudia com la revisió de traduccions automàtiques es pot realitzar de forma més ergonòmica. / Martín-Albo Simón, D. (2016). Contributions to Pen & Touch Human-Computer Interaction [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/68482

Nowadays, the main libraries and document archives are investing a considerable effort on digitizing their collections. Indeed, most of them are scanning the documents and publishing the resulting images without their corresponding transcriptions. This seriously limits the document exploitation possibilities. When the transcription is necessary, it is manually performed by human experts, which is a very expensive and error-prone task. Obtaining transcriptions to the level of required quality demands the intervention of human experts to review and correct the resulting output of the recognition engines. To this end, it is extremely useful to provide interactive tools to obtain and edit the transcription. Although text recognition is the final goal, several previous steps (known as preprocessing) are necessary in order to get a fine transcription from a digitized image. Document cleaning, enhancement, and binarization (if they are needed) are the first stages of the recognition pipeline. Historical Handwritten Documents, in addition, show several degradations, stains, ink-trough and other artifacts. Therefore, more sophisticated and elaborate methods are required when dealing with these kind of documents, even expert supervision in some cases is needed. Once images have been cleaned, main zones of the image have to be detected: those that contain text and other parts such as images, decorations, versal letters. Moreover, the relations among them and the final text have to be detected. Those preprocessing steps are critical for the final performance of the system since an error at this point will be propagated during the rest of the transcription process. The ultimate goal of the Document Image Analysis pipeline is to receive the transcription of the text (Optical Character Recognition and Handwritten Text Recognition). During this thesis we aimed to improve the main stages of the recognition pipeline, from the scanned documents as input to the final transcription. We focused our effort on applying Neural Networks and deep learning techniques directly on the document images to extract suitable features that will be used by the different tasks dealt during the following work: Image Cleaning and Enhancement (Document Image Binarization), Layout Extraction, Text Line Extraction, Text Line Normalization and finally decoding (or text line recognition). As one can see, the following work focuses on small improvements through the several Document Image Analysis stages, but also deals with some of the real challenges: historical manuscripts and documents without clear layouts or very degraded documents. Neural Networks are a central topic for the whole work collected in this document. Different convolutional models have been applied for document image cleaning and enhancement. Connectionist models have been used, as well, for text line extraction: first, for detecting interest points and combining them in text segments and, finally, extracting the lines by means of aggregation techniques; and second, for pixel labeling to extract the main body area of the text and then the limits of the lines. For text line preprocessing, i.e., to normalize the text lines before recognizing them, similar models have been used to detect the main body area and then to height-normalize the images giving more importance to the central area of the text. Finally, Convolutional Neural Networks and deep multilayer perceptrons have been combined with hidden Markov models to improve our transcription engine significantly. The suitability of all these approaches has been tested with different corpora for any of the stages dealt, giving competitive results for most of the methodologies presented. / Hoy en día, las principales librerías y archivos está invirtiendo un esfuerzo considerable en la digitalización de sus colecciones. De hecho, la mayoría están escaneando estos documentos y publicando únicamente las imágenes sin transcripciones, limitando seriamente la posibilidad de explotar estos documentos. Cuando la transcripción es necesaria, esta se realiza normalmente por expertos de forma manual, lo cual es una tarea costosa y propensa a errores. Si se utilizan sistemas de reconocimiento automático se necesita la intervención de expertos humanos para revisar y corregir la salida de estos motores de reconocimiento. Por ello, es extremadamente útil para proporcionar herramientas interactivas con el fin de generar y corregir la transcripciones. Aunque el reconocimiento de texto es el objetivo final del Análisis de Documentos, varios pasos previos (preprocesamiento) son necesarios para conseguir una buena transcripción a partir de una imagen digitalizada. La limpieza, mejora y binarización de las imágenes son las primeras etapas del proceso de reconocimiento. Además, los manuscritos históricos tienen una mayor dificultad en el preprocesamiento, puesto que pueden mostrar varios tipos de degradaciones, manchas, tinta a través del papel y demás dificultades. Por lo tanto, este tipo de documentos requiere métodos de preprocesamiento más sofisticados. En algunos casos, incluso, se precisa de la supervisión de expertos para garantizar buenos resultados en esta etapa. Una vez que las imágenes han sido limpiadas, las diferentes zonas de la imagen deben de ser localizadas: texto, gráficos, dibujos, decoraciones, letras versales, etc. Por otra parte, también es importante conocer las relaciones entre estas entidades. Estas etapas del pre-procesamiento son críticas para el rendimiento final del sistema, ya que los errores cometidos en aquí se propagarán al resto del proceso de transcripción. El objetivo principal del trabajo presentado en este documento es mejorar las principales etapas del proceso de reconocimiento completo: desde las imágenes escaneadas hasta la transcripción final. Nuestros esfuerzos se centran en aplicar técnicas de Redes Neuronales (ANNs) y aprendizaje profundo directamente sobre las imágenes de los documentos, con la intención de extraer características adecuadas para las diferentes tareas: Limpieza y Mejora de Documentos, Extracción de Líneas, Normalización de Líneas de Texto y, finalmente, transcripción del texto. Como se puede apreciar, el trabajo se centra en pequeñas mejoras en diferentes etapas del Análisis y Procesamiento de Documentos, pero también trata de abordar tareas más complejas: manuscritos históricos, o documentos que presentan degradaciones. Las ANNs y el aprendizaje profundo son uno de los temas centrales de esta tesis. Diferentes modelos neuronales convolucionales se han desarrollado para la limpieza y mejora de imágenes de documentos. También se han utilizado modelos conexionistas para la extracción de líneas: primero, para detectar puntos de interés y segmentos de texto y, agregarlos para extraer las líneas del documento; y en segundo lugar, etiquetando directamente los píxeles de la imagen para extraer la zona central del texto y así definir los límites de las líneas. Para el preproceso de las líneas de texto, es decir, la normalización del texto antes del reconocimiento final, se han utilizado modelos similares a los mencionados para detectar la zona central del texto. Las imagenes se rescalan a una altura fija dando más importancia a esta zona central. Por último, en cuanto a reconocimiento de escritura manuscrita, se han combinado técnicas de ANNs y aprendizaje profundo con Modelos Ocultos de Markov, mejorando significativamente los resultados obtenidos previamente por nuestro motor de reconocimiento. La idoneidad de todos estos enfoques han sido testeados con diferentes corpus en cada una de las tareas tratadas., obtenie / Avui en dia, les principals llibreries i arxius històrics estan invertint un esforç considerable en la digitalització de les seues col·leccions de documents. De fet, la majoria estan escanejant aquests documents i publicant únicament les imatges sense les seues transcripcions, fet que limita seriosament la possibilitat d'explotació d'aquests documents. Quan la transcripció del text és necessària, normalment aquesta és realitzada per experts de forma manual, la qual cosa és una tasca costosa i pot provocar errors. Si s'utilitzen sistemes de reconeixement automàtic es necessita la intervenció d'experts humans per a revisar i corregir l'eixida d'aquests motors de reconeixement. Per aquest motiu, és extremadament útil proporcionar eines interactives amb la finalitat de generar i corregir les transcripcions generades pels motors de reconeixement. Tot i que el reconeixement del text és l'objectiu final de l'Anàlisi de Documents, diversos passos previs (coneguts com preprocessament) són necessaris per a l'obtenció de transcripcions acurades a partir d'imatges digitalitzades. La neteja, millora i binarització de les imatges (si calen) són les primeres etapes prèvies al reconeixement. A més a més, els manuscrits històrics presenten una major dificultat d'analisi i preprocessament, perquè poden mostrar diversos tipus de degradacions, taques, tinta a través del paper i altres peculiaritats. Per tant, aquest tipus de documents requereixen mètodes de preprocessament més sofisticats. En alguns casos, fins i tot, es precisa de la supervisió d'experts per a garantir bons resultats en aquesta etapa. Una vegada que les imatges han sigut netejades, les diferents zones de la imatge han de ser localitzades: text, gràfics, dibuixos, decoracions, versals, etc. D'altra banda, també és important conéixer les relacions entre aquestes entitats i el text que contenen. Aquestes etapes del preprocessament són crítiques per al rendiment final del sistema, ja que els errors comesos en aquest moment es propagaran a la resta del procés de transcripció. L'objectiu principal del treball que estem presentant és millorar les principals etapes del procés de reconeixement, és a dir, des de les imatges escanejades fins a l'obtenció final de la transcripció del text. Els nostres esforços se centren en aplicar tècniques de Xarxes Neuronals (ANNs) i aprenentatge profund directament sobre les imatges de documents, amb la intenció d'extraure característiques adequades per a les diferents tasques analitzades: neteja i millora de documents, extracció de línies, normalització de línies de text i, finalment, transcripció. Com es pot apreciar, el treball realitzat aplica xicotetes millores en diferents etapes de l'Anàlisi de Documents, però també tracta d'abordar tasques més complexes: manuscrits històrics, o documents que presenten degradacions. Les ANNs i l'aprenentatge profund són un dels temes centrals d'aquesta tesi. Diferents models neuronals convolucionals s'han desenvolupat per a la neteja i millora de les dels documents. També s'han utilitzat models connexionistes per a la tasca d'extracció de línies: primer, per a detectar punts d'interés i segments de text i, agregar-los per a extraure les línies del document; i en segon lloc, etiquetant directament els pixels de la imatge per a extraure la zona central del text i així definir els límits de les línies. Per al preprocés de les línies de text, és a dir, la normalització del text abans del reconeixement final, s'han utilitzat models similars als utilitzats per a l'extracció de línies. Finalment, quant al reconeixement d'escriptura manuscrita, s'han combinat tècniques de ANNs i aprenentatge profund amb Models Ocults de Markov, que han millorat significativament els resultats obtinguts prèviament pel nostre motor de reconeixement. La idoneïtat de tots aquests enfocaments han sigut testejats amb diferents corpus en cadascuna de les tasques tractad / Pastor Pellicer, J. (2017). Neural Networks for Document Image and Text Processing [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/90443

The purpose of this study is to determine if elementary school children progress faster in academic or tool subjects when taught through interest units in an integrated curriculum or when taught the separate subjects by a traditional method. Reading, spelling, and handwriting are used as illustrative subjects in the sixth grade with reading only in the second grade.

[ES] En esta tesis se abordan problemas no resueltos en el campo de la Inteligencia Artificial aplicada a documentos históricos manuscritos. Primero haremos un recorrido por diversas técnicas y conceptos que se utilizarán durante la tesis. Se explorarán diferentes formas de representar datos, incluidas imágenes, texto y grafos. Se introducirá el concepto de Índices Probabilísticos (PrIx) para la representación textual y se explicará su codificación usando TfIdf. También se discutirá la selección de las mejores características de entrada para redes neuronales mediante Information Gain (IG). En el ámbito de las redes neuronales, se abordarán modelos específicos como Multilayer Perceptron (MLP), Redes Neuronales Convolucionales (CNNs) y redes basadas en grafos (GNNs), además de una breve introducción a los transformers. El primer problema que aborda la tesis es la segmentación de libros históricos manuscritos en unidades semánticas, un desafío complejo y recurrente en archivos de todo el mundo. A diferencia de los libros modernos, donde la segmentación en capítulos es más sencilla, los libros históricos presentan desafíos únicos debido a su irregularidad y posible mala conservación. La tesis define formalmente este problema por primera vez y propone un pipeline para extraer consistentemente las unidades semánticas en dos variantes: una con restricciones del corpus y otra sin ellas. Se emplearán diferentes tipos de redes neuronales, incluidas CNNs para la clasificación de partes de la imagen y RPNs y transformers para detectar y clasificar regiones. Además, se introduce una nueva métrica para medir la pérdida de información en la detección, alineación y transcripción de estas unidades semánticas. Finalmente, se comparan diferentes métodos de ``decoding'' y se evalúan los resultados en hasta cinco conjuntos de datos diferentes. En otro capítulo, la tesis aborda el desafío de clasificar documentos históricos manuscritos no transcritos, específicamente actos notariales en el Archivo Provincial Histórico de Cádiz. Se desarrollará un framework que utiliza Índices Probabilísticos (PrIx) para clasificar estos documentos y se comparará con transcripciones 1-best obtenidas mediante técnicas de Reconocimiento de Texto Manuscrito (HTR). Además de la clasificación convencional en un conjunto cerrado de clases (Close Set Classification, CSC), la tesis introduce el framework de Open Set Classification (OSC). Este enfoque no solo clasifica documentos en clases predefinidas, sino que también identifica aquellos que no pertenecen a ninguna de las clases establecidas, permitiendo que un experto los etiquete. Se compararán varias técnicas para este fin y se propondrán dos. Una sin umbral en las probabilidades a posteriori generadas por el modelo de red neuronal, y otra que utiliza un umbral en las mismas, con la opción de ajustarlo manualmente según las necesidades del experto. En un tercer capítulo, la tesis se centra en la Extracción de Información (IE) de documentos tabulares manuscritos. Se desarrolla un pipeline que comienza con la detección de texto en imágenes con tablas, línea por línea, seguido de su transcripción mediante técnicas de HTR. De forma paralela, se entrenarán diferentes modelos para identificar la estructura de las tablas, incluidas filas, columnas y secciones de cabecera. El pipeline también aborda problemas comunes en tablas manuscritas, como el multi-span de columnas y la sustitución de texto entre comillas. Además, se emplea un modelo de lenguaje entrenado específicamente para detectar automáticamente las cabeceras de las tablas. Se utilizarán dos conjuntos de datos para demostrar la eficacia del pipeline en la tarea de IE, y se identificarán las áreas de mejora en el propio pipeline para futuras investigaciones. / [CA] En aquesta tesi s'aborden problemes no resolts en el camp de la Intel·ligència Artificial aplicada a documents històrics manuscrits. Primer farem un recorregut per diverses tècniques i conceptes que s'utilitzaran durant la tesi. S'exploraran diferents formes de representar dades, incloses imatges, text i grafos. S'introduirà el concepte d'Índexs Probabilístics (PrIx) per a la representació textual i s'explicarà la seva codificació usant TfIdf. També es discutirà la selecció de les millors característiques d'entrada per a xarxes neuronals mitjançant Information Gain (IG). En l'àmbit de les xarxes neuronals, s'abordaran models específics com Multilayer Perceptron (MLP), Xarxes Neuronals Convolucionals (CNNs) i xarxes basades en grafos (GNNs), a més d'una breu introducció als transformers. El primer problema que aborda la tesi és la segmentació de llibres històrics manuscrits en unitats semàntiques, un desafiament complex i recurrent en arxius de tot el món. A diferència dels llibres moderns, on la segmentació en capítols és més senzilla, els llibres històrics presenten desafiaments únics degut a la seva irregularitat i possible mala conservació. La tesi defineix formalment aquest problema per primera vegada i proposa un pipeline per extreure consistentment les unitats semàntiques en dues variants: una amb restriccions del corpus i una altra sense elles. S'empraran diferents tipus de xarxes neuronals, incloses CNNs per a la classificació de parts de la imatge i RPNs i transformers per detectar i classificar regions. A més, s'introdueix una nova mètrica per mesurar la pèrdua d'informació en la detecció, alineació i transcripció d'aquestes unitats semàntiques. Finalment, es compararan diferents mètodes de ``decoding'' i s'avaluaran els resultats en fins a cinc conjunts de dades diferents. En un altre capítol, la tesi aborda el desafiament de classificar documents històrics manuscrits no transcrits, específicament actes notarials a l'Arxiu Provincial Històric de Càdiz. Es desenvoluparà un marc que utilitza Índexs Probabilístics (PrIx) per classificar aquests documents i es compararà amb transcripcions 1-best obtingudes mitjançant tècniques de Reconèixer Text Manuscrit (HTR). A més de la classificació convencional en un conjunt tancat de classes (Close Set Classification, CSC), la tesi introdueix el marc d'Open Set Classification (OSC). Aquest enfocament no només classifica documents en classes predefinides, sinó que també identifica aquells que no pertanyen a cap de les classes establertes, permetent que un expert els etiqueti. Es compararan diverses tècniques per a aquest fi i es proposaran dues. Una sense llindar en les probabilitats a posteriori generades pel model de xarxa neuronal, i una altra que utilitza un llindar en les mateixes, amb l'opció d'ajustar-lo manualment segons les necessitats de l'expert. En un tercer capítol, la tesi es centra en l'Extracció d'Informació (IE) de documents tabulars manuscrits. Es desenvolupa un pipeline que comença amb la detecció de text en imatges amb taules, línia per línia, seguit de la seva transcripció mitjançant tècniques de HTR. De forma paral·lela, s'entrenaran diferents models per identificar l'estructura de les taules, incloses files, columnes i seccions de capçalera. El pipeline també aborda problemes comuns en taules manuscrites, com ara el multi-span de columnes i la substitució de text entre cometes. A més, s'empra un model de llenguatge entrenat específicament per detectar automàticament les capçaleres de les taules. S'utilitzaran dos conjunts de dades per demostrar l'eficàcia del pipeline en la tasca de IE, i s'identificaran les àrees de millora en el propi pipeline per a futures investigacions. / [EN] This thesis addresses unresolved issues in the field of Artificial Intelligence as applied to historical handwritten documents. The challenges include not only the degradation of the documents but also the scarcity of available data for training specialized models. This limitation is particularly relevant when the trend is to use large datasets and massive models to achieve significant breakthroughs. First, we provide an overview of various techniques and concepts used throughout the thesis. Different ways of representing data are explored, including images, text, and graphs. Probabilistic Indices (PrIx) are introduced for textual representation and its encoding using TfIdf is be explained. We also discuss selecting the best input features for neural networks using Information Gain (IG). In the realm of neural networks, specific models such as Multilayer Perceptron (MLP), Convolutional Neural Networks (CNNs), and graph-based networks (GNNs) are covered, along with a brief introduction to transformers. The first problem addressed in this thesis is the segmentation of historical handwritten books into semantic units, a complex and recurring challenge in archives worldwide. Unlike modern books, where chapter segmentation is relatively straightforward, historical books present unique challenges due to their irregularities and potential poor preservation. To the best of our knowledge, this thesis formally defines this problem. We propose a pipeline to consistently extract these semantic units in two variations: one with corpus-specific constraints and another without them. Various types of neural networks are employed, including Convolutional Neural Networks (CNNs) for classifying different parts of the image and Region Proposal Networks (RPNs) and transformers for detecting and classifying regions. Additionally, a new metric is introduced to measure the information loss in the detection, alignment, and transcription of these semantic units. Finally, different decoding methods are compared, and the results are evaluated across up to five different datasets. In another chapter, we tackle the challenge of classifying non-transcribed historical handwritten documents, specifically notarial deeds, from the Provincial Historical Archive of Cádiz. A framework is developed that employs Probabilistic Indices (PrIx) for classifying these documents, and this is compared to 1-best transcriptions obtained through Handwritten Text Recognition (HTR) techniques. In addition to conventional classification within a closed set of classes (Close Set Classification, CSC), this thesis introduces the Open Set Classification (OSC) framework. This approach not only classifies documents into predefined classes but also identifies those that do not belong to any of the established classes, allowing an expert to label them. Various techniques are compared, and two are proposed. One approach without using a threshold on the posterior probabilities generated by the neural network model. At the same time, the other employs a threshold on these probabilities, with the option for manual adjustment according to the expert's needs. In a third chapter, this thesis focuses on Information Extraction (IE) from handwritten tabular documents. A pipeline is developed that starts with detecting text in images containing tables, line by line, followed by its transcription using HTR techniques. In parallel, various models are trained to identify the structure of the tables, including rows, columns, and header sections. The pipeline also addresses common issues in handwritten tables, such as multi-span columns and substituting ditto marks. Additionally, a language model specifically trained to detect table headers automatically is employed. Two datasets are used to demonstrate the effectiveness of the pipeline in the IE task, and areas for improvement within the pipeline itself are identified for future research. / Prieto Fontcuberta, JR. (2024). Deep Learning Methodologies for Textual and Graphical Content-Based Analysis of Handwritten Text Images [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/206075

Grafomotorické dovednosti (GA) představují skupinu psychomotorických procesů, které se zapojují během kreslení a psaní. GA jsou nutnou prerekvizitou pro zvládání základních školních schopností, konkrétně psaní. Děti v první a druhé třídě mohou mít potíže s prováděním jednoduchých grafomotorických úkolů (GD) a později ve třetí a čtvrté třídě také se samotným psaním (HD). Narušení procesů spojených se psaním je obecně nazýváno jako vývojová dysgrafie (DD). Prevalence DD v České republice se pohybuje kolem 3–5 %. V současné době je DD hodnocena subjektivně týmem psychologů a speciálních pedagogů. V praxi stále chybí objektivní měřicí nástroj, který by umožňoval hodnocení GD a HD. Z tohoto důvodu se tato disertační práce zabývá identifikováním symptomů spojených s grafomotorickou neobratností u dětí školního věku a vývojem nových parametrů, které je budou kvantifikovat. Byl vytvořen komplexní GA protokol (36 úloh), který představuje prostředí, ve kterém se mohou projevit různé symptomy spojené s GD a HD. K těmto symptomům bylo přiřazeno 76 kvantifikujících parametrů. Dále byla navrhnuta nová škála grafomotorických obtíží (GDRS) založena na automatizovaném zpracování online píma. Nakonec byla prezentována a otestována nová sada parametrizačních technik založených na Tunable Q Factor Wavelet Transform (TQWT). Parametry TQWT dokážou kvantifikovat grafomotorickou obratnost nebo nedostatečný projev v jemné motorice. GDRS přestavuje nový, moderní a objektivní měřící nástroj, který doposud chyběl jak v České republice, tak v zahraničí. Použití škály by pomohlo modernizovat jak diagnostiku DD, tak reedukační/remediační proces. Další výzkum by tento nástroj mohl adaptovat i do jiných jazyků. Navíc, tato metodologie může být použita a optimalizována pro diagnostiku dalších nemocí a poruch, které ovlivňují grafomotorické dovednosti, například pro autismus, poruchu pozornosti s hyperaktivitou (ADHD) nebo dyspraxii (DCD).

The aim of this research is to investigate how handwriting as an individualisation technique in fraud investigation can be used by police detectives, SARS investigators and forensic investigation specialists, who are responsible for the investigation and linking the perpetrator, with a view to criminal prosecution. A further intent was to share and introduce a number of important concepts, namely: criminal investigation, identification, individualisation, fraud, evidence and handwriting. The research will explain the sophisticated investigation techniques used to obtain sufficient information to prove the true facts in a court of law. Identification is the collective aspect of the set of characteristics by which an object is definitively recognisable or known, while the individual characteristics establish the individuality of a specific object. Many types of evidence may be used to link an individual with a crime scene, and associate that individual with the performed illegal handling. It also explained that during a cheque/document fraud investigation, it is in most cases the only link to information to trace, identify and individualise the perpetrator, and to obtain a handwriting specimen. It is also discussed how to eliminate a person being a writer of a document, and how to collect, package and mark a disputed document during the investigation. If the investigators use their knowledge of these concepts, it should enhance their investigative skills, and empower them to be become better equipped for the challenges they face in identifying, individualising and linking the perpetrators, in order to ensure successful prosecution and conviction. / Police Practice / M.Tech. (Forensic Investigation)

Atualmente, a temática da dislexia e do transtorno déficit de atenção/hiperatividade passou a ocupar os mais diversos espaços acadêmicos e políticos, com manchetes de especialistas nos programas de televisão, rádio, jornais, e criação de diversos projetos de lei que se propõem a criar serviços de diagnóstico e tratamento nas secretarias de educação. Em todos esses espaços sociais, estes supostos distúrbios são apresentados como doenças neurológicas, que explicariam dificuldades encontradas pelas crianças em seu processo de escolarização. Se, por um lado, temos este quadro de afirmação da suposta doença; por outro há um conjunto de autores que têm questionado tais distúrbios e reiterado a necessidade de compreender a complexidade do processo de alfabetização das crianças iniciantes (no caso da dislexia) e todo o contexto sociocultural que envolve o comportamento das crianças na atualidade (no caso do TDAH). O presente trabalho, por meio de uma abordagem qualitativa de estudo de caso, investiga a história do processo de escolarização, a produção do diagnóstico de dislexia e seus efeitos nas relações escolares de crianças em fase inicial de aquisição da leitura e da escrita. Foram realizadas entrevistas com a mãe, coordenadora pedagógica, professoras e criança diagnosticada, além da análise do laudo realizado por equipe multidisciplinar. No discurso da mãe sobre a história escolar do filho surge o tema das dificuldades escolares trazido como um problema da criança, que teria algo a menos ou em quem faltaria algo a mais. Esta concepção instaura um processo diagnóstico, gerando um tratamento que constitui o processo de medicalização e de culpabilização da criança e de sua família pelo não aprender na escola. As vozes das professoras, não escutadas durante o processo diagnóstico, denunciam que diferentes concepções de desenvolvimento, de aprendizagem e crenças sobre os alunos resultam em relações, ações pedagógicas e, portanto, possibilidades de aprendizagem também distintas. O diagnóstico encontrado, foi realizado ao largo da escola o que evidencia a concepção de desenvolvimento humano na qual se pauta, partindo do pressuposto que a dificuldade pertence à criança. A avaliação incluiu apenas aplicação de testes de diversas áreas tais como psicologia, fonoaudiologia e neurologia, ignorando resultados de pesquisas recentes que inviabilizam o uso de alguns deles por não estarem relacionados ao alegado distúrbio e utilizando outros relacionados exatamente ao motivo do encaminhamento para a avaliação: questões de leitura e escrita. Ter um diagnóstico de dislexia cristaliza um movimento, um processo dinâmico que é o de aprendizagem e desenvolvimento. Desta forma o diagnóstico segue orientado somente para a falta e para as dificuldades estabelecendo limites a priori para o desenvolvimento do sujeito. Além desses efeitos relacionados à aprendizagem, existem outros decorrentes da medicação que parecem inerentes ao diagnóstico de dislexia acompanhado de TDAH. A criança vive na escola relações estigmatizadas que contribuíram na constituição de sua subjetividade, pautada na doença e nas limitações impostas pelo rótulo diagnóstico / Nowadays dyslexia and ADDH (Attention Deficit Disorder with Hyperactivity) topics are gaining larger place in the media. This stimulates a series of law projects intended to create public services of diagnosis and treatment. In this attempt of controlling and managing the problem, these so called \"disorders\", are rather quickly defined by operators and specialists as neurological diseases, which would logically explain the difficulties incurred by children during their schooling process and partially solve teachers and parents headaches on that matter. If practitioners now tend to legitimate this supposed illness, on the other hand, there are many serious authors questioning such straight definition, empathizing two ideas: the urgent necessity of fully understand the complexity of literacy process in beginner children and the necessity to grasp the sociocultural context that surrounds children education and behavior in the present time. This work investigates, by means of a qualitative case study, the diagnosis dyslexia of a child during the schooling process acquiring reading and writing abilities, and consequences of this diagnosis on his relations at school. We hereby present interviews with the mother, the pedagogical coordinator, with the teachers and with the diagnosed child himself. The study also presents the analysis of the report made by the multidisciplinary team responsible for evaluation. The mother of the child that is object of the study presents her sons problems as a lack of something that differentiates him from others in the educational process. This conception establishes the base for the diagnosis process, and results in a treatment that starts medicalization, blaming the child and his family and justifying the inability to learn at school. The voice of the teachers, unheard during the diagnosis process, denounces that different conceptions of development and learning as well as different beliefs about the students end up in distinguished relations, pedagogical actions and learning possibilities for the pupils. The diagnosis found was achieved without considering the school, which highlights the idea of human development on the basis of this approach, assuming as its starting point that the difficulty belongs to the child. The evaluation included tests in many areas such as psychology, phonoaudiology and neurology; ignoring the results of recent researches that discredit some of these methods for not being related with dyslexia. They also use other methods, which are connected exactly to the motifs why the evaluation was requested at the first place: questions referring to reading and writing ability. Declaring dyslexia crystallizes a movement, a dynamic process that is learning and developing. By this way the diagnosis focuses on the difficulties building up barriers to growth of the subject. Besides those effects related to learning, there are other effects, due to medication, that seems inherent to the diagnosis of dyslexia followed by the one of ADDH. The child lives stigmatized relations at school that contribute to the constitution of his subjectivity, based on the illness and limitations imposed by the diagnostic label

Au regard des difficultés d'écriture présentes dans le trouble du spectre de l'autisme (TSA), notre premier objectif est d’étudier les caractéristiques de l’écriture chez des enfants et adultes avec TSA par rapport à des enfants et adultes typiques en considérant son évolution avec l’âge. La qualité et la vitesse de production ont été évalué à partir d’une tâche de copie de texte. Une moins bonne qualité ainsi qu’une lenteur d’exécution sont observées chez les enfants avec TSA par rapport aux enfants typiques. Chez les adultes avec TSA, une qualité des tracés inférieure à celle des sujets de même âge réel (AR) et de même âge de développement (AD) est relevée tandis que leur vitesse de production est inférieure à celle des sujets de même AR mais comparable à ceux de même AD.Une évolution similaire de l’écriture est observée entre les personnes typiques et avec TSA. Notre second objectif est de tester l’effet d’une présentation ralentie de lettres, pseudo-lettres et mots sur le traitement de l’information visuelle et la dynamique des tracés des enfants et adultes avec TSA. L’utilisation de l'oculométrie, la tablette graphique et le logiciel de ralentissement Logiral™ ont été couplées. Avec le ralenti, on observe chez les enfants une diminution de l'exploration visuelle et une écriture moins fluide et plus lente, et chez les adultes, une augmentation de l’exploration visuelle associée à une diminution de la taille de l’écriture pourtant moins fluide et plus lente. Cette recherche contribue à une meilleure compréhension des particularités de l’écriture dans le TSA et de l’impact du ralenti de lettres et mots sur l’exploration visuelle et la production des tracés. / Handwriting leads to numerous difficulties amongst individuals suffering from Autism Spectrum Disorder (ASD). Our first objective was thus to study the characteristics of handwriting in both children and adults with ASD in comparison with chronological (CA) and developmental (DA) aged-matched controls, in order to understand its development with age. A first study conducted aimed at evaluate the handwriting quality and speed during a copy task of text. Our results showed that children with ASD have slower and poorer handwriting skills compared to controls. For ASD adult participants we observed a poorer handwriting quality than both CA and DA controls and a slower handwriting than CA controls only, meaning that it was comparable to DA controls. Moreover,a similar evolution between control and ASD participants. Our second objective was to test the effect of a slowed-down dynamic visual presentation of letters, pseudo-letters and words on the visual information processing and the handwriting dynamics in children and adults with ASD. For this, we coupled different techniques: an eye-tracking device, a graphic tablet, and Logiral™ (i.e a software for slowing down videos). During the slowed-down presentation, children showed a decrease of visual exploration associated with a slower and uneven handwriting, adults showed an increase in visual exploration associated with smaller handwriting size, although it was slower and uneven. This research contributed to a better understanding of handwriting particularities in ASD population, as well as the impact of slowing down stimuli on visual exploration and handwriting production.

O reconhecimento de padrões por computador é uma das mais importantes ferramentas da Inteligência Artificial presente em inúmeras áreas do conhecimento com aplicações em diversos setores, incluindo o reconhecimento de caracteres. O objetivo da dissertação se concentra na investigação de um processo computacional automatizado - Sistema Computacional Paraconsistente - capaz de reconhecer Caracteres Numéricos Manuscritos e Caracteres Magnéticos Codificados em 7 Barras utilizados em cheques bancários brasileiros, fornecendo uma fundamentação técnica para reconhecer documentos e imagens digitalizadas e, também, sinais biológicos. Embora haja vários estudos em reconhecimento de caracteres, optou-se pelo estudo desse tema devido à sua intrínseca importância e constante desenvolvimento, além de possibilitar adaptações para fazer o reconhecimento de diferentes tipos de sinais como, por exemplo, sinais biológicos. A metodologia adotada para essa tarefa se baseia nas Redes Neurais Artificiais Paraconsistentes por se tratar de uma ferramenta com capacidade de trabalhar com dados imprecisos, inconsistentes e paracompletos sem o perigo de trivialização. O processo de reconhecimento desse sistema é realizado a partir de algumas características do caractere previamente selecionadas com base em algumas técnicas do Grafismo e realiza-se a análise dessas características bem como o reconhecimento do caractere através das Redes Neurais Artificiais Paraconsistentes O sistema foi construído para reconhecer caracteres numéricos com um padrão previamente definido, onde adotou-se os Caracteres Magnéticos Codificados em 7 Barras utilizados em cheques bancários e, posteriormente, o sistema foi aperfeiçoado para fazer o reconhecimento de Caracteres Numéricos Manuscritos. Para a validação do estudo proposto apresentou-se dados reais, a saber, lotes de cheques e caracteres numéricos manuscritos digitalizados onde o sistema apresentou 97,85% de acertos para os Caracteres Magnéticos Codificados em 7 Barras e 91,62% de acertos para Caracteres Numéricos Manuscritos. O resultado obtido demonstra que o sistema é robusto o suficiente e pode servir de estudo para a análise de sinais em áreas correlatas com nível de precisão semelhante / Computer pattern recognition is one of the most important Artificial Intelligence tools present in numerous knowledge areas with applications in several themes, including the character recognition. The aim of this dissertation is the investigation of an automated computational process - Paraconsistent Computational System - able to recognize Handwritten Numeric Characters and Magnetic Ink Character Recognition used on Brazilian bank checks furnishing a technical basis to recognize digital documents, digital images and biological signals. Although there are several studies on character recognition, it was chosen to study this theme due to its intrinsic importance and constant improvement, besides enabling adjustments to the recognition of different kinds of signals such as, biological signals. The methodology employed for the task is based on Paraconsistent Artificial Neural Networks for being a tool with the ability to work with imprecise, inconsistent and paracomplete data without trivialization. The recognition process of this system is performed from some previously selected character features based on some Graphics techniques and, it performs the analysis of these features as well as the character recognition are performed through the Paraconsistent Artificial Neural Networks. The system was built to recognize numeric characters with a previously defined pattern where it was chosen the Magnetic Ink Character Recognition used on Brazilian bank checks and then the system was improved to recognize handwritten numeric characters. It was presented real data as checks\' batches and scanned handwritten numeric characters to validate the proposed study and the system reached 97.85% hits for Magnetic Ink Character Recognition and 91.62% hits for Handwritten Numeric Characters. The obtained result demonstrates that the system is robust enough for signal analysis study in correlated areas with similar precision level

本研究之目的為：一、探討行動取向師資培育模式的理論基礎。二、建構行動取向師資培育模式的變項。三、實地試驗行動取向師資培育模式的效能。四、探討知識轉變為行動的歷程。 本研首先透過文獻分析，探討行動取向師資培育模式的理論基礎，建構行動取向師資培育模式的知識、計畫、表現、省思和精熟等五大變項，再用「個案實驗研究法」，選擇花蓮師範學院大學部三年級兩位修習「教育實習」之師資生為樣本，分為實驗組和控制組，進行「知識輸入」實驗處理後，實施六回合計畫、表現、省思試教實驗。資料蒐集的方法有知識引出訪談、教學設計、放聲思考think aloud與轉譯、試教錄影與轉譯、省思錄影與轉譯及研究者實地觀察記錄。資料分析的方法有資料的持續比較、路徑發現分析、精熟情形分析、資料的次數分析、百分比分析等。本研究的重要發現有： 1.教師的知識應分為「領域通用或領域間通用的知識」（一般教育學知識）和領域專用的知識（學科知識）兩大類；領域專用的知識應再分為領域內通用的內容知識、單元╱課專用的內容知識、領域內專用的教學法知識、領域內專用的教學步驟知識；兩類知識交融產生「領域專用的教育學知識或學科教育學知識」。 2.獲取與記憶之學院設計安排的「識字與寫字」教學相關知識、實驗處理的知識，確實成為發展教學行動表徵與採取行動的基礎。 3.一節的「識字與寫字」課，需交融領域間通用的的知識、領域內通用的內容知識、單元專用的知識或常識、領域內專用的教學法知識交融轉換生產教學行動表徵。 4.「識字與寫字」的教學設計需要提取領域內通用的內容知識和單元專用的內容知識，這些知識影響教學行動表徵的生產量。 5.本研究中「設計的教學行動表徵」有84%以上產生具體行動表現。 6.知識越充足計畫量就越多、教學表現量也越多，省思量也隨著增加。 7..經六回合的計畫、表現、省思之後，各個項目都有進步和精熟化的表現，以本研究自編的「陳述性知識與程序性知識11等級量表」評估知識的進步與精熟等級分別從實驗前的3.4和3.5，提昇為7.9和8.1。 最後本研究針對師資培育方案規劃、課程發展、教學、督導、與評鑑，以及未來繼續研究之建議。 / The purpose of this study was to investigate an action-learning model for teacher education. In addition, the study intended to provide implications for the linking knowledge and action of teacher education. The current researcher reviewed literature to analyze the rationale of an action-learning model for teacher education and to construct the five variables of knowledge, design, performance, reflection and mastering for the model. The experiment method was used. The subject was two student teachers. One student teacher studied how to teach elementary school students’ Chinese vocabulary and handwriting from a videodisk. Both the two student teachers teach elementary school students’ Chinese vocabulary and handwriting for six sessions. Knowledge elicitation interview, instructional design, thinking aloud and video recoding were used for datd collection. The showing your work analysis, protocol analysis, constant comparison analysis, the pathfinder analysis, frequency analysis and percentage analysis were used for data analysis. The findings from this study are the following: 1.The pedagogical domain-specific knowledge or pedagogical content knowledge was blended by the knowledge of domain-general and the knowledge of specific-specific. In order to analyze the pedagogical domain-specific knowledge from instructional design, the knowledge of general-general is named of intra-general-general. The knowledge of domain-specific should be divided into inner-domain-general content, inner-lesson-specific content, inner-domain-general pedagogy, and inner-domain-general process. 2.The programmed knowledge learned from teacher education program and from experiment treatment were able to develop the representation of teaching action and teaching action. The two kinds of knowledge were useable. 3.Teaching elementary school students’ Chinese vocabulary and handwriting needs to blend the knowledge of intra--domain general and the knowledge of domain-specific（The knowledge of inner-domain-general content, inner-lesson-specific content, inner-domain-general pedagogy, inner-domain-general teaching process）. 4.To design the teaching of elementary school students’ Chinese vocabulary and handwriting need to blend the knowledge of general-general and the knowledge of specific-specific. The more the knowledge of these two areas induces the more production of representation of teaching action. 5. The subjects had transferred 84% representation of teaching action into their teaching in the current study. 6.The more knowledge of intra-domain general and the knowledge of domain-specific could produce the more production of the representation of teaching action. The more production of the representation for teaching action could transfer the more performance in teaching. The more performance of teaching could induce the more reflection of teaching. The current study not only provides implications for teacher education but also suggests directions for further research.