This thesis work has been part of an effort to improve the after-action reviews of the air combat simulator training sessions conducted at the Swedish Air Force Combat Simulation Centre (FLSC). Initial studies identified three main needs regarding the evaluation of air-to-air missile shots during beyond-visual-range combat simulation. These needs included an improved detection of where and when in the simulation playback a missile shot took place, a collected view of flight parameters to prevent confusion and cross-referencing between the various displays, as well as the ability to review an aircraft’s flight parameters over time in order to discuss alternative shooting opportunities or maneuvering patterns. To fulfill these three needs, design studies were performed iteratively in collaboration with staff at the FLSC. This work has resulted in a design proposal with a prototype based on the design guidelines and recommendations of the study's participants. The purpose of the visualization is to provide support for instructors and promote the individual learning of pilots. Hopefully, this can ultimately help in answering the question regarding why a missile missed its target. For instructors and air units such aids could mean that operating errors can be more easily identified and also form a basis for discussion during the assessment briefings. / Detta examensarbete har haft som syfte att förbättra utvärderingen av luftstridssimuleringar som bedrivs vid det svenska flygvapnets luftstridssimuleringscentrum, FLSC. Inledande studier identifierade tre huvudsakliga behov för utvärderingen av flygplansburna robotskott avfyrade mot luftmål utom synhåll, på långa avstånd. Dessa behov inkluderar en förbättring när det gäller att upptäcka var och när i en simuleringsuppspelning som ett robotskott har skett, en samlad vy över flygparametrar för att förhindra förvirring och korsreferering mellan olika skärmar, samt möjligheten att utvärdera ett flygplans flygparametrar över tid för att kunna diskutera alternativa avfyrningsmöjligheter eller manövreringsmönster. För att fylla dessa tre behov har iterativa designstudier utförts i samarbete med personalen på FLSC. Detta har resulterat i ett designförslag med en prototyp baserad på de designriktlinjer och -rekommendationer som studiens deltagare delgett. Syftet med visualiseringen är att ge stöd till instruktörer och främja piloters individuella inlärning. Förhoppningsvis kan detta i slutändan bidra till att svara på frågan om varför en robot missade sitt mål. För instruktörer och flygförband kan ett sådant hjälpmedel underlätta identifiering av felmanövreringar och även ligga till grund för värdefulla diskussioner under analysen av genomförda luftsstridsimuleringar.

O ensino da Engenharia por meios eletrônicos de aprendizagem demanda a implementação de métodos práticos que facilitem ao aluno aprender conteúdos do tipo procedimentos e atitudes, por meio da ação, da interação dos participantes, e da integração de conhecimentos de diferentes áreas. Esta aprendizagem só pode ser efetiva em contextos significativos e a partir de situações específicas, que são estimulados com a utilização do método de projeto. A eficácia deste método é alcançada quando utilizado em grupos, onde um membro aprende na integração com outro, compartilhando recursos e conhecimentos, e adquirindo ou exercitando um conjunto de habilidades pessoais, atualmente muito necessárias no trabalho profissional do Engenheiro. Embora conhecida a importância do método de projeto no estilo de aprendizagem colaborativa, não existem orientações para sua utilização no modelo de ensino-aprendizagem a distância. Este cenário representou a principal motivação para propor, neste trabalho, um modelo conceitual para aprendizagem colaborativa baseada na execução de projetos pela Web (MAC-BP). O modelo é organizado em três submodelos relacionados entre si, que caracterizam a criação, a execução e o suporte das atividades instrucionais colaborativas utilizadas no ensino da Engenharia. Um modelo para planejar as atividades e responsabilidades do especialista, encarregado pela criação do conteúdo e das atividades de grupo baseados no método de projeto; um modelo de colaboração que formaliza a coordenação das interações dos membros do grupo, através de um autômato finito; e um modelo para o ambiente de suporte às atividades instrucionais colaborativas, que busca integrar as funcionalidades requeridas pelos ambientes CSCL (Computer Supported Cooperative Learning), algumas presentes, porém dispersas, entre os sistemas disponíveis de suporte à colaboração. Por outro lado, a concepção das atividades instrucionais para grupos, além de representar uma tarefa que consome muito tempo, constitui um processo trabalhoso. Em geral, neste processo, a criação dos recursos envolvidos numa ação de aprendizagem específica está estreitamente relacionada ao formato da ferramenta utilizada para sua criação e gerenciamento, dificultando assim a reutilização dos elementos educacionais por novas aplicações. Este novo cenário converteu-se numa outra motivação para colaborar nesta área. Neste trabalho identificam-se os elementos (objetos e ações) compartilháveis de aprendizagem colaborativa envolvidos no modelo MAC-BP e propõe-se um conjunto de especificações técnicas para a criação e utilização destes elementos, segundo as especificações ADL-SCORM e IMS-LD divulgadas para o modelo de EAD orientado à aprendizagem individual. Assim, as duas propostas apresentadas neste trabalho pretendem contribuir com os esforços de padronização dos recursos e procedimentos de suporte ao ensino-aprendizagem, em sistemas eletrônicos de suporte à aprendizagem colaborativa na área de pesquisa dos sistemas CSCL. Especificamente, as propostas indicam caminhos para a inovação do processo pedagógico, e se constituem em guias para os instrutores na criação das aplicações de aprendizagem colaborativa baseadas em projeto e na criação dos elementos instrucionais envolvidos nelas, além de oferecer uma solução para a coordenação das interações colaborativas do grupo durante a execução de projetos, o que representa um suporte à aprendizagem em grupo na área de Engenharia. / Engineering Education in e-learning environments demands the implementation of practical methods that facilitates learning of contents of the type: procedures and attitudes by means of action, of the interaction among participants and the integration of knowledge of different fields. This learning can only be effective in significant contexts and from specific situations that are stimulated by using the project method. The effectiveness of this method is reached when used of preference in groups; in such a way that a participant learns with another by sharing resources and knowledge and acquiring or exercising a set of personal abilities, which are necessary for the professional work of the engineer. In spite of the well-recognized importance of the project method for collaborative e-learning, no comprehensive guidelines have yet been set out for distance education. This scenario represented the main motivation to propose a conceptual Model for Collaborative e-Learning Based on the execution of Web supported Projects (MAC-BP). This model is organized in three sub models related among them representing the creation, the execution, and the support of the collaborative instructional activities used in Engineering Teaching. One model is devoted to plan the activities and responsibilities of the specialist, the person in charge of the elaboration of contents and planning the activities of the group based on the project method. The second is a collaborative model aiming to formalize the coordination of the interactions among the members of the group, through a finite automaton. The last model is conceived as a supporting environment to the collaborative instructional activities aiming to integrate the functionalities required by CSCL (Computer Supported Cooperative Learning) environments, some of them already existing, however highly scattered among the available systems for supporting collaboration. On the other hand, the conception of instructional activities for groups is a time-consuming task and constitutes a laborious process. In general, the creation of the involved resources in a specific learning action is intimately related to the format of the tool used for its creation and management, making difficult to reuse the educational elements in new applications. This is a additional motivation to intend to make some contribution to this field. In this work, the shareable elements of collaborative learning (objects and actions) involved in the model MAC-BP are identified. In addition, a set of technical specifications is suggested for the elaboration and use of these elements, according to ADL-SCORM and IMS-LD specifications previously reported for the EAD model focused on individual learning. In summary, the two proposals showed in this work intend to contribute to the efforts of standardization of resources and procedures in order to support the teaching-learning process by means of electronic systems conceived to support the collaborative learning in the investigation of CSCL systems. These proposals indicate ways to innovate the pedagogical process, and constitute guides for instructors to develop new applications of project-based collaborative learning and the elaboration of the involved instructional elements. In addition, the proposals give a solution to the coordination of group collaborative interactions during the execution of projects and represent a support to collaborative learning in Engineering.

O ensino da Engenharia por meios eletrônicos de aprendizagem demanda a implementação de métodos práticos que facilitem ao aluno aprender conteúdos do tipo procedimentos e atitudes, por meio da ação, da interação dos participantes, e da integração de conhecimentos de diferentes áreas. Esta aprendizagem só pode ser efetiva em contextos significativos e a partir de situações específicas, que são estimulados com a utilização do método de projeto. A eficácia deste método é alcançada quando utilizado em grupos, onde um membro aprende na integração com outro, compartilhando recursos e conhecimentos, e adquirindo ou exercitando um conjunto de habilidades pessoais, atualmente muito necessárias no trabalho profissional do Engenheiro. Embora conhecida a importância do método de projeto no estilo de aprendizagem colaborativa, não existem orientações para sua utilização no modelo de ensino-aprendizagem a distância. Este cenário representou a principal motivação para propor, neste trabalho, um modelo conceitual para aprendizagem colaborativa baseada na execução de projetos pela Web (MAC-BP). O modelo é organizado em três submodelos relacionados entre si, que caracterizam a criação, a execução e o suporte das atividades instrucionais colaborativas utilizadas no ensino da Engenharia. Um modelo para planejar as atividades e responsabilidades do especialista, encarregado pela criação do conteúdo e das atividades de grupo baseados no método de projeto; um modelo de colaboração que formaliza a coordenação das interações dos membros do grupo, através de um autômato finito; e um modelo para o ambiente de suporte às atividades instrucionais colaborativas, que busca integrar as funcionalidades requeridas pelos ambientes CSCL (Computer Supported Cooperative Learning), algumas presentes, porém dispersas, entre os sistemas disponíveis de suporte à colaboração. Por outro lado, a concepção das atividades instrucionais para grupos, além de representar uma tarefa que consome muito tempo, constitui um processo trabalhoso. Em geral, neste processo, a criação dos recursos envolvidos numa ação de aprendizagem específica está estreitamente relacionada ao formato da ferramenta utilizada para sua criação e gerenciamento, dificultando assim a reutilização dos elementos educacionais por novas aplicações. Este novo cenário converteu-se numa outra motivação para colaborar nesta área. Neste trabalho identificam-se os elementos (objetos e ações) compartilháveis de aprendizagem colaborativa envolvidos no modelo MAC-BP e propõe-se um conjunto de especificações técnicas para a criação e utilização destes elementos, segundo as especificações ADL-SCORM e IMS-LD divulgadas para o modelo de EAD orientado à aprendizagem individual. Assim, as duas propostas apresentadas neste trabalho pretendem contribuir com os esforços de padronização dos recursos e procedimentos de suporte ao ensino-aprendizagem, em sistemas eletrônicos de suporte à aprendizagem colaborativa na área de pesquisa dos sistemas CSCL. Especificamente, as propostas indicam caminhos para a inovação do processo pedagógico, e se constituem em guias para os instrutores na criação das aplicações de aprendizagem colaborativa baseadas em projeto e na criação dos elementos instrucionais envolvidos nelas, além de oferecer uma solução para a coordenação das interações colaborativas do grupo durante a execução de projetos, o que representa um suporte à aprendizagem em grupo na área de Engenharia. / Engineering Education in e-learning environments demands the implementation of practical methods that facilitates learning of contents of the type: procedures and attitudes by means of action, of the interaction among participants and the integration of knowledge of different fields. This learning can only be effective in significant contexts and from specific situations that are stimulated by using the project method. The effectiveness of this method is reached when used of preference in groups; in such a way that a participant learns with another by sharing resources and knowledge and acquiring or exercising a set of personal abilities, which are necessary for the professional work of the engineer. In spite of the well-recognized importance of the project method for collaborative e-learning, no comprehensive guidelines have yet been set out for distance education. This scenario represented the main motivation to propose a conceptual Model for Collaborative e-Learning Based on the execution of Web supported Projects (MAC-BP). This model is organized in three sub models related among them representing the creation, the execution, and the support of the collaborative instructional activities used in Engineering Teaching. One model is devoted to plan the activities and responsibilities of the specialist, the person in charge of the elaboration of contents and planning the activities of the group based on the project method. The second is a collaborative model aiming to formalize the coordination of the interactions among the members of the group, through a finite automaton. The last model is conceived as a supporting environment to the collaborative instructional activities aiming to integrate the functionalities required by CSCL (Computer Supported Cooperative Learning) environments, some of them already existing, however highly scattered among the available systems for supporting collaboration. On the other hand, the conception of instructional activities for groups is a time-consuming task and constitutes a laborious process. In general, the creation of the involved resources in a specific learning action is intimately related to the format of the tool used for its creation and management, making difficult to reuse the educational elements in new applications. This is a additional motivation to intend to make some contribution to this field. In this work, the shareable elements of collaborative learning (objects and actions) involved in the model MAC-BP are identified. In addition, a set of technical specifications is suggested for the elaboration and use of these elements, according to ADL-SCORM and IMS-LD specifications previously reported for the EAD model focused on individual learning. In summary, the two proposals showed in this work intend to contribute to the efforts of standardization of resources and procedures in order to support the teaching-learning process by means of electronic systems conceived to support the collaborative learning in the investigation of CSCL systems. These proposals indicate ways to innovate the pedagogical process, and constitute guides for instructors to develop new applications of project-based collaborative learning and the elaboration of the involved instructional elements. In addition, the proposals give a solution to the coordination of group collaborative interactions during the execution of projects and represent a support to collaborative learning in Engineering.

This thesis aim for promoting the learning objects economy by offering teacher the possibility of generating adaptive and standardized learning designs. The adaptation of the generated learning design considers two of the most relevant users characteristic: their competences and their learning styles. Standardized and Adaptive Learning Design Generation Process was implemented using HTN planning. Generation process considers a few inputs from the teachers, in particular, those related with the standardized competence definition, the learning objects metadata as well as the data from the initial student model used with adaptation purposes. The learning designs generation process was enriched through the design of two processes, the learning objects searching and positioning processes. These processes permit to look for learning objects in distributed learning objects repositories and use them as inputs for a generated learning design. A layered evaluation process was developed in order to validate the solutions. / El objetivo principal de esta tesis es promover la economía de objetos de aprendizaje ofreciendo al profesor la posibilidad de generar diseños de aprendizaje adaptativos y estandarizados. Los diseños generados consideran dos características de usuario en las adaptaciones: sus competencias y estilos de aprendizaje. El proceso de generación semiautomática de diseños de aprendizaje se implementó utilizando planificación HTN; considerándose pocas entradas por parte del docente, en particular, las definiciones de competencia, los metadatos de los objetos de aprendizaje así como los datos de un modelo inicial del estudiante que serán usados en el proceso de adaptación. El proceso de generación de diseños fue enriquecido a través de dos procesos: los procesos de búsqueda y posicionamiento de objetos de aprendizaje, creados para buscar objetos de aprendizaje en repositorios distribuidos y utilizarlos como entradas para los diseños generados. Se desarrolló un proceso de evaluación por capas para validar las soluciones propuestas.

Skrivande och skrivet språk är idag en viktig del av många människors liv, i datorns ordbehandlare, i e-postprogram och i chattkanaler på Internet. Skrivet språk har blivit mer eller mindre en förutsättning för människors dagliga kommunikation. Denna utveckling av samhället leder till ökade behov av att på olika sätt hantera text. En teknologi som har stor potential att hjälpa människor med skrivande och skrivet språk är språkteknologi. I denna avhandling ligger fokus på olika språkverktyg vars avsikt är att stödja skribenter och de som lär sig svenska bland annat genom att skriva. Ett språkverktyg som har utvecklats och utvärderats i avhandlingen är språkgranskningsverktyget Granska. I arbetet med Granska har fokus legat på utvecklingen av regelspråk, granskningsregler och generella analysregler samt utvärdering av dessa. Granska kombinerar en statistisk grundanalys av ordens ordklasser med regelbaserade metoder för sökning av grammatiska fel och frasanalys. I utvecklingen av granskningsreglerna är dragkampen mellan felaktiga utpekningar av fel, så kallade falska alarm, och uteblivna utpekningar av fel, det största enskilda problemet. Dragkampen uppstår genom att det är svårt att hitta många fel utan att också göra en del felaktiga utpekningar. Språkverktyg för skrivande kan i stort sett utvärderas på två sätt: med fokus på texten eller på den som skriver. I denna avhandling har båda typerna av utvärdering utförts med såväl modersmålskribenter som skribenter med svenska som andraspråk. I en första textbaserad utvärdering visade det sig att textgenre spelar stor roll för Granskas resultat. Ett vanligt fel i en textgenre förekommer nästan inte alls i en annan. Detta innebär att det blir mycket svårt för programmet att inte avge några falska alarm i de texter där feltypen saknas. I en andra textbaserad utvärdering jämfördes Granska och en kommersiell grammatikkontroll på texter från andraspråksskribenter. Den kommersiella grammatikkontrollen visade sig att ha bättre träffsäkerhet, men upptäckte färre fel än Granska. En första mindre användarstudie utfördes med Granska och fem erfarna skribenter. Syfte med studien var att utveckla Granska i linje med skribenters behov vid revision av text. Resultatet indikerade att användarna inte hade några problem med att välja mellan olika feldiagnoser om ett av ersättningsförslagen var korrekt. Falska alarm verkade vara av varierande svårighetsgrad: falska alarm från stavningskontrollen är mer eller mindre ofarliga, medan falska alarm från granskningen av mer komplicerade feltyper kan försvåra revisionsarbetet för användaren. Granska utvecklades från början för erfarna skribenter med svenska som modersmål, men allteftersom arbetet har fortskridit har även skribenter med svenska som andraspråk blivit en allt viktigare användargrupp. I detta arbete har diskussionen om granskningsmetod blivit mer och mer central. Även om gruppen andraspråksskribenter är mycket heterogen, så innehåller den här gruppens texter generellt sett mer fel, och i många fall fler fel i samma mening. Detta gör granskningsproblemet betydligt svårare. För det första så blir det svårare att avgöra ordens ordklass och frastillhörighet när flera fel finns i samma mening, och därmed har programmet allt mindre att hänga upp den grundläggande språkliga analysen på. För det andra är det svårare att konstruera granskningsregler för fel vars natur är svår att förutsäga på förhand. För att förbättra den grundläggande språkanalysen utvecklades programmet GTA, som gör en frasanalys och satsgränsigenkänning. GTA utvecklades ur de generella analysregler som redan fanns i Granska. GTA designades för att klara av att analysera texter som innehåller vissa avvikelser från språkets norm, t.ex. inkongruens. För att ta reda på hur väl programmet klarade av mindre avvikelser i form av stavfel utvärderades GTA och även två program för ordklassanalys på texter med olika andel stavfel. GTA bygger till mycket stor del på att identifikationen av ordklass fungerar för att fraser och satsgränser skall analyseras korrekt. Detta bekräftas också i utvärderingen, där det visade sig att GTA klarar sig bra så länge som den underliggande ordklassanalysen klarar att hantera avvikelser i texten. En viktig faktor för att klara språkliga avvikelser, i form av stavfel, är en fungerande metod för att hantera ord som är okända för programmet. Nya metoder för språkgranskning har undersökts i samarbete med andra forskare, och där har avhandlingens bidrag varit i form av transformationsregler i den statistiska språkgranskaren ProbGranska. Dessa regler visade sig vid en utvärdering avsevärt förbättra ProbGranskas säkerhet när det gällde att identifiera grammatiska problem. I utvecklingen av språkgranskaren SnålGranska har avhandlingen bidragit med idéer till dess grundläggande algoritm. Denna algoritm bygger på att träna ett maskininlärningsprogram på konstgjorda fel i avsaknad av en korpus med många uppmärkta autentiska fel. För att komma vidare med utvecklingen av språkverktyg för andraspråksskribenter genomfördes en längre fältstudie vid ett svenskt universitet. Syftet var att studera användningen av Granska i autentiska skrivuppgifter som studenterna genomförde i en avancerad kurs i svenska som främmande språk. Sexton studenter med olika språklig och kulturell bakgrund deltog i studien. En viktig del av studien utgjordes av studenternas bedömningar av Granskas alarm. Bedömningarna gjordes på en betygsskala från 1 till 5. Studenternas texter samlades också in i två versioner; en version före och en efter användningen av programmet. Denna metod gjorde det möjligt att studera i vilken grad studenterna följde Granskas råd, och huruvida dåliga eller bra råd från programmet fick höga eller låga betyg. Mest alarmerande var att dåliga råd angående ordföljd alltid fick högsta betyg. Andra ofta lämpliga råd dömdes ut för att beskrivningen av dessa feltyper, t.ex. anmärkningar om saknade tempusböjda verb och uteblivna subjekt, var svåra att förstå samt att de saknade ersättningsförslag. En viktig insikt från fältstudien var att Granska eller liknade verktyg inte är det enda verktyg som andraspråksskribenter behöver när de skriver text. Denna insikt tillsammans med andra resultat från fältstudien mynnade ut i flera designprinciper för program med fokus på andraspråksskribenter. Dessa designprinciper användes sedan i utformningen av språkmiljön Grim. Grim är en ordbehandlingsmiljö med olika interaktiva språkverktyg integrerade: Granska, GTA, den statistiska språkgranskaren ProbGranska, lexikonet Lexin med åtta olika språkpar, konkordansgränssnitt mot stora textmängder från korpusen Parole, och en ordböjningsfunktion. I Grim kan användaren arbeta med egna eller andras texter, och få återkoppling på språkets former från Granska och GTA, undersöka ords användning i autentiska texter samt få en ökad förståelse av målspråket genom integrerade tvåspråkiga lexikon. / Writing and written language play today an increasingly important part in many people’s lives. Written language has become more or less a prerequisite for daily communication. This development of society leads to increased needs for tools that can help humans in dealing with text. A technology that has a potential to aid people with writing and written language is language technology. In this thesis, the focus is on language tools based on language technology that can aid writers and learners of Swedish. A language tool that has been developed and evaluated in the thesis is the grammar checker Granska. The thesis work on Granska includes the design of its rule language, and the development of grammar checking rules for common error types in Swedish. In addition, rules for phrase analysis and clause boundary detection have been developed constituting a partial and shallow parser called GTA. Language tools for writing can mainly be evaluated in two ways: with focus on text or with focus on the writer. In this thesis, both types of evaluations have been carried out both with native writers and second language writers. The first textual evaluation of Granska showed that the genre has a strong influence on the result. In a second evaluation, Granska was compared with a commercial grammar checker on second language writers’ texts. Granska found more errors, but with a lower precision. A third evaluation focused on the general text analyzers, which Granska relies on, in this case a statistical word class analyzer and the parser GTA. These programs were evaluated on texts where spelling errors were introduced, in order to test the programs’ robustness. Results showed that as long as the word class analyzer is robust the parser GTA would also be robust. In a first formative user study with Granska and five participants, results suggested that several and competing error diagnoses and correction proposals are not a problem for the users as long as there exist at least one accurate correction proposal. Moreover, false alarms from the spelling checker seemed to pose a limited problem for the users, but false alarms on more complicated error types might disturb the revision process of the users. In order to improve the design of language tools for second language writers a field study was carried out at a Swedish university. Sixteen students with different linguistic and cultural backgrounds participated in the study. The objective was to study the use of Granska in students’ free writing. The results indicated that although most alarms from Granska are accurate, lack of feedback and misleading feedback are problems for second language writers. The results also suggested that providing the students with feedback on different aspects of their interlanguage, not only errors, and facilitating the processes of language exploration and reflection are important processes to be supported in second-language learning environments. These insights were used as design principles in the design and development of an interactive language environment called Grim. This program includes a basic word processor, in which the user can get feedback on linguistic code features from different language tools such as Granska and GTA. In addition, other tools are available for the user to explore language use in authentic texts and to achieve lexical comprehension through bilingual dictionaries. / QC 20100428

本論文は第二言語話者の発話を高精度で認識するための音素セットの構成方法に関する研究結果を述べている．本論文では，第二言語話者の発話をネイティブ話者の発話とは異なる音響特徴量の頻度分布を持つ情報源とみなし，これを表現する適切な音素セットを構築する手法を提案している．具体的には，対象とする第二言語と母語との調音位置や調音様式などの類似性に加え，同音異義語の発生による単語識別性能の低下を総合した基準に基づき，最適な音素セットを決定する．提案手法を日本人学生の英語発話の音声認識に適用し，種々の条件下で認識精度の向上を検証した． / This dissertation focuses on the problem caused by confused mispronunciation to improve the recognition performance of second language speech. A novel method considering integrated acoustic and linguistic features is proposed to derive a reduced phoneme set for L2 speech recognition. The customized phoneme set is created with a phonetic decision tree (PDT)-based top-down sequential splitting method that utilizes the phonological knowledge between L1 and L2. The dissertation verifies the efficacy of the proposed method for Japanese English and shows that the feasibility of building a speech recognizer with the proposed method is able to alleviate the problem caused by confused mispronunciation by second language speakers. / 博士(工学) / Doctor of Philosophy in Engineering / 同志社大学 / Doshisha University

[ES] El proceso de ciencia de datos es esencial para extraer valor de los datos. Sin embargo, la parte más tediosa del proceso, la preparación de los datos, implica una serie de formateos, limpieza e identificación de problemas que principalmente son tareas manuales. La preparación de datos todavía se resiste a la automatización en parte porque el problema depende en gran medida de la información del dominio, que se convierte en un cuello de botella para los sistemas de última generación a medida que aumenta la diversidad de dominios, formatos y estructuras de los datos. En esta tesis nos enfocamos en generar algoritmos que aprovechen el conocimiento del dominio para la automatización de partes del proceso de preparación de datos. Mostramos la forma en que las técnicas generales de inducción de programas, en lugar de los lenguajes específicos del dominio, se pueden aplicar de manera flexible a problemas donde el conocimiento es importante, mediante el uso dinámico de conocimiento específico del dominio. De manera más general, sostenemos que una combinación de enfoques de aprendizaje dinámicos y basados en conocimiento puede conducir a buenas soluciones. Proponemos varias estrategias para seleccionar o construir automáticamente el conocimiento previo apropiado en varios escenarios de preparación de datos. La idea principal se basa en elegir las mejores primitivas especializadas de acuerdo con el contexto del problema particular a resolver. Abordamos dos escenarios. En el primero, manejamos datos personales (nombres, fechas, teléfonos, etc.) que se presentan en formatos de cadena de texto muy diferentes y deben ser transformados a un formato unificado. El problema es cómo construir una transformación compositiva a partir de un gran conjunto de primitivas en el dominio (por ejemplo, manejar meses, años, días de la semana, etc.). Desarrollamos un sistema (BK-ADAPT) que guía la búsqueda a través del conocimiento previo extrayendo varias meta-características de los ejemplos que caracterizan el dominio de la columna. En el segundo escenario, nos enfrentamos a la transformación de matrices de datos en lenguajes de programación genéricos como R, utilizando como ejemplos una matriz de entrada y algunas celdas de la matriz de salida. También desarrollamos un sistema guiado por una búsqueda basada en árboles (AUTOMAT[R]IX) que usa varias restricciones, probabilidades previas para las primitivas y sugerencias textuales, para aprender eficientemente las transformaciones. Con estos sistemas, mostramos que la combinación de programación inductiva, con la selección dinámica de las primitivas apropiadas a partir del conocimiento previo, es capaz de mejorar los resultados de otras herramientas actuales específicas para la preparación de datos. / [CA] El procés de ciència de dades és essencial per extraure valor de les dades. No obstant això, la part més tediosa del procés, la preparació de les dades, implica una sèrie de transformacions, neteja i identificació de problemes que principalment són tasques manuals. La preparació de dades encara es resisteix a l'automatització en part perquè el problema depén en gran manera de la informació del domini, que es converteix en un coll de botella per als sistemes d'última generació a mesura que augmenta la diversitat de dominis, formats i estructures de les dades. En aquesta tesi ens enfoquem a generar algorismes que aprofiten el coneixement del domini per a l'automatització de parts del procés de preparació de dades. Mostrem la forma en què les tècniques generals d'inducció de programes, en lloc dels llenguatges específics del domini, es poden aplicar de manera flexible a problemes on el coneixement és important, mitjançant l'ús dinàmic de coneixement específic del domini. De manera més general, sostenim que una combinació d'enfocaments d'aprenentatge dinàmics i basats en coneixement pot conduir a les bones solucions. Proposem diverses estratègies per seleccionar o construir automàticament el coneixement previ apropiat en diversos escenaris de preparació de dades. La idea principal es basa a triar les millors primitives especialitzades d'acord amb el context del problema particular a resoldre. Abordem dos escenaris. En el primer, manegem dades personals (noms, dates, telèfons, etc.) que es presenten en formats de cadena de text molt diferents i han de ser transformats a un format unificat. El problema és com construir una transformació compositiva a partir d'un gran conjunt de primitives en el domini (per exemple, manejar mesos, anys, dies de la setmana, etc.). Desenvolupem un sistema (BK-ADAPT) que guia la cerca a través del coneixement previ extraient diverses meta-característiques dels exemples que caracteritzen el domini de la columna. En el segon escenari, ens enfrontem a la transformació de matrius de dades en llenguatges de programació genèrics com a R, utilitzant com a exemples una matriu d'entrada i algunes dades de la matriu d'eixida. També desenvolupem un sistema guiat per una cerca basada en arbres (AUTOMAT[R]IX) que usa diverses restriccions, probabilitats prèvies per a les primitives i suggeriments textuals, per aprendre eficientment les transformacions. Amb aquests sistemes, mostrem que la combinació de programació inductiva amb la selecció dinàmica de les primitives apropiades a partir del coneixement previ, és capaç de millorar els resultats d'altres enfocaments de preparació de dades d'última generació i més específics. / [EN] Data science is essential for the extraction of value from data. However, the most tedious part of the process, data wrangling, implies a range of mostly manual formatting, identification and cleansing manipulations. Data wrangling still resists automation partly because the problem strongly depends on domain information, which becomes a bottleneck for state-of-the-art systems as the diversity of domains, formats and structures of the data increases. In this thesis we focus on generating algorithms that take advantage of the domain knowledge for the automation of parts of the data wrangling process. We illustrate the way in which general program induction techniques, instead of domain-specific languages, can be applied flexibly to problems where knowledge is important, through the dynamic use of domain-specific knowledge. More generally, we argue that a combination of knowledge-based and dynamic learning approaches leads to successful solutions. We propose several strategies to automatically select or construct the appropriate background knowledge for several data wrangling scenarios. The key idea is based on choosing the best specialised background primitives according to the context of the particular problem to solve. We address two scenarios. In the first one, we handle personal data (names, dates, telephone numbers, etc.) that are presented in very different string formats and have to be transformed into a unified format. The problem is how to build a compositional transformation from a large set of primitives in the domain (e.g., handling months, years, days of the week, etc.). We develop a system (BK-ADAPT) that guides the search through the background knowledge by extracting several meta-features from the examples characterising the column domain. In the second scenario, we face the transformation of data matrices in generic programming languages such as R, using an input matrix and some cells of the output matrix as examples. We also develop a system guided by a tree-based search (AUTOMAT[R]IX) that uses several constraints, prior primitive probabilities and textual hints to efficiently learn the transformations. With these systems, we show that the combination of inductive programming with the dynamic selection of the appropriate primitives from the background knowledge is able to improve the results of other state-of-the-art and more specific data wrangling approaches. / This research was supported by the Spanish MECD Grant FPU15/03219;and partially by the Spanish MINECO TIN2015-69175-C4-1-R (Lobass) and RTI2018-094403-B-C32-AR (FreeTech) in Spain; and by the ERC Advanced Grant Synthesising Inductive Data Models (Synth) in Belgium. / Contreras Ochando, L. (2020). Towards Data Wrangling Automation through Dynamically-Selected Background Knowledge [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/160724

No description available.