Trotz weit entwickelter Technologien und dem weltweiten Zugang zu Informationen müssen diese immer noch von jedem einzelnen in Wissen umgewandelt werden, um sinnvoll und nützlich zu sein (Rüschoff, 1999). Um die immer wachsenden Sprachausbildung in der Lingua Franca Englisch zu unterstützen, wurde die Chemnitz InternetGrammar (CING) entwickelt. Sie vereint authentische Sprachmaterialien mit Grammatikübungen und Feedback sowie eine Auswahl von deduktivem und/oder induktivem Grammatikmaterial (Dual Approach) in einem einzigen web-basierten Selbstlernmmittel für fortgeschrittene Lerner. Um den Erfolg des besonderen CING Grammatikmaterials (Hypertext, DualApproach, Feedback) CING als Lehrmittel nachhaltig zu sichern, wurde das Programm einer empirischen Usability-Evaluation (im Sinne von Jakobs & Lehnen, 2005) unterzogen. Durch die Untersuchung wurde der Inhaltsrahmen der CING für die Grammatikstrukturen definiert, die in der empirischen Untersuchung verwendet wurden (Simple Past und Present Perfect). Ausserdem wurden die Lernfortschritte von Lernern mit der CING und deren Verhalten in der InternetGrammar beobachtet sowie ihre Erfahrungen mit dem Programm in Kommentaren zu lernrelevanten Aspekten (z.B. Autonomes Lernen, Verständlichkeit des Materials) ermittelt. Dabei werden zentral vor allem die Fragestellung der CING-eigenen Struktur der Grammatikthemen, des Hypertextverhaltens fortgeschrittener deutscher Englischlerner und die des autonomen Lernens mit Hilfe von quantitativen und qualitativen Forschungsmethoden untersucht. Die Ergebnisse der Studie zeigen, dass die InternetGrammar schon ein nützliches Grammatiklerntool ist, doch dass sein Einfluss durch Nutzerunterstützung in den verschiedenen Bereichen weiter verbessert werden kann. Ein Ansatz den die Autorin vorschlägt für einen neuen, verbesserten Einsatz der CING ist ein Lehrerunterstütztes Lernszenario wie Blended Learning (Kapitel 6), wo Lerner nur in Phasen mit Instruktoren zusammen arbeiten und sonst autonom lernen. Damit wird nicht nur fachliche (z.B. in der Fremdsprache) sondern auch die Ausbildung des Lerners zu einem autonomen, fähigen Nutzer moderner Lernmethoden ermöglicht. Nur unter diesen Voraussetzungen werden wir aktive Mitglieder einer modernen Wissensgesellschaft werden und uns ihre Vorzüge erfolgreich zu Nutzen machen können.

In an increasingly interconnected world where English has become the lingua franca of business, culture, entertainment, and academia, learners of English as a second language (L2) have been steadily growing. This has contributed to an increasing demand for automatic spoken language assessment systems for formal settings and practice situations in Computer-Assisted Language Learning. One common misunderstanding about automated assessment is the assumption that machines should replicate the human process of assessment. Instead, computers are programmed to identify, extract, and quantify features in learners' productions, which are subsequently combined and weighted in a multidimensional space to predict a proficiency level or grade. In this regard, transferring human assessment knowledge and skills into an automatic system is a challenging task since this operation should take into account the complexity and the specificities of the proficiency construct. This PhD thesis presents research conducted on methods and techniques for the automatic assessment and feedback of L2 spoken English, mainly focusing on the application of deep learning approaches. In addition to overall proficiency grades, the main forms of feedback explored in this thesis are feedback on grammatical accuracy and assessment related to particular aspects of proficiency (e.g., grammar, pronunciation, rhythm, fluency, etc.). The first study explores the use of written data and the impact of features extracted through grammatical error detection on proficiency assessment, while the second illustrates a pipeline which starts from disfluency detection and removal, passes through grammatical error correction, and ends with proficiency assessment. Grammar, as well as rhythm, pronunciation, and lexical and semantic aspects, is also considered in the third study, which investigates whether it is possible to use systems targeting specific facets of proficiency analytically when only holistic scores are available. Finally, in the last two studies, we investigate the use of self-supervised learning speech representations for both holistic and analytic proficiency assessment. While aiming at enhancing the performance of state-of-the-art automatic systems, the present work pays particular attention to the validity and interpretability of assessment both holistically and analytically and intends to pave the way to a more profound and insightful knowledge and understanding of automatic systems for speaking assessment and feedback.

[ES] En el sistema de educación superior de los Estados Unidos, es muy común enseñar clases de idiomas a nivel elemental de manera híbrida (Blake et al., 2008; Hampel & Stickler, 2015; Meskill & Anthony, 2015; Mizza & Rubio, 2020; Seaman et al., 2018) principalmente por su flexibilidad, individualidad, énfasis en la comunicación y el aprendizaje colaborativo (Rubio, 2014). Sin embargo, los estudios comparativos de clases tradicionales e híbridas han producido resultados pequeños o estadísticamente insignificantes con respecto a la competencia oral (Blake 2008, Chenoweth et al., 2006, Scida & Jones, 2016; Thoms, 2012). Por lo tanto, Rubio (2008) anima a los investigadores a ir más allá de contrastar y más bien evaluar "qué" enseñamos y "cómo" enseñamos. Este estudio longitudinal tuvo como objetivo mostrar cómo se desarrolló la competencia oral a través de un enfoque de métodos mixtos mediante la observación de cuatro secciones de español elemental en un centro de estudios superiores de EE. UU. durante dos semestres. A través de la triangulación de fuentes de datos, se analizaron observaciones de clase, contenido del curso, cuestionarios y evaluaciones orales de los estudiantes. Contrariamente a lo esperado, la modalidad híbrida no tuvo los resultados esperados en las habilidades orales de los estudiantes. Al final del segundo semestre, los estudiantes no pudieron alcanzar los niveles esperados lo que podría estar relacionado con el tipo de instrucción tradicional. El análisis de errores reveló áreas que los estudiantes aún tenían dificultades para comprender, como el uso de artículos, la concordancia de género y número de sustantivos y la semántica, entre otras. Aunque estos errores son comunes en estudiantes de primer año de lengua española, el estudio muestra la necesidad de un reciclaje sistemático de determinadas estructuras del lenguaje para que sean plenamente asimiladas. Por lo tanto, el estudio genera información sobre lo que ocurre en los cursos híbridos que adoptan un enfoque tradicional de enseñanza de idiomas en lugar de cambiar pedagógicamente para incluir actividades más comunicativas. / [CA] En el sistema d'educació superior dels Estats Units, és molt comú ensenyar classes d'idiomes a nivell elemental de manera híbrida (Blake et al., 2008; Hampel & Stickler, 2015; Meskill & Anthony, 2015; Mizza & Rubio, 2020; Seaman et al., 2018) principalment per la seua flexibilitat, individualitat, émfasis en la comunicació i l'aprenentage colaboratiu (Rubio, 2014). No obstant, els estudis comparatius de classes tradicionals i híbrides han produït resultats menuts o estadísticament insignificants sobre la competència oral (Blake 2008, Chenoweth et al., 2006, Scida & Jones, 2016; Thoms, 2012). Per lo tant, Rubio (2008) anima als investigadors a anar més allà de contrastar i més be evaluar "què" ensenyem i "cóm" ensenyem. Este estudi llongitudinal va tindre com a objectiu mostrar cóm es va desenrollar la competència oral a través d'un enfocament de métodos mixts per mig de l'observació de quatre seccions d'espanyol elemental en un centre d'estudis superiors dels EE. UU. durant dos semestres. A través de la triangulació de fonts de senyes, es varen analisar observacions de classe, contingut del curs, qüestionaris i evaluacions orals dels estudiants. Contràriament a lo esperat, la modalitat híbrida no va tindre els resultats esperats en les habilitats orals dels estudiants. Al final del segon semestre, els estudiants no varen poder alcançar els nivells esperats lo que podria estar relacionat en el tipo d'instrucció tradicional. L'anàlisis d'errors va revelar àrees que els estudiants encara tenien dificultats per a comprendre, com l'us d'artículs, la concordancia de gènero i número de sustantius i la semàntica, entre unes atres. Encara que estos errors són comuns en estudiants de primer any de llengua espanyola, l'estudi mostra la necessitat d'un reciclage sistemàtic de determinades estructures del llenguage per a que siguen plenament assimilades. Per lo tant, l'estudi genera informació sobre lo que ocorre en els cursos híbrits que adopten un enfocament tradicional d'ensenyança d'idiomes en lloc de canviar pedagógicamente per a incloure activitats més comunicatives. / [EN] Teaching elementary-level language classes in a hybrid environment has become the trend in the United States higher education system (Blake et al., 2008; Hampel & Stickler, 2015; Meskill & Anthony, 2015; Mizza & Rubio, 2020; Seaman et al., 2018) primarily due to its flexibility, individuality, with emphasis on communication and collaborative learning (Rubio, 2014). However, comparative studies of traditional and hybrid classes have produced small or statistically insignificant results regarding speaking proficiency (Blake 2008, Chenoweth et al., 2006, Scida & Jones, 2016; Thoms, 2012). Therefore, Rubio (2008) encourages researchers to go beyond contrasting and rather assess "what" we teach and "how" we teach. This longitudinal study aimed to show how speaking proficiency was developed through a mixed-methods approach by observing four sections of Elementary Spanish at a US community college during the fall and spring semesters. Through data-source triangulation, class observations, course content, questionnaires, and oral assessments were analyzed. Contrary to expectations, the hybrid modality did not have the expected results in students' speaking skills. By the end of the second semester, students were not able to reach the novice-high to intermediate-low levels expected at the end of the first year of Spanish, which could be linked to the form-focused type of instruction students received. The error analysis revealed areas that students still struggled to understand, such as article use, noun agreement in gender and number, and semantics, among others. Although these errors are common in first-year Spanish language learners, the study shows the need for systematic recycling of certain language structures for them to be fully assimilated by students. Therefore, the study generates insight into what occurs in hybrid courses that adopt a traditional language teaching approach rather than changing pedagogically to include more communicative activities. / Ortiz, D. (2023). Speaking Proficiency in a Hybrid Environment. A Mixed-Method Study of Spanish Beginner Learners [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/200582

Dans ces travaux, nous explorons comment les techniques de Générations Automatiques de Langue Naturelle (GLN) peuvent être utilisées pour aborder la tâche de génération (semi-)automatique de matériel et d'activités dans le contexte de l'apprentissage de langues assisté par ordinateur. En particulier, nous montrons comment un Réalisateur de Surface (RS) basé sur une grammaire peut être exploité pour la création automatique d'exercices de grammaire. Notre réalisateur de surface utilise une grammaire réversible étendue, à savoir SemTAG, qui est une Grammaire d'Arbre Adjoints à Structure de Traits (FB-TAG) couplée avec une sémantique compositionnelle basée sur l'unification. Plus précisément, la grammaire FB-TAG intègre une représentation plate et sous-spécifiée des formules de Logique de Premier Ordre (FOL). Dans la première partie de la thèse, nous étudions la tâche de réalisation de surface à partir de formules sémantiques plates et nous proposons un algorithme de réalisation de surface basé sur la grammaire FB-TAG optimisé, qui supporte la génération de phrases longues étant donné une grammaire et un lexique à large couverture. L'approche suivie pour l'optimisation de la réalisation de surface basée sur FB-TAG à partir de sémantiques plates repose sur le fait qu'une grammaire FB-TAG peut être traduite en une Grammaire d'Arbres Réguliers à Structure de Traits (FB-RTG) décrivant ses arbres de dérivation. Le langage d'arbres de dérivation de la grammaire TAG constitue un langage plus simple que le langage d'arbres dérivés, c'est pourquoi des approches de génération basées sur les arbres de dérivation ont déjà été proposées. Notre approche se distingue des précédentes par le fait que notre encodage FB-RTG prend en compte les structures de traits présentes dans la grammaire FB-TAG originelle, ayant de ce fait des conséquences importantes par rapport à la sur-génération et la préservation de l'interface syntaxe-sémantique. L'algorithme de génération d'arbres de dérivation que nous proposons est un algorithme de type Earley intégrant un ensemble de techniques d'optimisation bien connues: tabulation, partage-compression (sharing-packing) et indexation basée sur la sémantique. Dans la seconde partie de la thèse, nous explorons comment notre réalisateur de surface basé sur SemTAG peut être utilisé pour la génération (semi-)automatique d'exercices de grammaire. Habituellement, les enseignants éditent manuellement les exercices et leurs solutions et les classent au regard de leur degré de difficulté ou du niveau attendu de l'apprenant. Un courant de recherche dans le Traitement Automatique des Langues (TAL) pour l'apprentissage des langues assisté par ordinateur traite de la génération (semi-)automatique d'exercices. Principalement, ces travaux s'appuient sur des textes extraits du Web, utilisent des techniques d'apprentissage automatique et des techniques d'analyse de textes (par exemple, analyse de phrases, POS tagging, etc.). Ces approches confrontent l'apprenant à des phrases qui ont des syntaxes potentiellement complexes et du vocabulaire varié. En revanche, l'approche que nous proposons dans cette thèse aborde la génération (semi-)automatique d'exercices du type rencontré dans les manuels pour l'apprentissage des langues. Il s'agit, en d'autres termes, d'exercices dont la syntaxe et le vocabulaire sont faits sur mesure pour des objectifs pédagogiques et des sujets donnés. Les approches de génération basées sur des grammaires associent les phrases du langage naturel avec une représentation linguistique fine de leur propriété morpho-syntaxiques et de leur sémantique grâce à quoi il est possible de définir un langage de contraintes syntaxiques et morpho-syntaxiques permettant la sélection de phrases souches en accord avec un objectif pédagogique donné. Cette représentation permet en outre d'opérer un post-traitement des phrases sélectionées pour construire des exercices de grammaire / In this work, we explore how Natural Language Generation (NLG) techniques can be used to address the task of (semi-)automatically generating language learning material and activities in Camputer-Assisted Language Learning (CALL). In particular, we show how a grammar-based Surface Realiser (SR) can be usefully exploited for the automatic creation of grammar exercises. Our surface realiser uses a wide-coverage reversible grammar namely SemTAG, which is a Feature-Based Tree Adjoining Grammar (FB-TAG) equipped with a unification-based compositional semantics. More precisely, the FB-TAG grammar integrates a flat and underspecified representation of First Order Logic (FOL) formulae. In the first part of the thesis, we study the task of surface realisation from flat semantic formulae and we propose an optimised FB-TAG-based realisation algorithm that supports the generation of longer sentences given a large scale grammar and lexicon. The approach followed to optimise TAG-based surface realisation from flat semantics draws on the fact that an FB-TAG can be translated into a Feature-Based Regular Tree Grammar (FB-RTG) describing its derivation trees. The derivation tree language of TAG constitutes a simpler language than the derived tree language, and thus, generation approaches based on derivation trees have been already proposed. Our approach departs from previous ones in that our FB-RTG encoding accounts for feature structures present in the original FB-TAG having thus important consequences regarding over-generation and preservation of the syntax-semantics interface. The concrete derivation tree generation algorithm that we propose is an Earley-style algorithm integrating a set of well-known optimisation techniques: tabulation, sharing-packing, and semantic-based indexing. In the second part of the thesis, we explore how our SemTAG-based surface realiser can be put to work for the (semi-)automatic generation of grammar exercises. Usually, teachers manually edit exercises and their solutions, and classify them according to the degree of dificulty or expected learner level. A strand of research in (Natural Language Processing (NLP) for CALL addresses the (semi-)automatic generation of exercises. Mostly, this work draws on texts extracted from the Web, use machine learning and text analysis techniques (e.g. parsing, POS tagging, etc.). These approaches expose the learner to sentences that have a potentially complex syntax and diverse vocabulary. In contrast, the approach we propose in this thesis addresses the (semi-)automatic generation of grammar exercises of the type found in grammar textbooks. In other words, it deals with the generation of exercises whose syntax and vocabulary are tailored to specific pedagogical goals and topics. Because the grammar-based generation approach associates natural language sentences with a rich linguistic description, it permits defining a syntactic and morpho-syntactic constraints specification language for the selection of stem sentences in compliance with a given pedagogical goal. Further, it allows for the post processing of the generated stem sentences to build grammar exercise items. We show how Fill-in-the-blank, Shuffle and Reformulation grammar exercises can be automatically produced. The approach has been integrated in the Interactive French Learning Game (I-FLEG) serious game for learning French and has been evaluated both based in the interactions with online players and in collaboration with a language teacher