A construção de material didático é bastante difícil, mas avaliá-lo é ainda mais complexo. Saber como o aluno absorveu o conteúdo, como reagiu a ele e quanto tempo foi gasto durante o uso de cada objeto de aprendizagem pode ajudar a refletir se o conteúdo está adequado às necessidades deste aluno. Além disso, considerar as diferentes características cognitivas de aprendizado e, conseqüentemente, possibilitar adaptações através de ajustes no conteúdo didático digital auxiliaria a avaliação do professor em um curso disponível através da web. Este trabalho propõe um sistema de acompanhamento (MSys) que, através do monitoramento do nível de utilização das atividades desenvolvidas pelos alunos, deverá apresentar para o professor, assim como para o próprio aluno, resultados resumidos e comparativos do acompanhamento. Apesar de diversos ambientes do tipo LMS (Learning Management System) em uso atualmente estarem bastante difundidos, não tem sido dado a importância devida para este tipo de ferramenta capaz de oferecer um acompanhamento detalhado de atividades dos alunos. Este trabalho discute como a ferramenta aqui proposta foi concebida, desde sua arquitetura, que utiliza padrões atuais de construção de conteúdo digital, definindo requisitos funcionais para o seu desenvolvimento e exibindo resultados de uma simulação que comprova esta concepção. Além disso, é apresentado um protótipo da ferramenta, validando as interfaces de captura e exibição dos resultados e mostrando que é possível integrá-la a sistemas de aprendizado eletrônico, trazendo benefícios à avaliação do professor. / E-learning content creation is not an easy task, but its evaluation is even more complex. In order to evaluate if the content is adequate to the students needs, it would be helpful to know how the student assimilated the learning content, how he reacted to it and the period of time spent on the learning object. Besides, considering the different cognitive features of learning and the possibility of adjustment of the didactic content, it could help teacher\'s evaluation in an available online course. This work describes a monitoring system (Msys) that tracks the level of utilization of student\'s activities, and presents summarized and comparative results to the teacher and the student. Even though the widespread use of several LMS (Learning Management System) environments today, the importance of tools capable of offering a detailed monitoring of student\'s activities has not been recognized. This work focus on how the tool was created using current standards on digital content construction, defining functional requirements to its development and presenting simulation results that is a proof-ofconcept. Also, it is presented a prototype of the tool, validating the interfaces of capture and results presentation, showing that is possible to integrate it to online learning systems, bringing benefits to the teacher evaluation.

A construção de material didático é bastante difícil, mas avaliá-lo é ainda mais complexo. Saber como o aluno absorveu o conteúdo, como reagiu a ele e quanto tempo foi gasto durante o uso de cada objeto de aprendizagem pode ajudar a refletir se o conteúdo está adequado às necessidades deste aluno. Além disso, considerar as diferentes características cognitivas de aprendizado e, conseqüentemente, possibilitar adaptações através de ajustes no conteúdo didático digital auxiliaria a avaliação do professor em um curso disponível através da web. Este trabalho propõe um sistema de acompanhamento (MSys) que, através do monitoramento do nível de utilização das atividades desenvolvidas pelos alunos, deverá apresentar para o professor, assim como para o próprio aluno, resultados resumidos e comparativos do acompanhamento. Apesar de diversos ambientes do tipo LMS (Learning Management System) em uso atualmente estarem bastante difundidos, não tem sido dado a importância devida para este tipo de ferramenta capaz de oferecer um acompanhamento detalhado de atividades dos alunos. Este trabalho discute como a ferramenta aqui proposta foi concebida, desde sua arquitetura, que utiliza padrões atuais de construção de conteúdo digital, definindo requisitos funcionais para o seu desenvolvimento e exibindo resultados de uma simulação que comprova esta concepção. Além disso, é apresentado um protótipo da ferramenta, validando as interfaces de captura e exibição dos resultados e mostrando que é possível integrá-la a sistemas de aprendizado eletrônico, trazendo benefícios à avaliação do professor. / E-learning content creation is not an easy task, but its evaluation is even more complex. In order to evaluate if the content is adequate to the students needs, it would be helpful to know how the student assimilated the learning content, how he reacted to it and the period of time spent on the learning object. Besides, considering the different cognitive features of learning and the possibility of adjustment of the didactic content, it could help teacher\'s evaluation in an available online course. This work describes a monitoring system (Msys) that tracks the level of utilization of student\'s activities, and presents summarized and comparative results to the teacher and the student. Even though the widespread use of several LMS (Learning Management System) environments today, the importance of tools capable of offering a detailed monitoring of student\'s activities has not been recognized. This work focus on how the tool was created using current standards on digital content construction, defining functional requirements to its development and presenting simulation results that is a proof-ofconcept. Also, it is presented a prototype of the tool, validating the interfaces of capture and results presentation, showing that is possible to integrate it to online learning systems, bringing benefits to the teacher evaluation.

[ES] En el sistema de educación superior de los Estados Unidos, es muy común enseñar clases de idiomas a nivel elemental de manera híbrida (Blake et al., 2008; Hampel & Stickler, 2015; Meskill & Anthony, 2015; Mizza & Rubio, 2020; Seaman et al., 2018) principalmente por su flexibilidad, individualidad, énfasis en la comunicación y el aprendizaje colaborativo (Rubio, 2014). Sin embargo, los estudios comparativos de clases tradicionales e híbridas han producido resultados pequeños o estadísticamente insignificantes con respecto a la competencia oral (Blake 2008, Chenoweth et al., 2006, Scida & Jones, 2016; Thoms, 2012). Por lo tanto, Rubio (2008) anima a los investigadores a ir más allá de contrastar y más bien evaluar "qué" enseñamos y "cómo" enseñamos. Este estudio longitudinal tuvo como objetivo mostrar cómo se desarrolló la competencia oral a través de un enfoque de métodos mixtos mediante la observación de cuatro secciones de español elemental en un centro de estudios superiores de EE. UU. durante dos semestres. A través de la triangulación de fuentes de datos, se analizaron observaciones de clase, contenido del curso, cuestionarios y evaluaciones orales de los estudiantes. Contrariamente a lo esperado, la modalidad híbrida no tuvo los resultados esperados en las habilidades orales de los estudiantes. Al final del segundo semestre, los estudiantes no pudieron alcanzar los niveles esperados lo que podría estar relacionado con el tipo de instrucción tradicional. El análisis de errores reveló áreas que los estudiantes aún tenían dificultades para comprender, como el uso de artículos, la concordancia de género y número de sustantivos y la semántica, entre otras. Aunque estos errores son comunes en estudiantes de primer año de lengua española, el estudio muestra la necesidad de un reciclaje sistemático de determinadas estructuras del lenguaje para que sean plenamente asimiladas. Por lo tanto, el estudio genera información sobre lo que ocurre en los cursos híbridos que adoptan un enfoque tradicional de enseñanza de idiomas en lugar de cambiar pedagógicamente para incluir actividades más comunicativas. / [CA] En el sistema d'educació superior dels Estats Units, és molt comú ensenyar classes d'idiomes a nivell elemental de manera híbrida (Blake et al., 2008; Hampel & Stickler, 2015; Meskill & Anthony, 2015; Mizza & Rubio, 2020; Seaman et al., 2018) principalment per la seua flexibilitat, individualitat, émfasis en la comunicació i l'aprenentage colaboratiu (Rubio, 2014). No obstant, els estudis comparatius de classes tradicionals i híbrides han produït resultats menuts o estadísticament insignificants sobre la competència oral (Blake 2008, Chenoweth et al., 2006, Scida & Jones, 2016; Thoms, 2012). Per lo tant, Rubio (2008) anima als investigadors a anar més allà de contrastar i més be evaluar "què" ensenyem i "cóm" ensenyem. Este estudi llongitudinal va tindre com a objectiu mostrar cóm es va desenrollar la competència oral a través d'un enfocament de métodos mixts per mig de l'observació de quatre seccions d'espanyol elemental en un centre d'estudis superiors dels EE. UU. durant dos semestres. A través de la triangulació de fonts de senyes, es varen analisar observacions de classe, contingut del curs, qüestionaris i evaluacions orals dels estudiants. Contràriament a lo esperat, la modalitat híbrida no va tindre els resultats esperats en les habilitats orals dels estudiants. Al final del segon semestre, els estudiants no varen poder alcançar els nivells esperats lo que podria estar relacionat en el tipo d'instrucció tradicional. L'anàlisis d'errors va revelar àrees que els estudiants encara tenien dificultats per a comprendre, com l'us d'artículs, la concordancia de gènero i número de sustantius i la semàntica, entre unes atres. Encara que estos errors són comuns en estudiants de primer any de llengua espanyola, l'estudi mostra la necessitat d'un reciclage sistemàtic de determinades estructures del llenguage per a que siguen plenament assimilades. Per lo tant, l'estudi genera informació sobre lo que ocorre en els cursos híbrits que adopten un enfocament tradicional d'ensenyança d'idiomes en lloc de canviar pedagógicamente per a incloure activitats més comunicatives. / [EN] Teaching elementary-level language classes in a hybrid environment has become the trend in the United States higher education system (Blake et al., 2008; Hampel & Stickler, 2015; Meskill & Anthony, 2015; Mizza & Rubio, 2020; Seaman et al., 2018) primarily due to its flexibility, individuality, with emphasis on communication and collaborative learning (Rubio, 2014). However, comparative studies of traditional and hybrid classes have produced small or statistically insignificant results regarding speaking proficiency (Blake 2008, Chenoweth et al., 2006, Scida & Jones, 2016; Thoms, 2012). Therefore, Rubio (2008) encourages researchers to go beyond contrasting and rather assess "what" we teach and "how" we teach. This longitudinal study aimed to show how speaking proficiency was developed through a mixed-methods approach by observing four sections of Elementary Spanish at a US community college during the fall and spring semesters. Through data-source triangulation, class observations, course content, questionnaires, and oral assessments were analyzed. Contrary to expectations, the hybrid modality did not have the expected results in students' speaking skills. By the end of the second semester, students were not able to reach the novice-high to intermediate-low levels expected at the end of the first year of Spanish, which could be linked to the form-focused type of instruction students received. The error analysis revealed areas that students still struggled to understand, such as article use, noun agreement in gender and number, and semantics, among others. Although these errors are common in first-year Spanish language learners, the study shows the need for systematic recycling of certain language structures for them to be fully assimilated by students. Therefore, the study generates insight into what occurs in hybrid courses that adopt a traditional language teaching approach rather than changing pedagogically to include more communicative activities. / Ortiz, D. (2023). Speaking Proficiency in a Hybrid Environment. A Mixed-Method Study of Spanish Beginner Learners [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/200582