[pt] As Redes Generativas Adversariais (GANs) são modelos não supervisionados capazes de aprender a partir de um número indefinidamente grande de imagens. Entretanto, modelos que geram imagens a partir de linguagem dependem de dados rotulados de alta qualidade, que são escassos. A transferência de aprendizado é uma técnica conhecida que alivia a necessidade de dados rotulados, embora transformar um modelo gerativo incondicional em um modelo condicionado a texto não seja uma tarefa trivial. Este trabalho propõe uma abordagem de ajuste simples, porém eficaz, chamada U2C transfer. Esta abordagem é capaz de aproveitar modelos pré-treinados não condicionados enquanto aprende a respeitar as condições textuais fornecidas. Avaliamos a eficiência do U2C transfer ao ajustar o StyleGAN2 em duas das fontes de dados mais utilizadas para a geração images a partir de texto, resultando na arquitetura Text-Conditioned StyleGAN2 (TC-StyleGAN2). Nossos modelos alcançaram rapidamente o estado da arte nas bases de dados CUB-200 e Oxford-102, com valores de FID de 7.49 e 9.47, respectivamente. Esses valores representam ganhos relativos de 7 por cento e 68 por cento, respectivamente, em comparação com trabalhos anteriores. Demonstramos que nosso método é capaz de aprender detalhes refinados a partir de consultas de texto, produzindo imagens fotorrealistas e detalhadas. Além disso, mostramos que os modelos organizam o espaço intermediário de maneira semanticamente significativa. Nossas descobertas revelam que as imagens sintetizadas usando nossa técnica proposta não são apenas críveis, mas também exibem forte alinhamento com suas descrições textuais correspondentes. De fato, os escores de alinhamento textual alcançados por nosso método são impressionantemente e comparáveis aos das imagens reais. / [en] Generative Adversarial Networks (GANs) are unsupervised models that can learn from an indefinitely large amount of images. On the other hand, models that generate images from language queries depend on high-quality labeled data that is scarce. Transfer learning is a known technique that alleviates the need for labeled data, though it is not trivial to turn an unconditional generative model into a text-conditioned one. This work proposes a simple, yet effective fine-tuning approach, called Unconditional-to-Conditional Transfer Learning (U2C transfer). It can leverage well-established pre-trained models while learning to respect the given textual condition conditions. We evaluate U2C transfer efficiency by fine-tuning StyleGAN2 in two of the most widely used text-to-image data sources, generating the Text-Conditioned StyleGAN2 (TC-StyleGAN2). Our models quickly achieved state-of-the-art results in the CUB-200 and Oxford-102 datasets, with FID values of 7.49 and 9.47, respectively. These values represent relative gains of 7 percent and 68 percent compared to prior work. We show that our method is capable of learning fine-grained details from text queries while producing photorealistic and detailed images. Our findings highlight that the images created using our proposed technique are credible and display a robust alignment with their corresponding textual descriptions.

Born into a visual culture, today’s generation of learners generally prefer a visually-rich multimodal learning environment. Tapping into the potential of visuals in language pedagogy, this study was aimed at discovering the impact of a visual presentation of grammatical concepts related to sentence structure on student writing. The study used a mixed methods design to analyse the impact of the visual approach first by statistically measuring sentence variety and syntactic complexity of student pre and post intervention texts and then using interviews to explain the nature of the impact of visuals on student conceptual understanding and its effect on their writing development. Statistical findings reveal that the experimental groups of Chinese students who were taught grammatical concepts in the context of writing instruction using a visual approach outperformed the students in the control groups who were given similar lessons in the context of writing instruction but using traditional printed hand-outs. Qualitative findings suggest that the visuals seems to have increased these students’ conceptual understanding of grammatical items that were taught, and this resulted in more sophisticated and syntactically complex texts after the intervention. The study supports the theory of contextualized teaching of grammar and proposes the use of external visuals that lead to internal visualization based on the cognitive theory of multimodal learning. In so doing, it extends the use of visual learning to grammar pedagogy. However, the findings also suggest that the visual approach would not work effectively in cultures that promote rote learning and decontextualized exercises in grammar with the sole aim of passing the exams. A shift in attitude towards grammar pedagogy in China is deemed necessary.

Denna studie handlar om hur alla barn kan få möjlighet att göras delaktiga i förskolans verksamhet via olika kommunikationsformer. I studien undersöks vilka arbetssätt och tecken som förskollärare använder i tydliggörandet av barns kommunikation. Syftet är att bidra med kunskap om pedagogiska arbetssätt som kan bli tydliggörande för barns kommunikation i förskolan. Empirin har samlats in genom en kvalitativ metod, med semistrukturerade intervjuer där sex förskollärare från fem olika förskolor medverkade. Resultatet har sedan analyserats utifrån ett multimodalt och designorienterat perspektiv. I resultatet framkommer det att förskollärare använder sig utav arbetssättet tydliggörande pedagogik, med tecken som det verbala språket, TAKK, bilder och digitala verktyg i tydliggörandet av barns kommunikation.

The purpose of this study is to investigate meaning-making in pupils' multimodal narratives that have emerged in aesthetic learning processes. To, with the support of ethnographic methods and theories of narrative and multimodality, study the resources and strategies used by the pupils. The study also examines how teachers and educators make use of aesthetic learning processes and multimodal narrative in practice-based reality. The empirical material is based on four cultural and narrator projects that have been conducted in a collaboration between nine-year compulsory schools and Kulturskolan (School of Culture) in a municipality in northern Sweden. The projects included pupils from the preschool level up to and including 5th grade in the compulsory school level. These projects were monitored for a total of three semesters. The pervading goal in all projects was to stimulate language development and language use with the help of imagination and creativity, where the pupils' own creation was the key focus. The empirical material consists of observations, log book entries and interviews with teachers, educators and pupils, as well as the pupils' own pictures and texts. The results show that the pupils exemplify from the fictional world. Although they do not directly say that they draw inspiration from computer, television and film media, this is made visible in and embodies their narratives. The pupils' multimodal narratives show that they create meaning by mixing fiction with a world recognisable to them, where fictional characters live a life that they can identify with. The meaning-making strategies that emerge in the pupils' narratives are: identification, gender stereotypes, humour, structures from the horror and fairy-tale genres and remediation. In the interviews with the teachers it is noted that the use of narrative has declined in teaching. Reasons cited include a lack of time and the stress of everyday life, as well as the individualisation which has led to a reduction in the collaboration between pupils and thus the use of narrative. The teachers, however, expressed great enthusiasm for providing pupils with the tools to develop different narrative forms, a way to create meaningful contexts for the pupils. / Syftet med studien är att undersöka meningsskapande i elevers multimodala berättelser som har tillkommit i estetiska lärprocesser. Att med stöd av etnografiska metoder och teorier om berättande och multimodalitet studera vilka resurser och strategier eleverna använder. I studien undersöks också hur lärare och pedagoger använder sig av estetiska lärprocesser och multimodalt berättande i den praxisnära verkligheten. Det empiriska materialet bygger på fyra kultur- och berättarprojekt som bedrivits i samarbete mellan grundskolor och Kulturskolan i en kommun i norra Sverige. I projekten deltog elever från förskoleklass till och med årskurs 5 i grundskolan. Projekten följdes under sammanlagt tre terminer. Genomgående mål i samtliga projekt var att stimulera till språkutveckling och språkanvändning med hjälp av fantasi och kreativitet, där elevernas eget skapande stod i centrum. Det empiriska materialet består av observationer, loggboksanteckningar och intervjuer med lärare, pedagoger och elever samt elevernas egna bilder och texter. Resultaten visar att eleverna exemplifierar från fiktionens värld. Även om de inte direkt uttrycker att de hämtar inspiration från dator, tv och filmmediet, synliggörs och konkretiseras det i deras berättelser. Elevernas multimodala berättelser visar att de skapar mening genom att blanda fiktion med en för dem igenkännbar värld, där de fiktiva karaktärerna lever ett liv som de kan identifiera sig med. De meningsskapande strategier som framträder i elevernas berättelser är: identifikation, stereotypa könsmönster, humor, strukturer från skräck- och sagogenren samt remediering. I intervjuerna med lärarna framkommer att berättandet har minskat i undervisningen. Orsaker som lyfts fram är tidsbrist och stress i vardagen, och individualiseringen som medfört att samarbetet mellan eleverna har minskat och därmed också berättandet. Lärarna kände dock en stor entusiasm för att ge eleverna verktyg att utveckla olika berättarformer, ett sätt att skapa meningsfulla sammanhang för eleverna. / Godkänd; 2014; 20141015 (mart); Nedanstående person kommer att disputera för avläggande av filosofie doktorsexamen, Namn: Märtha Andersson Ämne: Svenska med didaktisk inriktning / Swedish and Education Avhandling: Berättandets möjligheter Multimodala berättelser och estetiska lärprocesser Opponent: Professor emerita Lena Kåreland, Litteraturvetenskapliga institutionen, Uppsala universitet Ordförande: Professor Anders Öhman, Institutionen för kultur- och medievetenskaper, Umeå universitet Tid: Fredag den 12 december 2014, kl. 13.00 Plats: D770, Luleå tekniska universitet

Cette thèse considère l'apprentissage de motifs récurrents dans la perception multimodale. Elle s'attache à développer des modèles robotiques de ces facultés telles qu'observées chez l'enfant, et elle s'inscrit en cela dans le domaine de la robotique développementale.Elle s'articule plus précisément autour de deux thèmes principaux qui sont d'une part la capacité d'enfants ou de robots à imiter et à comprendre le comportement d'humains, et d'autre part l'acquisition du langage. A leur intersection, nous examinons la question de la découverte par un agent en développement d'un répertoire de motifs primitifs dans son flux perceptuel. Nous spécifions ce problème et établissons son lien avec ceux de l'indétermination de la traduction décrit par Quine et de la séparation aveugle de source tels qu'étudiés en acoustique.Nous en étudions successivement quatre sous-problèmes et formulons une définition expérimentale de chacun. Des modèles d'agents résolvant ces problèmes sont également décrits et testés. Ils s'appuient particulièrement sur des techniques dites de sacs de mots, de factorisation de matrices et d'apprentissage par renforcement inverse. Nous approfondissons séparément les trois problèmes de l'apprentissage de sons élémentaires tels les phonèmes ou les mots, de mouvements basiques de danse et d'objectifs primaires composant des tâches motrices complexes. Pour finir nous étudions le problème de l'apprentissage d'éléments primitifs multimodaux, ce qui revient à résoudre simultanément plusieurs des problèmes précédents. Nous expliquons notamment en quoi cela fournit un modèle de l'ancrage de mots acoustiques / This thesis focuses on learning recurring patterns in multimodal perception. For that purpose it develops cognitive systems that model the mechanisms providing such capabilities to infants; a methodology that fits into thefield of developmental robotics.More precisely, this thesis revolves around two main topics that are, on the one hand the ability of infants or robots to imitate and understand human behaviors, and on the other the acquisition of language. At the crossing of these topics, we study the question of the how a developmental cognitive agent can discover a dictionary of primitive patterns from its multimodal perceptual flow. We specify this problem and formulate its links with Quine's indetermination of translation and blind source separation, as studied in acoustics.We sequentially study four sub-problems and provide an experimental formulation of each of them. We then describe and test computational models of agents solving these problems. They are particularly based on bag-of-words techniques, matrix factorization algorithms, and inverse reinforcement learning approaches. We first go in depth into the three separate problems of learning primitive sounds, such as phonemes or words, learning primitive dance motions, and learning primitive objective that compose complex tasks. Finally we study the problem of learning multimodal primitive patterns, which corresponds to solve simultaneously several of the aforementioned problems. We also details how the last problems models acoustic words grounding.

[ES] El triaje de los incidentes de urgencias y emergencias extrahospitalarias representa un reto difícil, debido a las limitaciones temporales y a la incertidumbre. Además, errores en este proceso pueden tener graves consecuencias para los pacientes. Por lo tanto, cualquier herramienta o estrategia novedosa que mejore estos procesos ofrece un valor sustancial en términos de atención al paciente y gestión global de los incidentes. La hipótesis en la que se basa esta tesis es que el Aprendizaje Automático, concretamente el Aprendizaje Profundo, puede mejorar estos procesos proporcionando estimaciones de la gravedad de los incidentes, mediante el análisis de millones de datos derivados de llamadas de emergencia de la Comunitat Valenciana (España) que abarcan desde 2009 hasta 2019. Por tanto, esta tesis profundiza en el diseño y desarrollo de modelos basados en Aprendizaje Profundo Multitarea que aprovechan los datos multimodales asociados a eventos de urgencias y emergencias extrahospitalarias. Nuestro objetivo principal era predecir si el incidente suponía una situación de riesgo vital, la demora admisible de la respuesta y si era competencia del sistema de emergencias o de atención primaria. Utilizando datos disponibles entre 2009 y 2012, se observaron mejoras sustanciales en las métricas macro F1, con ganancias del 12.5% para la clasificación de riesgo vital, del 17.5% para la demora en la respuesta y del 5.1% para la clasificación por jurisdicción, en comparación con el protocolo interno de triaje de la Comunidad Valenciana. Sin embargo, los sistemas, los protocolos de triaje y las prácticas operativas evolucionan de forma natural con el tiempo. Los modelos que mostraron un rendimiento excelente con el conjunto de datos inicial de 2009 a 2012 no demostraron la misma eficacia cuando se evaluaron con datos posteriores que abarcaban de 2014 a 2019. Estos últimos habían sufrido modificaciones en comparación con los anteriores, que dieron lugar a variaciones en las distribuciones de probabilidad, caracterizadas e investigadas meticulosamente en esta tesis. Continuando con nuestra investigación, nos centramos en la incorporación de técnicas de Aprendizaje Continuo Profundo en nuestros desarrollos. Gracias a ello, pudimos mitigar sustancialmente los efectos adversos consecuencia de los cambios distribucionales sobre el rendimiento. Los resultados indican que, si bien las fluctuaciones de rendimiento no se eliminan por completo, pueden mantenerse dentro de un rango manejable. En particular, con respecto a la métrica F1, cuando las variaciones distribucionales son ligeras o moderadas, el comportamiento se mantiene estable, sin variar más de un 2.5%. Además, nuestra tesis demuestra la viabilidad de construir herramientas auxiliares que permitan a los operadores interactuar con estos complejos modelos. En consecuencia, sin interrumpir el flujo de trabajo de los profesionales, se hace posible proporcionar retroalimentación mediante predicciones de probabilidad para cada clase de etiqueta de gravedad y tomar las medidas pertinentes. Por último, los resultados de esta tesis tienen implicaciones directas en la gestión de las urgencias y emergencias extrahospitalarias en la Comunidad Valenciana, al integrarse el modelo final resultante en los centros de atención de llamadas. Este modelo utilizará los datos proporcionados por los operadores telefónicos para calcular automáticamente las predicciones de gravedad, que luego se compararán con las generadas por el protocolo de triaje interno. Cualquier disparidad entre estas predicciones desencadenará la derivación del incidente a un coordinador médico, que supervisará su tratamiento. Por lo tanto, nuestra tesis, además de realizar importantes contribuciones al campo de la Investigación en Aprendizaje Automático Biomédico, también conlleva implicaciones sustanciales para mejorar la gestión de las urgencias y emergencias extrahospitalarias en el contexto de la Comunidad Valenciana. / [CA] El triatge dels incidents d'urgències i emergències extrahospitalàries representa un repte difícil, a causa de les limitacions temporals i de la incertesa. A més, els errors en aquest procés poden tindre greus conseqüències per als pacients. Per tant, qualsevol eina o estratègia innovadora que millore aquests processos ofereix un valor substancial en termes d'atenció al pacient i gestió global dels incidents. La hipòtesi en què es basa aquesta tesi és que l'Aprenentatge Automàtic, concretament l'Aprenentatge Profund, pot millorar significativament aquests processos proporcionant estimacions de la gravetat dels incidents, mitjançant l'anàlisi de milions de dades derivades de trucades d'emergència de la Comunitat Valenciana (Espanya) que abasten des de 2009 fins a 2019. Per tant, aquesta tesi aprofundeix en el disseny i desenvolupament de models basats en Aprenentatge Profund Multitasca que aprofiten dades multimodals d'incidents mèdics d'urgències i emergències extrahospitalàries. El nostre objectiu principal era predir si l'incident suposava una situació de risc vital, la demora admissible de la resposta i si era competència del sistema d'emergències o d'atenció primària. Utilitzant dades disponibles entre 2009 i 2012, es van observar millores substancials en les mètriques macro F1, amb guanys del 12.5% per a la classificació de risc vital, del 17.5% per a la demora en la resposta i del 5.1% per a la classificació per jurisdicció, en comparació amb el protocol intern de triatge de la Comunitat Valenciana. Tanmateix, els protocols de triatge i les pràctiques operatives evolucionen de forma natural amb el temps. Els models que van mostrar un rendiment excel·lent amb el conjunt de dades inicial de 2009 a 2012 no van demostrar la mateixa eficàcia quan es van avaluar amb dades posteriors que abastaven de 2014 a 2019. Aquestes últimes havien sofert modificacions en comparació amb les anteriors, que van donar lloc a variacions en les distribucions de probabilitat, caracteritzades i investigades minuciosament en aquesta tesi. Continuant amb la nostra investigació, ens vam centrar en la incorporació de tècniques d'Aprenentatge Continu als nostres desenvolupaments. Gràcies a això, vam poder mitigar substancialment els efectes adversos sobre el rendiment conseqüència dels canvis distribucionals. Els resultats indiquen que, si bé les fluctuacions de rendiment no s'eliminen completament al llarg del temps, poden mantenir-se dins d'un rang manejable. En particular, respecte a la mètrica F1, quan les variacions distribucionals són lleugeres o moderades, el comportament es manté estable, sense variar més d'un 2.5%. A més, la nostra tesi demostra la viabilitat de construir eines auxiliars que permeten als operadors interactuar amb aquests models complexos. En conseqüència, sense interrompre el flux de treball dels professionals, es fa possible proporcionar retroalimentació mitjançant prediccions de probabilitat per a cada classe d'etiqueta de gravetat i prendre les mesures pertinents. Finalment, els resultats d'aquesta tesi tenen implicacions directes en la gestió de les urgències i emergències extrahospitalàries a la Comunitat Valenciana, al integrar-se el model final resultant als centres d'atenció de telefonades. Aquest model utilitzarà les dades proporcionades pels operadors telefònics per calcular automàticament les prediccions de gravetat, que després es compararan amb les generades pel protocol de triatge intern. Qualsevol disparitat entre aquestes prediccions desencadenarà la derivació de l'incident a un coordinador mèdic, que supervisarà el seu tractament. Per tant, és evident que la nostra tesi, a més de realitzar importants contribucions al camp de la Investigació en Aprenentatge Automàtic Biomèdic, també comporta implicacions substancials per a millorar la gestió de les urgències i emergències extrahospitalàries en el context de la Comunitat Valenciana. / [EN] Triage for out-of-hospital emergency incidents represents a tough challenge, primarily due to time constraints and uncertainty. Furthermore, errors in this process can have severe consequences for patients. Therefore, any novel tool or strategy that enhances these processes can offer substantial value in terms of patient care and overall management of out-of-hospital emergency medical incidents. The hypothesis upon which this thesis is based is that Machine Learning, specifically Deep Learning, can improve these processes by providing estimations of the severity of incidents, by analyzing millions of data derived from emergency calls from the Valencian Region (Spain) spanning from 2009 to 2019. Hence, this thesis delves into designing and developing Deep Multitask Learning models that leverage multimodal out-of-hospital emergency medical data. Our primary objective was to predict whether the incident posed a life-threatening situation, the admissible response delay, and whether it fell under the jurisdiction of the emergency system or primary care. Using data available from 2009 to 2012, the results obtained were promising. We observed substantial improvements in macro F1-scores, with gains of 12.5% for life-threatening classification, 17.5% for response delay, and 5.1% for jurisdiction classification, compared to the in-house triage protocol of the Valencian Region. However, systems, dispatch protocols, and operational practices naturally evolve over time. Models that exhibited excellent performance with the initial dataset from 2009 to 2012 did not demonstrate the same efficacy when evaluated on data spanning from 2014 to 2019. This later dataset had undergone modifications compared to the earlier one, which led to dataset shifts, which we have meticulously characterized and investigated in this thesis. Continuing our research, we incorporated Deep Continual Learning techniques in our developments. As a result, we could substantially mitigate the adverse performance effects consequence of dataset shifts. The results indicate that, while performance fluctuations are not completely eliminated, they can be kept within a manageable range. In particular, with respect to the F1-score, when distributional variations fall within the light to moderate range, the performance remains stable, not varying by more than 2.5%. Furthermore, our thesis demonstrates the feasibility of building auxiliary tools that enable dispatchers to interact with these complex deep models. Consequently, without disrupting professionals' workflow, it becomes possible to provide feedback through probability predictions for each severity label class and take appropriate actions based on these predictions. Finally, the outcomes of this thesis hold direct implications for the management of out-of-hospital emergency medical incidents in the Valencian Region. The final model resulting from our research is slated for integration into the emergency medical dispatch centers of the Valencian Region. This model will utilize data provided by dispatchers to automatically compute severity predictions, which will then be compared with those generated by the in-house triage protocol. Any disparities between these predictions will trigger the referral of the incident to a physician coordinator, who will oversee its handling. Therefore, it is evident that our thesis, in addition to making significant contributions to the field of Biomedical Machine Learning Research, also carries substantial implications for enhancing the management of out-of-hospital emergencies in the context of the Valencian Region. / Ferri Borredà, P. (2024). Deep Continual Multimodal Multitask Models for Out-of-Hospital Emergency Medical Call Incidents Triage Support in the Presence of Dataset Shifts [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/203192

Denna studie belyser lärarnas syn på hur undervisningspraktiken och elevernas lärande påverkas av multimodal undervisning med lärplatta i svenskämnet. Föreliggande studies syfte är att skildra lärarnas syn på hur den multimodala undervisningen med lärplatta kan agera som ett hinder eller verka främjande för elevernas lärande i årskurserna F-6. Den belyser även hur detta påverkar lärarnas egen undervisning i klassrumssituationen. Detta görs med fokus på frågeställningar som hanterar hur multimodalt lärande med lärplatta enligt lärarna möjliggörs i deras undervisningspraktik, samt lärarnas syn på främjanden och hinder kring detta arbete. Studien bearbetas med ett designorienterat multimodalt perspektiv, en teori som trycker på att skapa sammanhang där form och funktion sammanlänkar. Undersökningen sker genom enkäter som distribuerats via mejl och Facebook-grupper och bearbetas utifrån ett kvantitativt perspektiv med inslag av kvalitativt data. Resultatet i studien visar att multimodal undervisning med lärplatta kan ske på ett antal olika sätt, där de främsta arbetsområdena är vid skrivande, läsande och lyssnande. Resultatet visar även att denna undervisning är främjande på ett flertal sätt, så som anpassning vid bland annat finmotorikssvårigheter samt att det är intresseväckande hos eleverna. Det visar sig även finnas hindrande effekter av denna undervisning, exempelvis hur användningen av lärplatta även hämmar finmotoriks-utvecklingen, samt att dess användning kommer med ett antal tekniska problem och missförstånd. Slutsatsen som dras av detta är att lärarna använder lärplattan på flera olika sätt, med övergripande likartade användningsområden, samt att deras syn på multimodal undervisning med lärplatta innefattar både för- och nackdelar angående elevers lärande. / This study highlights teachers' views on how teaching practice and students' learning are affected by multimodal teaching with a learning tablet in the Swedish subject.  The purpose of this study is to depict teachers' views on how multimodal teaching with a learning tablet can act as an obstacle or promote students' learning in grades F-6.  It also highlights how this affects the teachers' own teaching in the classroom situation. This is done with a focus on issues that deal with how multimodal learning with a learning tablet is enabled in their teaching practice, as well as the teachers' views on the promotion and obstacles around this work. The study is processed with a design-oriented multimodal perspective, which is a theory that emphasizes creating contexts where form and function link. The survey takes the form of questionnaires distributed via email and Facebook groups and is processed from a quantitative perspective with elements of qualitative data. The results of the study show that multimodal teaching with a learning tablet can take place in several forms, where the main areas of work are in writing, reading, and listening. The results also show that this type of teaching is beneficial in a few different ways, such as accommodation to fine motor difficulties, among other things, and that this way of working causes an interest among the students. There are hindering effects of this teaching as well, for example how the use of learning tablets also inhibits the development of the fine motor skills, and that its use comes with a few technical problems and misunderstandings. The conclusion drawn from this is that teachers use the learning tablet in several different ways, with overall similar uses, and that their view of multimodal teaching with a learning tablet includes both advantages and disadvantages regarding students' learning.