Ämnet för studien är kognitiv utmaning och kontextuellt stöd i läromedelstext. Syftet med studien är att undersöka om den kognitiva utmaningen ökar och om det kontextuella stödet förändras i en läroboksserie över tid. Analysmetoderna är analys av ideationella grammatiska metaforer, referentanalys, analys av nominalkvot, analys av multimodalitet i form av relationen mellan bild och skrift samt typografi. Materialet är 6 textutdrag från läroboksserien Svenska impulser Svenska som andraspråk skriven för gymnasiet, varav 3 textutdrag från Svenska impulser 1 och 3 texter från Svenska impulser 2. Resultatet visade inte på någon tydlig progression av kognitiv utmaning; även om det av resultatet går att se en ökad utmaning  går det att härleda till en enda text. Det kontextuella stödet förändras och läromedlet för årskurs 2 kräver mer av eleven. Utifrån detta kan vi se att Svenska impulser 2 till viss del ställer högre krav och vi kan därmed se en liten progression i läroboksserien.

In common sense, modality measures the number of areas a model covers. Multi-modal or cross-modal models can handle two or more areas simultaneously. Some common cross-models include Vision-Language models, Speech-Language models, and Vision-Speech models. A Vision-Language (VL) model is a network architecture that can interpret both textual and visual inputs, which has always been challenging. Driven by the interest in exploring such an area, this thesis implements several VL models and investigates their performance on a specific VL task: The Image-Text Relation Task. Instead of using English as the context language, the thesis focuses on other languages where the available resources are less. Swedish is chosen as a case study and the results can be extended to other languages. The experiments show that the Transformer style architecture efficiently handles both textual and visual inputs, even trained with simple loss functions. The work suggests an innovative way for future development in cross-modal models, especially for VL tasks. / I vanlig mening är modalitet ett mått på hur många områden en modell täcker. Multimodala eller tvärmodala modeller kan hantera två eller flera områden samtidigt. Några vanliga tvärmodala modeller är vision-språk-modeller, tal-språk-modeller och vision-språk-modeller. En Vision-Language-modell (VL-modell) är en nätverksarkitektur som kan tolka både text- och visuell input samtidigt, vilket alltid har varit en utmaning. I denna avhandling, som drivs av intresset för att utforska ett sådant område, implementeras flera VL-modeller och deras prestanda undersöks på en specifik VL-uppgift: Uppgiften bild-text-relation. I stället för att använda engelska som kontextspråk fokuserar avhandlingen på andra språk där de tillgängliga resurserna är mindre. Svenskan har valts som fallstudie och resultaten kan utvidgas till andra språk. Experimenten visar att arkitekturen i Transformer-stilen effektivt hanterar både text- och visuella indata, även om den tränas med enkla förlustfunktioner. Arbetet föreslår en innovativ väg för framtida utveckling av intermodala modeller, särskilt för VL-uppgifter.

This case study acknowledges that militarization on digital media is inadequately studied. A research contribution is therefore created through a narrative textual analysis method informed by strategic narrative theory and research on multimodal meaning-making. The method is then applied qualitatively to a previously neglected empirical material, the Swedish Armed Forces' digital documentary series called “The Veteran’s Portrait”. Using narrative textual analysis, the study interprets that militarizing strategic narratives appear in the documentary series. Thus, the study contributes with needed insight into how militarization as a process occurs on digital media, while at the same time suggesting pathways for future research to further develop this body of research.

Syftet för studien är att visa hur en körledare instruerar om luft och andning genom att studera verbalt och förkroppsligat språk i en barnkör när deltagare lär sig att sjunga. Forskningsfrågor har fokus på hur instruktioner om luft och andning ser ut, vilka resurser körledare använder för instruerandet och när under körövningen det instrueras. Bakgrund och tidigare forskning rör verbalspråkliga såväl som förkroppsligade instruktioner vid körövning, körsång och körkontexter men också i andra musikaliska kontexter där undervisning sker. Kapitlet har utgångspunkt i att instruktioner kan vara både verbala och icke-verbala.      Utgångspunkt för studien är att i aktiviteter där deltagare använder sin kropp orienteras instruerandet också emot kroppen. Studien använder metod och teori där ett sådant perspektiv är möjligt att tillämpa: etnometodologisk konversationsanalys (EMCA), som i Sverige också kallas multimodal interaktionsanalys. En sådan analys studerar samvaro och interaktion människor emellan och använder ett etnografiskt förhållningssätt. Ett sådant perspektiv inkluderar närvaro i den undersökta kontexten vid insamlingsfas av materialet och att man för fältanteckningar. Den kvalitativa analysen tar hänsyn till den sociala struktur som deltagarna ingår i. Under ett halvår har körövningar med en barnkör i ålder 8–12 år spelats in med video. Närvarande forskare har gjort fältanteckningar. Materialet närstuderas sedan både i insamlings-, bearbetnings- och analysfas. Exempel från aktiviteten, i form av 37 transkriptioner med tillhörande 62 bilder, synliggör i avhandlingen instruktioner om luft och andning när barn lär sig sjunga.      Analysen är indelad i tre avsnitt om instruktioner innan, under och efter sång och visar i detalj hur instruktioner ser ut och vilka resurser som används i olika skeden. Den visar att instruktioner om luft och andning sker multimodalt och med flera parallella resurser: körledarens blick, mimik, kroppshållning, gester, tal- och sångröst, samt icke-lexikalt ljudande. Utöver sin kropp använder körledaren även flygelspel som resurs. Andra artefakter inkluderar tavla, notblad och pärm.  Flest instruktioner om luft och andning sker innan sång. Under sång sker instruktioner med hänsyn till sångens flöde, och efter sång återkopplar instruktionerna till precis genomförd sång. Instruktioner innan sång initierar relevant innehåll för att hantera kroppen optimalt vid sång. Under körens pågående sång undervisas om tidskritiskt innehåll med relevans för ljudandet och efter sång instrueras för att nyansera precis uttryckt sång. Till slut diskuteras studiens resultat utifrån bakgrund och tidigare forskning inom interaktionsforskningsfältet. Avhandlingen synliggör en aktivitetskontext som tidigare inte studerats utifrån hur exakt instruktioner ser ut och när instruktioner om luft och andning sker. Den kartlägger vilka multimodala resurser som används av körledaren i en barnkörkontext.

Syftet med denna studie är att undersöka likheter och skillnader inom olika lärares syn på användningen av multimodala digitala verktyg inom undervisningen och deras personliga strategier för att integrera dessa i sina klassrum. Även om skolundervisning till stor del alltid har varit multimodal, har graden av denna multimodalitet på senare tid ökat kraftigt på grund av samhällets generella digitalisering vilket har medfört att större antal digitala läromedel finns tillgängliga för användning. Digitala läromedel är multimodala och presenterar många olika möjligheter till en bättre undervisning. Med detta följer dock även utmaningar som innebär risker för kvaliteten på denna undervisning.I bakgrunden finns en kortare sammanfattning av digitaliseringens historia i Sveriges skolor och skolans styrdokument och regeringens beslut granskas för att visa hur digitalisering utvecklades hittills. Tidigare forskning visar att multimodalitet är avgörande för naturvetenskapliga ämnen och att det är extremt viktigt att lärarna använder sig av denna ökade multimodalitet. Därefter utförs en kvalitativ studie angående verksamma lärares inställning till detta och risken att undervisningsmoment inte följer kursernas centralinnehåll diskuteras. Tio lärare intervjuas angående deras upplevelser av anpassning till digitaliserad undervisning och deras funderingar angående framtiden av detta. Fokuset har lagts på undervisning av naturvetenskapliga ämnen och matematik, men resultatens relevans är inte nödvändigtvis begränsad till dessa ämnen.

Cyberbullying has become a significant societal concern as people increasingly use computing technology to mediate all elements of their life. Cyberbullying can cause serious psychological and emotional problems for people who are impacted. Hence, developing automated ways for detecting cyberbullying is critical. While recent efforts to identify cyberbullying have specified advanced text processing approaches, the area of visual data processing has received significantly less attention.  This thesis presents multimodal approach on cyberbullying detection in social media by using a combination of visual and textual features. The work presents the prototype of cyberbullying detection system alongside its design and implementation details.  The foundings of this work prove that visual features can be used for the improvement of the textual approach. The results show that visual features is a best performing approach according to Naive Bayes and Random Forest algorithms and combination of textual and visual features reached the highest performance according to Support Vector Classification model. Furthermore, the result reveal that feature combination leading to the highest performance of Support Vector Classification is a combination of text description, text sentiment and image tags. The strongest feature performance with Random Forest and Naive Bayes model has been demonstrated by image tags. / Cybermobbning har blivit ett stort samhällsproblem i takt med att människor i allt högre grad använder datorteknik i alla delar av sitt liv. Cybermobbning kan orsaka allvarliga psykologiska och känslomässiga problem för de personer som drabbas. Därför är det viktigt att utveckla automatiserade metoder för att upptäcka cybermobbning. Medan de senaste insatserna för att identifiera cybermobbning har specificerat avancerade metoder för textbearbetning, har visuell databehandling fått betydligt mindre uppmärksamhet.  I den här avhandlingen presenteras en multimodal metod för att upptäcka cybermobbning i sociala medier med hjälp av en kombination av visuella och textuella element. I arbetet presenteras prototypen av ett system för upptäckt av cybermobbning tillsammans med detaljer om dess utformning och genomförande.  Resultaten av detta arbete visar att visuella funktioner kan användas för att förbättra den textuella modellen. Resultaten visar att visuella funktioner är det bästa tillvägagångssättet enligt Naive Bayes - och Random Forest­algoritmerna och att kombinationen av text- och visuella funktioner uppnådde den högsta prestandan enligt Support Vector Classification - modellen. Dessutom visar resultatet att kombinationen av funktioner som leder till den högsta prestandan för Support Vector Classification ar en kombination av textbeskrivning, textkänsla och bildtaggar. Den starkaste prestandan med Random Forest - och Naive Bayes -modellen däremot, har visats med bildtaggar.

Det här examensarbete handlar om multimodal högläsning i förskolan. Syftet med denna studie är att skapa förståelse för hur några förskollärare använder sig av olika modaliteter under högläsning för att främja flerspråkiga barns språkutveckling. Studien utgick från en kvalitativ studie där en semistrukturerad intervju användes som metod för att samla in data och ljudinspelning användes för att dokumentera data. Åtta förskollärare som arbetar med både flerspråkiga - och enspråkliga barn intervjuades för att samla in data. Informanternas svar analyserades sedan genom en kvalitativ innehållsanalys. Socialsemiotik och det sociokulturella perspektivet var teoritiska utgångspunkter i denna studie.  I resultatet framkommer att olika modaliteter som innefattar boksamtal och kroppsspråk, tecken, TAKK, gester, konkreta material, handdockor, bilder, Polyglutt och även sång, musik och ramsor används av förskollärare när de högläser för barnen. Resultatet visar också att användningen av olika modaliteter under högläsningen stimulerar flerspråkiga barn att utveckla sitt ordförråd, våga uttrycka sig och berätta om sina tankar. Det främjar även deras förståelse kring bokens och berättelsernas innehåll. Enligt resultaten utgör förskollärares förhållningssätt och hela arbetslagets engagemang och deltagande betydelsefulla faktorer för att bedriva en multimodal högläsning i förskolan. Att förskollärare får tid och möjligheter att planera och organisera läsmiljöer är också viktiga förutsättningar för att kunna kombinera högläsningen med multimodala metoder. Ett tematiskt arbete skapar också variationer och underlättar för att arbeta multimodalt. I slutsatsen visar det att multimodal högläsning främjar flerspråkiga barns språkutveckling på olika sätt. Det kan fånga barnens intresse och uppmärksamhet samt engagemang. Dessutom stimulerar det barnens förståelse och ordförråd. / This thesis is about multimodal reading aloud in preschool. The purpose ofthis study is to create an understanding of how some preschool teachers usedifferent modalities during read-aloud to stimulate multilingual children'slanguage development. The study was based on a qualitative study wherea semi-structured interview was used as a method to collect data and audiorecording was used to document the data. Eight preschool teachers whowork with both multilingual and monolingual children were interviewed tocollect the data. The informants' answers were then analyzed through aqualitative content analysis. Social semiotics and the socioculturalperspective were theoretical starting points for this study.The result shows that different modalities that include book talks and bodylanguage, signs, TAKK, gestures, concrete materials, hand puppets,pictures, Polyglutt application and song, music and rhymes are used bypreschool teachers when they read aloud to the children. The results alsoshow that by using different modalities during read-aloud, it stimulatesmultilingual children to develop their vocabulary, dare to expressthemselves and share their thoughts. It also stimulates their understandingof the content of the book and the stories. According to the results, thepreschool teachers' approach and the entire work team's commitment andparticipation are important factors for conducting a multimodal read-aloudin preschool. It is also important that preschool teachers have time andconditions to plan and organize the reading environments in order to beable to combine read-aloud with multimodal methods. A thematic workalso creates variations and facilitates multimodal work. In conclusion, thestudy show that multimodal reading aloud stimulates multilingualchildren's language development in different ways. It can capture thechildren's interest and attention as well as engagement. In addition, itstimulates children's understanding and vocabulary.

The purpose of this study is to explore how the relation between gender and humour is maintained and challenged in the Swedish TV show Parlamentet. Using an interactional approach based on Judith Baxter’s theoretical framework for feminist post-structuralist discourse analysis, the study focuses on how communicative strategies are used in negotiating for the ideal position of “the successful comedian”. This position is seen as an ideal position in Parlamentet, where comedians do political parody. In the conversation sequences examined in this study, both verbal and bodily semiotic modes have been analyzed using conversation analysis and multimodal analysis. The study focuses on how different communicative strategies encourage or reject the comedians and how this leads to different possibilities in negotiating for a powerful position, the position of the successful comedian. Humour is culturally seen as a male-coded discourse. The relations between humour and gender that are in focus are the hegemonic notions of women as lacking a sense of humour or being less humorous than men. The notions of gender are based on Judith Butler’s theories and hence seen as something performed through discourse and within a rigid regulatory frame where the subject’s possibilities are not infinite. The results of the study show that the female and male comedians do not have the same possibilities in the negotiation for the position of “the successful comedian”. The male comedians are strongly encouraged to a greater extent than the female comedians. The female comedians are also rejected to a larger extent than the male comedians. The male comedians are mostly rejected by the moderator whereas the female comedians are rejected by the moderator, male comedians and female comedians. The female comedians encourage other comedians to a larger degree than the male comedians. A significant finding of this study is that the relations between humour and gender, where women are seen as less humorous than men, are maintained when female comedians through discourse are made less humorous. However, there are strategies in the interaction that do encourage the female comedians or that lead to female comedian’s resist being rejected. These strategies indicate that the hegemonic cultural notions of women as less humorous than men are also challenged in this public discourse.

I föreliggande studie är syftet att studera några högskolelärares upptattningar angående-, innebörden av och arbete med en sopranklang på en högskolenivå. Tidigare litteratur och forskning visar på olika svar om hur begreppet kan användas, innebörden av begreppet samt nyanseringen av begreppen klang, timbre och klangfärg. Arbetet är kvalitativt och utgår från det teoretiska perspektivet designteori och socialsemiotik. Metoden som används är stimulated recall-intervjuer som i föreliggande fall innebär en videoobservation av en sånglektion och ett intervjutillfälle där läraren i en semistrukturerad intervju berättar om uppfattningar och arbete med en vacker klang, med videon som underlag för intervjun. Resultatet delas in teman om uppfattningar om och arbetet med klang. Gällande uppfattningar angående klang framkommer att klang ses som en medfödd, utvecklingsbar och kommunikativ förmåga samt som ett ej användbart begrepp. Resultatet visar att Arbetet med klangen utgår ifrån verbala, sångliga, fysiska och känslomässiga representationer. I diskussionen diskuteras aspekten om en vacker klang kan tyckas vara medfödd eller utvecklingsbar. Även vikten av multimodalitet i arbetet med klang diskuteras. I diskussionen lyfts även aspekter av arbetet med klang som direkt eller indirekt eller som ett fysiskt fenomen kontra ett abstrakt fenomen. / This study is about the soprano timbre, how university teachers defines the term and how the work with it in teaching. Previous research presented different answers about the meaning of the term timbre. It’s a qualitative study and based on the theoretical perspective design theory and social semiotic. The method used is stimulated recall interviews, which in the present case is both a video observation of a singing lesson and an interview occasion where the teachers are interviewed one by one. The interview is semi-structured and the teachers got to tell about their opinion about a beautiful sound, and the work with timbre. The video is used as a basis for the interview. The result is divided into the categories "The opinion of" and "the work with" timbre.The opinion of timbre is also divided into the headings: sound as innate, developable and communicative ability and also the term timbre being not useful. The work with the timbre is based on verbal, singable, physical and emotional representations. In the discussion, the aspect is further discussed if a beautiful sound can seem to be innate or developable, as well as the multimodality and its resources. The discussion also discusses aspects of the work with the sound as direct or indirect or as a physical phenomenon versus an abstract phenomenon. In addition, the beautiful timbre of the multimodality is discussed.

Syftet med denna undersökning har varit att se över vilka typer av semiotiska resurser som används i den fria leken i förskolor. Vi har valt att lägga vårt fokus på barn mellan 1–3 år då vårt intresse var att se hur barnen kommunicerar och skapar mening med varandra i den fria leken. Studien har byggts upp genom att vi har observerat barn på olika förskolor under den fria leken och fört fältanteckningar som vi sedan har analyserat. Resultaten som vi kom fram till i vår analys var att barn kommunicerar på många olika sätt. Många barn i ålder 1–3 år har ännu inte utvecklat den verbala kommunikationen och väljer att använda sig av den icke-verbala kommunikationen såsom semiotiska resurser. Barn använder sig av många olika typer av teckensystem under den fria leken både mellan barn-barn och barn-pedagog. Barnen kunde bli multimodala och de använde sig av liknande tecken som ljud, gester och ögonkontakt. Med hjälp av dessa tecken så skapade barnen även ett meningsskapande. Slutligen kom vi fram till att barn kan både medvetet och omedvetet kommunicerar med hjälp av olika semiotiska resurser i den fria leken och att använda sig av semiotiska resurser är något som sker vardagligen.