The present study conducts a multimodal discourse analysis of texts from the three charities UNICEF, Red Cross and Doctors Without Borders and investigates how the reader is encouraged to support these organizations by donating money. The aim is to explore what relationship to the reader that is established, as well as what attitudes that are expressed through textual and visual modes. To do this, three texts from each charity are selected, all regarding the 10-year-long Syrian war, so a comparison can be drawn between the organizations’ different linguistic strategies. The study is based on Fairclough’s three-dimensional model, Halliday’s metafunctions and the appraisal theory presented by Martin & White. Previous studies illustrate how the theoretical frameworks can be applied in analyses of advertisement, narrative texts and fundraising letters by non-for-profit organizations. This study provides further illustration of the significant role of different details in pictures and written text in order to inspire and persuade the reader to help finance the organizations. The results discern a charity discourse, where the texts not only emphasize the importance of helping those in need, but also to support and allow the charities to continue their crucial work worldwide. The texts also seem to aim at arousing empathy and creating a close relationship to the reader in order to encourage donations.

Studiens syfte var att undersöka hur dirigenter för symfoniorkester och storband använder olika tecken i sin kommunikation samt att se om det fanns tydliga likheter och skillnader mellan de olika orkesterformerna. I studien har ett socialsemiotiskt och multimodalt perspektiv använts. Dirigenterna har analyserats utifrån bland annat vilka teckensystem de använder i sin kommunikation med musikerna. Videoobservation har använts som metod och materialet har tagits från siten www.youtube.com Urvalet har bestått i inspelningar av världskända professionella dirigenter som dirigerar professionella orkestrar, några av de bästa inom sitt fält. Resultatet påvisar att dirigenterna ofta använder många teckensystem simultant. Dirigenterna använder en del gemensamma tecken men även många personliga tecken för sin kommunikation. Det framkom vissa skillnader mellan genrerna men då resultaten även skiljde sig mellan dirigenterna inom samma genre krävs mer studier för att ge ett slutgiltigt resultat. Överlag behövs fler studier på dirigering inom storbandsorkester. / The aim of this study was to investigate how conductors representing two different orchestral traditions - the symphony orchestra and big band- use different signs for communication and to explore whether there are any clear differences and similarities between them. Throughout the analysis, a social semiotic and multimodal perspective was applied. The conductors have been analysed by which signs they use when communicating with the musicians. Video observation was used as a method and the material has been retrieved from www.youtube.com. The selection contains recordings of professional and world-famous conductors, working with world renowned orchestras. The result of the study seems to reveal that the conductors utilize and communicate with many sign systems simultaneously and that they use mutual signs as well as personal signs when communicating. There were differences between the two genres but also between conductors within the same genre so further studies are needed to establish a more thorough conclusion. Overall, there is a need for further and larger studies regarding big band orchestras.

Ce travail de thèse s’est intéressé au transport urbain de passagers dans un contexte d’offre de transport multimodale consistant en la coexistence de plusieurs modes de transport. Dans la pratique, un problème de transport multimodal nécessite la prise en compte de plusieurs objectifs et de contraintes spécifiques liées aux modes ou à la séquence de modes utilisés. De telles contraintes sont appelées contraintes de viabilité.Cette thèse CIFRE s’est déroulée en collaboration avec la société MobiGIS, spécialisée dans le conseil et le développement d’applications autour des Systèmes d’Information Géographiques.Le problème étudié dans cette thèse est celui de la recherche d’itinéraires viables multimodaux point à point bi-objectif pour lequel il s’agit à la fois de minimiser le temps de trajet et le nombre de changements de mode. Compte tenu notamment des objectifs considérés, ce problème est de complexité polynomiale.Sur la base d’une modélisation multi-couches des réseaux de transport multimodaux et d’une modélisation par un automate à états finis des contraintes de viabilité nous avons proposé différents algorithmes de résolution de ce problème basés sur le principe de fixation et extension de labels. Nous avons également proposé une règle de dominance basée sur les états de l’automate de viabilité et permettant d’élaguer le nombre de labels explorés par nos algorithmes. Des adaptations en bidirectionnel ou en utilisant le principe de la recherche A_ ont également été proposées.Les algorithmes proposés ont été évalués sur une partie du réseau de transport de la ville de Toulouse et les expérimentations ont mis en évidence l’intérêt de la règle de dominance basée sur les états ainsi que de l’approche bidirectionnelle développée.Un prototype logiciel implémentant différentes fonctionnalités des algorithmes de plus courts chemins a été développé. Il permet notamment de réaliser des calculs d’itinéraires point à point, des calculs d’accessibilité ou des calculs de distancier / This thesis focuses on urban passenger multimodal transportation. In practice, a multimodal transportation problem requires taking into account several objectives and specific constraints related to modes or sequence of used modes. Such constraints are called viability constraints. This work has been carried out in collaboration with MobiGIS, a company specialized in consulting and development of applications around Geographical Information Systems.The problem studied in this thesis is the bi-objective multimodal viable point-to-point shortest path, aiming at minimizing the total travel time and the total number of mode changes. Given the considered objectives, this problem is polynomial.On the basis of a multi-layered graph model of the multimodal transportation networks, and of a finite state automaton model of the viability constraints, we propose various algorithms for solving this problem, based on the principle of label setting and extension.We also proposed a new dominance rule based on the states of the automaton to reduce the number of labels explored by our algorithms. Bidirectional and A* variants are also proposed.The algorithms are evaluated the transportation network of the city of Toulouse and experiments demonstrate the interest of the proposed dominance rules and bidirectional approach. A prototype software implementing different features of the shortest path algorithms has been developed. It notably enables calculations of point-to-point routes, accessibility and origin-destination matrices

Commercials effect norms and much more, but how does the individual abide to these normativeperceptions in Swedish media? The norm is only first identified when it differs from what is not the norm. Therefor knowledge surrounding the commercials influential power on individuals is needed. The purpose of this study is to examine how diversity in society can be mirrored in campaign posters in subway stations. The starting point is to apply a linguistic perspective to be able to analyze how written text and image can express meaning through a sociosemiotic multimodal analysis from the interpersonalmeta-function. The material consists of four campaign posters and each poster is analyzed as a whole. If needed the individuals or parts being displayed in the poster will be analyzed as well. The chosen campaign posters are: 1177 hjälper dygnet runt, Många har många frågor, GÖR PLATS! and Julstök.

Representation in the media has become a debated topic over the last decade, with many people advocating for more diversity in movies and on TV. After ten years of entirely white male superheroes, Marvel released Black Panther in 2018, featuring an almost all-black cast. Four years later, in 2022, they released Black Panther: Wakanda Forever, with Marvel's first ever black female superhero in the lead.  This thesis examines the construction of gender in the two movies, whilst applying a lens of intersectionality. The purpose of the study is to analyze how the films relate to stereotypes and norms surrounding masculinity and femininity. The research question posed was: How is gender represented in Black Panther and Black Panther: Wakanda Forever, from an intersectional perspective, through the negotiating of stereotypes and gender norms? The theoretical framework consists of Hirdmans gender-contract, Hall's representation theory, intersectionality as well as social semiotics and discourse-theory. The research question was answered using multimodal critical discourse analysis. The model “Hero's Journey” was used to identify key-scenes in the movies which were then analyzed based on the theoretical framework.  The study finds that the movies overall do a good job of negotiating stereotypes, with many examples of norm-breaking behavior from both female and male characters, despite the latter being somewhat more in line with the stereotypes identified. Seeing as representation is a powerful tool in shaping societal discourse, this speaks for the movies abilities to create a more inclusive perception regarding the topic of gender.

This study presents an analysis of UR Play's homepage and its use of visual and textual elements as online control mechanisms from a technographic perspective with a focus on social semiotics. The study employed the social semiotic method of multimodal critical discourse analysis (MCDA). The findings revealed that UR Play employed conventions - socially accepted meanings familiar from other websites - in a user-oriented manner from a technical perspective, providing users with a sense of control and choices. For instance, program images were designed as clickable links, clearly indicating their interactive nature when the mouse hovered over them. UR's power as an established, trusted actor was expressed through the linguistic categorization and the determination of which programs received attention. Discourses of UR as a trusted knowledge authority were reiterated through lexical choices. The study emphasized the importance of digital literacy as a prerequisite for analysis and the need to develop new concepts within media research to better comprehend these dynamics. / Denna studie visar en analys av UR Plays startsida och dess användning av visuella och textuella element som styrmedel online utifrån ett teknografiskt perspektiv med ett socialsemiotiskt fokus. Studien har genomförts med hjälp av den socialsemiotiska metoden multimodalt kritisk diskursanalys (MCDA). Resultatet visade att UR play vid undersökningens genomförande använde konventioner - socialt vedertagna betydelser, bekanta genom andra webbsidor, på användarorienterat sätt ur ett tekniskt perspektiv som gav användarna en känsla av kontroll och valmöjligheter. Exempelvis hur programbilder byggts upp som länkar och tydligt visade sig klickbara när musen hovrade över dem. UR:s makt som etablerad aktör med högt förtroende tog sig uttryck genom språklig utformning av kategorier och genom bestämmandet av vilka program som fick uppmärksamhet. Diskurser av UR som betrodd aktör med makt över kunskap upprepades genom lexikala val. Studien underströk vikten av digital litteracitet som en förutsättning för analys och behovet av att utveckla nya begrepp inom medieforskningen för att förstå dessa dynamiker bättre.

Barn idag möter ständigt olika kommunikationsmiljöer och behovet att kunna uttrycka sig genom olika uttrycksformer är därför stort. Skolan skall rusta framtida samhällsmedborgare och behöver således anpassa undervisningen utefter rådande samhälle. Därför behöver eleverna få kunskap om hur de producerar men även hur de konsumerar de texter som ofta innehåller ett stort flöde av olika intryck och inputs att sålla och värdera.   I tidigare forskning framgår det tydligt om vad multimodalitet innebär och hur multimodalitet uttrycks i undervisningen. Däremot saknas det forskning om hur lärare upplever den faktiska multimodala undervisningen. Inte minst saknas det forskning om hur lärare påverkas av bedömningssituationer när det kommer till att utveckla elevers multimodala kompetens. Syftet med föreliggande studie är att bidra med kunskap om lärares uppfattningar om vilka förutsättningar som förefinns för att bedriva ett multimodalt arbetssätt i svenskundervisningen Studien avgränsas till årskurs f-3 och avser besvara följande frågeställningar:    -        Hur arbetar verksamma lärare med multimodala uttrycksformer i sin undervisning?  -        I vilken utsträckning får eleverna möjlighet att utveckla multimodal kompetens?  -        Hur resonerar lärarna om bedömning av multimodal kompetens?   Denna kvalitativa studie har genomförts genom semistrukturerade intervjuer med sex verksamma lågstadielärare för att ta reda på deras uppfattningar om att arbeta multimodalt och elevers möjligheter att utveckla multimodal kompetens. Undersökningen gjordes med utgångspunkt i den sociokulturella teorins infallsvinkel om att lärande sker i mötet med andra.    Resultatet åskådliggör att arbete med multimodala verktyg genomförs men i olika utsträckning och att lärarna som är intervjuade känner stor osäkerhet om begreppet multimodalitet vilket visar sig i deras beskrivna arbetssätt. Slutsatsen dras att lärarnas uppfattningar om begreppet påverkar elevernas möjlighet att utveckla multimodal kompetens. Vidare behöver en revidering av det bedömningsunderlag som tillhör läroplanerna ske för att lärarna i studien skall känna förtrogenhet till arbetet med multimodalitet. / Children of today constantly encounter a rich variety of communication arenas, and the need for the ability to express oneself through various modalities is therefore significant. The school must equip future citizens of society and therefore need to adapt the teaching according to the prevailing society. Consequently, students need to acquire knowledge about how to produce, but also how to consume the texts that often contain a large flow of different impressions and inputs to sift and evaluate.  Previous research reveals how multimodality is expressed in actual teaching and focuses on the fact that teachers today feel uncertain about the concept. However, there is a lack of research on how the teachers experience actual multimodal teaching. Not least, there is a lack of research on how teachers are influenced by assessment situations when it comes to developing students´ multimodal competence. The purpose of this study is therefore to contribute knowledge about teachers’ perceptions of what conditions exist for conducting a multimodal working method in Swedish education. The study is limited to elementary school and intends to answer the following questions:    ·       How do active teachers work with multimodal forms of expression in their teaching? ·       To what extent do students can develop multimodal competence? ·       How do teachers reason about the assessment of multimodal competence?   This qualitative study was conducted through semi-structured interviews with six active primary school teachers to find out their perceptions of working multimodally and the student's ability to develop multimodal competence. The survey was based on sociocultural theory´s perspective that learning occurs in the interaction with others.    The results demonstrate that work with multimodal tools is implemented, but to various extent, and that interviewed teachers feel a great uncertainty about the concept of multimodality. The conclusion is that the teacher's perception of the concept affects the student's ability to develop multimodal competence. Furthermore, a revision of the assessment framework needs to take place for the teachers in the study to feel familiarity with the work of multimodality.

Currently, most long-term human motion classification and prediction tasks are driven by spatio-temporal data of the human trunk. In addition, data with multiple modalities can change idiosyncratically with human motion, such as electromyography (EMG) of specific muscles and respiratory rhythm. On the other hand, progress in Artificial Intelligence research on the collaborative understanding of image, video, audio, and semantics mainly relies on MultiModal Machine Learning (MMML). This work explores human motion classification strategies with multi-modality information using MMML. The research is conducted using the Unige-Maastricht Dance dataset. Attention-based Deep Learning architectures are proposed for modal fusion on three levels: 1) feature fusion by Component Attention Network (CANet); 2) model fusion by fusing Graph Convolution Network (GCN) with CANet innovatively; 3) and late fusion by a simple voting. These all successfully exceed the benchmark of single motion modality. Moreover, the effect of each modality in each fusion method is analyzed by comprehensive comparison experiments. Finally, statistical analysis and visualization of the attention scores are performed to assist the distillation of the most informative temporal/component cues characterizing two qualities of motion. / För närvarande drivs uppgifter som långsiktig klassificering och förutsägelse av mänskliga rörelser av spatiotemporala data från människans bål. Dessutom kan data från flera olika modaliteter förändras idiosynkratiskt med mänsklig rörelse, t.ex. elektromyografi (EMG) av specifika muskler och andningsrytm. Å andra sidan bygger forskning inom artificiell intelligens för samtidig förståelse av bild, video, ljud och semantik huvudsakligen på multimodal maskininlärning (MMML). I det här arbetet undersöks strategier för klassificering av mänskliga rörelser med multimodal information med hjälp av MMML. Forskningen utförs med hjälp av Unige-Maastricht Dance dataset. Uppmärksamhetsbaserade djupinlärningsarkitekturer föreslås för modal fusion på tre nivåer: 1) funktionsfusion genom Component Attention Network (CANet), 2) modellfusion genom en innovativ fusion av Graph Convolution Network (GCN) med CANet, 3) och sen fusion genom en enkel omröstning. Alla dessa överträffar riktmärket med en enda rörelsemodalitet. Dessutom analyseras effekten av varje modalitet i varje fusionsmetod genom omfattande jämförelseexperiment. Slutligen genomförs en statistisk analys och visualiseras av uppmärksamhetsvärdena för att hjälpa till att hitta de mest informativa temporala signaler eller komponentsignaler som kännetecknar två typer av rörelse.

BACKGROUND. Multimodal Machine Learning is a powerful paradigm that capitalizes on the complementary predictive capabilities of different data modalities, such as text, image, time series. This approach allows for an extremely diverse feature space, which proves useful for combining different real-world tasks into a single model. Current architectures in the field of multimodal learning often integrate feature representations in parallel, a practice that not only limits their interpretability but also creates a reliance on the availability of specific modalities. Interpretability and robustness to missing inputs are particularly important in clinical decision support systems. To address these issues, the iGH Research Group at EPFL proposed a modular sequential input fusion called Modular Decision Support Network (MoDN). MoDN was tested on unimodal tabular inputs for multitask outputs and was shown to be superior to its monolithic parallel counterparts, while handling any number and combination of inputs and providing continuous real-time predictive feedback. AIM. We aim to extend MoDN to MultiModN with multimodal inputs and compare the benefits and limitations of sequential fusion with a state-of-the-art parallel fusion (P-Fusion) baseline.METHODS & FINDINGS. We align our experimental setup with a previously published P-Fusion baseline, focusing on two binary diagnostic predictive tasks (presence of pleural effusion and edema) in a popular multimodal clinical benchmark dataset (MIMIC).We perform four experiments: 1) comparing MultiModN to P-Fusion, 2) extending the architecture to multiple tasks, 3) exploring MultiModN's inherent interpretability in several metrics, and 4) testing its ability to be resistant to biased missingness by simulating missing not at random (MNAR) data during training and flipping the bias at inference. We show that MultiModN's sequential architecture does not compromise performance compared with the P-Fusion baseline, despite the added advantages of being multitask, composable and inherently interpretable. The final experiment shows that MultiModN resists catastrophic failure from MNAR data, which is particularly prevalent in clinical settings. / Multimodal maskininlärning är ett kraftfullt paradigm som utnyttjar de kompletterande prediktiva egenskaperna hos olika datamodaliteter, såsom text, bild, tidsserier. Detta tillvägagångssätt möjliggör ett extremt varierat funktionsutrymme, vilket visar sig vara användbart för att kombinera olika verkliga uppgifter i en enda modell. Nuvarande arkitekturer för multimodal inlärning integrerar ofta funktionsrepresentationer parallellt, en praxis som inte bara begränsar deras tolkningsbarhet utan också skapar ett beroende av tillgängligheten av specifika modaliteter. Tolkningsbarhet och robusthet mot saknade indata är särskilt viktigt i kliniska beslutsstödsystem. För att lösa dessa problem har forskargruppen iGH vid EPFL föreslagit en modulär sekventiell fusion av indata som kallas Modular Decision Support Network (MoDN). MoDN testades på unimodala tabulära indata för multitask-utdata och visade sig vara överlägsen sina monolitiska parallella motsvarigheter, samtidigt som den hanterar alla antal och kombinationer av indata och ger kontinuerlig prediktiv feedback i realtid. Vårt mål är att utöka MoDN till MultiModN med multimodala indata och jämföra fördelarna och begränsningarna med sekventiell fusion med en toppmodern baslinje för parallell fusion (P-Fusion). Vi anpassar vår experimentuppsättning till en tidigare publicerad P-Fusion-baslinje, med fokus på två binära diagnostiska prediktiva uppgifter (närvaro av pleural effusion och ödem) i en populär multimodal klinisk benchmark datauppsättning (MIMIC), som omfattar bilder, text, tabelldata och tidsserier. Vi utför fyra experiment och visar att MultiModN:s sekventiella arkitektur inte försämrar prestandan jämfört med P-Fusions baslinje, trots de extra fördelarna med att vara multitasking, komponerbar och tolkningsbar i sin egen rätt. Det sista experimentet visar att MultiModN motstår katastrofala fel från MNAR-data, vilket är särskilt vanligt i kliniska miljöer.

This thesis examines whether housing price estimations can be improved by combining several modalities of data through the utilization of neural networks. The analysis is limited to apartments in the Stockholm municipality, and the applied modalities are residential attributes (tabular data) and photo montages (image data). The tabular data includes living area, number of rooms, age, latitude, longitude and ocean distance, while the image data contains montages of four images representing the kitchen, bathroom, living space and neighborhood through satellite imagery. Furthermore, the dataset comprises a total of 1154 apartments sold within a time frame of approximately six months, ending in June 2023. The analysis is conducted by designing three artificial neural networks and comparing their performances: a multilayer perceptron that predicts selling prices using tabular data, a convolutional neural network that predicts selling prices using image data, and a multimodal neural network that estimates sold prices taking both modalities as inputs. To facilitate the construction process, the multimodal neural network is designed by integrating the other models into its architecture. This is achieved through the concatenation of their outputs, which is then fed into a joint hidden layer. Before initiating the network development phase, the data is preprocessed appropriately, for example by excluding duplicates and dealing with missing values. In addition, images are categorized into room types via object detection, satellite images are collected, and photo montages are created. To obtain well-performing models, hyperparameter tuning is performed using methods such as grid search or random search. Moreover, the models are evaluated through three repetitions of 5-fold cross-validation with the mean absolute percentage error as performance metric. The analysis shows that the multimodal neural network exhibits a marginal but significant performance advantage compared to the multilayer perceptron, both in terms of cross-validation scores and test set outcomes. This result underscores the potential benefits of utilizing both image data and tabular data for predicting apartment selling prices through the application of neural networks. Furthermore, this work motivates a deeper investigation into these prediction methods using larger datasets for which the multimodal neural network may achieve even stronger predictive capacity / Detta examensarbete undersöker huruvida bostadsprisuppskattningar kan förbättras genom att kombinera flera modaliteter vid tillämpning av neurala nätverk. Analysen är begränsad till lägenheter i Stockholms kommun, och de tillämpade modaliteterna är bostadsattribut (tabelldata) och fotomontage (bilddata). Tabelldatat inkluderar bostadsyta, antal rum, ålder, latitud, longitud och avstånd till havet, medan bilddatat består av montage med fyra bilder som representerar kök, badrum, vardagsrum och närområde genom satellitbilder. Datasetet omfattar totalt 1154 lägenheter sålda inom ett tidsspann på cirka sex månader, fram till och med juni 2023. Analysen utförs genom att designa tre artificiella neurala nätverk och jämföra deras prestanda: en flerskiktsperceptron som förutsäger försäljningspriser med hjälp av tabelldata, ett konvolutionellt neuralt nätverk som förutsäger försäljningspriser med hjälp av bilddata, och ett multimodalt neuralt nätverk som estimerar sålda priser med båda modaliteterna som indata. För att underlätta konstruktionsprocessen designas det multimodala neurala nätverket genom att integrera de andra modellerna i sin arkitektur. Detta åstadkoms genom en sammanlänkning av deras utdata, som sedan matas in i ett gemensamt dolt lager.  Innan nätverksutvecklingsfasen påbörjas, förbehandlas datat på lämpligt sätt, till exempel genom exkludering av dubbletter och hantering av saknade värden. Dessutom kategoriseras bilder till rumstyper via objektdetektering, satellitbilder samlas in och fotomontage skapas. För att uppnå välpresterande modeller utförs hyperparameterjustering med metoder som rutnätssökning eller slumpmässig sökning. Vidare utvärderas modellerna genom tre upprepningar av 5-faldig korsvalidering med det genomsnittliga absoluta procentuella felet som prestandamått. Analysen visar på att det multimodala neurala nätverket uppvisar en marginell men tydlig prestandafördel jämfört med flerskiktsperceptronen, både när det gäller korsvalideringspoäng och testresultat. Detta understryker de potentiella fördelarna med att använda både bilddata och tabelldata vid estimering av lägenheters försäljningspris genom tillämpning av neurala nätverk. Vidare motiverar detta arbete en djupare undersökning av dessa prediktionsmetoder med hjälp av större datamängder, för vilket det multimodala neurala nätverket har potential att uppnå ännu starkare prediktiv kapacitet.