This thesis studies how one can convey meaning in games by utilising pictorial feedback alone. With the help of Peircean visual semiotics the signs for the case study Among Ripples are assembled and later analysed in detail. As a subtopic the thesis also explores if it is possible to embed pictorial feedback into the game world instead of having it superimposed. The results showed that it is possible to convey some feedback with pictorial means alone, and that the entry points for understanding are not the same between different people. They look at different cues from the pictorial feedback constructed.

No description available.

This thesis will explore and compare two artists who at first meeting seem to have very littlein common more than being two modernist artists. The Swedish artist Nils Dardel and theMexican artist Frida Kahlo, even though the obvious differences — sex and nationality —came to have quite similar fates. Both artists were bisexual, came across death at an early age and as a consequencewould die rather young too, and in life would both struggle with pain and anxiety. The twoartist never met in life even though their similarities, and still after life their fates wouldcontinue on a similar path as they both after death would receive greater recognition. Nils Dardels and Frida Kahlos art is filled with emotions and portray themes that stilltouches people who comes across them today. What is it in their art that touches so manypeople, and do they have similar themes just as the similar aspects in their lives. These themes and two artists will be studied and analysed in this thesis. This thesispresents biographical background and will through a semiotic and comparative methodanalysis a total of six artworks made by the artists. This thesis by these methods will alsoexamine the two artists later receptions and try to explain how they came to be.

Miquela är en så kallad ”robot-influencer”, vilket bland annat betyder att ”hon” är en virtuell fiktiv karaktär i ett pågående transmedialt narrativ som upprätthålls av företaget Brud. Eftersom Miquela består av datormodifierade bilder och animationer, ser ”hon” uppenbart overklig ut, vilket kan väcka en uncannyvalley effekt hos betraktaren. Arbetet med uppsatsen grundas i ett intresse av att vilja förstå hur något så synbart overkligt kan uppfattas och accepteras socialt som en aktuell (virtuell) influencer. Syftet är därmed att nå en djupare förståelse för hur Miquela visuellt tar sig i uttryck på Instagram. Således genomförs en kvalitativ bild- och textanalys av material från Miquelas Instagramprofil. Analysen utgår från (social) semiotiska förhållningsätt och fokuserar på hur olika former av kapital yttras. Resultatet visar främst på att Miquela (visuellt och tillsynes) innehar och nyttjar socialt kapital, samt genom att ”hon” uppträder ”vardagligt” enkelt går att relatera till, vilket kan bidra till de parasociala relationer ”hon” har till sina följare. / Miquela is a so-called “robot-influencer”, which means that “she” is a fictional character within a transmedial narrative maintained by the company Brud. Due to Miquela being constructed by computer-generated imagery and animations, it is easy to perceive her appearance as unrealistic, which may cause the uncannyvalley-effect for the viewer. This paper has its foundation in an interest of wanting to understand how something so apparently unrealistic can become social accepted as an actual (virtual) influencer. The purpose is thereby to explore a deeper understanding of how Miquela gets expressed through visual content on Instagram. Hence a qualitative image- and textanalysis will be conducted on material from Miquelas Instagramprofile. The analysis will rely on an (social) semiotic perspective and its focal point will be on how various forms of capital is expressed. The results primarily show how Miquela, visually and seemingly, owns and uses social capital, and that “she” exhibits a relatable “everyday” behavior, which can contribute to the parasocial relationships "she" has with her followers.

Today, learning spaces are stuck in the industrial age with rows of desks and chairs. Differentiated teaching and personalised learning are not effective in traditional learning spaces and should focus on creating future classrooms (Kariippanon, 2017). This thesis is covering how furnishing for learning environments can be improved and designed through a participatory design process with Katedralskolan in Växjö by using recycled materials and additive manufacturing technology. The thesis is also exploring the opportunities of involving stakeholders to create new learning through the additive manufacturing process in interior and furniture design. Together with Katedralskolan and Sculptur, this project is exploring a concept for schools to have integrated education in interior design through semiotics that will contribute to students’ learning and explore large-scale additive manufacturing. The objective is to design a collection of interior products that will inform and communicate at an educational level and how a circular manufacturing technique is possible through 3D-printing using communicating design and semiotics. The aim is also to understand Sculptur’s product development- and manufacturing process through large-scale 3D-printing. The mission statement whereas follows: Develop a furniture concept based on an understanding of the needs of, and participation with, the user group in a co-design process as a case to study the large-scale additive manufacturing techniques together with the given conditions provided by Sculptur. The thesis process has been following an iterative design process called the design thinking process (The Interaction Design Foundation, 2021) and a co-designing process (Sanders, 2018). The design thinking process is a design methodology that provides a solution-based approach to solving problems. The five stages of Design Thinking are as follows: Empathise, Define, Ideate, Prototype, Test. Through studies, surveys, and observations a list of stakeholder needs was created and was used when developing ideas through workshops, drawings, and prototyping. The ideas were then developed into concepts that were tested through both desktop 3D-printing and large-scale additive manufacturing. The concepts were also evaluated by stakeholders as well as through a concept evaluating matrix (Wikberg N., et.al., 2015). The result of this master thesis is the conclusion of the furniture concept as well as the study of large-scale additive manufacturing as an industrial designer. The furniture concept “Unfold lounge chair” is based on stakeholder needs and manufacturing restrictions. It is also an attempt to use theory to make the next generation of pedagogical furnishings using sustainable and circular manufacturing techniques. Through design thinking, the master thesis result was created with a human-centred approach to integrate the needs of people, the possibilities of technology and the requirements for business success (IDEO, n.d.). / Idag sitter läromiljöer fast i den industriella epoken med rader av skrivbord och stolar. Differentierad undervisning och personlig inlärning är inte effektiv i traditionella läromiljöer och bör vara i fokus för att skapa framtidens klassrum (Kariippanon, 2017). Detta examensarbete tar upp hur inredning för inlärningsmiljöer kan förbättras och utformas genom en deltagande designprocess med Katedralskolan i Växjö med hjälp av återvunna material och additiv tillverkningsteknik. Arbetet har också undersökt möjligheterna att involvera intressenter för att skapa nytt lärande genom tillämpning av additiv tillverkning inom inredning och möbeldesign. Tillsammans med Katedralskolan och Sculptur har detta projekt undersökt ett koncept för skolor att ha integrerad utbildning i möbler genom semiotik och pedagogisk design som kommer att bidra till elevernas lärande samt utforska storskalig additiv tillverkning. Målet är att utforma en samling möbelkoncept som informerar och kommunicerar på utbildningsnivå och hur en cirkulär tillverkningsteknik är möjlig genom 3D-printnig med hjälp av kommuniationsdesign och semiotik. Målet är också att förstå Sculpturs produktutvecklings- och tillverkningsprocess genom storskalig additiv tillverkning. Projektets Mission statement var följande: Utveckla ett möbelkoncept baserat på en förståelse av behoven hos användargruppen i en samdesignprocess som ett fall för att studera storskalig additiv tillverkning tillsammans med de givna förutsättningarna från Sculptur. Examensarbetet har följt en iterativ designprocess som kallas design thinking process (The Interaction Design Foundation, 2021) tillsammans med en co-designprocess (Sanders, 2018). Design thinking är en designmetodik som ger en lösningsbaserad metod för att lösa problem. De fem faserna i design thinking är följande: Empathise, Define, Ideate, Prototype, Test. Genom studier, undersökningar och observationer skapades en lista över intressenters behov och användes när idéer utvecklades genom workshops, skisser och prototyper. Idéerna utvecklades sedan till koncept som sedan testades genom både mindre 3D-utskrift och storskalig additiv tillverkning. Koncepten utvärderades också av intressenter samt genom en konceptviktningsmatris (Wikberg N., et.al., 2015). Resultatet av detta examensarbete är sammanfattningen av möbelkonceptet samt studien av storskalig additiv tillverkning som industridesigner. Möbelkonceptet ”Unfold lounge chair” bygger på intressenternas behov samt tillverkningsrestriktioner. Det är också ett försök att använda teori för att skapa nästa generation av pedagogiska möbler med hållbara och cirkulära tillverkningstekniker. Genom design thinking skapades resultatet med ett mänskligt centrerat tillvägagångssätt för att integrera människors behov, teknikens möjligheter och kraven för produktens framgång (IDEO, n.d.).

This dissertation deals with firms’ visual and pre-visual self-representations in accounting narratives. Self-representations are those descriptions about the company that firms include in accounting narratives to convey the current standings and their identity. External stakeholders increasingly expect non-numerical information about firms to be disclosed, and accounting narratives are a key medium for firms to account for their activities and maintain legitimacy as social actors. The question of which reporting conventions exist for legitimating selfrepresentations, especially from a visual perspective, remains unexplored. The purpose of this study is therefore to explore the empirical phenomenon of self-representations in accounting narratives in relation to legitimation rhetoric. The study is based on three research papers dealing with different patterns of self-representations in accounting-related narratives, including corporate reporting and business model diagrams. The examples are viewed through the theoretical lenses of semiotics and institutional theory, particularly legitimation theory. The study combines visual methods (visual content analysis and visual taxonomy) with other methods (interviews, text analysis) to conceptualize and exemplify what is meant by self-representations in accounting narratives. The study finds that there may be multiple parallel pre-visual self-representations at play to influence representations of the self, that visual self-representations are becoming more common in accounting narratives, and that several rhetorical strategies for legitimation are observable in these representations. By showing how diagrams can serve a legitimating purpose in accounting narratives, it is argued that diagrams should be considered on par with graphs and photographs as visual rhetorical devices in accounting narratives, and that they could be used as key communicative elements in the accounting process. Second, based on the longitudinal and comparative examples of self-representations, it is suggested that self-representations increasingly refer to abstract rather than concrete referents. This change is discussed in terms of the increasingly digital and service-based knowledge economy, where material referents give way to “amaterial” values. The contribution of this study is to describe selfrepresentations through several empirical examples, and to thereby increase awareness among practitioners and researchers of how visuals serve as communicative resources with legitimating functions in accounting narratives. Four concepts are proposed as tools for explaining the observed developments, and for improving visual literacy with regard to accounting narratives: inclusive perspective on accounting narratives, amateriality, self-representation, and diagrams. / Denna licentiatavhandling handlar om företags visuella och ”för-visuella” själv-representationer i kontexten redovisning. Till självrepresentationer hör de beskrivningar som företaget inkluderar i sin externt rapporterade information för att förmedla dess ställning och identitet. Externa intressenter förväntar sig i ökande utsträckning att även icke-numerisk information redovisas av företaget, vilket gör denna typ av externt rapporterade information viktig för att redovisa aktiviteter och för företag att därigenom bibehålla legitimitet som sociala aktörer. Frågan om vilka rapporteringskonventioner som finns kring företags självrepresentationer är i dagsläget inte utforskad. Syftet med denna studie är därför att undersöka det empiriska fenomenet självrepresentationer i kontexten redovisning kopplat till perspektivet legitimeringsretorik. Studien baserar sig på tre forskningsartiklar som behandlar olika empiriska exempel och mönster av självrepresentationer, exempelvis affärsmodellsdiagram. Dessa betraktas utifrån de teoretiska linserna semiotik och institutionell teori, speciellt legitimeringsteori. Studien kombinerar visuella metoder (visuell innehållsanalys och visuell taxonomi) med andra metoder (intervjuer och textanalys) för att konceptualisera och exemplifiera vad som menas med självrepresentation i kontexten redovisning. Studien finner att det kan förekomma många parallella för-visuella självrepresentationer som påverkar företags självuppfattning, att visuella självrepresentationer blir alltmer vanliga i företags externt publicerade information, och att flera retoriska legitimeringsstrategier förekommer i det undersökta materialet. Genom att visa hur diagram används som kommunikationsresurs så argumenterar studien för att fortsatt forskning behövs för att undersöka hur diagram, likt mer utforskade visuella format såsom grafer och fotografier, bidrar till företags legitimeringsretorik i externt publicerad redovisningskommunikation, samt att diagram kan fungera som viktiga resurser för självrepresentation i företags redovisningsprocess. Dessutom föreslås, baserat på longitudinella och jämförande exempel, att självrepresentationer i ökande grad relaterar till abstrakta snarare än konkreta referenter. Denna förändring diskuteras i termer av en alltmer digital och tjänstebaserad kunskapsekonomi, där materiella referenter överges till förmån för ”amateriella” värden. Studiens bidrag är att beskriva själv-representationer genom flera empiriska exempel, och att därmed öka medvetenheten hos praktiker och forskare om hur visuella format kan tjäna legitimeringssyften i kontexten redovisning. Baserat på studiens analys och resonemang lyfts fyra begrepp fram för att förklara den observerade utvecklingen, samt för att bidra till att förbättra praktikers såväl som forskares ”visuella läskunnighet”: ett inkluderande perspektiv på externt publicerad information, amaterialitet, självrepresentation, och diagram.

Advertising constantly surrounds us in different ways and it affects us in our everyday lives. The underwear industry has often been criticized for sexist and excluding advertisements and women has often been depicted in a stereotyped way. Today marketing has become more inclusive, as diversity of people in advertisements has become a hot topic of discussion. It is interesting to examine this topic out of a Swedish context as it in many ways is a country that is on the cutting edge when it comes to inclusion and diversity. This study aims to, based on images and commercials from Victoria’s Secret Sweden and Lindex, examine how and in what ways inclusion and exclusion depicts in female underwear advertising. Our theoretical framework consists of following theories: representation, stereotyping, intersectionality, and following terms: norm, norm creativity and femininity. Our analysis is made with semiotic image analysis as the chosen method. The main conclusion of this study is that our material included women with different skin colors and ethnicities, and partly women with varying body types and ages. People with visible disabilities was excluded from the advertisements. Factors such as class, sexual orientation, religious beliefs, gender identity and invisible disabilities we could not distinguish, which made it impossible for us to assess whether these groups was included or excluded in the advertisements. Thus, the advertisements was both including and excluding, however we question whether it is possible for companies to include all types of groups and people in their advertisements.

THE FACT THAT LANGUAGE IS SONOROUS HAS ALLOWED THE EMANCIPATION OF AN AESTHETIC MATERIAL – CALLED SEMIOPHONY HERE – IN MODERN ERA. IN THE LISTENING PROCESS OF 15 DIFFERENT RECORDINGS (SOUND POETRY, LITERATURE, CONTEMPORARY MUSIC, HOERSPIEL) ABOUT 330 VOCAL MODES WERE NOTED AND SEMIOTICS WERE THEN USED TO DESCRIBE THIS PARTICULAR FORM OF MEANING. SOME TWENTY FIGURES WERE THEN DEFINED AND INTERPRETED IN RELATION TO DIFFERENT THEORETICAL PERSPECTIVES: PHILOSOPHY OF LANGUAGE, SOCIOLOGY OF ART, AESTHETICS, OR THE IDEA THAT MUSIC AND POETRY SHARE A COMMON SOURCE.:TABLE DES MATIERES Introduction 9 1 Quinze protocoles d'Žcoute 27 1.1 A-Ronne, Luciano Berio 27 1.2 Second writing through Finnegans Wake, John Cage 36 1.3 U 47, Jean Baronnet & Franois Dufrne 41 1.4 Pomes Phonetiques Compltes, Raoul Hausmann 43 1.5 Derviche/Le Robert: lettre H (1984), Bernard Heidsieck 48 1.6 Pome-partition J, Bernard Heidsieck 51 1.7 Fa:m' Ahniesgwow, Hans G. Helms 54 1.8 Das Ršcheln der Mona Lisa. Lesung im Tip, Ernst Jandl 61 1.9 Finnegans Wake, James Joyce 65 1.10 Elektroakustischer Hšrtext I, Ferdinand Kriwet 69 1.11 das gras wies wŠchst, Franz Mon 74 1.12 Mein Chlebnikov, Oskar Pastior 82 1.13 It's gonna rain (1966), Steve Reich 87 1.14 KCH (1986), Valeri Scherstjanoi 93 1.15 Die Sonate in Urlauten, Kurt Schwitters 99 2 De la sŽmiophonie 107 2.1 Une approche sŽmiotique 107 2.1.1 Figures sonores et effets de sens 107 2.1.2 Une structure provisoire 108 2.1.3 SŽmiotique et ensemble signifiant 109 2.1.4 Le langage et les sŽmiotiques non linguistiques 111 2.1.5 Une forme sŽmiophone 113 2.2 Une approche discursive 114 2.2.1 Question de mŽthode 114 2.2.2 Le discours sŽmiophone 117 2.2.3 EvŽnements et unitŽs sŽmiophones 121 2.2.4 Discours et systme 124 2.2.5 Le corpus sŽmiophone 136 2.2.6 Le texte sŽmiophone 138 2.3 Le phonŽsigne 130 2.3.1 Les trois axes du phonŽsigne 130 2.3.2 Le phonŽsigne et le bruissement de la langue 132 2.3.3 Le phonŽsigne comme autre du discours 135 2.4 La sŽmiophonie et l'histoire 137 2.4.1 La sŽmiophone comme critique 137 2.4.2 La sŽmiophonie et le passŽ 141 2.4.3 SŽmiophonie et historicitŽ 142 2.4.4 La sŽmiophonie et l'hŽtŽrogne 144 2.4.5 SŽmiophonie et modernitŽ 147 3 Figures sonores du langage 153 3.1 EvŽnements non classŽs 153 3.2 Collectives 157 3.2.1 Tumultueuse 157 3.2.2 Chorale 160 3.3 Quotidiennes 163 3.4 Equivoques 168 3.4.1 Ambigu‘ 168 3.4.2 ParlŽ-chantŽe 171 3.4.3 MimŽtique 177 3.4.4 ApartŽ - Une vŽritŽ du langage 183 3.5 Hors langage 187 3.5.1 Somatique 187 3.5.2 PhonŽtique 192 3.5.3 Parenthse - La notion de Ç sŽmiosis È 197 3.6 Discursives 199 3.6.1 Prosa•que 199 3.6.2 Parenthse - La notion de Ç figure È 203 3.6.3 Prosodique 206 3.7 ItŽratives 211 3.7.1 Anaphorique 211 3.7.2 Rythmique 215 3.8 ColorŽes 223 3.8.1 Machinale 223 3.8.2 ApartŽ - Langage et reproduction technique 225 3.8.3 Etrangre 231 3.8.4 ApartŽ - Glossolalie et langue ŽdŽnique 237 3.9 PhŽnomŽnales 243 3.9.1 RŽflexive 243 3.9.2 Gestuelle 249 3.9.3 Affective 254 3.9.4 Dialogique 259 3.10 Liquide 263 Annexe I - PhonŽsmes 273 Annexe II - Termes sŽmiophones 277 Deutsche Zusammenfassung 285 Enregistrements 303 Bibliographie 305 Table des matires 315 / DIE TATSACHE, DASS DIE SPRACHE EINEN KLANGCHARAKTER HAT, HAT ZUR ZEIT DER MODERNE DIE VERSELBSTAENDLICHUNG EINES AESTHETISCHEN MATERIALS ERMÖGLICHT, DAS IN DIESER ARBEIT SEMIOPHONIE GENANNT WURDE. IM LAUFE DER FREIEN HOERANALYSEN VON VERSCHIEDENEN WERKEN (AUS DER LAUTDICHTUNG, DER LITERATUR, DER ZEITGENOESSISCHEN MUSIK UND DEM HOERSPIEL) WURDEN 330 VOKALMODI GESAMMELT. ES GING DARUM, DIESE BEDEUTUNGSFORM MITTELS DER SEMIOTIK ZU BESCHREIBEN. SO WURDEN 19 KLANGFIGUREN DER SPRACHE DEFINIERT, DIE VON SPRACHPHILOSOPHISCHEN, KUNSTSOZIOLOGISCHEN, AESTHETISCHEN ODER MUSIK- UND LITERATURWISSENSCHAFTLICHEN STANDPUNKTEN AUS ERLAEUTERT WURDEN.:TABLE DES MATIERES Introduction 9 1 Quinze protocoles d'Žcoute 27 1.1 A-Ronne, Luciano Berio 27 1.2 Second writing through Finnegans Wake, John Cage 36 1.3 U 47, Jean Baronnet & Franois Dufrne 41 1.4 Pomes Phonetiques Compltes, Raoul Hausmann 43 1.5 Derviche/Le Robert: lettre H (1984), Bernard Heidsieck 48 1.6 Pome-partition J, Bernard Heidsieck 51 1.7 Fa:m' Ahniesgwow, Hans G. Helms 54 1.8 Das Ršcheln der Mona Lisa. Lesung im Tip, Ernst Jandl 61 1.9 Finnegans Wake, James Joyce 65 1.10 Elektroakustischer Hšrtext I, Ferdinand Kriwet 69 1.11 das gras wies wŠchst, Franz Mon 74 1.12 Mein Chlebnikov, Oskar Pastior 82 1.13 It's gonna rain (1966), Steve Reich 87 1.14 KCH (1986), Valeri Scherstjanoi 93 1.15 Die Sonate in Urlauten, Kurt Schwitters 99 2 De la sŽmiophonie 107 2.1 Une approche sŽmiotique 107 2.1.1 Figures sonores et effets de sens 107 2.1.2 Une structure provisoire 108 2.1.3 SŽmiotique et ensemble signifiant 109 2.1.4 Le langage et les sŽmiotiques non linguistiques 111 2.1.5 Une forme sŽmiophone 113 2.2 Une approche discursive 114 2.2.1 Question de mŽthode 114 2.2.2 Le discours sŽmiophone 117 2.2.3 EvŽnements et unitŽs sŽmiophones 121 2.2.4 Discours et systme 124 2.2.5 Le corpus sŽmiophone 136 2.2.6 Le texte sŽmiophone 138 2.3 Le phonŽsigne 130 2.3.1 Les trois axes du phonŽsigne 130 2.3.2 Le phonŽsigne et le bruissement de la langue 132 2.3.3 Le phonŽsigne comme autre du discours 135 2.4 La sŽmiophonie et l'histoire 137 2.4.1 La sŽmiophone comme critique 137 2.4.2 La sŽmiophonie et le passŽ 141 2.4.3 SŽmiophonie et historicitŽ 142 2.4.4 La sŽmiophonie et l'hŽtŽrogne 144 2.4.5 SŽmiophonie et modernitŽ 147 3 Figures sonores du langage 153 3.1 EvŽnements non classŽs 153 3.2 Collectives 157 3.2.1 Tumultueuse 157 3.2.2 Chorale 160 3.3 Quotidiennes 163 3.4 Equivoques 168 3.4.1 Ambigu‘ 168 3.4.2 ParlŽ-chantŽe 171 3.4.3 MimŽtique 177 3.4.4 ApartŽ - Une vŽritŽ du langage 183 3.5 Hors langage 187 3.5.1 Somatique 187 3.5.2 PhonŽtique 192 3.5.3 Parenthse - La notion de Ç sŽmiosis È 197 3.6 Discursives 199 3.6.1 Prosa•que 199 3.6.2 Parenthse - La notion de Ç figure È 203 3.6.3 Prosodique 206 3.7 ItŽratives 211 3.7.1 Anaphorique 211 3.7.2 Rythmique 215 3.8 ColorŽes 223 3.8.1 Machinale 223 3.8.2 ApartŽ - Langage et reproduction technique 225 3.8.3 Etrangre 231 3.8.4 ApartŽ - Glossolalie et langue ŽdŽnique 237 3.9 PhŽnomŽnales 243 3.9.1 RŽflexive 243 3.9.2 Gestuelle 249 3.9.3 Affective 254 3.9.4 Dialogique 259 3.10 Liquide 263 Annexe I - PhonŽsmes 273 Annexe II - Termes sŽmiophones 277 Deutsche Zusammenfassung 285 Enregistrements 303 Bibliographie 305 Table des matires 315

Die Mensch-Computer-Interaktion wird dank neuer Eingabemöglichkeiten jenseits von Tastatur und Maus reicher, vielseitiger und intuitiver. Durch den Verzicht auf zusätzliche Geräte beim Umgang mit Computern geht seitens der Eingabeverarbeitung jedoch eine erhöhte Komplexität einher: Die Programmierung gestischer Eingabe für Multitouch-Systeme ist in derzeitigen Frameworks abgesehen von den verfügbaren Standard-Gesten mit hohem Aufwand verbunden. Die entwickelte Gestenformalisierung für Multitouch (GeForMT) definiert eine domänenspezifische Sprache zur Beschreibung von Multitouch-Gesten. Statt wie verwandte Formalisierungsansätze detaillierte Filter für die Rohdaten zu definieren, bedient sich GeForMT eines bildhaften Ansatzes, um Gesten zu beschreiben. Die Konzeption von Gesten wird unterstützt, indem beispielsweise in einem frühen Stadium der Entwicklung Konflikte zwischen ähnlichen Gesten aufgedeckt werden. Die formalisierten Gesten lassen sich direkt in den Code einbetten und vereinfachen damit die Programmierung. Das zugrundeliegende Framework sorgt für die Verbindung zu den Algorithmen der Gestenerkennung. Die Übertragung des semiotischen Ansatzes zur Formalisierung auf andere Formen gestischer Eingabe wird abschließend diskutiert.:1 Einleitung 1.1 Motivation 1.2 Zielstellung und Abgrenzung 1.3 Aufbau der Arbeit 2 Interdisziplinäre Grundlagenbetrachtung 2.1 Semiotik 2.1.1 Begriffe und Zeichenklassen 2.1.2 Linguistik 2.1.3 Graphische Semiologie 2.1.4 Formgestaltung und Produktsprache 2.1.5 Interfacegestaltung 2.2 Gestenforschung 2.2.1 Kendons Kontinuum für Gesten 2.2.2 Taxonomien 2.2.3 Einordnung 2.3 Gestische Eingabe in der Mensch-Computer-Interaktion 2.3.1 Historische Entwicklung von Ein- und Ausgabetechnologien 2.3.2 Begreifbare Interaktion 2.3.3 Domänenspezifische Modellierung 2.4 Zusammenfassung 3 Verwandte Formalisierungsansätze 3.1 Räumliche Gesten 3.1.1 XML-Beschreibung mit der Behaviour Markup Language 3.1.2 Detektornetze in multimodalen Umgebungen 3.1.3 Gestenvektoren zur Annotation von Videos 3.1.4 Vergleich 3.2 Gesten im Sketching 3.2.1 Gestenfunktionen für Korrekturzeichen 3.2.2 Sketch Language zur Beschreibung von Skizzen 3.2.3 Domänenspezifische Skizzen mit LADDER 3.2.4 Vergleich 3.3 Flächige Gesten 3.3.1 Regelbasierte Definition mit Midas 3.3.2 Gesture Definition Language als Beschreibungssprache 3.3.3 Reguläre Ausdrücke von Proton 3.3.4 Gesture Interface Specification Language 3.3.5 Logische Formeln mit Framous 3.3.6 Gesture Definition Markup Language 3.3.7 Vergleich 3.4 Zusammenfassung 4 Semiotisches Modell zur Formalisierung 4.1 Phasen gestischer Eingabe 4.2 Syntax gestischer Eingabe 4.3 Semantik gestischer Eingabe 4.4 Pragmatik gestischer Eingabe 4.5 Zusammenfassung 5 Gestenformalisierung für Multitouch 5.1 Ausgangslage für die Konzeption 5.1.1 Ikonographische Einordnung flächiger Gesten 5.1.2 Voruntersuchung zur Programmierung flächiger Gesten 5.1.3 Anforderungskatalog für die Formalisierung 5.2 Semiotische Analyse flächiger Gesten 5.2.1 Syntax flächiger Gesten 5.2.2 Semantik flächiger Gesten 5.2.3 Pragmatik flächiger Gesten 5.3 Präzedenzfälle für die Formalisierung 5.3.1 Geschicklichkeit bei der Multitouch-Interaktion 5.3.2 Präzision bei flächigen Gesten 5.3.3 Kooperation in Multitouch-Anwendungen 5.4 Evaluation und Diskussion 5.4.1 Vergleich der Zeichenanzahl 5.4.2 Evaluation der Beschreibungsfähigkeit 5.4.3 Limitierungen und Erweiterungen 6 Referenzarchitektur 6.1 Analyse existierender Multitouch-Frameworks 6.2 Grundlegende Architekturkomponenten 6.2.1 Parser 6.2.2 Datenmodell 6.2.3 Gestenerkennung und Matching 6.2.4 Programmierschnittstelle 6.3 Referenzimplementierung für JavaScript 6.3.1 Komponenten der Bibliothek 6.3.2 Praktischer Einsatz 6.3.3 Gesteneditor zur bildhaften Programmierung 7 Praxisbeispiele 7.1 Analyse prototypischer Anwendungen 7.1.1 Workshop zur schöpferischen Zerstörung 7.1.2 Workshop zu semantischen Dimensionen 7.1.3 Vergleich 7.2 Abbildung von Maus-Interaktion auf flächige Gesten in DelViz 7.2.1 Datengrundlage und Suchkonzept 7.2.2 Silverlight-Implementierung von GeForMT 7.3 Flächige Gesten im 3D-Framework Bildsprache LiveLab 7.3.1 Komponentenarchitektur 7.3.2 Implementierung von GeForMT mit C++ 7.4 Statistik und Zusammenfassung 8 Weiterentwicklung der Formalisierung 8.1 Räumliche Gesten 8.1.1 Verwandte Arbeiten 8.1.2 Prototypischer Aufbau 8.1.3 Formalisierungsansatz 8.2 Substanzen des Alltags 8.2.1 Verwandte Arbeiten 8.2.2 Experimente mit dem Explore Table 8.2.3 Formalisierungsansatz 8.3 Elastische Oberflächen 8.3.1 Verwandte Arbeiten 8.3.2 Der Prototyp DepthTouch 8.3.3 Formalisierungsansatz 9 Zusammenfassung 9.1 Kapitelzusammenfassungen und Beiträge der Arbeit 9.2 Diskussion und Bewertung 9.3 Ausblick und zukünftige Arbeiten Anhang Vergleichsmaterial Formalisierungsansätze Fragebogen Nachbefragung Ablaufplan studentischer Workshops Grammatikdefinitionen Statistische Auswertung Gestensets Literatur Webreferenzen Eigene Veröffentlichungen Betreute studentische Arbeiten Abbildungsverzeichnis Tabellen Verzeichnis der Code-Beispiele

I takt med coronaviruspandemin arbetade myndigheten för samhällsskydd och beredskap (MSB) med att utveckla information om coronaviruset. En del av den nya informationen publicerades på krisinformation.se. Informationen som fanns på krisinformation.se var överlag textbaserad. I det här arbetet har jag utifrån ett kvalitativt förhållningssätt arbetat med att göra delar av den textbaserade informationen multimodal, men med särskild hänsyn till de med dyslexi. Syftet är att med en informationsvideo visualisera textbaserad information på ett multimodalt sätt. Målet med arbetet var att utforma ett gestaltningsförslag som informerar och engagerar betraktaren till att vilja bromsa takten som smittspridningen sprider sig på. I ett försök att uppnå syftet och målet utformades följande frågeställning: Hur tillgängliggörs information med illustrationer och animationer i en informationsvideo? Frågeställningen besvarades genom att samla empiri utifrån en ikonologisk analys av en befintlig informationsvideo. Vidare utformades ett gestaltningsförslag som testades vid två tillfällen via intervjuer. Vid det första tillfället testades en storyboard och vid det andra tillfället testades en informationsvideo. Vid utformandet av gestaltningsförslaget var kognitions- och retorik-teori av särskild stor betydelse.  Det främsta fyndet är att de med dyslexi inte verkar ha några större problem med att ta till sig information som kommuniceras med illustrationer, animationer och ljud i en informationsvideo. / In line with the coronavirus pandemic, the Swedish Civil Contingencies Agency (MSB) worked to develop information about the coronavirus. Some of the new information was published on krisinformation.se. The information found on krisinformation.se was generally text-based. In this essay I have worked on making parts of the text-based information multimodal with a qualitative approach, but with a special attention to those with dyslexia. The purpose is to visualize text-based information in a multimodal way with an information video. The goal was to create a design proposal that can inform and engages the viewer to slow down the spread of infection. In order to achieve the purpose, the following question was designed: How is information made available with illustrations and animations in an information video? The question was answered by collecting empirical data based on an iconological analysis of an existing explainer video. Furthermore, I created a design proposal that was tested on two occasions via interviews. On the first occasion, a storyboard was tested and on the second occasion an information video was tested. When designing the design proposal, cognition- and rhetoric-theory was of particular importance.  The main finding is that those with dyslexia do not seem to have any major problems in acquiring information that is communicated with illustrations, animations and sounds in an information video.