The theme for this doctoral thesis focuses on how a film editor strives actively to perceptually frame and direct the film viewer’s gaze across film edits. The editor’s (audio-)visual intentions concerning the film viewing correspond to perceptual considerations that the editor makes during film editing. Film editing in this thesis is considered as a kind of design work, foremost motivated by the possibilities of many new approaches, questions, and answers that a design perspective brings, stretching well beyond what previously adopted perspectives have done. The research questions asked, as well as the presented results, are discussed with regard to design theory, established film production field knowledge, and perception research. Apart from considering audiovisual perception in a film editing context, film editing is also discussed as audiovisual design, and tentative implications for the role of perception in other kinds of design work are pointed out. The results of my analyses are that there is reason to consider parts of film production as design work; that properties of an audiovisual material affect the creative space; that perceptual considerations are a significant part of the film editor’s treatment of the audiovisual material; that film viewers’ response to film edits varies with the shape of the edits; and that this variation is possible to link with the film editor’s intention regarding the edits, as well as to the degree of fulfillment of the intention. I conclude that perceptual precision at the edit point is decisive for attaining a desired film-viewing decoding of a film sequence, and that when the perceptual precision is low, it is likely that the perceived continuity of the film fails. The contribution of this doctoral thesis is that it drives the investigation of actual appliance of perception as audiovisual knowledge in film editing. Hence, it also adds to the more general discussion on perception as part of audiovisual thinking, and how audiovisual knowledge is formed. The thesis contributes to the area of Innovation and Design through its mix of methods, since the main study considers the creation of new artefacts, the thinking going on during that process, as well as human responses to the artefacts. Conclusively, the thesis provides a thorough example of how a design research perspective can add to the understanding of film production, and its trades and activities. / Temat för denna doktorsavhandling är hur det går till när en filmklippare aktivt strävar emot att perceptuellt fånga in och styra sin filmtittares blick över filmklipp. Klipparens (audio-)visuella intentioner med filmtittandet motsvaras av perceptuella överväganden som klipparen gör under klipparbetet. Klipparbetet motiveras i denna avhandling som ett designarbete, främst för att ett designperspektiv på filmproduktion har möjligheter att bidra med många nya infallsvinklar, frågeställningar och svar, som sträcker sig bortom vad tidigare tillämpade perspektiv gör. De forskningsfrågor som ställs, och de svar som presenteras, diskuteras sedan gentemot designteori, etablerad filmproduktionskunskap och perceptionsforskning. Utöver att audiovisuell perception beaktas inom filmklippningskontexten, diskuteras även filmklippning som audiovisuell design, och kopplingar görs till annat designarbete och möjliga implikationer för perceptionens roll i dessa sammanhang. Data om klipparbetet har skapats via videoinspelade deltagande observation där även fortlöpande skärminspelningar skett, medan en filmklippare färdigställde en dokumentärfilmsekvens. Utifrån dessa inspelningar har sedan en elicitering med filmklipparen skett. På så vis har klipparens intentioner och möjliga beaktande av perceptuella faktorer fångats in. Klipparens intentioner avseende filmtittare har sedan testats via ögonrörelsestudier där tittarnas ögondata samlats in medan de tittat på den skapade filmsekvensen. Resultaten av mina analyser är att det finns skäl att betrakta delar av filmproduktion som designarbete, att audiovisuella materialegenskaper påverkar det kreativa utrymmet, att perceptuella hänsyn ingår som en väsentlig del av filmklipparens bearbetning av det audiovisuella materialet, att filmtittares respons på filmklipp varierar med hur klippen är utformade, samt att man kan koppla denna variation till filmklipparens intention med klippen, och graden av intentionens uppfyllelse. Jag drar slutsatserna att perceptuell precision i klippunkten är avgörande för att uppnå en önskad avkodning av en filmsekvens för tittarens del, samt att när den perceptuella precisionen är låg är det troligt att den upplevda kontinuiteten hos filmen fallerar. Doktorsavhandlingens bidrag är att den hjälper till att reda ut den faktiska tillämpningen av perceptionen som audiovisuell kunskap i filmklippning. Men den bidrar därmed även till en mera generell diskussion om perception som en del av audiovisuellt tänkande och formerandet av audiovisuell kunskap. Avhandlingen bidrar till området Innovation och Design genom sin blandning av metoder, eftersom huvudstudien rör skapandet av nya artefakter och tänkande som pågår inom denna process, liksom mänsklig respons på dessa artefakter. Slutligen bidrar avhandlingen med ett genomgripande exempel på hur ett designforskningsperspektiv kan bidra till att förstå delar av filmproduktion, och de yrken och aktiviteter som sker där.

The theme for this doctoral thesis focuses on how a film editor strives actively to perceptually frame and direct the film viewer’s gaze across film edits. The editor’s (audio-)visual intentions concerning the film viewing correspond to perceptual considerations that the editor makes during film editing. Film editing in this thesis is considered as a kind of design work, foremost motivated by the possibilities of many new approaches, questions, and answers that a design perspective brings, stretching well beyond what previously adopted perspectives have done. The research questions asked, as well as the presented results, are discussed with regard to design theory, established film production field knowledge, and perception research. Apart from considering audiovisual perception in a film editing context, film editing is also discussed as audiovisual design, and tentative implications for the role of perception in other kinds of design work are pointed out. The results of my analyses are that there is reason to consider parts of film production as design work; that properties of an audiovisual material affect the creative space; that perceptual considerations are a significant part of the film editor’s treatment of the audiovisual material; that film viewers’ response to film edits varies with the shape of the edits; and that this variation is possible to link with the film editor’s intention regarding the edits, as well as to the degree of fulfillment of the intention. I conclude that perceptual precision at the edit point is decisive for attaining a desired film-viewing decoding of a film sequence, and that when the perceptual precision is low, it is likely that the perceived continuity of the film fails. The contribution of this doctoral thesis is that it drives the investigation of actual appliance of perception as audiovisual knowledge in film editing. Hence, it also adds to the more general discussion on perception as part of audiovisual thinking, and how audiovisual knowledge is formed. The thesis contributes to the area of Innovation and Design through its mix of methods, since the main study considers the creation of new artefacts, the thinking going on during that process, as well as human responses to the artefacts. Conclusively, the thesis provides a thorough example of how a design research perspective can add to the understanding of film production, and its trades and activities. / Temat för denna doktorsavhandling är hur det går till när en filmklippare aktivt strävar emot att perceptuellt fånga in och styra sin filmtittares blick över filmklipp. Klipparens (audio-)visuella intentioner med filmtittandet motsvaras av perceptuella överväganden som klipparen gör under klipparbetet. Klipparbetet motiveras i denna avhandling som ett designarbete, främst för att ett designperspektiv på filmproduktion har möjligheter att bidra med många nya infallsvinklar, frågeställningar och svar, som sträcker sig bortom vad tidigare tillämpade perspektiv gör. De forskningsfrågor som ställs, och de svar som presenteras, diskuteras sedan gentemot designteori, etablerad filmproduktionskunskap och perceptionsforskning. Utöver att audiovisuell perception beaktas inom filmklippningskontexten, diskuteras även filmklippning som audiovisuell design, och kopplingar görs till annat designarbete och möjliga implikationer för perceptionens roll i dessa sammanhang. Data om klipparbetet har skapats via videoinspelade deltagande observation där även fortlöpande skärminspelningar skett, medan en filmklippare färdigställde en dokumentärfilmsekvens. Utifrån dessa inspelningar har sedan en elicitering med filmklipparen skett. På så vis har klipparens intentioner och möjliga beaktande av perceptuella faktorer fångats in. Klipparens intentioner avseende filmtittare har sedan testats via ögonrörelsestudier där tittarnas ögondata samlats in medan de tittat på den skapade filmsekvensen. Resultaten av mina analyser är att det finns skäl att betrakta delar av filmproduktion som designarbete, att audiovisuella materialegenskaper påverkar det kreativa utrymmet, att perceptuella hänsyn ingår som en väsentlig del av filmklipparens bearbetning av det audiovisuella materialet, att filmtittares respons på filmklipp varierar med hur klippen är utformade, samt att man kan koppla denna variation till filmklipparens intention med klippen, och graden av intentionens uppfyllelse. Jag drar slutsatserna att perceptuell precision i klippunkten är avgörande för att uppnå en önskad avkodning av en filmsekvens för tittarens del, samt att när den perceptuella precisionen är låg är det troligt att den upplevda kontinuiteten hos filmen fallerar. Doktorsavhandlingens bidrag är att den hjälper till att reda ut den faktiska tillämpningen av perceptionen som audiovisuell kunskap i filmklippning. Men den bidrar därmed även till en mera generell diskussion om perception som en del av audiovisuellt tänkande och formerandet av audiovisuell kunskap. Avhandlingen bidrar till området Innovation och Design genom sin blandning av metoder, eftersom huvudstudien rör skapandet av nya artefakter och tänkande som pågår inom denna process, liksom mänsklig respons på dessa artefakter. Slutligen bidrar avhandlingen med ett genomgripande exempel på hur ett designforskningsperspektiv kan bidra till att förstå delar av filmproduktion, och de yrken och aktiviteter som sker där.

Die Dissertation ist eine medienhistorische Studie über die Einführung des Tons im sowjetischen Kino, die ästhetische und technologische Veränderungen in einem weiter gefassten politischen und kulturellen Kontext interpretiert. In historischen Untersuchungen des frühen Tonfilms der letzten zehn Jahre wurde der sowjetischen Methode des asynchronen Tons häufig die verbreitetere Methode der möglichst genauen Synchronisation gegenübergestellt, wie sie von der Filmindustrie in Hollywood in den späten 1920er und frühen 1930er Jahren entwickelt wurde. Die Arbeit geht über diese zum Standard gewordene Erzählung hinaus. In einer Reihe von Fallstudien wird die Arbeit sowjetischer Filmemacher, Drehbuchautoren, Filmtheoretiker und Toningenieure analysiert, um zu demonstrieren, dass in der Sowjetunion in der Frühphase des Filmtons sehr unterschiedliche Haltungen zum Ton existierten. Die Dissertation konzentriert sich sowohl auf die Theorien des Filmtons als auch auf die Praktiken, wobei es sich unter anderem auf Dziga Vertov, Nikolai Ekk, Michail Cechanovskij und Pavel Tager bezieht. Die Begriffe „Asynchronizität“ und „Synchronizität“ haben in den Debatten über die Einführung des Tonfilms in der Sowjetunion eine zentrale Rolle gespielt. Die vorliegende Dissertation bietet die erste grundlegende Untersuchung dieser Begriffe innerhalb des Kontextes der komplexen Ursprünge des frühen sowjetischen Tonfilms. / The dissertation is a media-historical study of the emergence of sound in Soviet cinema, which links aesthetic and technological changes to the broader political and cultural context. Over the last decade, histories of early sound film have usually contrasted the Soviet method of asynchronous sound to the prevalent method of tight synchronization as it was popularized by the Hollywood film industry in the late 1920s and early 1930s. The dissertation looks beyond this standardized narrative. In a series of case studies, it analyzes the work of Soviet filmmakers, screenwriters, film theoreticians and acoustical engineers to demonstrate that many diverse approaches to sound were actually in play at the onset of film sound in the Soviet Union. The dissertation focuses on both film sound theory and practice mainly in the works of Dziga Vertov, Nikolai Ekk, Pavel Tager and Mikhail Tsekhanovsky. The terms “asynchronicity” and “synchronicity” were central in the debates about the emergence of sound film in the Soviet Union. This study provides the first thorough examination of these terms within the context of the complex origins of early Soviet sound cinema.

Les terminaux mobiles offrent à ce jour des performances de plus en plus élevées (CPU, résolution de l’écran, capteurs optiques, etc.) Cela rehausse la qualité vidéo des services média, que ce soit pour le visionnage de contenu vidéo (streaming, TV, etc.) ou pour des applications interactives telles que le jeu vidéo. Mais cette évolution concernant l'image n'est pas ou peu suivie par l'intégration de systèmes de restitution audio de haute qualité dans ce type de terminal. Or, parallèlement à ces évolutions concernant l'image, des solutions de son spatialisé sur casque, à travers notamment la technique de restitution binaurale basée sur l'utilisation de filtres HRTF (Head Related Transfer Functions) voient le jour.Dans ce travail de thèse, nous nous proposons d’évaluer l’intérêt que peut présenter le son binaural lorsqu'il est utilisé sur une application mobile audiovisuelle. Une partie de notre travail a consisté à déterminer les différents sens que l’on pouvait donner au terme « application mobile audiovisuelle » et parmi ces sens ceux qui d’une part étaient pertinents et d’autre part pouvaient donner lieu à une évaluation comparative avec ou sans son binaural.Le couplage entre son binaural et visuel sur mobile occasionne en premier lieu une question d’ordre perceptive : comment peut-on organiser spatialement une scène virtuelle dont le son peut se déployer tout autour de l’utilisateur, et dont le visuel est restreint à un si petit écran ? La première partie de cette thèse est consacrée à cette question. Nous menons une expérience visant à étudier le découplage spatial possible entre un son binaural et un visuel rendus sur smartphone. Cette expérience révèle une forte tolérance de l’être humain face aux dégradations spatiales pouvant survenir entre les deux modalités. En particulier, l’absence d’individualisation des HRTF, ainsi qu’un très grand découplage en élévation ne semblent pas affecter la perception. Par ailleurs, les sujets semblent envisager la scène « comme si » ils y étaient eux-mêmes directement projetés, à la place de la caméra, et cela indépendamment de leur propre distance à l’écran. Tous ces résultats suggèrent la possibilité d’une association entre son binaural et visuel sur mobile dans des conditions d’utilisation proches du grand public.Dans la seconde partie de la thèse, nous tentons de répondre à la question de l’apport du binaural en déployant une expérience « hors les murs », dans un contexte plausible d’utilisation grand public. Trente sujets jouent dans leur vie quotidienne à un jeu vidéo de type Infinite Runner, développé pour l’occasion en deux versions, une avec du son binaural, et l’autre avec du son monophonique. L’expérience dure cinq semaines, à raison de deux sessions par jour. Ce protocole procède de la méthode dite "Experience Sampling Method", sur l’état de l’art de laquelle nous nous sommes appuyés. Nous calculons à chaque session des notes d’immersion, de mémorisation et de performance, et nous comparons les notes obtenues entre les deux versions sonores. Les résultats indiquent une immersion significativement meilleure pour le binaural. La mémorisation et la performance ne sont en revanche pas soumises à un effet statistiquement significatif du rendu sonore. Au-delà des résultats, cette expérience nous permet de discuter de la question de la validité des données en fonction de la méthode de déploiement, en confrontant notamment bien-fondé théorique et faisabilité pratique. / In recent years, smartphone and tablet global performances have been increased significantly (CPU, screen resolution, webcams, etc.). This can be particularly observed with video quality of mobile media services, such as video streaming applications, or interactive applications (e.g., video games). However, these evolutions barely go with the integration of high quality sound restitution systems. Beside these evolutions though, new technologies related to spatialized sound on headphones have been developed, namely the binaural restitution model, using HRTF (Head Related Transfer Functions) filters.In this thesis, we assess the potential contribution of the binaural technology to enhance the quality of experience of an audiovisual mobile application. A part of our work has been dedicated to define what is an “audiovisual mobile application”, what kind of application could be fruitfully experienced with a binaural sound, and among those applications which one could lead to a comparative experiment with and without binaural.In a first place, the coupling of a binaural sound with a mobile-rendered visual tackles a question related to perception: how to spatially arrange a virtual scene whose sound can be spread all around the user, while its visual is limited to a very small space? We propose an experiment in these conditions to study how far a sound and a visual can be moved apart without breaking their perceptual fusion. The results reveal a strong tolerance of subjects to spatial discrepancies between the two modalities. Notably, the absence or presence of individualization for the HRTF filters, and a large separation in elevation between sound and visual don’t seem to affect the perception. Besides, subjects consider the virtual scene as if they were projected inside, at the camera’s position, no matter what distance to the phone they sit. All these results suggest that an association between a binaural sound and a visual on a smartphone could be used by the general public.In the second part, we address the main question of the thesis, i.e., the contribution of binaural, and we conduct an experiment in a realistic context of use. Thirty subjects play an Infinite Runner video game in their daily lives. The game was developed for the occasion in two versions, a monophonic one and a binaural one. The experiment lasts five weeks, at a rate of two sessions per day, which relates to a protocol known as the “Experience Sampling Method”. We collect at each session notes of immersion, memorization and performance, and compare the notes between the monophonic sessions and the binaural ones. Results indicate a significantly better immersion in the binaural sessions. No effect of sound rendering was found for memorization and performance. Beyond the contribution of the binaural, we discuss about the protocol, the validity of the collected data, and oppose theoretical considerations to practical feasibility.