Objective and aim: Adults use child-directed-speech in their interaction with infants,w hich has been confirmed to have positive effects on their language learning. This study was a part of the Words make a difference project at Karolinska Institutet (KI). Within this project, a new intervention model has been developed for caregivers of children with a hearing impairment, called the Prevention Education Program forParents (PEPP). The purpose of the present study was to investigate whether caregiver’s use of child-directed speech differed between a structured play situation and in home environment. The aim was also to evaluate the PEPP model's methods of analysis; video and LENA-recording, concerning measurement of child-directed speech in a structured play situation. Data from the present study were also collected as reference data for the Words make a difference. Methods: The study involved four families with typically hearing infants aged 0-7months and their caregivers. Data collection was undertaken using PEPP's evaluation methods in a short, structured play situation and a full day recording in a home environment. Results and conlusion: In some cases, the care-givers’ use of child-directed speech differed between the structured play situation and the full-day recording in the home environment. The two data collection methods (audio recording and video recording) during the structured play situation were in good agreement regarding the use of child directed speech. The conclusion is that the PEPP model is a functional method for examining the spoken language environment of infants. Bakgrund och syfte: Barnriktat tal (BRT) används av vuxna i samspel med små barn och har visat sig innebära positiva effekter för språkinlärningen. Denna studie var en del av Ord gör skillnad- projektet på Karolinska Institutet (KI) där en ny interventionsmodell för föräldrar till barn med hörselnedsättning utvecklas: Prevention Education Program for Parents (PEPP). Den aktuella studiens syfte var att undersöka spädbarns talspråksmiljö och om föräldrars användning av BRT skiljer sig mellan en strukturerad leksituation och i hemmiljö. Syftet var också att utvärdera PEPP- modellens bedömningsmetoder; LENA-inspelning och videoinspelning. Metod: I studien deltog fyra normalhörande spädbarn i åldrarna 0-7 månader och deras mammor. Datainsamlingen gjordes med hjälp av PEPP:s bedömningsmetoder dels under en kort strukturerad leksituation dels genom en heldagsinspelning i hemmiljö. BRT analyserades utifrån fem språkspecifika särdrag; segmentell fonologi, prosodi, syntax, ordförråd och pragmatik. Resultat och slutsatser: Användning av BRT skiljde sig i enstaka fall mellan den strukturerade leksituationen och heldagsinspelningen i hemmiljö. De två bedömningsmetoderna stämde väl överens med avseende på användningen av BRT under den strukturerade leksituationen. Slutsatsen är att PEPP-modellens bedömningsmetoder är användbara vid undersökning av talspråksmiljön hos spädbarn i åldrarna 0-7 mån gällande BRT och kan med fördel användas i föräldrahandledning. Resultaten från den här studien kan komma att användas för metodutveckling av PEPP- modellen och även som referensdata till Ord gör skillnad- projektet.

Interaction is an important aspect for children’s language development. The intervention model Prevention Education Program for Parents (PEPP) is currently under development within the research project Ord gör skillnad, Karolinska Institutet. PEPP is an intervention for parents to children aged 0–12 months who’s recently been diagnosed with hearing impairment. In PEPP parents receive guidance based on the child’s language environment which is mapped through Language ENvironment Analysis (LENA) and video analysis. LENA is a speech processing technological tool that analyzes the child’s language environment. The video analysis is made manually based on short video records of interactions between child and parent. The purpose of this study was to evaluate these mapping methods reliabilities to measure verbal conversational turns. The study also aimed to investigate if there’s a pattern between the amount of verbal conversational turns in a structured playtime and in the home environment. Four families with children aged 0:26–7:3 months participated. The child and parent interacted in a structured playtime that was analyzed with LENA and video analysis. Each family also made a LENA recording for an entire day in their home environment. The amount of verbal conversational turns in the structured playtime was analyzed by two assessors through video analysis. Inter-rater reliability was calculated, and a qualitative assessment was made for intervals in which the inter-rater reliability was <80%. The conformity between video analysis and LENA in the structured playtime was calculated. Further, a comparison was made between the amount of verbal conversational turns measured with LENA in home environment and structured environment. The inter-rater reliability in this study was high and in the qualitative assessment aggravating factors were identified. The conformity between video analysis and LENA analysis of the structured playtime was moderate. The amount of verbal conversational turns was higher for all participants in the structured environment compared to the home environment. This study indicates that video analysis is a reliable method. However, the aggravating aspects should be remedied in order to increase the reliability. The results confirm previous findings that demonstrate limitations with LENA’s ability to measure conversational turns in young infants. This study indicates that the number of conversational turns is higher in structured environments. To ensure the results in this study further research should be conducted. / Barn lär sig språket i interaktion med sin omgivning. Föräldrainterventionen Prevention Education Program for Parents (PEPP) utvecklas inom forskningsprojektet Ord gör skillnad, Karolinska Institutet. I PEPP handleds föräldrar till barn i åldrarna 0–12 månader med nyligen upptäckt hörselnedsättning kring samspel och kommunikation. Handledningen baseras på barnets språkmiljö som mäts med kartläggningsmetoderna Language ENvironment Analysis (LENA) och videoanalys. LENA är ett talprocessande teknologiskt verktyg som beskriver barnets språkmiljö genom automatisk analys. Videoanalysen sker manuellt av bedömare utifrån korta videoinspelningar av samspel mellan barn och förälder. Föreliggande studie syftade till att utvärdera dessa kartläggningsmetoders pålitlighet i mätning av verbala turtagningar. Vidare syftade studien till att undersöka eventuella mönster mellan antal verbala turtagningar i hemmiljö och strukturerad miljö. Fyra familjer med barn i åldrarna 0:26–7:3 månader deltog. Barn och förälder samspelade under en strukturerad leksituation som analyserades med LENA och videoanalys. Varje familj gjorde även en heldagsinspelning med LENA i hemmiljö. Antal verbala turtagningar i den strukturerade leksituationen analyserades av två bedömare med videoanalys. Interbedömarreliabilitet räknades ut och en kvalitativ bedömning genomfördes på intervall med interbedömarreliabilitet <80 %. Samstämmigheten mellan videoanalysen och LENA beräknades gällande den strukturerade leksituationen. Vidare jämfördes antal turtagningar mätt med LENA i hemmiljö och strukturerad miljö. Resultatet visade på en hög interbedömarreliabilitet i videoanalysen och i den kvalitativa bedömningen identifierades försvårande aspekter. Samstämmigheten mellan videoanalysen och LENA var måttlig. Antalet turtagningar var genomgående högre i den strukturerade leksituationen jämfört med hemmiljö. Studien tyder på att videoanalysen är en pålitlig metod. Dock identifierades försvårande aspekter som bör åtgärdas för att öka mätningens tillförlitlighet. Studien bekräftar tidigare forskning som visat på begränsningar gällande LENA:s mätning av turtagningar hos unga spädbarn. Resultatet tyder på att det sker fler turtagningar i strukturerad miljö än i hemmiljö. För att säkerställa studiens resultat krävs fortsatta studier.

Les maladies bucco-dentaires sont fréquemment rapportées en médecine vétérinaire et le traitement généralement nécessite l’extraction des dents. Cependant, la procédure est invasive et une évaluation à long terme ainsi qu’une gestion de la douleur sont nécessaires. En médecine vétérinaire, les opioïdes, les blocs anesthésiques locaux et les anti-inflammatoires non stéroïdiens sont administrés en intervention analgésique péri-opératoire. Par exemple, la buprénorphine est un opioïde analgésique puissant, hautement lipophile, et est principalement utilisé pour traiter la douleur aiguë. La buprénorphine est souvent administrée dans le cadre d'une analgésie multimodale. Les signes comportementaux de la douleur induite par les maladies bucco-dentaires n'ont pas été systématiquement étudiés chez les chats, et les connaissances actuelles sont principalement basées sur des preuves anecdotiques ou des études réalisées chez d'autres espèces. On ignore comment les maladies bucco-dentaires et le traitement (c'est-à-dire l'extraction dentaire) peuvent affecter la prise alimentaire péri-opératoire, les scores de douleur, les besoins analgésiques supplémentaires et les comportements chez les chats. En outre, il serait important de savoir si l’échelle de douleur basée sur l'expression faciale (Feline Grimace Scale: FGS) pourrait également être utilisée pour l'évaluation de la douleur buccale. Les objectifs du projet étaient 1) d'identifier les comportements spécifiques associés aux maladies bucco-dentaires en utilisant une évaluation par vidéo, et de les corréler aux scores de la douleur en temps réel, 2) d'évaluer l'impact des maladies bucco-dentaires et de la douleur sur la prise alimentaire et les comportements liés à l'alimentation, 3) de déterminer les effets du traitement des maladies bucco-dentaires sur le comportement, les scores de la douleur et la prise alimentaire, 4) d’évaluer la fiabilité inter-évaluateurs du FGS et 5) pour évaluer l'efficacité analgésique et les événements indésirables d'une formulation à haute concentration de formulation de chlorhydrate de buprénorphine (Simbadol, 1,8 mg / mL) en comparaison avec une formulation standard de chlorhydrate de buprénorphine (Vetergesic, 0,3 mg / mL) dans le cadre d'un schéma multimodal chez les chats subissant des extractions dentaires. Les hypothèses étaient que 1) des comportements spécifiques pourraient être identifiés et corrélés aux scores de la douleur en temps réel, 2) les chats atteints d'une maladie bucco-dentaire sévère auraient une consommation alimentaire plus faible et des scores de douleur plus élevés et nécessiteraient une analgésie de secours comparativement aux chats qui ne sont pas / minimalement atteints par une maladie bucco-dentaire, 3) le traitement des maladies bucco-dentaires réduirait la prévalence des comportements spécifiques ainsi que les scores de douleur et améliorerait la consommation alimentaire de ces animaux, 4) les scores FGS notés par différents évaluateurs seraient fiables et 5) Simbadol et Vetergesic produiraient tous deux des scores de douleur postopératoire, des événements indésirables, ainsi que le moment et la prévalence de l'analgésie de secours similaires lors de l'utilisation du Glasgow Composite Measure Pain Scale-Feline (CMPS-F). Le projet a été divisé en deux études et quatre articles (étude 1: articles 1 à 3, étude 2: article 4): 1) article sur le score de la douleur, les besoins en analgésie de secours et la quantité de nourriture ingérée chez les chats subissant un traitement oral, 2) article sur les comportements spécifiques induits par la douleur liés à la douleur buccale chez les chats sous traitement oral, 3) article sur la fiabilité inter-évaluateurs de la FGS chez les chats sous traitement oral, et 4) comparaison détaillée de l'efficacité analgésique de deux schémas posologiques en utilisant deux concentrations différentes de buprénorphine chez les chats subissant des extractions dentaires. Dans le premier article, vingt-quatre chats ont été répartis également en deux groupes: un groupe qui représente des maladies bucco-dentaires légères (traitement dentaire minimal) et un autre sévères (extractions dentaires multiples) sur la base d'un système de notation dentaire qui impliquait le nombre et l'emplacement de l'extraction des dents et hospitalisés pendant 7 jours (admission au jour 0, examen bucco-dentaire, radiographies et traitement sous anesthésie générale le jour 1 et sortie le jour 6). Pendant l'hospitalisation, les scores de douleur basés sur l'échelle composite de Glasgow (CMPS-F), la prévalence de l'analgésie de secours (CMPS-F ≥ 5/20), la prise d'aliments secs et mous (%) pendant 3 minutes et 2 heures, l'apport quotidien d'aliments mous et les cytokines inflammatoires sériques ont été analysés. Dans le deuxième article, les chats ont été filmés à distance pendant 10 min tout au long de l'étude à différents moments (au total 36h d'enregistrement vidéo). Les vidéos se composaient de quatre parties soit les comportements généraux, de jeu, d'alimentation et post-alimentation. La durée et la fréquence des différents comportements basés sur un éthogramme ont été analysées. Dans le troixième article, quatre-vingt-onze captures d'images (c'est-à-dire des captures d'écran) à partir de vidéos filmées aux jours 1 (postopératoire 6 heures) et 6 pour l'article 2 et des vidéos filmées avant / après l'analgésie de sauvetage ont été incluses. Le FGS comprend cinq unités d'action (AU): les yeux, les oreilles, le museau, les moustaches et la position de la tête. Les scores FGS des images ont été évalués indépendamment par quatre évaluateurs en aveugle. La fiabilité inter-évaluateurs de chaque score AU et FGS total et l'effet de la présence du soignant ont été évalués. Dans l'étude 2 (article 4), vingt-trois chats subissant des extractions dentaires ont été inclus. Les chats ont reçu aléatoirement soit Simbadol (1.8 mg/mL; 0.24 mg/kg SC, toutes les 24 heures, n = 11) ou Vetergesic (0.3 mg/mL; 0.02 mg/kg IM, toutes les 8 h, n = 12) tout au long de l'étude. Ils ont été admis au jour 0, ont subi un examen oral, des radiographies et un traitement sous anesthésie générale le jour 1 et ont été libérés le jour 4. La sédation et la douleur ont été évaluées à l'aide de l'échelle visuelle analogique interactive dynamique (jour 1) et CMPS-F, respectivement. Les scores de sédation, de douleur et la prévalence de l'analgésie de secours (CMPS-F ≥ 5/20) et du ressentiment (défini comme tout type de comportement d'évitement associé à l'aversion pour l'administration de médicaments) ont été analysés statistiquement. Les études ont montré que les scores de la douleur et la prévalence de l'analgésie de secours étaient significativement élevés, ainsi que les apports d'aliments secs et mous étaient significativement diminués chez les chats atteints d'une maladie grave par rapport à ceux présentant une maladie légère. De surcroit, la maladie buccale influence les cytokines inflammatoires et induit des comportements. Par ailleurs, Le FGS est un outil fiable pour l’évaluation de la douleur buccale et n’est pas affecté par la présence du soignant. En outre, les scores de la douleur et la prévalence de l'analgésie de secours chez les chats auxquels Simbadol a été administré n'étaient pas significativement différents de ceux administrés par Vetergesic. De plus, certains chats administrés par Vetergesic ont développé un ressentiment à l'égard de l'administration du médicament, qui n'était pas significativement différent de ceux administrés par Simbadol. Une analgésie à long terme est nécessaire après des extractions dentaires chez les chats atteints d'une maladie bucco-dentaire sévère. La diminution de l'apport alimentaire et les comportements spécifiques identifiés dans les études pourraient être utilisés pour différencier entre les chats douloureux des chats indolores dans la pratique clinique. Le FGS est un outil fiable pour l'évaluation de la douleur chez les chats subissant des extractions dentaires. Simbadol a produit des effets analgésiques similaires à Vetergesic sans induire un ressentiment pendant l'administration du médicament. / Oral disease is one of the most commonly reported diseases in veterinary medicine, and tooth extractions are commonly required as the treatment. The procedure, however, is invasive, and long-term pain management is necessary. In veterinary medicine, opioids, local anesthetic blocks and nonsteroidal anti-inflammatory drugs are administered as perioperative analgesic intervention. Behavioral signs of oral disease-induced pain have not been systematically investigated in cats, and the current knowledge is mostly based on anecdotal evidence or studies performed in other species. It is not known how oral disease and the treatment (i.e. tooth extractions) can affect perioperative food intake, pain scores, additional analgesic requirements and behaviors in cats. Also, it is not known if a facial expression-based pain scale (Feline Grimace Scale: FGS) could be used for oral pain assessment as well. The objectives of this PhD program were: 1) to identify the specific behaviors associated with oral disease by using video assessment, and to verify their correlation with the real-time pain scores, 2) to assess the impact of oral disease and pain on food intake and feeding-related behaviors, 3) to determine the effects of oral disease treatment on behavior, pain scores and food intake, 4) to assess the inter-rater reliability of the FGS in cats undergoing dental extractions and 5) to evaluate the analgesic efficacy and adverse events of a high-concentration formulation of buprenorphine hydrochloride formulation (Simbadol, 1.8 mg/mL) in comparison with a standard buprenorphine hydrochloride formulation (Vetergesic, 0.3 mg/mL) as part of a multimodal regimen in cats undergoing dental extractions. The hypotheses were: 1) specific behaviors associated with oral disease would be identified and correlated with real-time pain scores, 2) cats with severe oral disease would have lower food intake and higher pain scores, and require rescue analgesia when compared with cats with no/minimal oral disease, 3) treatment of oral disease would reduce the prevalence of specific behaviors and pain scores and improve food consumption of these animals, 4) the FGS scores scored by different raters would be reliable in cats undergoing dental extractions and 5) both Simbadol and Vetergesic would produce similar postoperative pain scores, adverse events and timing and prevalence of rescue analgesia when using the Glasgow Composite Measure Pain Scale-Feline (CMPS-F). The project was divided into two studies and four articles (study 1: articles 1-3, study 2: article 4): 1) investigation of pain scores, rescue analgesia requirements and the amount of food intake in cats undergoing oral treatment, 2) investigation of the pain-induced specific behaviors related to oral pain in cats undergoing oral treatment, 3) investigation of inter-rater reliability of FGS in cats undergoing oral treatment, and 4) comparison of the analgesic efficacy of two dosage regimens using two different concentrations of buprenorphine in cats undergoing dental extractions. In article 1, twenty-four cats were equally divided into minimal (minimal dental treatment) or severe (multiple dental extractions) oral disease groups based on a dental scoring system which involved the number and location of teeth extraction and hospitalized for 7 days (admission on day 0, oral examination, radiographs and treatment under general anesthesia on day 1 and discharge on day 6). During hospitalization, pain scores based on CMPS-F, the prevalence of rescue analgesia (CMPS-F ≥ 5/20), dry and soft food intake (%) during periods of 3 minutes and 2 hours, daily soft food intake and serum inflammatory cytokines were analyzed and compared. In article 2, cats were filmed remotely for 10 min throughout the study at different time points (total of 36h of video recording). The videos consisted of four parts namely general, playing, feeding and post-feeding behaviors. The duration and frequency of different behaviors based on an ethogram were analyzed. In article 3, ninety-one image captures (i.e. screenshots) from videos filmed at days 1 (postoperative 6 hours) and 6 for article 2 and videos filmed before/after rescue analgesia were included. The FGS comprises five action units (AU): eyes, ears, muzzle, whiskers and head position. The FGS scores of the images were independently scored by four blinded raters. Inter-rater reliability of each AU and total FGS scores and the effect of the caregiver’s presence were evaluated. In study 2 (article 4), twenty-three cats undergoing tooth extractions were included. Cats randomly received either Simbadol (1.8 mg/mL; 0.24 mg/kg SC, every 24h, n = 11) or Vetergesic (0.3 mg/mL; 0.02 mg/kg IM, every 8h, n = 12) throughout the study. They were admitted on day 0, underwent oral examination, radiographs and treatment under general anesthesia on day 1 and discharged on day 4. Sedation and pain were scored using the dynamic interactive visual analog scale (day 1) and CMPS-F¬, respectively. Sedation and pain scores and the prevalence of rescue analgesia (CMPS-F ≥ 5/20) and resentment (defined as any type of escape behavior associated with aversion to drug administration) were analyzed. The studies found that the pain scores and the prevalence of rescue analgesia were significantly increased, and dry and soft food intakes were significantly decreased in cats with severe disease when compared with those with minimal disease, and the oral disease influences inflammatory cytokines and induces the specific behaviors. FGS is a reliable tool for the assessment of oral pain and is not affected by the caregiver’s presence. Pain scores and the prevalence of rescue analgesia in cats administered Simbadol were not significantly different from those administered Vetergesic, and some cats administered Vetergesic developed resentment to the administration of the drug, which was not significantly different from those administered Simbadol. Long-term analgesia is required after dental extractions in cats with severe oral disease. A decrease in food intake and specific behaviors identified in the studies could be used to differentiate painful versus pain-free cats in clinical practice. The FGS is a reliable tool for pain assessment in cats undergoing dental extractions. Simbadol produced similar analgesic effects to Vetergesic without resentment during drug administration.

Das kulturelle Gedächtnis speichert immer gewaltigere Mengen von Informationen und Daten. Doch nur ein verschwindend geringer Teil der Inhalte ist derzeit über digitale Kanäle recherchierbar und verfügbar. Die Projekte mediaglobe und yovisto ermöglichen, den wachsenden Bestand an audiovisuellen Dokumenten auffindbar und nutzbar zu machen und begleiten Medienarchive in die digitale Zukunft. mediaglobe hat das Ziel, durch automatisierte und semantische Verfahren audiovisuelle Dokumente zur deutschen Zeitgeschichte zu erschließen und verfügbar zu machen. Die Vision von mediaglobe ist ein web-basierter Zugang zu umfassenden digitalen AV-Inhalten in Medienarchiven. Dazu bietet mediaglobe zahlreiche automatisierte Verfahren zur Analyse von audiovisuellen Daten, wie z.B. strukturelle Analyse, Texterkennung im Video, Sprachanalyse oder Genreanalyse. Der Einsatz semantischer Technologien verknüpft die Ergebnisse der AV-Analyse und verbessert qualitativ und quantitativ die Ergebnisse der Multimedia-Suche. Ein Tool zum Rechtemanagement liefert Informationen über die Verfügbarkeit der Inhalte. Innovative und intuitiv bedienbare Benutzeroberflächen machen den Zugang zu kulturellem Erbe aktiv erlebbar. mediaglobe vereinigt die Projektpartner Hasso-Plattner Institut für Softwaresystemtechnik (HPI), Medien-Bildungsgesellschaft Babelsberg, FlowWorks und das Archiv der defa Spektrum. mediaglobe wird im Rahmen des Forschungsprogramms »THESEUS – Neue Technologien für das Internet der Dienste« durch das Bundesministerium für Wirtschaft und Technologie gefördert. Die Videosuchmaschine yovisto hingegen ist spezialisiert auf Aufzeichnungen akademischer Lehrveranstaltungen und implementiert explorative und semantische Suchstrategien. yovisto unterstützt einen mehrstufigen 'explorativen' Suchprozess, in dem der Suchende die Möglichkeit erhält, den Bestand des zugrundeliegenden Medienarchivs über vielfältige Pfade entsprechend seines jeweiligen Interesses zu erkunden, so dass am Ende dieses Suchprozesses Informationen entdeckt werden, von deren Existenz der Suchende bislang nichts wusste. Um dies zu ermöglichen vereinigt yovisto automatisierte semantische Medienanalyse mit benutzergenerierten Metadaten zur inhaltlichen Erschließung von AV-Daten und ermöglicht dadurch eine punktgenaue inhaltsbasierte Suche in Videoarchiven.

Video is a large part of today’s society where surveillance cameras represent the biggest source of big data, and real-time entertainment is the largest network traffic category. There is currently a large interest in analysing the contents of video where video analysis is mainly conducted by people. This increase in video has for instance made it difficult for professional editors to analyse movies and series in a scalable way, and alternative solutions are needed. The media technology company June, want to explore scalable alternatives for extracting metadata from video. With recent advances in Machine Learning and the rise of machine-learning-asa-service platforms, June wished more specifically to explore how these Machine Learning services can be utilised for extracting metadata from videos, and from it construct a summary regarding its contents. This work examined Machine Learning as an option for scalable video summarisation which resulted in developing and evaluating an application that utilised transcription, summarisation, and translation services to produce a text based summarisation of video. Furthermore to examine the services current state of affairs, multiple services from different providers were tested, evaluated and compared to each other. Lastly, in order to evaluate the summarisation services an evaluation model was developed. The test results showed that the translation services were the only service that produced good results. Transcription and summarisation performed poorly in the tests which renders the suggested solution of combining the three services for video summarisation as impractical. / Video är en stor del av dagens samhälle där bland annat övervakningskameror är den största källan av data och underhållning i realtid är den kategori som står för mest nätverkstrafik. Det finns i dagsläget ett stort intresse i att analysera innehållet av video, denna videoanalys utförs även främst av människor. Ökningen av video har gjort det svårt för exempelvis professionella redaktörer att hinna analysera filmer och serier och mer skalbara alternativ behövs. Mediaföretaget June vill utforska alternativ för att extrahera metadata från video på ett skalbart sätt. Med de senaste framstegen inom maskininlärning och framväxten av machine-learningas-a-service plattformar, önskar June mer specifikt att utforska hur maskininlärning kan nyttjas för att extrahera metadata från video och med det konstruera en sammanfattning av innehållet. Det utförda arbetet undersökte maskininlärning som skalbart alternativ för att kunna sammanfatta videos innehåll. Arbetet resulterade i utvecklandet samt utvärderingen av en applikation som nyttjade maskininlärningstjänster för transkribering, sammanfattning samt översättning för att producera en textbaserad sammanfattning av videos innehåll. För att utvärdera tjänsternas nuvarande tillstånd så testades samt utvärderades tjänster från olika leverantörer för att sedan jämföras mot varandra. Slutligen framtogs en egenutvecklad modell för att kunna utvärdera tjänsterna för sammanfattning. Testresultaten visade att tjänsterna för översättning var de enda tjänsterna som gav bra resultat. Tjänsterna för transkribering och sammanfattning gav dåliga resultat vilket gör den föreslagna lösningen av att kombinera de tre tjänsterna för att sammanfatta videoinnehåll som opraktisk.

Ausgehend von der Fragestellung, wie es möglich ist, dass der Körper durch bestimmte Erscheinungen und Handlungen zur Ressource visueller Kommunikation im Protest wird, leistet die vorliegende Dissertation zwei innovative Forschungsbeiträge: Zum einen wird die Rolle des Körpers in der Interaktionsordnung kollektiven Handelns theoretisch aufgearbeitet. Damit werden zwei miteinander verwobene Lücken im Bereich der Protest- und Bewegungsforschung adressiert: Die unzureichende Auseinandersetzung mit visuellen Aspekten der Aktivität sozialer Bewegungen und die, trotz einiger Aufmerksamkeit für soziale Inszenierung, weitgehende Ausblendung der Rolle des Körpers bei der Betrachtung von Bewegungshandeln. Zum anderen wird auf Grundlage der theoretischen Erkenntnisse eine Methodologie entwickelt, die sich besonders für die Erforschung von Körperlichkeit in Verbindung mit den Interaktionsdynamiken im Protest eignet. Den Körper operationalisiere ich als Visualisierungsmedium im Konzept des Bild-Körpers mit Anleihen bei der Bild- und Drama-Theorie. Die empirische Analyse von Videomaterial zu den Anti-Castor-Protesten in der Region Wendland (Deutschland) des Jahres 2008 zeigte, dass der Körper als Symbolträger in Mikrodramen - kurzen dramatischen Interaktionsfolgen - in Erscheinung tritt, über die der Protest selbst zum mobilisierenden Ereignis wird. Durch Mikrodramen werden die Akteure unmittelbar mit den Narrativen und Master-Frames des Protests verbunden. Der sonst rhetorische Konflikt zwischen Aktivisten und Protestadressaten wird physisch manifest in Zeit und Raum. Die Verkörperung normativ geladener Konstellationen von antagonistischen Charakteren ist dabei ein wesentliches Moment. Die notwendige Spannung wird durch die Kompositionen der Bild-Körper vor allem im Sinnbild der Grenzverletzung konstruiert, worin der Angriff und die Verteidigung des Körpers eine Verbindung zu den emotionalen Konstruktionen der Würde und des Anstands herstellen. / By asking how the human body becomes a crucial resource of visual communication in protest, this research advances scholarship in two main ways. First, I theorize the role of the body in terms of its appearances and actions, and in relation to collective action. Despite some scholarship attending to performative politics, this inquiry addresses several gaps in the theorizing about social movements such as the visual and embodied aspects of protest. Second, to anchor my theorization of the socially and physically situated body, I develop a methodology for researching corporality in association with protest interaction dynamics. I identify and conceptualize the body as a medium of visualization, which I call the pictorial body. Linking the pictorial body concept to the interface between scripts, narratives, and genres (SNG complex) lends the analyses to accounts of visual and dramaturgical theory. Empirically, I use original video data of the 2008 Anti-Castor protest campaign in Germany's Wendland. Findings show that the pictorial body is a primary carrier of symbolism in protest micro-dramas - short dramatic interaction episodes between challengers, targets, and third parties. As the most proximate medium, corporeal mobilizing experience - the call for action - can be treated as an outcome of protest action rather than only as a precondition. I argue that the embodied nature of micro-dramas during protest directly connects actors to movement narratives and master frames by making physically manifest in both space and time what is otherwise a rhetorical conflict. The embodiment of normatively framed constellations of antagonist characters is essential to this. More specifically, a conflictual relationship was crafted primarily by the composition of pictorial bodies in images of border violations, in which the attack and defense of the body connects to the emotionalizing constructs of dignity and decency.

Le développement de réseaux de vidéosurveillance, civils ou militaires, pose des défis scientifiques et technologiques en termes d’analyse et de reconnaissance des contenus des flux compressés. Dans ce contexte, les contributions de cette thèse portent sur : - une méthode de segmentation automatique des objets mobiles (piétons, véhicules, animaux …) dans le domaine compressé, - la prise en compte des différents standards de compression les plus couramment utilisés en surveillance (MPEG-2, MPEG-4 Part 2 et MPEG-4 Part 10 / H.264 AVC), - une chaîne de traitement multi-flux optimisée depuis la segmentation des objets jusqu’à leur suivi et description. Le démonstrateur réalisé a permis d’évaluer les performances des approches méthodologiques développées dans le cadre d’un outil d’aide à l’investigation, identifiant les véhicules répondant à un signalement dans des bases de données de plusieurs dizaines d’heures. En outre, appliqué à des corpus représentatifs des différentes situations de vidéosurveillance (stations de métro, carrefours, surveillance de zones en milieu rural ou de frontières ...), le système a permis d’obtenir les résultats suivants : - analyse de 14 flux MPEG-2, 8 flux MPEG-4 Part 2 ou 3 flux AVC en temps réel sur un coeur à 2.66 GHZ (vidéo 720x576, 25 images par seconde), - taux de détection des véhicules de 100% sur la durée des séquences de surveillance de trafic, avec un taux de détection image par image proche des 95%, - segmentation de chaque objet sur 80 à 150% de sa surface (sous ou sur-segmentation liée au domaine compressé). Ces recherches ont fait l’objet du dépôt de 9 brevets liés à des nouveaux services et applications rendus opérationnels grâce aux approches mises en oeuvre. Citons entre autres des outils pour la protection inégale aux erreurs, la cryptographie visuelle, la vérification d’intégrité par tatouage ou l’enfouissement par stéganographie / The increasing deployment of civil and military videosurveillance networks brings both scientific and technological challenges regarding analysis and content recognition over compressed streams. In this context, the contributions of this thesis focus on: - an autonomous method to segment in the compressed domain mobile objects (pedestrians, vehicles, animals …), - the coverage of the various compression standards commonly used in surveillance (MPEG-2, MPEG-4 Part 2, MPEG-4 Part 10 / H.264 AVC), - an optimised multi-stream processing chain from the objects segmentation up to their tracking and description. The developed demonstrator made it possible to bench the performances of the methodological approaches chosen for a tool dedicated to help investigations. It identifies vehicles from a witness description in databases of tens of hours of video. Moreover, while dealing with corpus covering the different kind of content expected from surveillance (subway stations, crossroads, areas in countryside or border surveillance …), the system provided the following results: - simultaneous real time analysis of up to 14 MPEG-2 streams, 8 MPEG-4 Part 2 streams or 3 AVC streams on a single core (2.66 GHz; 720x576 video, 25 fps), - 100% vehicles detected over the length of traffic surveillance footages, with a image per image detection near 95%, - a segmentation spreading over 80 to 150% of the object area (under or over-segmentation linked with the compressed domain). These researches led to 9 patents linked with new services and applications that were made possible thanks to the suggested approaches. Among these lie tools for Unequal Error Protection, Visual Cryptography, Watermarking or Steganography

Abstract The last decade was marked by a set of harmful events ranging from economical crises to organized crime, acts of terror and natural catastrophes. This has led to a paradigm transformation concerning security. Millions of surveillance cameras have been deployed, which led to new challenges, as the systems and operations behind those cameras could not cope with the rapid growth in number of video cameras and systems. Looking at today’s control rooms, often hundreds or even thousands of cameras are displayed, overloading security officers with irrelevant information. The purpose of this research was the creation of a novel video surveillance system with automated analysis mechanisms which enable security authorities and their operators to cope with this information flood. By automating the process, video surveillance was transformed into a proactive information system. The progress in technology as well as the ever increasing demand in security have proven to be an enormous driver for security technology research, such as this study. This work shall contribute to the protection of our personal freedom, our lives, our property and our society by aiding the prevention of crime and terrorist attacks that diminish our personal freedom. In this study, design science research methodology was utilized in order to ensure scientific rigor while constructing and evaluating artifacts. The requirements for this research were sought in close cooperation with high-level security authorities and prior research was studied in detail. The created construct, the “Intelligent Video Surveillance System”, is a distributed, highly-scalable software framework, that can function as a basis for any kind of high-performance video surveillance system, from installations focusing on high-availability to flexible cloud-based installation that scale across multiple locations and tens of thousands of cameras. First, in order to provide a strong foundation, a modular, distributed system architecture was created, which was then augmented by a multi-sensor analysis process. Thus, the analysis of data from multiple sources, combining video and other sensors in order to automatically detect critical events, was enabled. Further, an intelligent mobile client, the video surveillance local control, which addressed remote access applications, was created. Finally, a wireless self-contained surveillance system was introduced, a novel smart camera concept that enabled ad hoc and mobile surveillance. The value of the created artifacts was proven by evaluation at two real-world sites: An international airport, which has a large-scale installation with high-security requirements, and a security service provider, offering a multitude of video-based services by operating a video control center with thousands of cameras connected. / Tiivistelmä Viime vuosikymmen tunnetaan vahingollisista tapahtumista alkaen talouskriiseistä ja ulottuen järjestelmälliseen rikollisuuteen, terrori-iskuihin ja luonnonkatastrofeihin. Tämä tilanne on muuttanut suhtautumista turvallisuuteen. Miljoonia valvontakameroita on otettu käyttöön, mikä on johtanut uusiin haasteisiin, koska kameroihin liittyvät järjestelmät ja toiminnot eivät pysty toimimaan yhdessä lukuisien uusien videokameroiden ja järjestelmien kanssa. Nykyajan valvontahuoneissa voidaan nähdä satojen tai tuhansien kameroiden tuottavan kuvaa ja samalla runsaasti tarpeetonta informaatiota turvallisuusvirkailijoiden katsottavaksi. Tämän tutkimuksen tarkoitus oli luoda uusi videovalvontajärjestelmä, jossa on automaattiset analyysimekanismit, jotka mahdollistavat turva-alan toimijoiden ja niiden operaattoreiden suoriutuvan informaatiotulvasta. Automaattisen videovalvontaprosessin avulla videovalvonta muokattiin proaktiiviseksi tietojärjestelmäksi. Teknologian kehitys ja kasvanut turvallisuusvaatimus osoittautuivat olevan merkittävä ajuri turvallisuusteknologian tutkimukselle, kuten tämä tutkimus oli. Tämä tutkimus hyödyttää yksittäisen ihmisen henkilökohtaista vapautta, elämää ja omaisuutta sekä yhteisöä estämällä rikoksia ja terroristihyökkäyksiä. Tässä tutkimuksessa suunnittelutiedettä sovellettiin varmistamaan tieteellinen kurinalaisuus, kun artefakteja luotiin ja arvioitiin. Tutkimuksen vaatimukset perustuivat läheiseen yhteistyöhön korkeatasoisten turva-alan viranomaisten kanssa, ja lisäksi aiempi tutkimus analysoitiin yksityiskohtaisesti. Luotu artefakti - ’älykäs videovalvontajärjestelmä’ - on hajautettu, skaalautuva ohjelmistoviitekehys, joka voi toimia perustana monenlaiselle huipputehokkaalle videovalvontajärjestelmälle alkaen toteutuksista, jotka keskittyvät saatavuuteen, ja päättyen joustaviin pilviperustaisiin toteutuksiin, jotka skaalautuvat useisiin sijainteihin ja kymmeniin tuhansiin kameroihin. Järjestelmän tukevaksi perustaksi luotiin hajautettu järjestelmäarkkitehtuuri, jota laajennettiin monisensorianalyysiprosessilla. Siten mahdollistettiin monista lähteistä peräisin olevan datan analysointi, videokuvan ja muiden sensorien datan yhdistäminen ja automaattinen kriittisten tapahtumien tunnistaminen. Lisäksi tässä työssä luotiin älykäs kännykkäsovellus, videovalvonnan paikallinen kontrolloija, joka ohjaa sovelluksen etäkäyttöä. Viimeksi tuotettiin langaton itsenäinen valvontajärjestelmä – uudenlainen älykäs kamerakonsepti – joka mahdollistaa ad hoc -tyyppisen ja mobiilin valvonnan. Luotujen artefaktien arvo voitiin todentaa arvioimalla ne kahdessa reaalimaailman ympäristössä: kansainvälinen lentokenttä, jonka laajamittaisessa toteutuksessa on korkeat turvavaatimukset, ja turvallisuuspalveluntuottaja, joka tarjoaa moninaisia videopohjaisia palveluja videovalvontakeskuksen avulla käyttäen tuhansia kameroita.

Audiovisuelle Medien, insbesondere Filme und Fernsehsendungen entwickelten sich innerhalb der letzten einhundert Jahre zu bedeutenden Massenmedien. Große Bestände audiovisueller Medien werden heute in Datenbanken und Mediatheken verwaltet und professionellen Nutzern ebenso wie den privaten Konsumenten zur Verfügung gestellt. Eine besondere Herausforderung liegt in der Indexierung, Durchsuchung und Beschreibung der multimedialen Datenbestände. Die Segmentierung audiovisueller Medien, als Teilgebiet der Videoanalyse, bildet die Grundlage für verschiedene Anwendungen im Bereich Multimedia-Information-Retrieval, Content-Browsing und Video-Summarization. Insbesondere die Segmentierung in semantische Handlungsanschnitte bei narrativen Medien gestaltet sich schwierig. Sie setzt ein besonderes Verständnis der filmischen Stilelemente vorraus, die im Rahmen des Schaffensprozesses genutzt wurden, um die Handlung und Narration zu unterstützten. Die Arbeit untersucht die bekannten filmischen Stilelemente und wie sie sich im Rahmen algorithmischer Verfahren für die Analyse nutzen lassen. Es kann gezeigt werden, dass unter Verwendung eines mehrstufigen Analyse-Prozesses semantische Zusammenhänge in narrativen audiovisuellen Medien gefunden werden können, die zu einer geeigneten Sequenz-Segmentierung führen. / Audiovisual media, especially movies and TV shows, developed within the last hundred years into major mass media. Today, large stocks of audiovisual media are managed in databases and media libraries. The content is provided to professional users as well as private consumers. A particular challenge lies in the indexing, searching and description of multimedia assets. The segmentation of audiovisual media as a branch of video analysis forms the basis for various applications in multimedia information retrieval, content browsing and video summarization. In particular, the segmentation into semantic meaningful scenes or sequences is difficult. It requires a special understanding of cinematic style elements that were used to support the narration during the creative process of film production. This work examines the cinematic style elements and how they can be used in the context of algorithmic methods for analysis. For this purpose, an analysis framework was developed as well as a method for sequence-segmentation of films and videos. It can be shown that semantic relationships can be found in narrative audiovisual media, which lead to an appropriate sequence segmentation, by using a multi-stage analysis process, based on visual MPEG-7 descriptors.

Audiovisuelle Medien, insbesondere Filme und Fernsehsendungen entwickelten sich innerhalb der letzten einhundert Jahre zu bedeutenden Massenmedien. Große Bestände audiovisueller Medien werden heute in Datenbanken und Mediatheken verwaltet und professionellen Nutzern ebenso wie den privaten Konsumenten zur Verfügung gestellt. Eine besondere Herausforderung liegt in der Indexierung, Durchsuchung und Beschreibung der multimedialen Datenbestände. Die Segmentierung audiovisueller Medien, als Teilgebiet der Videoanalyse, bildet die Grundlage für verschiedene Anwendungen im Bereich Multimedia-Information-Retrieval, Content-Browsing und Video-Summarization. Insbesondere die Segmentierung in semantische Handlungsanschnitte bei narrativen Medien gestaltet sich schwierig. Sie setzt ein besonderes Verständnis der filmischen Stilelemente vorraus, die im Rahmen des Schaffensprozesses genutzt wurden, um die Handlung und Narration zu unterstützten. Die Arbeit untersucht die bekannten filmischen Stilelemente und wie sie sich im Rahmen algorithmischer Verfahren für die Analyse nutzen lassen. Es kann gezeigt werden, dass unter Verwendung eines mehrstufigen Analyse-Prozesses semantische Zusammenhänge in narrativen audiovisuellen Medien gefunden werden können, die zu einer geeigneten Sequenz-Segmentierung führen. / Audiovisual media, especially movies and TV shows, developed within the last hundred years into major mass media. Today, large stocks of audiovisual media are managed in databases and media libraries. The content is provided to professional users as well as private consumers. A particular challenge lies in the indexing, searching and description of multimedia assets. The segmentation of audiovisual media as a branch of video analysis forms the basis for various applications in multimedia information retrieval, content browsing and video summarization. In particular, the segmentation into semantic meaningful scenes or sequences is difficult. It requires a special understanding of cinematic style elements that were used to support the narration during the creative process of film production. This work examines the cinematic style elements and how they can be used in the context of algorithmic methods for analysis. For this purpose, an analysis framework was developed as well as a method for sequence-segmentation of films and videos. It can be shown that semantic relationships can be found in narrative audiovisual media, which lead to an appropriate sequence segmentation, by using a multi-stage analysis process, based on visual MPEG-7 descriptors.