Interaction is an important aspect for children’s language development. The intervention model Prevention Education Program for Parents (PEPP) is currently under development within the research project Ord gör skillnad, Karolinska Institutet. PEPP is an intervention for parents to children aged 0–12 months who’s recently been diagnosed with hearing impairment. In PEPP parents receive guidance based on the child’s language environment which is mapped through Language ENvironment Analysis (LENA) and video analysis. LENA is a speech processing technological tool that analyzes the child’s language environment. The video analysis is made manually based on short video records of interactions between child and parent. The purpose of this study was to evaluate these mapping methods reliabilities to measure verbal conversational turns. The study also aimed to investigate if there’s a pattern between the amount of verbal conversational turns in a structured playtime and in the home environment. Four families with children aged 0:26–7:3 months participated. The child and parent interacted in a structured playtime that was analyzed with LENA and video analysis. Each family also made a LENA recording for an entire day in their home environment. The amount of verbal conversational turns in the structured playtime was analyzed by two assessors through video analysis. Inter-rater reliability was calculated, and a qualitative assessment was made for intervals in which the inter-rater reliability was <80%. The conformity between video analysis and LENA in the structured playtime was calculated. Further, a comparison was made between the amount of verbal conversational turns measured with LENA in home environment and structured environment. The inter-rater reliability in this study was high and in the qualitative assessment aggravating factors were identified. The conformity between video analysis and LENA analysis of the structured playtime was moderate. The amount of verbal conversational turns was higher for all participants in the structured environment compared to the home environment. This study indicates that video analysis is a reliable method. However, the aggravating aspects should be remedied in order to increase the reliability. The results confirm previous findings that demonstrate limitations with LENA’s ability to measure conversational turns in young infants. This study indicates that the number of conversational turns is higher in structured environments. To ensure the results in this study further research should be conducted. / Barn lär sig språket i interaktion med sin omgivning. Föräldrainterventionen Prevention Education Program for Parents (PEPP) utvecklas inom forskningsprojektet Ord gör skillnad, Karolinska Institutet. I PEPP handleds föräldrar till barn i åldrarna 0–12 månader med nyligen upptäckt hörselnedsättning kring samspel och kommunikation. Handledningen baseras på barnets språkmiljö som mäts med kartläggningsmetoderna Language ENvironment Analysis (LENA) och videoanalys. LENA är ett talprocessande teknologiskt verktyg som beskriver barnets språkmiljö genom automatisk analys. Videoanalysen sker manuellt av bedömare utifrån korta videoinspelningar av samspel mellan barn och förälder. Föreliggande studie syftade till att utvärdera dessa kartläggningsmetoders pålitlighet i mätning av verbala turtagningar. Vidare syftade studien till att undersöka eventuella mönster mellan antal verbala turtagningar i hemmiljö och strukturerad miljö. Fyra familjer med barn i åldrarna 0:26–7:3 månader deltog. Barn och förälder samspelade under en strukturerad leksituation som analyserades med LENA och videoanalys. Varje familj gjorde även en heldagsinspelning med LENA i hemmiljö. Antal verbala turtagningar i den strukturerade leksituationen analyserades av två bedömare med videoanalys. Interbedömarreliabilitet räknades ut och en kvalitativ bedömning genomfördes på intervall med interbedömarreliabilitet <80 %. Samstämmigheten mellan videoanalysen och LENA beräknades gällande den strukturerade leksituationen. Vidare jämfördes antal turtagningar mätt med LENA i hemmiljö och strukturerad miljö. Resultatet visade på en hög interbedömarreliabilitet i videoanalysen och i den kvalitativa bedömningen identifierades försvårande aspekter. Samstämmigheten mellan videoanalysen och LENA var måttlig. Antalet turtagningar var genomgående högre i den strukturerade leksituationen jämfört med hemmiljö. Studien tyder på att videoanalysen är en pålitlig metod. Dock identifierades försvårande aspekter som bör åtgärdas för att öka mätningens tillförlitlighet. Studien bekräftar tidigare forskning som visat på begränsningar gällande LENA:s mätning av turtagningar hos unga spädbarn. Resultatet tyder på att det sker fler turtagningar i strukturerad miljö än i hemmiljö. För att säkerställa studiens resultat krävs fortsatta studier.

Les maladies bucco-dentaires sont fréquemment rapportées en médecine vétérinaire et le traitement généralement nécessite l’extraction des dents. Cependant, la procédure est invasive et une évaluation à long terme ainsi qu’une gestion de la douleur sont nécessaires. En médecine vétérinaire, les opioïdes, les blocs anesthésiques locaux et les anti-inflammatoires non stéroïdiens sont administrés en intervention analgésique péri-opératoire. Par exemple, la buprénorphine est un opioïde analgésique puissant, hautement lipophile, et est principalement utilisé pour traiter la douleur aiguë. La buprénorphine est souvent administrée dans le cadre d'une analgésie multimodale. Les signes comportementaux de la douleur induite par les maladies bucco-dentaires n'ont pas été systématiquement étudiés chez les chats, et les connaissances actuelles sont principalement basées sur des preuves anecdotiques ou des études réalisées chez d'autres espèces. On ignore comment les maladies bucco-dentaires et le traitement (c'est-à-dire l'extraction dentaire) peuvent affecter la prise alimentaire péri-opératoire, les scores de douleur, les besoins analgésiques supplémentaires et les comportements chez les chats. En outre, il serait important de savoir si l’échelle de douleur basée sur l'expression faciale (Feline Grimace Scale: FGS) pourrait également être utilisée pour l'évaluation de la douleur buccale. Les objectifs du projet étaient 1) d'identifier les comportements spécifiques associés aux maladies bucco-dentaires en utilisant une évaluation par vidéo, et de les corréler aux scores de la douleur en temps réel, 2) d'évaluer l'impact des maladies bucco-dentaires et de la douleur sur la prise alimentaire et les comportements liés à l'alimentation, 3) de déterminer les effets du traitement des maladies bucco-dentaires sur le comportement, les scores de la douleur et la prise alimentaire, 4) d’évaluer la fiabilité inter-évaluateurs du FGS et 5) pour évaluer l'efficacité analgésique et les événements indésirables d'une formulation à haute concentration de formulation de chlorhydrate de buprénorphine (Simbadol, 1,8 mg / mL) en comparaison avec une formulation standard de chlorhydrate de buprénorphine (Vetergesic, 0,3 mg / mL) dans le cadre d'un schéma multimodal chez les chats subissant des extractions dentaires. Les hypothèses étaient que 1) des comportements spécifiques pourraient être identifiés et corrélés aux scores de la douleur en temps réel, 2) les chats atteints d'une maladie bucco-dentaire sévère auraient une consommation alimentaire plus faible et des scores de douleur plus élevés et nécessiteraient une analgésie de secours comparativement aux chats qui ne sont pas / minimalement atteints par une maladie bucco-dentaire, 3) le traitement des maladies bucco-dentaires réduirait la prévalence des comportements spécifiques ainsi que les scores de douleur et améliorerait la consommation alimentaire de ces animaux, 4) les scores FGS notés par différents évaluateurs seraient fiables et 5) Simbadol et Vetergesic produiraient tous deux des scores de douleur postopératoire, des événements indésirables, ainsi que le moment et la prévalence de l'analgésie de secours similaires lors de l'utilisation du Glasgow Composite Measure Pain Scale-Feline (CMPS-F). Le projet a été divisé en deux études et quatre articles (étude 1: articles 1 à 3, étude 2: article 4): 1) article sur le score de la douleur, les besoins en analgésie de secours et la quantité de nourriture ingérée chez les chats subissant un traitement oral, 2) article sur les comportements spécifiques induits par la douleur liés à la douleur buccale chez les chats sous traitement oral, 3) article sur la fiabilité inter-évaluateurs de la FGS chez les chats sous traitement oral, et 4) comparaison détaillée de l'efficacité analgésique de deux schémas posologiques en utilisant deux concentrations différentes de buprénorphine chez les chats subissant des extractions dentaires. Dans le premier article, vingt-quatre chats ont été répartis également en deux groupes: un groupe qui représente des maladies bucco-dentaires légères (traitement dentaire minimal) et un autre sévères (extractions dentaires multiples) sur la base d'un système de notation dentaire qui impliquait le nombre et l'emplacement de l'extraction des dents et hospitalisés pendant 7 jours (admission au jour 0, examen bucco-dentaire, radiographies et traitement sous anesthésie générale le jour 1 et sortie le jour 6). Pendant l'hospitalisation, les scores de douleur basés sur l'échelle composite de Glasgow (CMPS-F), la prévalence de l'analgésie de secours (CMPS-F ≥ 5/20), la prise d'aliments secs et mous (%) pendant 3 minutes et 2 heures, l'apport quotidien d'aliments mous et les cytokines inflammatoires sériques ont été analysés. Dans le deuxième article, les chats ont été filmés à distance pendant 10 min tout au long de l'étude à différents moments (au total 36h d'enregistrement vidéo). Les vidéos se composaient de quatre parties soit les comportements généraux, de jeu, d'alimentation et post-alimentation. La durée et la fréquence des différents comportements basés sur un éthogramme ont été analysées. Dans le troixième article, quatre-vingt-onze captures d'images (c'est-à-dire des captures d'écran) à partir de vidéos filmées aux jours 1 (postopératoire 6 heures) et 6 pour l'article 2 et des vidéos filmées avant / après l'analgésie de sauvetage ont été incluses. Le FGS comprend cinq unités d'action (AU): les yeux, les oreilles, le museau, les moustaches et la position de la tête. Les scores FGS des images ont été évalués indépendamment par quatre évaluateurs en aveugle. La fiabilité inter-évaluateurs de chaque score AU et FGS total et l'effet de la présence du soignant ont été évalués. Dans l'étude 2 (article 4), vingt-trois chats subissant des extractions dentaires ont été inclus. Les chats ont reçu aléatoirement soit Simbadol (1.8 mg/mL; 0.24 mg/kg SC, toutes les 24 heures, n = 11) ou Vetergesic (0.3 mg/mL; 0.02 mg/kg IM, toutes les 8 h, n = 12) tout au long de l'étude. Ils ont été admis au jour 0, ont subi un examen oral, des radiographies et un traitement sous anesthésie générale le jour 1 et ont été libérés le jour 4. La sédation et la douleur ont été évaluées à l'aide de l'échelle visuelle analogique interactive dynamique (jour 1) et CMPS-F, respectivement. Les scores de sédation, de douleur et la prévalence de l'analgésie de secours (CMPS-F ≥ 5/20) et du ressentiment (défini comme tout type de comportement d'évitement associé à l'aversion pour l'administration de médicaments) ont été analysés statistiquement. Les études ont montré que les scores de la douleur et la prévalence de l'analgésie de secours étaient significativement élevés, ainsi que les apports d'aliments secs et mous étaient significativement diminués chez les chats atteints d'une maladie grave par rapport à ceux présentant une maladie légère. De surcroit, la maladie buccale influence les cytokines inflammatoires et induit des comportements. Par ailleurs, Le FGS est un outil fiable pour l’évaluation de la douleur buccale et n’est pas affecté par la présence du soignant. En outre, les scores de la douleur et la prévalence de l'analgésie de secours chez les chats auxquels Simbadol a été administré n'étaient pas significativement différents de ceux administrés par Vetergesic. De plus, certains chats administrés par Vetergesic ont développé un ressentiment à l'égard de l'administration du médicament, qui n'était pas significativement différent de ceux administrés par Simbadol. Une analgésie à long terme est nécessaire après des extractions dentaires chez les chats atteints d'une maladie bucco-dentaire sévère. La diminution de l'apport alimentaire et les comportements spécifiques identifiés dans les études pourraient être utilisés pour différencier entre les chats douloureux des chats indolores dans la pratique clinique. Le FGS est un outil fiable pour l'évaluation de la douleur chez les chats subissant des extractions dentaires. Simbadol a produit des effets analgésiques similaires à Vetergesic sans induire un ressentiment pendant l'administration du médicament. / Oral disease is one of the most commonly reported diseases in veterinary medicine, and tooth extractions are commonly required as the treatment. The procedure, however, is invasive, and long-term pain management is necessary. In veterinary medicine, opioids, local anesthetic blocks and nonsteroidal anti-inflammatory drugs are administered as perioperative analgesic intervention. Behavioral signs of oral disease-induced pain have not been systematically investigated in cats, and the current knowledge is mostly based on anecdotal evidence or studies performed in other species. It is not known how oral disease and the treatment (i.e. tooth extractions) can affect perioperative food intake, pain scores, additional analgesic requirements and behaviors in cats. Also, it is not known if a facial expression-based pain scale (Feline Grimace Scale: FGS) could be used for oral pain assessment as well. The objectives of this PhD program were: 1) to identify the specific behaviors associated with oral disease by using video assessment, and to verify their correlation with the real-time pain scores, 2) to assess the impact of oral disease and pain on food intake and feeding-related behaviors, 3) to determine the effects of oral disease treatment on behavior, pain scores and food intake, 4) to assess the inter-rater reliability of the FGS in cats undergoing dental extractions and 5) to evaluate the analgesic efficacy and adverse events of a high-concentration formulation of buprenorphine hydrochloride formulation (Simbadol, 1.8 mg/mL) in comparison with a standard buprenorphine hydrochloride formulation (Vetergesic, 0.3 mg/mL) as part of a multimodal regimen in cats undergoing dental extractions. The hypotheses were: 1) specific behaviors associated with oral disease would be identified and correlated with real-time pain scores, 2) cats with severe oral disease would have lower food intake and higher pain scores, and require rescue analgesia when compared with cats with no/minimal oral disease, 3) treatment of oral disease would reduce the prevalence of specific behaviors and pain scores and improve food consumption of these animals, 4) the FGS scores scored by different raters would be reliable in cats undergoing dental extractions and 5) both Simbadol and Vetergesic would produce similar postoperative pain scores, adverse events and timing and prevalence of rescue analgesia when using the Glasgow Composite Measure Pain Scale-Feline (CMPS-F). The project was divided into two studies and four articles (study 1: articles 1-3, study 2: article 4): 1) investigation of pain scores, rescue analgesia requirements and the amount of food intake in cats undergoing oral treatment, 2) investigation of the pain-induced specific behaviors related to oral pain in cats undergoing oral treatment, 3) investigation of inter-rater reliability of FGS in cats undergoing oral treatment, and 4) comparison of the analgesic efficacy of two dosage regimens using two different concentrations of buprenorphine in cats undergoing dental extractions. In article 1, twenty-four cats were equally divided into minimal (minimal dental treatment) or severe (multiple dental extractions) oral disease groups based on a dental scoring system which involved the number and location of teeth extraction and hospitalized for 7 days (admission on day 0, oral examination, radiographs and treatment under general anesthesia on day 1 and discharge on day 6). During hospitalization, pain scores based on CMPS-F, the prevalence of rescue analgesia (CMPS-F ≥ 5/20), dry and soft food intake (%) during periods of 3 minutes and 2 hours, daily soft food intake and serum inflammatory cytokines were analyzed and compared. In article 2, cats were filmed remotely for 10 min throughout the study at different time points (total of 36h of video recording). The videos consisted of four parts namely general, playing, feeding and post-feeding behaviors. The duration and frequency of different behaviors based on an ethogram were analyzed. In article 3, ninety-one image captures (i.e. screenshots) from videos filmed at days 1 (postoperative 6 hours) and 6 for article 2 and videos filmed before/after rescue analgesia were included. The FGS comprises five action units (AU): eyes, ears, muzzle, whiskers and head position. The FGS scores of the images were independently scored by four blinded raters. Inter-rater reliability of each AU and total FGS scores and the effect of the caregiver’s presence were evaluated. In study 2 (article 4), twenty-three cats undergoing tooth extractions were included. Cats randomly received either Simbadol (1.8 mg/mL; 0.24 mg/kg SC, every 24h, n = 11) or Vetergesic (0.3 mg/mL; 0.02 mg/kg IM, every 8h, n = 12) throughout the study. They were admitted on day 0, underwent oral examination, radiographs and treatment under general anesthesia on day 1 and discharged on day 4. Sedation and pain were scored using the dynamic interactive visual analog scale (day 1) and CMPS-F¬, respectively. Sedation and pain scores and the prevalence of rescue analgesia (CMPS-F ≥ 5/20) and resentment (defined as any type of escape behavior associated with aversion to drug administration) were analyzed. The studies found that the pain scores and the prevalence of rescue analgesia were significantly increased, and dry and soft food intakes were significantly decreased in cats with severe disease when compared with those with minimal disease, and the oral disease influences inflammatory cytokines and induces the specific behaviors. FGS is a reliable tool for the assessment of oral pain and is not affected by the caregiver’s presence. Pain scores and the prevalence of rescue analgesia in cats administered Simbadol were not significantly different from those administered Vetergesic, and some cats administered Vetergesic developed resentment to the administration of the drug, which was not significantly different from those administered Simbadol. Long-term analgesia is required after dental extractions in cats with severe oral disease. A decrease in food intake and specific behaviors identified in the studies could be used to differentiate painful versus pain-free cats in clinical practice. The FGS is a reliable tool for pain assessment in cats undergoing dental extractions. Simbadol produced similar analgesic effects to Vetergesic without resentment during drug administration.

Das kulturelle Gedächtnis speichert immer gewaltigere Mengen von Informationen und Daten. Doch nur ein verschwindend geringer Teil der Inhalte ist derzeit über digitale Kanäle recherchierbar und verfügbar. Die Projekte mediaglobe und yovisto ermöglichen, den wachsenden Bestand an audiovisuellen Dokumenten auffindbar und nutzbar zu machen und begleiten Medienarchive in die digitale Zukunft. mediaglobe hat das Ziel, durch automatisierte und semantische Verfahren audiovisuelle Dokumente zur deutschen Zeitgeschichte zu erschließen und verfügbar zu machen. Die Vision von mediaglobe ist ein web-basierter Zugang zu umfassenden digitalen AV-Inhalten in Medienarchiven. Dazu bietet mediaglobe zahlreiche automatisierte Verfahren zur Analyse von audiovisuellen Daten, wie z.B. strukturelle Analyse, Texterkennung im Video, Sprachanalyse oder Genreanalyse. Der Einsatz semantischer Technologien verknüpft die Ergebnisse der AV-Analyse und verbessert qualitativ und quantitativ die Ergebnisse der Multimedia-Suche. Ein Tool zum Rechtemanagement liefert Informationen über die Verfügbarkeit der Inhalte. Innovative und intuitiv bedienbare Benutzeroberflächen machen den Zugang zu kulturellem Erbe aktiv erlebbar. mediaglobe vereinigt die Projektpartner Hasso-Plattner Institut für Softwaresystemtechnik (HPI), Medien-Bildungsgesellschaft Babelsberg, FlowWorks und das Archiv der defa Spektrum. mediaglobe wird im Rahmen des Forschungsprogramms »THESEUS – Neue Technologien für das Internet der Dienste« durch das Bundesministerium für Wirtschaft und Technologie gefördert. Die Videosuchmaschine yovisto hingegen ist spezialisiert auf Aufzeichnungen akademischer Lehrveranstaltungen und implementiert explorative und semantische Suchstrategien. yovisto unterstützt einen mehrstufigen 'explorativen' Suchprozess, in dem der Suchende die Möglichkeit erhält, den Bestand des zugrundeliegenden Medienarchivs über vielfältige Pfade entsprechend seines jeweiligen Interesses zu erkunden, so dass am Ende dieses Suchprozesses Informationen entdeckt werden, von deren Existenz der Suchende bislang nichts wusste. Um dies zu ermöglichen vereinigt yovisto automatisierte semantische Medienanalyse mit benutzergenerierten Metadaten zur inhaltlichen Erschließung von AV-Daten und ermöglicht dadurch eine punktgenaue inhaltsbasierte Suche in Videoarchiven.

Video is a large part of today’s society where surveillance cameras represent the biggest source of big data, and real-time entertainment is the largest network traffic category. There is currently a large interest in analysing the contents of video where video analysis is mainly conducted by people. This increase in video has for instance made it difficult for professional editors to analyse movies and series in a scalable way, and alternative solutions are needed. The media technology company June, want to explore scalable alternatives for extracting metadata from video. With recent advances in Machine Learning and the rise of machine-learning-asa-service platforms, June wished more specifically to explore how these Machine Learning services can be utilised for extracting metadata from videos, and from it construct a summary regarding its contents. This work examined Machine Learning as an option for scalable video summarisation which resulted in developing and evaluating an application that utilised transcription, summarisation, and translation services to produce a text based summarisation of video. Furthermore to examine the services current state of affairs, multiple services from different providers were tested, evaluated and compared to each other. Lastly, in order to evaluate the summarisation services an evaluation model was developed. The test results showed that the translation services were the only service that produced good results. Transcription and summarisation performed poorly in the tests which renders the suggested solution of combining the three services for video summarisation as impractical. / Video är en stor del av dagens samhälle där bland annat övervakningskameror är den största källan av data och underhållning i realtid är den kategori som står för mest nätverkstrafik. Det finns i dagsläget ett stort intresse i att analysera innehållet av video, denna videoanalys utförs även främst av människor. Ökningen av video har gjort det svårt för exempelvis professionella redaktörer att hinna analysera filmer och serier och mer skalbara alternativ behövs. Mediaföretaget June vill utforska alternativ för att extrahera metadata från video på ett skalbart sätt. Med de senaste framstegen inom maskininlärning och framväxten av machine-learningas-a-service plattformar, önskar June mer specifikt att utforska hur maskininlärning kan nyttjas för att extrahera metadata från video och med det konstruera en sammanfattning av innehållet. Det utförda arbetet undersökte maskininlärning som skalbart alternativ för att kunna sammanfatta videos innehåll. Arbetet resulterade i utvecklandet samt utvärderingen av en applikation som nyttjade maskininlärningstjänster för transkribering, sammanfattning samt översättning för att producera en textbaserad sammanfattning av videos innehåll. För att utvärdera tjänsternas nuvarande tillstånd så testades samt utvärderades tjänster från olika leverantörer för att sedan jämföras mot varandra. Slutligen framtogs en egenutvecklad modell för att kunna utvärdera tjänsterna för sammanfattning. Testresultaten visade att tjänsterna för översättning var de enda tjänsterna som gav bra resultat. Tjänsterna för transkribering och sammanfattning gav dåliga resultat vilket gör den föreslagna lösningen av att kombinera de tre tjänsterna för att sammanfatta videoinnehåll som opraktisk.

Honigbienen (Apis mellifera L.) sind in der Lage mit ihren Komplexaugen visuelle Muster wahrzunehmen und die Musterinformation im Zentralen Nervensystem zu speichern und für Ähnlichkeitsbewertungen wieder abzurufen. Die vorliegende Arbeit zeigt klare Evidenz gegen eine ausschließliche Bewertung von Schwarzweißmustern mit Hilfe von Template-Matching-Mechanismen. Mit systematisch abgewandelten Dressurparadigmen trainierte Bienen bewerteten Muster unabhängig von der erfolgten Dressur stets bevorzugt gemäß eher grober Mustereigenschaften, wie zum Beispiel die Parameter "schwarzer Musterzentralbereich" und "Musterzerstreutheit". Veränderte man in einem weiteren Versuchansatz die Musterinformation der Schwarzweißmuster zudem gezielt durch geeignete Fourier-Filterung, zeigte sich, dass Bienen zur Musterdiskriminierung bereits die Frequenzinformation von 2 - 8 Schwingungen/Bildbreite genügte. Diese Unschärfe der bewerteten Bildinformation ließ sich nicht ausschließlich aus den optischen Eigenschaften des visuellen Apparates der Bienen ableiten. Videodokumentationen und Einzelbildanalyse des Flugverhaltens der Bienen vor den Mustern ergaben zudem keinerlei Hinweise für eine Nutzung des Flugverhaltens als Bewertungsgrundlage zur Musterdiskriminierung. Die erhaltenen Ergebnisse zur Musterdiskriminierung wurden vor dem Hintergrund eines ökonomischen Entscheidungsmodells für menschliches Verhalten, den Frugalheuristiken, diskutiert und Hinweise auf eine ökonomische Bewertungsstrategie der Bienen entsprechend einer Take-The-Best-Heuristik gefunden. / Honeybees (Apis mellifera L.) are able to perceive visual patterns through their compound eyes and store the visual information in the central nervous system for subsequent use in pattern discrimination tasks. This thesis provides clear evidence against the assumption that pattern discrimination relies exclusively on template matching mechanisms. Bees discriminated pairs of patterns preferential using extracted pattern parameters. Within this thesis the preferred parameters of the bees following the training paradigms were coarse parameters such as "black centre" and "pattern disruption". In experiments with Fourier filtered patterns the frequency information of the patterns were additionally reduced. The results showed that bees could discriminate patterns using only 2 - 8 cycles/pattern-width of the frequency information. The fuzziness of the exploited visual information could not be assigned to restrictions of the visual system of bees. Additional documentation and single picture analysis of the videotaped flight behaviour in front of the patterns provided no evidence for bees using their flight behaviour in order to enhance the pattern discrimination ability. Application of economic human decision models (frugal heuristics) to the behavioural results showed clues that bees'' decisions could be explained with the help of the Take-The-Best-heuristic.

Le développement de réseaux de vidéosurveillance, civils ou militaires, pose des défis scientifiques et technologiques en termes d’analyse et de reconnaissance des contenus des flux compressés. Dans ce contexte, les contributions de cette thèse portent sur : - une méthode de segmentation automatique des objets mobiles (piétons, véhicules, animaux …) dans le domaine compressé, - la prise en compte des différents standards de compression les plus couramment utilisés en surveillance (MPEG-2, MPEG-4 Part 2 et MPEG-4 Part 10 / H.264 AVC), - une chaîne de traitement multi-flux optimisée depuis la segmentation des objets jusqu’à leur suivi et description. Le démonstrateur réalisé a permis d’évaluer les performances des approches méthodologiques développées dans le cadre d’un outil d’aide à l’investigation, identifiant les véhicules répondant à un signalement dans des bases de données de plusieurs dizaines d’heures. En outre, appliqué à des corpus représentatifs des différentes situations de vidéosurveillance (stations de métro, carrefours, surveillance de zones en milieu rural ou de frontières ...), le système a permis d’obtenir les résultats suivants : - analyse de 14 flux MPEG-2, 8 flux MPEG-4 Part 2 ou 3 flux AVC en temps réel sur un coeur à 2.66 GHZ (vidéo 720x576, 25 images par seconde), - taux de détection des véhicules de 100% sur la durée des séquences de surveillance de trafic, avec un taux de détection image par image proche des 95%, - segmentation de chaque objet sur 80 à 150% de sa surface (sous ou sur-segmentation liée au domaine compressé). Ces recherches ont fait l’objet du dépôt de 9 brevets liés à des nouveaux services et applications rendus opérationnels grâce aux approches mises en oeuvre. Citons entre autres des outils pour la protection inégale aux erreurs, la cryptographie visuelle, la vérification d’intégrité par tatouage ou l’enfouissement par stéganographie / The increasing deployment of civil and military videosurveillance networks brings both scientific and technological challenges regarding analysis and content recognition over compressed streams. In this context, the contributions of this thesis focus on: - an autonomous method to segment in the compressed domain mobile objects (pedestrians, vehicles, animals …), - the coverage of the various compression standards commonly used in surveillance (MPEG-2, MPEG-4 Part 2, MPEG-4 Part 10 / H.264 AVC), - an optimised multi-stream processing chain from the objects segmentation up to their tracking and description. The developed demonstrator made it possible to bench the performances of the methodological approaches chosen for a tool dedicated to help investigations. It identifies vehicles from a witness description in databases of tens of hours of video. Moreover, while dealing with corpus covering the different kind of content expected from surveillance (subway stations, crossroads, areas in countryside or border surveillance …), the system provided the following results: - simultaneous real time analysis of up to 14 MPEG-2 streams, 8 MPEG-4 Part 2 streams or 3 AVC streams on a single core (2.66 GHz; 720x576 video, 25 fps), - 100% vehicles detected over the length of traffic surveillance footages, with a image per image detection near 95%, - a segmentation spreading over 80 to 150% of the object area (under or over-segmentation linked with the compressed domain). These researches led to 9 patents linked with new services and applications that were made possible thanks to the suggested approaches. Among these lie tools for Unequal Error Protection, Visual Cryptography, Watermarking or Steganography

Abstract The last decade was marked by a set of harmful events ranging from economical crises to organized crime, acts of terror and natural catastrophes. This has led to a paradigm transformation concerning security. Millions of surveillance cameras have been deployed, which led to new challenges, as the systems and operations behind those cameras could not cope with the rapid growth in number of video cameras and systems. Looking at today’s control rooms, often hundreds or even thousands of cameras are displayed, overloading security officers with irrelevant information. The purpose of this research was the creation of a novel video surveillance system with automated analysis mechanisms which enable security authorities and their operators to cope with this information flood. By automating the process, video surveillance was transformed into a proactive information system. The progress in technology as well as the ever increasing demand in security have proven to be an enormous driver for security technology research, such as this study. This work shall contribute to the protection of our personal freedom, our lives, our property and our society by aiding the prevention of crime and terrorist attacks that diminish our personal freedom. In this study, design science research methodology was utilized in order to ensure scientific rigor while constructing and evaluating artifacts. The requirements for this research were sought in close cooperation with high-level security authorities and prior research was studied in detail. The created construct, the “Intelligent Video Surveillance System”, is a distributed, highly-scalable software framework, that can function as a basis for any kind of high-performance video surveillance system, from installations focusing on high-availability to flexible cloud-based installation that scale across multiple locations and tens of thousands of cameras. First, in order to provide a strong foundation, a modular, distributed system architecture was created, which was then augmented by a multi-sensor analysis process. Thus, the analysis of data from multiple sources, combining video and other sensors in order to automatically detect critical events, was enabled. Further, an intelligent mobile client, the video surveillance local control, which addressed remote access applications, was created. Finally, a wireless self-contained surveillance system was introduced, a novel smart camera concept that enabled ad hoc and mobile surveillance. The value of the created artifacts was proven by evaluation at two real-world sites: An international airport, which has a large-scale installation with high-security requirements, and a security service provider, offering a multitude of video-based services by operating a video control center with thousands of cameras connected. / Tiivistelmä Viime vuosikymmen tunnetaan vahingollisista tapahtumista alkaen talouskriiseistä ja ulottuen järjestelmälliseen rikollisuuteen, terrori-iskuihin ja luonnonkatastrofeihin. Tämä tilanne on muuttanut suhtautumista turvallisuuteen. Miljoonia valvontakameroita on otettu käyttöön, mikä on johtanut uusiin haasteisiin, koska kameroihin liittyvät järjestelmät ja toiminnot eivät pysty toimimaan yhdessä lukuisien uusien videokameroiden ja järjestelmien kanssa. Nykyajan valvontahuoneissa voidaan nähdä satojen tai tuhansien kameroiden tuottavan kuvaa ja samalla runsaasti tarpeetonta informaatiota turvallisuusvirkailijoiden katsottavaksi. Tämän tutkimuksen tarkoitus oli luoda uusi videovalvontajärjestelmä, jossa on automaattiset analyysimekanismit, jotka mahdollistavat turva-alan toimijoiden ja niiden operaattoreiden suoriutuvan informaatiotulvasta. Automaattisen videovalvontaprosessin avulla videovalvonta muokattiin proaktiiviseksi tietojärjestelmäksi. Teknologian kehitys ja kasvanut turvallisuusvaatimus osoittautuivat olevan merkittävä ajuri turvallisuusteknologian tutkimukselle, kuten tämä tutkimus oli. Tämä tutkimus hyödyttää yksittäisen ihmisen henkilökohtaista vapautta, elämää ja omaisuutta sekä yhteisöä estämällä rikoksia ja terroristihyökkäyksiä. Tässä tutkimuksessa suunnittelutiedettä sovellettiin varmistamaan tieteellinen kurinalaisuus, kun artefakteja luotiin ja arvioitiin. Tutkimuksen vaatimukset perustuivat läheiseen yhteistyöhön korkeatasoisten turva-alan viranomaisten kanssa, ja lisäksi aiempi tutkimus analysoitiin yksityiskohtaisesti. Luotu artefakti - ’älykäs videovalvontajärjestelmä’ - on hajautettu, skaalautuva ohjelmistoviitekehys, joka voi toimia perustana monenlaiselle huipputehokkaalle videovalvontajärjestelmälle alkaen toteutuksista, jotka keskittyvät saatavuuteen, ja päättyen joustaviin pilviperustaisiin toteutuksiin, jotka skaalautuvat useisiin sijainteihin ja kymmeniin tuhansiin kameroihin. Järjestelmän tukevaksi perustaksi luotiin hajautettu järjestelmäarkkitehtuuri, jota laajennettiin monisensorianalyysiprosessilla. Siten mahdollistettiin monista lähteistä peräisin olevan datan analysointi, videokuvan ja muiden sensorien datan yhdistäminen ja automaattinen kriittisten tapahtumien tunnistaminen. Lisäksi tässä työssä luotiin älykäs kännykkäsovellus, videovalvonnan paikallinen kontrolloija, joka ohjaa sovelluksen etäkäyttöä. Viimeksi tuotettiin langaton itsenäinen valvontajärjestelmä – uudenlainen älykäs kamerakonsepti – joka mahdollistaa ad hoc -tyyppisen ja mobiilin valvonnan. Luotujen artefaktien arvo voitiin todentaa arvioimalla ne kahdessa reaalimaailman ympäristössä: kansainvälinen lentokenttä, jonka laajamittaisessa toteutuksessa on korkeat turvavaatimukset, ja turvallisuuspalveluntuottaja, joka tarjoaa moninaisia videopohjaisia palveluja videovalvontakeskuksen avulla käyttäen tuhansia kameroita.

Audiovisuelle Medien, insbesondere Filme und Fernsehsendungen entwickelten sich innerhalb der letzten einhundert Jahre zu bedeutenden Massenmedien. Große Bestände audiovisueller Medien werden heute in Datenbanken und Mediatheken verwaltet und professionellen Nutzern ebenso wie den privaten Konsumenten zur Verfügung gestellt. Eine besondere Herausforderung liegt in der Indexierung, Durchsuchung und Beschreibung der multimedialen Datenbestände. Die Segmentierung audiovisueller Medien, als Teilgebiet der Videoanalyse, bildet die Grundlage für verschiedene Anwendungen im Bereich Multimedia-Information-Retrieval, Content-Browsing und Video-Summarization. Insbesondere die Segmentierung in semantische Handlungsanschnitte bei narrativen Medien gestaltet sich schwierig. Sie setzt ein besonderes Verständnis der filmischen Stilelemente vorraus, die im Rahmen des Schaffensprozesses genutzt wurden, um die Handlung und Narration zu unterstützten. Die Arbeit untersucht die bekannten filmischen Stilelemente und wie sie sich im Rahmen algorithmischer Verfahren für die Analyse nutzen lassen. Es kann gezeigt werden, dass unter Verwendung eines mehrstufigen Analyse-Prozesses semantische Zusammenhänge in narrativen audiovisuellen Medien gefunden werden können, die zu einer geeigneten Sequenz-Segmentierung führen. / Audiovisual media, especially movies and TV shows, developed within the last hundred years into major mass media. Today, large stocks of audiovisual media are managed in databases and media libraries. The content is provided to professional users as well as private consumers. A particular challenge lies in the indexing, searching and description of multimedia assets. The segmentation of audiovisual media as a branch of video analysis forms the basis for various applications in multimedia information retrieval, content browsing and video summarization. In particular, the segmentation into semantic meaningful scenes or sequences is difficult. It requires a special understanding of cinematic style elements that were used to support the narration during the creative process of film production. This work examines the cinematic style elements and how they can be used in the context of algorithmic methods for analysis. For this purpose, an analysis framework was developed as well as a method for sequence-segmentation of films and videos. It can be shown that semantic relationships can be found in narrative audiovisual media, which lead to an appropriate sequence segmentation, by using a multi-stage analysis process, based on visual MPEG-7 descriptors.

Audiovisuelle Medien, insbesondere Filme und Fernsehsendungen entwickelten sich innerhalb der letzten einhundert Jahre zu bedeutenden Massenmedien. Große Bestände audiovisueller Medien werden heute in Datenbanken und Mediatheken verwaltet und professionellen Nutzern ebenso wie den privaten Konsumenten zur Verfügung gestellt. Eine besondere Herausforderung liegt in der Indexierung, Durchsuchung und Beschreibung der multimedialen Datenbestände. Die Segmentierung audiovisueller Medien, als Teilgebiet der Videoanalyse, bildet die Grundlage für verschiedene Anwendungen im Bereich Multimedia-Information-Retrieval, Content-Browsing und Video-Summarization. Insbesondere die Segmentierung in semantische Handlungsanschnitte bei narrativen Medien gestaltet sich schwierig. Sie setzt ein besonderes Verständnis der filmischen Stilelemente vorraus, die im Rahmen des Schaffensprozesses genutzt wurden, um die Handlung und Narration zu unterstützten. Die Arbeit untersucht die bekannten filmischen Stilelemente und wie sie sich im Rahmen algorithmischer Verfahren für die Analyse nutzen lassen. Es kann gezeigt werden, dass unter Verwendung eines mehrstufigen Analyse-Prozesses semantische Zusammenhänge in narrativen audiovisuellen Medien gefunden werden können, die zu einer geeigneten Sequenz-Segmentierung führen. / Audiovisual media, especially movies and TV shows, developed within the last hundred years into major mass media. Today, large stocks of audiovisual media are managed in databases and media libraries. The content is provided to professional users as well as private consumers. A particular challenge lies in the indexing, searching and description of multimedia assets. The segmentation of audiovisual media as a branch of video analysis forms the basis for various applications in multimedia information retrieval, content browsing and video summarization. In particular, the segmentation into semantic meaningful scenes or sequences is difficult. It requires a special understanding of cinematic style elements that were used to support the narration during the creative process of film production. This work examines the cinematic style elements and how they can be used in the context of algorithmic methods for analysis. For this purpose, an analysis framework was developed as well as a method for sequence-segmentation of films and videos. It can be shown that semantic relationships can be found in narrative audiovisual media, which lead to an appropriate sequence segmentation, by using a multi-stage analysis process, based on visual MPEG-7 descriptors.

Head injuries in American football is a serious issue regarding player health which is highly affected by velocity and its direction. Impact location can affect the severity of the head injury in both helmet-to-helmet impacts and helmet-to-ground impacts hence the understanding of concussive outcome from velocities and impact locations must be improved. In this thesis a video analysis resulted in simulation of five helmet-to-helmet impacts and two helmet-to-ground impacts, where velocity in each impact also was approximated with the method of least squares to avoid extreme values. The average velocity in helmet-to-helmet impacts was 5.1728 m/s for tackler player and 4.4766 m/s for tackled player and in helmet-to-ground impacts it instead was 6.1975 m/s. With the regression method an average velocity of 4.3982 m/s for tackler player and 5.3854 m/s for the tackled player in helmet-to-helmet impacts and 5.874 m/s in helmet-to-ground impacts. The simulations were performed with LS-DYNA and examined in LS-PrePost where head kinematics and the strain of brain tissue or more specific the maximum principal strain (MPS) was of interest. Further the MPS was scaled to its 95th percentile which determined the concussive likelihood for each impact scenario. The highest concussive outcome for an impact scenario was 100% and the lowest was 15%. The head kinematics of interest was linear acceleration, angular acceleration and angular velocity which in high risk for concussive outcome wasn't dominated by a single head kinematic. Impacts locations in helmet-to-helmet impacts didn't show any connection between impact location and high concussive risk. In helmet-to-ground impacts a connection between impact location at the back of the head and high concussive risk was observed. / Huvudskador inom Amerikansk fotboll är ett återkommande problem när det gäller spelarnas hälsa. Hastigheten och vart tacklingen träffar är starkt kopplat till hur allvarlig en huvudskada kan bli i både hjälm-mot-hjälm tacklingarn och hjälm-mot-mark. För att förhindra huvudskador måste förståelsen om kinematiken och vart tacklingen träffar förbättras.  I detta examensarbete gjordes en videoanalys vilket resulterade i fem hjälm-mot-hjälm simuleringar och två hjälm-mot-mark. Hastigheten approximerades också genom att använda uppskattnings metoden minsta kvadratmetoden. Medel-värdet av hastigheterna från videoanalysen blev 5.1728 m/s för spelaren som utförde tacklingen och 4.4766 m/s för spelaren som blev tacklad i hjälm-mot-hjälm tacklingar. I hjälm-mot-mark blev det istället ett medelvärde på 6.1975 m/s. Med uppskattnings metoden blev hastigheterna istället 4.3982 m/s för den tacklande spelaren och 5.3854 m/s för den tacklade spelaren i hjälm-mot-hjälm tacklingar. För hjälm-mot-mark blev medelvärdet av hastigheten 5.874 m/s med uppskattnings metoden. Simuleringarna av tacklings fallen gjordes med LS-DYNA och analyserades i LS-PrePost där huvudets kinematik och töjningen av hjärnvävnad är av intresse. Töjningen mättes av maximum principal strain (MPS) och den 95:e percentilen av MPS för att bestämma risken för hjärnskakning där den största risken för hjärnskakning var 100% och den minsta 15%. För huvudets kinematik var det linjär acceleration, vinkelacceleration och vinkelhastighet som var av intresse. Det fanns ingen koppling mellan endast en av kinematikerna och hög risk för hjärnskakning. Gällande vart tacklingen träffar fanns det ingen koppling mellan vart den träffar och hög risk för hjärnskakning i hjälm-mot-hjälm tacklingar. För hjälm-mot-mark tacklingar fanns det ett samband mellan att bakre delen av huvudet träffar marken och hög risk för hjärnskakning.