Notre travail est présenté en trois parties indépendantes. Tout d'abord, nous proposons trois heuristiques d'apprentissage actif pour les réseaux de neurones profonds : Nous mettons à l'échelle le `query by committee' , qui agrège la décision de sélectionner ou non une donnée par le vote d'un comité. Pour se faire nous formons le comité à l'aide de différents masques de dropout. Un autre travail se base sur la distance des exemples à la marge. Nous proposons d'utiliser les exemples adversaires comme une approximation de la dite distance. Nous démontrons également des bornes de convergence de notre méthode dans le cas de réseaux linéaires. L’usage des exemples adversaires ouvrent des perspectives de transférabilité d’apprentissage actif d’une architecture à une autre. Puis, nous avons formulé une heuristique d'apprentissage actif qui s'adapte tant au CNNs qu'aux RNNs. Notre méthode sélectionne les données qui minimisent l'énergie libre variationnelle. Dans un second temps, nous nous sommes concentrés sur la distance de Wasserstein. Nous projetons les distributions dans un espace où la distance euclidienne mimique la distance de Wasserstein. Pour se faire nous utilisons une architecture siamoise. Également, nous démontrons les propriétés sous-modulaires des prototypes de Wasserstein et comment les appliquer à l'apprentissage actif. Enfin, nous proposons de nouveaux outils de visualisation pour expliquer les prédictions d'un CNN sur du langage naturel. Premièrement, nous détournons une stratégie d'apprentissage actif pour confronter la pertinence des phrases sélectionnées aux techniques de phraséologie les plus récentes. Deuxièmement, nous profitons des algorithmes de déconvolution des CNNs afin de présenter une nouvelle perspective sur l'analyse d'un texte. / Our work is presented in three separate parts which can be read independently. Firstly we propose three active learning heuristics that scale to deep neural networks: We scale query by committee, an ensemble active learning methods. We speed up the computation time by sampling a committee of deep networks by applying dropout on the trained model. Another direction was margin-based active learning. We propose to use an adversarial perturbation to measure the distance to the margin. We also establish theoretical bounds on the convergence of our Adversarial Active Learning strategy for linear classifiers. Some inherent properties of adversarial examples opens up promising opportunity to transfer active learning data from one network to another. We also derive an active learning heuristic that scales to both CNN and RNN by selecting the unlabeled data that minimize the variational free energy. Secondly, we focus our work on how to fasten the computation of Wasserstein distances. We propose to approximate Wasserstein distances using a Siamese architecture. From another point of view, we demonstrate the submodular properties of Wasserstein medoids and how to apply it in active learning. Eventually, we provide new visualization tools for explaining the predictions of CNN on a text. First, we hijack an active learning strategy to confront the relevance of the sentences selected with active learning to state-of-the-art phraseology techniques. These works help to understand the hierarchy of the linguistic knowledge acquired during the training of CNNs on NLP tasks. Secondly, we take advantage of deconvolution networks for image analysis to present a new perspective on text analysis to the linguistic community that we call Text Deconvolution Saliency.

L’objectif de cette thèse est de faciliter l’utilisation de l’apprentissage supervisé dans les systèmes de détection pour renforcer la détection. Dans ce but, nous considérons toute la chaîne de traitement de l’apprentissage supervisé (annotation, extraction d’attributs, apprentissage, et évaluation) en impliquant les experts en sécurité. Tout d’abord, nous donnons des conseils méthodologiques pour les aider à construire des modèles de détection supervisés qui répondent à leurs contraintes opérationnelles. De plus, nous concevons et nous implémentons DIADEM, un outil de visualisation interactif qui aide les experts en sécurité à appliquer la méthodologie présentée. DIADEM s’occupe des rouages de l’apprentissage supervisé pour laisser les experts en sécurité se concentrer principalement sur la détection. Par ailleurs, nous proposons une solution pour réduire le coût des projets d’annotations en sécurité informatique. Nous concevons et implémentons un système d’apprentissage actif complet, ILAB, adapté aux besoins des experts en sécurité. Nos expériences utilisateur montrent qu’ils peuvent annoter un jeu de données avec une charge de travail réduite grâce à ILAB. Enfin, nous considérons la génération automatique d’attributs pour faciliter l’utilisation de l’apprentissage supervisé dans les systèmes de détection. Nous définissons les contraintes que de telles méthodes doivent remplir pour être utilisées dans le cadre de la détection de menaces. Nous comparons trois méthodes de l’état de l’art en suivant ces critères, et nous mettons en avant des pistes de recherche pour mieux adapter ces techniques aux besoins des experts en sécurité. / The overall objective of this thesis is to foster the deployment of supervised learning in detection systems to strengthen detection. To that end, we consider the whole machine learning pipeline (data annotation, feature extraction, training, and evaluation) with security experts as its core since it is crucial to pursue real-world impact. First, we provide methodological guidance to help security experts build supervised detection models that suit their operational constraints. Moreover, we design and implement DIADEM, an interactive visualization tool that helps security experts apply the methodology set out. DIADEM deals with the machine learning machinery to let security experts focus mainly on detection. Besides, we propose a solution to effectively reduce the labeling cost in computer security annotation projects. We design and implement an end-to-end active learning system, ILAB, tailored to security experts needs. Our user experiments on a real-world annotation project demonstrate that they can annotate a dataset with a low workload thanks to ILAB. Finally, we consider automatic feature generation as a means to ease, and thus foster, the use of machine learning in detection systems. We define the constraints that such methods should meet to be effective in building detection models. We compare three state-of-the-art methods based on these criteria, and we point out some avenues of research to better tailor automatic feature generation to computer security experts needs.

This thesis describes a combination of two current areas of research: the Crayons image classifier system and active learning. Currently Crayons provides no guidance to the user in what pixels should be labeled or when the task is complete. This work focuses on two main areas: 1) active learning for user guidance, and 2) accuracy estimation as a measure of completion. First, I provide a study through simulation and user experiments of seven active learning techniques as they relate to Crayons. Three of these techniques were specifically designed for use in Crayons. These three perform comparably to the others and are much less computationally intensive. A new widget is proposed for use in the Crayons environment giving an overview of the system "confusion". Second, I give a comparison of four accuracy estimation techniques relating to true accuracy and for use as a completion estimate. I show how three traditional accuracy estimation techniques are ineffective when placed in the Crayons environment. The fourth technique uses the same computation as the three new active learning techniques proposed in this work and thus requires little extra computation and outstrips the other three as a completion estimate both in simulation and user experiments.

No description available.

The aim of this Master's thesis is to design methods of active learning and to experiment with datasets of historical documents. A large and diverse dataset IMPACT of more than one million lines is used for experiments. I am using neural networks to check the readability of lines and correctness of their annotations. Firstly, I compare architectures of convolutional and recurrent neural networks with bidirectional LSTM layer. Next, I study different ways of learning neural networks using methods of active learning. Mainly I use active learning to adapt neural networks to documents that the neural networks do not have in the original training dataset. Active learning is thus used for picking appropriate adaptation data. Convolutional neural networks achieve 98.6\% accuracy, recurrent neural networks achieve 99.5\% accuracy. Active learning decreases error by 26\% compared to random pick of adaptations data.

Det här kandidatarbetet går ut på att undersöka hur en interaktiv upplevelse i virtuell verklighet kan användas för att ha en positiv inverkan på användarnas engagemang, uppmärksamhet och lärande. För att undersöka detta har vi använt oss av kvalitativa metoder såsom intervjuer och observationer, metoder och ramverk för speldesign, olika typer av metoder för speltest och tagit del av relevant forskning. Vi har även samarbetat med ett företag som har expertis och kunskap inom området. Resultatet visade att interaktiva VR-upplevelser har potential att väcka användarnas intresse och bibehålla deras motivation. Undersökningens resultat visade dock även att en VR-upplevelse som har brister i designen istället kan orsaka frustration och förvirring hos användarna. Slutsatsen som dragits är att väldesignade interaktiva VR-upplevelser kan vara effektiva verktyg för att på ett engagerande sätt ta till sig kunskap, men att brister i designen kan ha stora negativa effekter på lärandet. / The purpose of this bachelor thesis is to examine how an interactive experience in virtual reality can be used to have a positive impact on the users’ engagement, awareness and learning. To examine this we have used qualitative methods like interviews and observations, frameworks and methods for game design, different types of game testing techniques and taken part of relevant research. We have also been working together with a company that has expertise and knowledge in the area. The results showed that an interactive VR-experience has potential to evoke the users’ interest and maintain their incentive. However, the results also showed that flaws in the design of a VR-experience instead can cause frustration and confusion within the user. The conclusion that has been drawn is that a well-designed interactive VR-experience can be an effective tool for consuming knowledge in an engaging way, but flaws in the design can have a significant negative impact on the learning aspect.

Project-based learning (PBL) is centred on a challenging, yet meaningful, driving question and culminates in a product that students create or do to showcase their learning to a public audience. Other essential elements of a true PBL experience include: sustained inquiry, authentic tasks, opportunities for students to make decisions about their culminating product, reflection, critique, and revision (Hallermann, Larmer, & Mergendoller, 2011). A well-designed PBL combines curriculum and instructional activities to cultivate 21st century skills in students to prepare them for future success in the workforce. Two teams of Year five teachers designed a week-long PBL unit for students organised around the characteristics of the planets, which integrated science, mathematics, and English. The teachers implemented the PBL with six classes of Year five students, documenting their thoughts on planning and implementation to reflect upon the experience.

No description available.

Universities world wide do efforts to integrate education on climate change in the educational programs, but teaching about climate change is challenging: the climate system is complex, future prognoses include difficult terms of likeliness and the topic as such awakes emotions. Simulations and games are sometimes used to address climate change matters, and along with an increasing number of available interactive online simulations there is an on-going revolution in how online-material is used to provide students with information in higher education. Some practitioners move parts of the informative course material online in order to get more time for active learning – learning processes in which the student is participating more actively than just listening. This master thesis investigates if active learning can support students when learning about climate change in higher technical education. Data for the research was collected through three case studies of interactive seminars, in climate related courses at the Royal Institute of Technology, Sweden, and at the University of Graz, Austria. The active learning was facilitated through gaming sessions with a climate board game, with exercises in vocabulary and discussions as well as explanations of the physical science basis. One student group was provided with a series of lectures prior to the board gaming session, whereas the other two groups were participating in a single seminar with the flipped classroom approach: students followed a study instruction with online material as well as reading of scientific papers on Earth’s climate system and climate change before the interactive gaming seminar took place. Analysis of survey responds (n=102), mind-map reflections (n=14) and interviews (n=5) led to the development of three key findings: (1) students’ attitudes toward learning about climate change involves emotions, (2) the active gaming seminar increased the students’ understanding of climate change and (3) students’ confidence - in their own understanding as well as in their ability to explain climate change – increased through the participation in the active learning seminar. Moreover, a reflection drawn from the results in this study indicates that universities could play an important role in climate communication; if a university provides an introduction to climate change, the students can be “pushed over a threshold”, so that future participation in discussions on the topic may become less distant. Using games as an active learning tool in the introduction can increase student understanding and confidence in the topic of climate change - and doing so in a supportive and enjoyable manner. / Universitet världen över gör ansträngningar för att integrera undervisning av klimatförändringarna i sina utbildningsprogram, men klimatförändringarna är ett utmanande ämne: klimatsystemet är komplext, framtidsprognoser innefattar svårtolkade sannolikhetstermer och ämnet som sådant väcker många känslor. Simulationer och spel att en lärandemetod för att beröra ämnet, och samtidigt som det finns ett allt större utbud av undervisningsmaterial om klimatförändringarna på internet, sker en snabb förändring i hur online-material används för att förse studenter med information i den högre utbildningen. I vissa kurser flyttas en del av det informativa kursmaterialet till online-plattformar för att frigöra mer tid för aktivt lärande – lärande, i vilket studenten är mer aktiv än att enbart lyssna. I den här masteruppsatsen utreds huruvida aktivt lärande kan stödja studenter i lärandet om klimatförändringarna i högre teknisk utbildning. Data till studien samlades från tre studentgrupper som deltog i interaktiva klimatseminarier på Kungliga Tekniska Högskolan, KTH, och på Universitetet i Graz. För att uppnå aktivt lärande användes ett klimatbrädspel, med övningar i begrepp, vokabulär och diskussioner samt bearbetning av vetenskapliga förklaringar kring klimatförändringarna. En studentgrupp lyssnade till en föreläsningsserie före deltagandet i spelseminariet, de andra två grupperna deltog däremot enbart i ett seminarium med flipped classroom metoden: studenterna följde en instuderingsinstruktion med online-material och vetenskapliga skrifter innan de kom till spelseminariet. Analys av enkätsvar (n=102), mind-map-reflektioner (n=14) och intervjuer (n=5) ledde till tre huvudsakliga slutsatser: (1) studenternas attityder kring lärandet av klimatförändringarna påverkas av känslor, (2) studiens spelseminarier ökade studenternas förståelse av klimatförändringarna och (3) efter den aktiva lärandemetoden var studenterna mer bekväma med att förklara klimatförändringarna samt fick större förtroende till sin kunskap i ämnet. Vidare kan resultaten i den här studien tolkas som att klimatundervisning i högre utbildning kan utgöra en viktig roll för mottagandet av klimatkommunikation; om ett universitet förser studenter med en introduktion till vetenskap om klimatförändringarna kan studenterna ”tvingas över en tröskel”, så att framtida deltagande i diskussioner i ämnet kan bli mindre avlägsna. Studenterna i studien upplevde nämligen en brist på trovärdig information om klimatförändringarna i det dagliga nyhetsflödet, därför uppskattade de att ta del av vetenskaplig information och komplexa diskussioner under spelseminariet. Att använda utbildande brädspel som en aktivt-lärande-metod kan öka studenters självsäkerhet och förståelse av klimatförändringarna – på ett stödjande och glädjefyllt sätt.

Denna studie handlar om elevers kunskap om evolutionära mekanismer och hur biologilärare utformar sin pedagogik för att stärka elevers begreppsmässiga förståelse. Studien består av fem semistrukturerade intervjuer med gymnasielärare i biologi vid två svenska gymnasieskolor. Studien lägger särskilt fokus på active learning-pedagogik och undersöker huruvida active learning kan främja elevers förståelse för evolutionära kärnbegrepp (variation, selektion och ärftlighet). Studiens resultat indikerar att de vanligaste missförstånden är att individer kan anpassa sig för att överleva, att begreppet fitness biologiska innebörd misstolkas samt en bristande förståelse för begreppet selektionstryck. Studien sätter förståelsen för evolutionära kärnbegrepp i relation till så kallade tröskelbegrepp som är utgör viktig förförståelse samt kognitiva biaser vilka utgör vanliga hinder för att kunna ta till sig kunskap om evolutionära mekanismer. Studien kontextualiserar active learning med närliggande didaktiska teoribildningar såsom Piagets begrepp ackommodera och det övre stegen i Blooms taxonomi. Ett resultat är att de lärare som själva har ett intresse av evolutionsundervisning i större utsträckning utvärderar sin undervisning och aktivt söker nya, mer illustrativa laborationer och övningar. Eftersom undervisningens utformning skiljer sig betydligt lärare emellan föreslås skapande av ett forum där evidensbaserade active learning- övningar kan tillgängliggöras för alla biologilärare. En active learning-laboration som baserat på forskning visat goda resultat beskrivs i detalj och jämförs ingående med en laboration genomförd av tre av de 5 intervjuade lärarna. Båda dessa laborationer utgör exempel på active learning-pedagogik, vilket skulle kunna utgöra en källa till inspiration som biologilärare kan använda för vidareutveckling av sin egen undervisning.