The discussions on social media platforms reflect the views of masses on different ongoing long term events. The demand for different people-oriented services observes upsurge during the period of such long term events. Accurate forecasting of such time series data has a vital role in many business domains. In this project, we propose two deep learning based architectures for time series forecasting which incorporate exogenous information available from social media in both textual and numerical modalities. Our experiments show that compared to forecasting without exogenous information, adding numerical attributes yields approximately 1% increment in the forecasting accuracy while textual information causes a 6-9% reduction in the accuracy Our assumption on the result is that the collected exogenous data especially the textual information is insufficient in this problem context. Adding more related data from the same or multiple sources may improve the forecasting performance. / Diskussionerna på sociala medieplattformar återspeglar massornas åsikter om olika pågående långvariga händelser. Efterfrågan på olika människorinriktade tjänster observerar uppsving under perioden med sådana långsiktiga händelser. Noggrann prognos av sådana tidsseriedata har en viktig roll i många affärsområden. I detta projekt föreslår vi två djupa inlärningsbaserade arkitekturer för tidsserieprognoser som innehåller exogen information tillgänglig från sociala medier i både textuella och numeriska modaliteter. Våra experiment visar att jämförelse med prognoser utan exogen information, ger användandet av numeriska attribut ungefär 1% ökning i prognosprecisionen medan textinformation orsakar en 6-9% minskning i precision. Vårt antagande om resultatet är att den samlade exogena informationen, särskilt den textuella information är otillräcklig i detta problem. Att lägga till mer relaterade data från samma eller flera källor kan förbättra prognosprecisionen.

Understanding a black-box model is a major problem in domains that relies on model predictions in critical tasks. If solved, can help to evaluate the trustworthiness of a model. This thesis proposes a user-centric approach to black-box interpretability. It addresses the problem in semantic segmentation setting with an example of humanitarian remote sensing application for building detection. The question that drives this work was, Can existing methods for explaining black-box classifiers be used for a deep learning semantic segmentation model? We approached this problem with exploratory qualitative research involving a case study and human evaluation. The study showed that it is possible to explain a segmentation model with adapted methods for classifiers but not without a cost. The specificity of the model is likely to be lost in the process. The sole process could include introducing artificial classes or fragmenting image into super-pixels. Other approaches are necessary to mitigate identified drawback. The main contribution of this work is an interactive visualisation approach for exploring learned latent space via a deep segmenter, named U-Net, evaluated with a user study involving 45 respondents. We developed an artefact (accessible online) to evaluate the approach with the survey. It presents an example of this approach with a real-world satellite image dataset. In the evaluation study, the majority of users had a computer science background (80%), including a large percentage of users with machine learning specialisation (44.4% of all respondents). The model distinguishes rurality vs urbanization (58% of users). External quantitative comparison of building densities of each city concerning the location in the latent space confirmed the later. The representation of the model was found faithful to the underlying model (62% of users). Preliminary results show the utility of the pursued approach in the application domain. Limited possibility to present complex model visually requires further investigation. / Att förstå en svartboxmodell är ett stort problem inom domäner som förlitar sig på modellprognoser i kritiska uppgifter. Om det löses, kan det hjälpa till att utvärdera en modells pålitlighet. Den här avhandlingen föreslår en användarcentrisk strategi för svartboxtolkbarhet. Den tar upp problemet i semantisk segmentering med ett exempel på humanitär fjärranalysapplikation för byggnadsdetektering. Frågan som driver detta arbete var: Kan befintliga metoder för att förklara svartruta klassificerare användas för en djup semantisk segmenteringsmodell? Vi närmade oss detta problem med utforskande kvalitativ forskning som involverade en fallstudie och mänsklig utvärdering. Studien visade att det är möjligt att förklara en segmenteringsmodell med anpassade metoder för klassificerare men inte utan kostnad. Modellens specificitet kommer sannolikt att gå förlorad i processen. Den enda processen kan inkludera införande av konstgjorda klasser eller fragmentering av bild i superpixlar. Andra tillvägagångssätt är nödvändiga för att mildra identifierad nackdel. Huvudbidraget i detta arbete är en interaktiv visualiseringsmetod för att utforska lärt latent utrymme via en djup segmenter, benämnd U-Net, utvärderad med en användarstudie med 45 svarande. Vi utvecklade en artefakt (tillgänglig online) för att utvärdera tillvägagångssättet med undersökningen. Den presenterar ett exempel på denna metod med en verklig satellitbilddatasats. I utvärderingsstudien hade majoriteten av användarna en datavetenskaplig bakgrund (80%), inklusive en stor andel användare med specialisering av maskininlärning (44,4 % av alla svarande). Modellen skiljer ruralitet och urbanisering (58 % av användarna). Den externa kvantitativa jämförelsen av byggnadstätheten i varje stad angående platsen i det latenta utrymmet bekräftade det senare. Representationen av modellen visade sig vara trogen mot den underliggande modellen (62% av användarna). Preliminära resultat visar användbarheten av den eftersträvade metoden inom applikationsdomänen. Begränsad möjlighet att presentera komplexa modeller visuellt kräver ytterligare utredning.

We explore the use of Long short-term memory (LSTM) for anomaly detection in temporal data. Due to the challenges in obtaining labeled anomaly datasets, an unsupervised approach is employed. We train recurrent neural networks (RNNs) with LSTM units to learn the normal time series patterns and predict future values. The resulting prediction errors are modeled to give anomaly scores. We investigate different ways of maintaining LSTM state, and the effect of using a fixed number of time steps on LSTM prediction and detection performance. LSTMs are also compared to feed-forward neural networks with fixed size time windows over inputs. Our experiments, with three real-world datasets, show that while LSTM RNNs are suitable for general purpose time series modeling and anomaly detection, maintaining LSTM state is crucial for getting desired results. Moreover, LSTMs may not be required at all for simple time series. / Vi undersöker Long short-term memory (LSTM) för avvikelsedetektion i tidsseriedata. På grund av svårigheterna i att hitta data med etiketter så har ett oövervakat an-greppssätt använts. Vi tränar rekursiva neuronnät (RNN) med LSTM-noder för att lära modellen det normala tidsseriemönstret och prediktera framtida värden. Vi undersö-ker olika sätt av att behålla LSTM-tillståndet och effekter av att använda ett konstant antal tidssteg på LSTM-prediktionen och avvikelsedetektionsprestandan. LSTM är också jämförda med vanliga neuronnät med fasta tidsfönster över indata. Våra experiment med tre verkliga datasetvisar att även om LSTM RNN är tillämpbara för generell tidsseriemodellering och avvikelsedetektion så är det avgörande att behålla LSTM-tillståndet för att få de önskaderesultaten. Dessutom är det inte nödvändigt att använda LSTM för enkla tidsserier.

Noisy labels could cause severe degradation to the classification performance. Especially for deep neural networks, noisy labels can be memorized and lead to poor generalization. Recently label noise robust deep learning has outperformed traditional shallow learning approaches in handling complex input data without prior knowledge of label noise generation. Learning from noisy labels by importance reweighting is well-studied. Existing work in this line using deep learning failed to provide reasonable importance reweighting criterion and thus got undesirable experimental performances. Targeting this knowledge gap and inspired by domain adaptation, we propose a novel label noise robust deep learning approach by importance reweighting. Noisy labeled training examples are weighted by minimizing the maximum mean discrepancy between the loss distributions of noisy labeled and clean labeled data. In experiments, the proposed approach outperforms other baselines. Results show a vast research potential of applying domain adaptation in label noise problem by bridging the two areas. Moreover, the proposed approach potentially motivate other interesting problems in domain adaptation by enabling importance reweighting to be used in deep learning. / Felaktiga annoteringar kan sänka klassificeringsprestanda.Speciellt för djupa nätverk kan detta leda till dålig generalisering. Nyligen har brusrobust djup inlärning överträffat andra inlärningsmetoder när det gäller hantering av komplexa indata Befintligta resultat från djup inlärning kan dock inte tillhandahålla rimliga viktomfördelningskriterier. För att hantera detta kunskapsgap och inspirerat av domänanpassning föreslår vi en ny robust djup inlärningsmetod som använder omviktning. Omviktningen görs genom att minimera den maximala medelavvikelsen mellan förlustfördelningen av felmärkta och korrekt märkta data. I experiment slår den föreslagna metoden andra metoder. Resultaten visar en stor forskningspotential för att tillämpa domänanpassning. Dessutom motiverar den föreslagna metoden undersökningar av andra intressanta problem inom domänanpassning genom att möjliggöra smarta omviktningar.

The aim of synthetic data generation is to provide data that is not real for cases where the use of real data is somehow limited. For example, when there is a need for larger volumes of data, when the data is sensitive to use, or simply when it is hard to get access to the real data. Traditional methods of synthetic data generation use techniques that do not intend to replicate important statistical properties of the original data. Properties such as the distribution, the patterns or the correlation between variables, are often omitted. Moreover, most of the existing tools and approaches require a great deal of user-defined rules and do not make use of advanced techniques like Machine Learning or Deep Learning. While Machine Learning is an innovative area of Artificial Intelligence and Computer Science that uses statistical techniques to give computers the ability to learn from data, Deep Learning is a closely related field based on learning data representations, which may serve useful for the task of synthetic data generation. This thesis focuses on one of the most interesting and promising innovations of the last years in the Machine Learning community: Generative Adversarial Networks. An approach for generating discrete, continuous or text synthetic data with Generative Adversarial Networks is proposed, tested, evaluated and compared with a baseline approach. The results prove the feasibility and show the advantages and disadvantages of using this framework. Despite its high demand for computational resources, a Generative Adversarial Networks framework is capable of generating quality synthetic data that preserves the statistical properties of a given dataset. / Syftet med syntetisk datagenerering är att tillhandahålla data som inte är verkliga i fall där användningen av reella data på något sätt är begränsad. Till exempel, när det finns behov av större datamängder, när data är känsliga för användning, eller helt enkelt när det är svårt att få tillgång till den verkliga data. Traditionella metoder för syntetiska datagenererande använder tekniker som inte avser att replikera viktiga statistiska egenskaper hos de ursprungliga data. Egenskaper som fördelningen, mönstren eller korrelationen mellan variabler utelämnas ofta. Dessutom kräver de flesta av de befintliga verktygen och metoderna en hel del användardefinierade regler och använder inte avancerade tekniker som Machine Learning eller Deep Learning. Machine Learning är ett innovativt område för artificiell intelligens och datavetenskap som använder statistiska tekniker för att ge datorer möjlighet att lära av data. Deep Learning ett närbesläktat fält baserat på inlärningsdatapresentationer, vilket kan vara användbart för att generera syntetisk data. Denna avhandling fokuserar på en av de mest intressanta och lovande innovationerna från de senaste åren i Machine Learning-samhället: Generative Adversarial Networks. Generative Adversarial Networks är ett tillvägagångssätt för att generera diskret, kontinuerlig eller textsyntetisk data som föreslås, testas, utvärderas och jämförs med en baslinjemetod. Resultaten visar genomförbarheten och visar fördelarna och nackdelarna med att använda denna metod. Trots dess stora efterfrågan på beräkningsresurser kan ett generativt adversarialnätverk skapa generell syntetisk data som bevarar de statistiska egenskaperna hos ett visst dataset.

Recent developments in the field of Semi-Supervised Learning are working to avoid the bottleneck of data labeling. This can be achieved by leveraging unlabeled data to limit the amount of labeled data needed for training deep learning models. Semi-supervised learning algorithms are showing promising results; however, research has been focusing on algorithm development, without proceeding to test their effectiveness in real-world applications. This research project has adapted and tested some semi-supervised learning algorithms on a dataset extracted from the manufacturing en-vironment, in the context of the surface analysis of stainless steel, in collaboration with Outokumpu Stainless Oy. In particular, a simple algorithm combining Pseudo-Labeling and Consistency Regularization has been developed, inspired by the state-of-the-art algorithm Fix match. The results show some potential, because the usage of Semi-Supervised Learning techniques has significantly reduced overfitting on the training set, while maintaining a good accuracy on the test set. However, some doubts are raised regarding the application of these techniques in a real environment, due to the imperfect nature of real datasets and the high algorithm development cost due to the increased complexity introduced with these methods. / Den senaste utvecklingen inom området Semi-Supervised Learning arbetarför att undvika flaskhalsen med datamärkning. Detta kan uppnås genom att utnyttja omärkta data för att begränsa mängden märkt data som behövs för att träna modeller för djupinlärning. Semi-övervakade inlärningsalgoritmer visarlovande resultat; forskning har dock fokuserat på algoritmutveckling, utan att testa deras effektivitet i verkliga tillämpningar. Detta forskningsprojekt har anpassat och testat några semi-övervakade in-lärningsalgoritmer på en datauppsättning extraherad från tillverkningsmiljön, i samband med ytanalys av rostfritt stål, i samarbete med Outokumpu Stainless Oy. I synnerhet har en enkel algoritm som kombinerar Pseudo-Labeling och Consistency Regularization utvecklats, inspirerad av den toppmoderna algoritmen Fixmatch .Resultaten visar en viss potential, eftersom användningen av Semi-Supervised Learning-tekniker avsevärt har minskat överanpassningen av träningssetet, samtidigt som en god noggrannhet på testsetet bibehålls. Vissa tvivel reses dock angående tillämpningen av dessa tekniker i en verklig miljö, på grund av den ofullkomliga karaktären hos riktiga datauppsättningar och den höga algoritmutvecklingskostnaden på grund av den ökade komplexiteten som introduceras med dessa metoder.

The waste of building energy consumption is a major challenge in the world. And the real-time detection of human thermal comfort is an effective way to meet this issue. As mentioned in name, it means to detect the human’s comfort level in real-time and non-invasively. However, due to the various factors such as individual difference of thermal comfort, elements related to climatic (temperature, humidity, illumination, etc.) and so on, there is still a long way to implement this strategy in real life. From another perspective, the current HVAC (heating, ventilating and air-conditioning) systems cannot provide flexible interaction channels to adjust atmosphere, and naturally fails to satisfy requirements of users. All of them indicate the necessity to develop a detection method for human thermal comfort. In this paper, a non-invasion detection method toward human thermal comfort is proposed from two perspectives: macro human postures and skin textures. In posture part, OpenPose is used for analyzing the position coordinates of human body key points’ in images, for example, elbow, knee, and hipbone, etc. And the results of analyzing would be interpreted from the term of thermal comfort. In skin textures, deep neural network is used to predict the temperature of human skins via images. Based on Fanger’s theory of thermal comfort, the results of both parts are satisfying: subjects’ postures can be captured and interpreted into different thermal comfort level: hot, cold and comfort. And the absolute error of prediction from neurons network is less than 0.125 degrees centigrade which is the equipment error of thermometer used in data acquisition. With the solution proposed by this paper, it is promising to non-invasively detect the thermal comfort level of users from postures and skin textures. Finally, theconclusion and future work are discussed in final chapter. / Slöseriet med att bygga energiförbrukningen är en stor utmaning i världen. Ochdetektering av mänsklig termisk komfort i realtid är ett effektivt sätt att lösaproblemet. Som nämns i namn betyder det att detektera människans komfortnivå i realtid och icke-invasivt. På grund av de olika faktorerna som individuell skillnad i termisk komfort, är emellertid faktorer som är relaterade till klimat (temperatur, luftfuktighet, belysning etc.) det fortfarande en lång väg att implementera denna strategi i verkligheten. Från ett annat perspektiv kan nuvarande system för uppvärmning, ventilation och luftkonditionering inte tillhandahålla flexibla interaktionskanaler för att anpassa atmosfären och naturligtvis misslyckas till nöjda krav från användarna. Alla indikerar nödvändigheten av att utveckla en detekteringsmetod för mänsklig termisk komfort. I detta dokument föreslås en ickeinvasion detekteringsmetod mot mänsklig termisk komfort från två perspektiv: makro mänskliga hållningar och hudtexturer. I hållningspartiet används OpenPose för att analysera positionskoordinaterna för kroppens huvudpunkter i bilder, till exempel armbåge, knä och höftben osv. Och resultaten av analysen skulle tolkas från termen av termisk komfort. I hudtexturer används djupt neuralt nätverk för att förutse temperaturen på mänskliga skinn via bilder. Baserat på Fangers teorin om värmekomfort är resultaten av båda delarna tillfredsställande: subjektens hållningar kan fångas och tolkas till olika värmekomfortnivåer: varm, kall och komfort. Och det absoluta felet av prediktering från neuronnätverket är mindre än 0,125 grader Celsius, vilket är utrustningsfelet hos termometern som används vid datainsamling. Med lösningar i detta papper är det lovande att detektera användarens värmekomfortnivå fritt från invändningar och hudtexturer. Slutligen diskuteras slutsatserna och detframtida arbetet i sista kapitlet.