No description available.

This report assesses different machine learning models’accuracies to predict whether a stock will go up or down invalue in a short term. The models that is used is linear regression,LSTM and Elman RNN. These models was trained on historicalprice data from the Nasdaq Stock Exchange. The idea that thereexist a relationship of the price movement of a stock and its futurevalue is called ’techncial analysis’. The result shows that neitherLSTM nor Elman RNN provides any statistical significance ofits accuracy for any of the implementations. Linear regression,provides a significant accuracy for longer time series predictionof the price when trained on 100 days of data and prediction ofits movement after five more days. / I denna report undersöks olika maskininlärningsmodeller noggrannhet för att förutspå om en aktie kommer att gå upp eller ner i värde på kort sikt. De evaluerade maskininlärningsmodellernamodellerna är följande: linjär regression, LSTM och Elman RNN. Dessa modeller tränades med hjälp av historisk prisdata från Nasdaq Stock Exchange. Ide´en om att det finns ett samband mellan prisrörelsen av en aktie och dess kortsiktiga framtida värde är benämnt som ’teknisk analys’. Resultaten visar att varken LSTM eller Elman RNN förmedlar en noggrannhet med statistisk signifikans för någon av de anänvda implementationerna. Linjär regression förmedlar en statistisk signikant noggrannhet för längre tidserie förutsägelser med träningsdata om 100 dagar och förutsägelse av aktiens rörelse efter fem fler dagar. / Kandidatexjobb i elektroteknik 2022, KTH, Stockholm

[pt] O Brasil vem registrando a cada ano um crescimento expressivo no número de conexões de geração distribuída na rede de distribuição devido à concessão de incentivos governamentais que permitiu a difusão do uso de placas solares fotovoltaicas, fonte de geração de energia mais usada na geração distribuída no Brasil. Em sistemas elétricos com alta penetração de fontes intermitentes a previsão do comportamento da curva de carga tende a representar um grande desafio para os operadores do sistema devido à imprevisibilidade associada à geração de energia, podendo impactar diretamente no planejamento e operação da rede elétrica. Para lidar com esse desafio, este trabalho propõe uma metodologia de previsão de carga usando redes neurais recorrentes com arquitetura LSTM, considerando o impacto da mini e microgeração distribuída solar fotovoltaica conectada à rede de distribuição brasileira. São feitas previsões de carga do Sistema Interligado Nacional brasileiro e dos subsistemas que o integram, levando em conta um horizonte de curto prazo, de 24 horas, em intervalos horários, e um horizonte de médio prazo, de 60 meses, em intervalos mensais. Os resultados indicam que a metodologia pode ser uma ferramenta eficiente para a obtenção de previsões de carga podendo ser utilizada também para horizontes de previsão distintos dos apresentados neste trabalho. O MAPE encontrado para as previsões de curto prazo não passam de 2 por cento e para as previsões de médio prazo não passam de 3,5 por cento. / [en] Every year, Brazil has been registering a significant growth in the number of distributed generation connections in the distribution grid due to the granting of government incentives that allowed the use of solar photovoltaic panels to spread, the most used source of energy in distributed generation in Brazil. In electrical systems with high penetration of intermittent sources, the prediction of the behavior of the load curve tends to represent a great challenge for system operators due to the unpredictability associated with power generation, which can directly impact the planning and operation of the electrical grid. To deal with this challenge, this work proposes a load forecasting methodology using recurrent neural networks with LSTM architecture, considering the impact of the distributed photovoltaic solar generation connected to the Brazilian distribution grid. Load forecasts are made for the Brazilian National Interconnected System and for the subsystems that integrate it, taking into account a short-term horizon, of 24 hours, in hourly intervals, and a medium-term horizon, of 60 months, in monthly intervals. The results indicate that the methodology can be an efficient tool for obtaining load forecasts and can also be used for different forecast horizons than those presented in this work. The MAPE found for short-term forecasts is no more than 2 percent and for medium-term forecasts, no more than 3.5 percent.

[pt] Por conta dos rápidos avanços tecnológicos, percebe-se uma mudança nos hábitos e das necessidades das pessoas. Há uma dependência cada vez maior de aparelhos eletrônicos como smartphones, notebooks etc. Construir baterias com grande capacidade energética é um dos desafios atuais para aumentar a autonomia dos aparelhos eletrônicos. Entretanto, uma alternativa que pode ajudar a manter aparelhos eletrônicos por mais tempo longe das tomadas é o compartilhamento de baterias. Existem na literatura muitos estudos envolvendo o compartilhamento de baterias no contexto de veículos elétricos, porém não são encontradas aplicações em smartphones. Um parâmetro importante a ser monitorado neste contexto é o estado de saúde (SoH). Até o momento, não há um consenso na literatura acerca do melhor modelo para estimar o SoH de baterias devido à falta de métodos bem estabelecidos. Assim, o objetivo geral desta dissertação foi construir um modelo para estimar a curva de estado de saúde, por meio do estado de carga, com vistas a estimar a saúde de baterias de íon-lítio. O modelo proposto foi baseado em redes neurais recorrentes. Para treinar e validar o modelo, foi construído um sistema para a realização de ensaios destrutivos, sendo possível estudar o comportamento de baterias de íon-lítio ao longo de toda vida útil. O modelo proposto foi capaz de estimar o SoH das baterias estudadas com boa exatidão, sob diferentes parâmetros de carga/descarga. O diferencial do modelo são baixa complexidade computacional, mesmo envolvendo modelos de redes neurais, e serem adotados parâmetros de entrada de fácil medição. / [en] Because of the fast technological advances, there is a change in people s habits and needs. There is an increasing dependence on electronic devices such as smartphones, notebooks etc. Building batteries with great energy capacity is one of the current challenges to increase the autonomy of electronic devices. However, an alternative that can help keep electronic devices longer away from sockets is battery swap. There are many studies in the literature involving the sharing of batteries in the context of electric vehicles, but no applications are found in smartphones. An important parameter to be monitored in this context is state of health (SoH). To date, there is no consensus in the literature about the best model for estimating battery SoH due to the lack of well-established methods. Thus, the objective of this dissertation is to build a model to estimate the state of health curve, with a view to classifying the health of lithium-ion batteries, through state of charge curve, for applications involving battery swap aiming to use in smartphones. The proposed model was based on recurrent neural networks. To train and validate the model, a system was built to perform destructive tests, being possible to study the behavior of lithium-ion batteries throughout its useful life. The proposed model was able to estimate the SoH of the batteries studied with good precision, under different charge / discharge parameters. The distinction of the model is low computational complexity, even involving neural network models, and easy-to-measure input parameters are adopted.

In this thesis, the use of unsupervised and semi-supervised machine learning techniques was analyzed as potential tools for anomaly detection in the sensor network that the electrical system in a Scania truck is comprised of. The experimentation was designed to analyse the need for both point and contextual anomaly detection in this setting. For the point anomaly detection the method of Isolation Forest was experimented with and for contextual anomaly detection two different recurrent neural network architectures using Long Short Term Memory units was relied on. One model was simply a many to one regression model trained to predict a certain signal, while the other was an encoder-decoder network trained to reconstruct a sequence. Both models were trained in an semi-supervised manner, i.e. on data that only depicts normal behaviour, which theoretically should lead to a performance drop on abnormal sequences resulting in higher error terms. In both setting the parameters of a Gaussian distribution were estimated using these error terms which allowed for a convenient way of defining a threshold which would decide if the observation would be flagged as anomalous or not. Additional experimentation's using an exponential weighted moving average over a number of past observations to filter the signal was also conducted. The models performance on this particular task was very different but the regression model showed a lot of promise especially when combined with a filtering preprocessing step to reduce the noise in the data. However the model selection will always be governed by the nature the particular task at hand so the other methods might perform better in other settings. / I den här avhandlingen var användningen av oövervakad och halv-övervakad maskininlärning analyserad som ett möjligt verktyg för att upptäcka avvikelser av anomali i det sensornätverk som elektriska systemet en Scanialastbil består av. Experimentet var konstruerat för att analysera behovet av både punkt och kontextuella avvikelser av anomali i denna miljö. För punktavvikelse av anomali var metoden Isolation Forest experimenterad med och för kontextuella avvikelser av anomali användes två arkitekturer av återkommande neurala nätverk. En av modellerna var helt enkelt många-till-en regressionmodell tränad för att förutspå ett visst märke, medan den andre var ett kodare-avkodare nätverk tränat för att rekonstruera en sekvens.Båda modellerna blev tränade på ett halv-övervakat sätt, d.v.s. på data som endast visar normalt beteende, som teoretiskt skulle leda till minskad prestanda på onormala sekvenser som ger ökat antal feltermer. I båda fallen blev parametrarna av en Gaussisk distribution estimerade på grund av dessa feltermer som tillåter ett bekvämt sätt att definera en tröskel som skulle bestämma om iakttagelsen skulle bli flaggad som en anomali eller inte. Ytterligare experiment var genomförda med exponentiellt viktad glidande medelvärde över ett visst antal av tidigare iakttagelser för att filtera märket. Modellernas prestanda på denna uppgift var välidt olika men regressionmodellen lovade mycket, särskilt kombinerad med ett filterat förbehandlingssteg för att minska bruset it datan. Ändå kommer modelldelen alltid styras av uppgiftens natur så att andra metoder skulle kunna ge bättre prestanda i andra miljöer.

In this master thesis, we implement a two-step anomaly detection mechanism for non-recurrent traffic congestions with data collected from public transport buses in Stockholm. We investigate the use of machine learning to model time series data with LSTMs and evaluate the results with a baseline prediction model. The anomaly detection algorithm embodies both collective and contextual expressivity, meaning it is capable of findingcollections of delayed buses and also takes the temporality of the data into account. Results show that the anomaly detection performance benefits from the lower prediction errors produced by the LSTM network. The intersection rule significantly decreases the number of false positives while maintaining the true positive rate at a sufficient level. The performance of the anomaly detection algorithm has been found to depend on the road segment it is applied to, some segments have been identified to be particularly hard whereas other have been identified to be easier than others. The performance of the best performing setup of the anomaly detection mechanism had a true positive rate of 84.3 % and a true negative rate of 96.0 %. / I den här masteruppsatsen implementerar vi en tvåstegsalgoritm för avvikelsedetektering för icke återkommande trafikstockningar. Data är insamlad från kollektivtrafikbussarna i Stockholm. Vi undersöker användningen av maskininlärning för att modellerna tidsseriedata med hjälp av LSTM-nätverk och evaluerar sedan dessa resultat med en grundmodell. Avvikelsedetekteringsalgoritmen inkluderar både kollektiv och kontextuell uttrycksfullhet, vilket innebär att kollektiva förseningar kan hittas och att även temporaliteten hos datan beaktas. Resultaten visar att prestandan hos avvikelsedetekteringen förbättras av mindre prediktionsfel genererade av LSTM-nätverket i jämförelse med grundmodellen. En regel för avvikelser baserad på snittet av två andra regler reducerar märkbart antalet falska positiva medan den höll kvar antalet sanna positiva på en tillräckligt hög nivå. Prestandan hos avvikelsedetekteringsalgoritmen har setts bero av vilken vägsträcka den tillämpas på, där några vägsträckor är svårare medan andra är lättare för avvikelsedetekteringen. Den bästa varianten av algoritmen hittade 84.3 % av alla avvikelser och 96.0 % av all avvikelsefri data blev markerad som normal data.

Textual data is one of the most widespread forms of data and the amount of such data available in the world increases at a rapid rate. Text can be understood as either a sequence of characters or words, where the latter approach is the most common. With the breakthroughs within the area of applied artificial intelligence in recent years, more and more tasks are aided by automatic processing of text in various applications. The models introduced in the following sections rely on deep-learning sequence-processing in order to process and text to produce a regression algorithm for classification of what the text input refers to. We investigate and compare the performance of several model architectures along with different hyperparameters. The data set was provided by e-Avrop, a Swedish company which hosts a web platform for posting and bidding of public procurements. It consists of titles and descriptions of Swedish public procurements posted on the website of e-Avrop, along with the respective category/categories of each text. When the texts are described by several categories (multi label case) we suggest a deep learning sequence-processing regression algorithm, where a set of deep learning classifiers are used. Each model uses one of the several labels in the multi label case, along with the text input to produce a set of text - label observation pairs. The goal becomes to investigate whether these classifiers can carry out different levels of intent, an intent which should theoretically be imposed by the different training data sets used by each of the individual deep learning classifiers. / Data i form av text är en av de mest utbredda formerna av data och mängden tillgänglig textdata runt om i världen ökar i snabb takt. Text kan tolkas som en följd av bokstäver eller ord, där tolkning av text i form av ordföljder är absolut vanligast. Genombrott inom artificiell intelligens under de senaste åren har medfört att fler och fler arbetsuppgifter med koppling till text assisteras av automatisk textbearbetning. Modellerna som introduceras i denna uppsats är baserade på djupa artificiella neuronnät med sekventiell bearbetning av textdata, som med hjälp av regression förutspår tillhörande ämnesområde för den inmatade texten. Flera modeller och tillhörande hyperparametrar utreds och jämförs enligt prestanda. Datamängden som använts är tillhandahållet av e-Avrop, ett svenskt företag som erbjuder en webbtjänst för offentliggörande och budgivning av offentliga upphandlingar. Datamängden består av titlar, beskrivningar samt tillhörande ämneskategorier för offentliga upphandlingar inom Sverige, tagna från e-Avrops webtjänst. När texterna är märkta med ett flertal kategorier, föreslås en algoritm baserad på ett djupt artificiellt neuronnät med sekventiell bearbetning, där en mängd klassificeringsmodeller används. Varje sådan modell använder en av de märkta kategorierna tillsammans med den tillhörande texten, som skapar en mängd av text - kategori par. Målet är att utreda huruvida dessa klassificerare kan uppvisa olika former av uppsåt som teoretiskt sett borde vara medfört från de olika datamängderna modellerna mottagit.

Medical research requires detailed and accurate information on individual patients. This is especially so in the context of pharmacovigilance which amongst others seeks to identify previously unknown adverse drug reactions. Here, the clinical stories are often the starting point for assessing whether there is a causal relationship between the drug and the suspected adverse reaction. Reliable automatic de-identification of medical case narratives could allow to share this patient data without compromising the patient’s privacy. Current research on de-identification focused on solving the task of labelling the tokens in a narrative with the class of sensitive information they belong to. In this Master’s thesis project, we explore an inverse approach to the task of de-identification. This means that de-identification of medical case narratives is instead understood as identifying tokens which do not need to be removed from the text in order to ensure patient confidentiality. Our results show that this approach can lead to a more reliable method in terms of higher recall. We achieve a recall of sensitive information of 99.1% while the precision is kept above 51% for the 2014-i2b2 benchmark data set. The model was also fine-tuned on case narratives from reports of suspected adverse drug reactions, where a recall of sensitive information of more than 99% was achieved. Although the precision was only at a level of 55%, which is lower than in comparable systems, an expert could still identify information which would be useful for causality assessment in pharmacovigilance in most of the case narratives which were de-identified with our method. In more than 50% of the case narratives no information useful for causality assessment was missing at all. / Tillgång till detaljerade kliniska data är en förutsättning för att bedriva medicinsk forskning och i förlängningen hjälpa patienter. Säker avidentifiering av medicinska fallbeskrivningar kan göra det möjligt att dela sådan information utan att äventyra patienters skydd av personliga data. Tidigare forskning inom området har sökt angripa problemet genom att märka ord i en text med vilken typ av känslig information de förmedlar. I detta examensarbete utforskar vi möjligheten att angripa problemet på omvänt vis genom att identifiera de ord som inte behöver avlägsnas för att säkerställa skydd av känslig patientinformation. Våra resultat visar att detta kan avidentifiera en större andel av den känsliga informationen: 99,1% av all känslig information avidentifieras med vår metod, samtidigt som 51% av alla uteslutna ord verkligen förmedlar känslig information, vilket undersökts för 2014-i2b2 jämförelse datamängden. Algoritmen anpassades även till fallbeskrivningar från biverkningsrapporter, och i detta fall avidentifierades 99,1% av all känslig information medan 55% av alla uteslutna ord förmedlar känslig information. Även om denna senare andel är lägre än för jämförbara system så kunde en expert hitta information som är användbar för kausalitetsvärdering i flertalet av de avidentifierade rapporterna; i mer än hälften av de avidentifierade fallbeskrivningarna saknades ingen information med värde för kausalitetsvärdering.

Artificial Neural Networks are successfully solving a wide range of problems with impressive performance. Nevertheless, often very little or nothing is understood in the workings behind these black-box solutions as they are hard to interpret, let alone to explain. This thesis proposes a set of complementary interpretable visualization models of neural activity, developed through prototyping, to answer the research question ”How may neural activity of Recurrent Neural Networks for text sequence prediction be represented, transformed and visualized during the inference process to explain interpretable functionality with respect to the text domain of some individual hidden neurons, as well as automatically detect these?”. Specifically, a Vanilla and a Long Short-Term Memory architecture are utilized for character respectively word prediction as testbeds. The research method is experimental; causalities between text features triggering neurons and detected patterns of corresponding nerve impulses are investigated. The result reveals not only that there exist neurons with clear and consistent feature-specific patterns of activity, but also that the proposed models of visualization successfully may automatically detect and interpretably present some of these. / Artificiella Neurala Nätverk löser framgångsrikt ett brett spektrum av problem med imponerande prestanda. Ändå är det ofta mycket lite eller ingenting som går att förstå bakom dessa svart-låda-lösningar, eftersom de är svåra att tolka och desto svårare att förklara. Den här uppsatsen föreslår en uppsättning komplementerande tolkningsbara visualiseringsmodeller av neural aktivitet, utvecklad genom prototypering, för att besvara forskningsfrågan ”Hur kan användningsprocessen av Rekurrenta Neurala Nätverk för textgenerering visualiseras på ett sätt för att automatiskt detektera och förklara tolkningsbar funktionalitet hos några enskilda dolda neuroner?”. Specifikt används en standardoch en LSTM (långt korttidsminne)-arkitektur för teckenrespektive ordprediktering som testbäddar. Forskningsmetoden är experimentell; orsakssamband mellan specifika typer av tecken/ord i texten som triggar neuroner, och detekterade mönster av motsvarande nervimpulser undersöks. Resultatet avslöjar inte bara att neuroner med tydliga och konsekventa tecken/ord-specifika aktivitetsmönster existerar, men också att de utvecklade modellerna för visualisering framgångsrikt kan automatiskt upptäcka och tolkningsbart presentera några av dessa.

The stock market is a non-linear field, but many of the best-known portfolio optimization algorithms are based on linear models. In recent years, the rapid development of machine learning has produced flexible models capable of complex pattern recognition. In this paper, we propose two different methods of portfolio optimization; one based on the development of a multivariate time-dependent neural network,thelongshort-termmemory(LSTM),capable of finding lon gshort-term price trends. The other is the linear Markowitz model, where we add an exponential moving average to the input price data to capture underlying trends. The input data to our neural network are daily prices, volumes and market indicators such as the volatility index (VIX).The output variables are the prices predicted for each asset the following day, which are then further processed to produce metrics such as expected returns, volatilities and prediction error to design a portfolio allocation that optimizes a custom utility function like the Sharpe Ratio. The LSTM model produced a portfolio with a return and risk that was close to the actual market conditions for the date in question, but with a high error value, indicating that our LSTM model is insufficient as a sole forecasting tool. However,the ability to predict upward and downward trends was somewhat better than expected and therefore we conclude that multiple neural network can be used as indicators, each responsible for some specific aspect of what is to be analysed, to draw a conclusion from the result. The findings also suggest that the input data should be more thoroughly considered, as the prediction accuracy is enhanced by the choice of variables and the external information used for training. / Aktiemarknaden är en icke-linjär marknad, men många av de mest kända portföljoptimerings algoritmerna är baserad på linjära modeller. Under de senaste åren har den snabba utvecklingen inom maskininlärning skapat flexibla modeller som kan extrahera information ur komplexa mönster. I det här examensarbetet föreslår vi två sätt att optimera en portfölj, ett där ett neuralt nätverk utvecklas med avseende på multivariata tidsserier och ett annat där vi använder den linjära Markowitz modellen, där vi även lägger ett exponentiellt rörligt medelvärde på prisdatan. Ingångsdatan till vårt neurala nätverk är de dagliga slutpriserna, volymerna och marknadsindikatorer som t.ex. volatilitetsindexet VIX. Utgångsvariablerna kommer vara de predikterade priserna för nästa dag, som sedan bearbetas ytterligare för att producera mätvärden såsom förväntad avkastning, volatilitet och Sharpe ratio. LSTM-modellen producerar en portfölj med avkastning och risk som ligger närmre de verkliga marknadsförhållandena, men däremot gav resultatet ett högt felvärde och det visar att vår LSTM-modell är otillräckligt för att använda som ensamt predikteringssverktyg. Med det sagt så gav det ändå en bättre prediktion när det gäller trender än vad vi antog den skulle göra. Vår slutsats är därför att man bör använda flera neurala nätverk som indikatorer, där var och en är ansvarig för någon specifikt aspekt man vill analysera, och baserat på dessa dra en slutsats. Vårt resultat tyder också på att inmatningsdatan bör övervägas mera noggrant, eftersom predikteringsnoggrannheten.