This diploma thesis deals with the prediction of financial time series on capital markets using artificial intelligence methods. There are created several dynamic architectures of artificial neural networks, which are learned and subsequently used for prediction of future movements of shares. Based on the results an assessment and recommendations for working with artificial neural networks are provided.

Der Luftverkehr stellt ein komplexes Gesamtsystem dar, in welchem eine Prozessoptimierung aufgrund zahlreicher und verschiedenartiger Arbeitsabläufe verschiedener Unternehmen nur durch eine übergeordnete Leistungsbewertung möglich ist. Hierfür wurde im Bereich des leistungsbasierten Flughafenmanagements - sowohl auf wissenschaftlicher, als auch industrieller Ebene - bereits eine hohe Zahl individueller Lösungsansätze entwickelt, die jedoch aufgrund ihrer unterschiedlichen Struktur schwer zu vergleichende Ergebnisse hervorbringen. Des Weiteren werden Wechselbeziehungen zwischen ausschließlich eindimensional betrachteten Leistungsindikatoren, welche die verschiedenen Prozessschritte einzeln abbilden, außer Acht gelassen - die Dynamik des Systems spiegelt sich auf diese Art nicht auf Datenebene wider. Abhängigkeiten beeinflussen jedoch maßgeblich das Bewertungsergebnis und sind damit bei der Implementierung von Optimierungsstrategien innerhalb heutiger Konzepte essentiell. Der Kern dieser Dissertation umfasst die erweiterte datenbasierte Betrachtung des Luftverkehrssystems innerhalb des leistungsbasierten Ansatzes und einer damit einhergehenden Entkopplung von Modellierungsansätzen. Dies bedeutet, dass das betrachtete Luftverkehrssystem nur durch Leistungskennwerte beschrieben werden soll (z. B. Verspätungen, meteorologische Messungen). Der Einsatz künstlicher neuronaler Netze erhöht die Möglichkeiten zur Abbildung und Erfassung nicht-linearer und abhängiger Wert-diskreter Zeitreihen, welche im ständigen Vergleichsprozess wesentlich für die Strategiebildung sind. Die Datenquellen beziehen sich einerseits auf mikroskopische Analysen im Bereich des Boardings und damit verbundenen wissenschaftlichen Ausarbeitungen, andererseits auf die Beispielflughäfen Flughafen Hamburg (HAM) und Gatwick Airport (LGW) der Jahre 2012 - 2015 im makroskopischen Fokus. Die Implementierung des Wetters erfolgt über aggregierte meteorologische Kennzahlen, welche auf realen Wettermeldungen des entsprechenden Zeitraums beruhen. Von der Wahl und Definition eines Systems (Boarding, HAM und LGW) ausgehend, erfolgt eine geeignete Datenaggregation, welche Daten zur anschließenden Wissensgenerierung bereitstellt und damit Optimierungsansätze ermöglicht. Im Sinne des wachsenden Interesses der Forschung im Bereich des leistungsbasierten Luftverkehrsmanagements und der heutigen Wichtigkeit von Entscheidungsunterstützungssystemen bei der Strategieentwicklung, fokussiert sich diese Arbeit damit auf die Durchführung multivariater nicht-linearer Zeitreihenanalyse und -vorhersage mit neuronalen Netzen. Die damit einhergehende Nachvollziehbarkeit solcher Datenreihen liefert Möglichkeiten zur Systemidentifikation (datenbasiertes Erlernen der Systemdynamik). Das identifizierte Systemabbild des Luftverkehrs kann folglich für Simulation bekannter Eingabegrößen, als auch für die optimierte Kontrolle des Systems herangezogen werden und umfasst damit wesentliches Erweiterungspotential für heutige Management-Konzepte, um Entwicklungen hin zu einem kooperativen Betrieb zu unterstützen. Ableitend aus der Differenzierung in mehrere gekoppelte Bearbeitungsschritte innerhalb dieser Arbeit, erfolgt eine Fokussierung auf drei Kernfragen: a) Ist eine auf Leistungskennwerten des Luftverkehrs basierende Systemidentifikation mit derzeitigen Paradigmen neuronaler Netze möglich? b) Welche Einschränkungen sind gemäß des unterschiedlichen Charakters der Datensätze zu beachten und wie kann diesen durch eine, das Training der neuronalen Netze vorbereitenden, Datenstrukturanalyse und -Anpassung entgegengewirkt werden? c) Ist auf Basis der trainierten Netze eine erweiterte Optimierung und Vorhersage innerhalb vorhandener Strukturen des leistungsbasierten Luftverkehrsmanagements möglich?:I Grundlagen 1 Leistungsbasiertes Luftverkehrsmanagement 1.1 Allgemeine Definitionen & Begrifflichkeiten 1.2 Leistungsbewertungsrahmenwerke des Luftverkehrs 1.2.1 Interdependenzen von Leistungsindikatoren 1.2.2 Einflussfaktoren auf die Leistungsfähigkeit von Verkehrsflughäfen 1.2.3 Flugmeteorologische Datenaggregation 1.3 Grundkonzepte leistungsbasierten Luftverkehrsmanagements 1.3.1 Airport Collaborative Decision Making (A-CDM) 1.3.2 Total Airport Management (TAM) 1.3.3 Performance Based Airport Management (PBAM) 2 Künstliche neuronale Netze 2.1 Grundverfahren der Computational Intelligence 2.2 Biologische neuronale Netze 2.3 Topologie & Bestandteile künstlicher neuronaler Netze 2.4 Lernvorgang & Fehlerevaluierung 2.5 Netzparadigmen 2.5.1 Feedforward Netzwerke 2.5.2 Rekurrente (rückgekoppelte) Netzwerke 2.5.3 Faltende Netzwerke 2.6 Taxonomie der Zeitreihenverarbeitung mit künstlichen neuronalen Netzen 2.6.1 Zeitreihenregression 2.6.2 Zeitreihenklassifikation II Anwendung künstlicher neuronaler Netze im Luftverkehr 3 Methodische Konzeption 3.1 Datenbasierte Erfassung des Luftverkehrssystems 3.1.1 Prinzip des virtuellen Luftverkehrssystems 3.1.2 Systemidentifikation, Kontrolle & Simulation 3.2 Anwendungsgebiet Turnaround Management 3.2.1 Status Quo 3.2.2 Stochastische Boardingsimulation & Aggregationsmetrik 3.3 Anwendungsgebiet Air Traffic Flow Management 3.3.1 Status Quo 3.3.2 Datengrundlage der Flughäfen Hamburg & London Gatwick 4 Systemidentifikation mit künstlichen neuronalen Netzen 4.1 Modularisierung der Systemidentifikation 4.2 Problemidentifikation & Systemauswahl 4.3 Datenstrukturanalyse & -anpassung 4.3.1 Datenvoranalyse 4.3.2 Datenvorverarbeitung & Fehlerbereinigung 4.3.3 Datenanpassung für maschinelles Lernen 4.4 Paradigmenauswahl & Modellinitialisierung 4.5 Modellanwendung & -Überwachung 4.6 Nachgelagerte Analyse & Modellanpassung 5 Simulation & Kontrolle durch künstliche neuronale Netze 5.1 Sequenzprediktion zur Vorhersage bei bekannten Eingabemengen 5.1.1 Fehlerfortschreitung & Prognoseevaluierung 5.1.2 Robustheitsschätzung der Vorhersage 5.2 Nutzung des Modells als adaptive Kontrollstruktur 5.2.1 Extraktion von Zusammenhängen der Eingabegrößen 5.2.2 Metaheuristische Optimierung der Eingabemengen III Anwendung 6 Anwendungsgebiet Boarding als Teil des Turnaround-Prozesses 6.1 Systemidentifikation des Boarding-Subsystems 6.1.1 Datenstrukturanalyse 6.1.2 Experimenteller Aufbau & Modellanwendung 6.2 Simulation & Kontrolle des Boarding-Subsystems 6.2.1 Vorhersage des Boardingvorgangs unter verschiedenen Randbedingungen 6.2.2 Robustheitsprüfung der adaptiven Kontrollstruktur 6.2.3 Ableitung von Handlungsempfehlungen innerhalb des Prozesses 7 Anwendungsgebiet Air Traffic Flow Management 7.1 Systemidentifikation des Flugbetriebs in Hamburg & London Gatwick 7.1.1 Datenstrukturanalyse 7.1.2 Experimenteller Aufbau & Modellanwendung 7.2 Simulation & Kontrolle des Flugbetriebs in Hamburg & London Gatwick 7.2.1 Vorhersage von Verspätungen unter Berücksichtigung des Wetters 7.2.2 Robustheitsprüfung der adaptiven Kontrollstruktur 7.2.3 Eingabeempfehlungen zur Minimierung der Gesamtverspätung 8 Schlussbetrachtungen 8.1 Zusammenfassende Auswertung der Basisszenarien 8.2 Ausblick

A Bicycle-sharing system (BSS) is a popular service scheme deployed in cities of different sizes around the world. Although docked bike systems are its most popular model used, it still experiences a number of weaknesses that could be optimized by investigating bike sharing network properties and evolution of obtained patterns.Efficiently keeping bicycle-sharing system as balanced as possible is the main problem and thus, predicting or minimizing the manual transportation of bikes across the city is the prime objective in order to save logistic costs for operating companies.The purpose of this thesis is two-fold; Firstly, it is to visualize bike flow using data exploration methods and statistical analysis to better understand mobility characteristics with respect to distance, duration, time of the day, spatial distribution, weather circumstances, and other attributes. Secondly, by obtaining flow visualizations, it is possible to focus on specific directed sub-graphs containing only those pairs of stations whose mutual flow difference is the most asymmetric. By doing so, we are able to use graph mining and machine learning techniques on these unbalanced stations.Identification of spatial structures and their structural change can be captured using Convolutional neural network (CNN) that takes adjacency matrix snapshots of unbalanced sub-graphs. A generated structure from the previous method is then used in the Long short-term memory artificial recurrent neural network (RNN LSTM) in order to find and predict its dynamic patterns.As a result, we are predicting bike flows for each node in the possible future sub-graph configuration, which in turn informs bicycle-sharing system owners in advance to plan accordingly. This combination of methods notifies them which prospective areas they should focus on more and how many bike relocation phases are to be expected. Methods are evaluated using Cross validation (CV), Root mean square error (RMSE) and Mean average error (MAE) metrics. Benefits are identified both for urban city planning and for bike sharing companies by saving time and minimizing their cost. / Lånecykel avser ett system för uthyrning eller utlåning av cyklar. Systemet används främst i större städer och bekostas huvudsakligen genom tecknande av ett abonnemang.Effektivt hålla cykel andelssystem som balanseras som möjligt huvud problemand därmed förutsäga eller minimera manuell transport av cyklar över staden isthe främsta mål för att spara logistikkostnaderna för drift companies.Syftet med denna avhandling är tvåfaldigt.För det första är det att visualisera cykelflödet med hjälp av datautforskningsmetoder och statistisk analys för att bättre förstå rörlighetskarakteristika med avseende på avstånd, varaktighet, tid på dagen, rumsfördelning, väderförhållanden och andra attribut.För det andra är det vid möjliga flödesvisualiseringar möjligt att fokusera på specifika riktade grafer som endast innehåller de par eller stationer vars ömsesidiga flödesskillnad är den mest asymmetriska.Genom att göra det kan vi anvnda grafmining och maskininlärningsteknik på dessa obalanserade stationer, och använda konjunktionsnurala nätverk (CNN) som tar adjacency matrix snapshots eller obalanserade subgrafer.En genererad struktur från den tidigare metoden används i det långa kortvariga minnet artificiella återkommande neurala nätverket (RNN LSTM) för att hitta och förutsäga dess dynamiska mönster.Som ett resultat förutsäger vi cykelflden för varje nod i den eventuella framtida underkonfigurationen, vilket i sin tur informerar cykeldelningsägare om att planera i enlighet med detta.Denna kombination av metoder meddelar dem vilka framtida områden som bör inriktas på mer och hur många cykelflyttningsfaser som kan förväntas.Metoder utvärderas med hjälp av cross validation (CV), Root mean square error (RMSE) och Mean average error (MAE) metrics.Fördelar identifieras både för stadsplanering och för cykeldelningsföretag genom att spara tid och minimera kostnaderna.

Recurrent Neural Networks (RNNs) are pivotal in deep learning for time series prediction, but they suffer from 'exploding values' and 'gradient decay,' particularly when learning temporally distant interactions. Long Short-Term Memory (LSTM) and Gated Recurrent Units (GRU) have addressed these issues to an extent, but the precise mitigating mechanisms remain unclear. Moreover, the success of feedforward neural networks in time series tasks using an 'attention mechanism' raises questions about the solutions offered by LSTMs and GRUs. This study explores an alternative explanation for the challenges faced by RNNs in learning long-range correlations in the input data. Could the issue lie in the movement of the representations - how hidden nodes store and process information - across nodes instead of localization? Evidence presented suggests that RNNs can indeed possess "moving representations," with certain training conditions reducing this movement. These findings point towards the necessity of further research on localizing representations.

Histogram data are widely used for compressing high-frequency time-series signals due to their ability to capture distributional informa-tion. However, this compression comes at the cost of increased di-mensionality and loss of contextual details from the original features.This study addresses the challenge of effectively capturing changesin distributions over time and their contribution to failure prediction.Specifically, we focus on the task of predicting Time to Event (TTE) forturbocharger failures.In this thesis, we propose a novel approach to improve failure pre-diction by fine-tuning lower-dimensional representations of bi-variatehistograms. The goal is to optimize these representations in a waythat enhances their ability to predict component failure. Moreover, wecompare the performance of our learned representations with hand-crafted histogram features to assess the efficacy of both approaches.We evaluate the different representations using the Weibull Time ToEvent - Recurrent Neural Network (WTTE-RNN) framework, which isa popular choice for TTE prediction tasks. By conducting extensive ex-periments, we demonstrate that the fine-tuning approach yields supe-rior results compared to general lower-dimensional learned features.Notably, our approach achieves performance levels close to state-of-the-art results.This research contributes to the understanding of effective failureprediction from time series histogram data. The findings highlightthe significance of fine-tuning lower-dimensional representations forimproving predictive capabilities in real-world applications. The in-sights gained from this study can potentially impact various indus-tries, where failure prediction is crucial for proactive maintenanceand reliability enhancement.

Industrial robots are a key component for several industrial applications. Like all mechanical tools, they do not last forever. The solution to extend the life of the machine is to perform maintenance on the degraded components. The optimal approach is called predictive maintenance, which aims to forecast the best moment for performing maintenance on the robot. This minimizes maintenance costs as well as prevents mechanical failure that can lead to unplanned production stops. There already exist methods to perform predictive maintenance on industrial robots, but these methods require additional sensors. This research aims to predict the anomalies by only using data from the sensors that already are used to control the robot. A machine learning approach is proposed for implementing predictive maintenance of industrial robots, using the torque profiles as input data. The algorithms selected are tested on simulated data created using wear and temperature models. The torque profiles from the simulator are used to extract a health index for each joint, which in turn are used to detect anomalous states of the robot. The health index has a fast exponential growth trend which is difficult to predict in advance. A Gaussian process regressor, an Exponentron, and hybrid algorithms are applied for the prediction of the time series of the health state to implement the predictive maintenance. The predictions are evaluated considering the accuracy of the time series prediction and the precision of anomaly forecasting. The investigated methods are shown to be able to predict the development of the wear and to detect the anomalies in advance. The results reveal that the hybrid approach obtained by combining predictions from different algorithms outperforms the other solutions. Eventually, the analysis of the results shows that the algorithms are sensitive to the quality of the data and do not perform well when the data present a low sampling rate or missing samples. / Industrirobotar är en nyckelkomponent för flera industriella applikationer. Likt alla mekaniska verktyg håller de inte för alltid. Lösningen för att förlänga maskinens livslängd är att utföra underhåll på de slitna komponenterna. Det optimala tillvägagångssättet kallas prediktivt underhåll, vilket innebär att förutsäga den bästa tidpunkten för att utföra underhåll på roboten. Detta minimerar både kostnaderna för underhåll samt förebygger mekaniska fel som kan leda till oplanerade produktionsstopp. Det finns redan metoder för att utföra prediktivt underhåll på industriella robotar, men dessa metoder kräver ytterligare sensorer. Denna forskning syftar till att förutsäga avvikelserna genom att endast använda data från de sensorer som redan används för att reglera roboten. En maskininlärningsmetod föreslås för implementering av prediktivt underhåll av industriella robotar, med hjälp av vridmomentprofiler som indata. Metoderna testas på simulerad data som skapats med hjälp av slitage- och temperaturmodeller. Vridmomenten används för att extrahera ett hälsoindex för varje axel, vilket i sin tur används för att upptäcka anomalier hos roboten. Hälsoindexet har en snabb exponentiell tillväxttrend som är svår att förutsäga i förväg. En Gaussisk processregressor, en Exponentron och hybridalgoritmer används för prediktion av tidsserien för hälsoindexet för att implementera det prediktiva underhållet. Förutsägelserna utvärderas baserat på träffsäkerheten av förutsägelsen för tidsserien samt precisionen för förutsagda avvikelser. De undersökta metoderna visar sig kunna förutsäga utvecklingen av slitage och upptäcka avvikelser i förväg. Resultaten uppvisar att hybridmetoden som erhålls genom att kombinera prediktioner från olika algoritmer överträffar de andra lösningarna. I analysen av prestandan visas att algoritmerna är känsliga för kvaliteten av datat och att de inte fungerar bra när datat har låg samplingsfrekvens eller då datapunkter saknas.

[pt] A utilização de modelos de inteligência computacional para tarefas de previsão Multi-Step de séries temporais tem apresentado resultados que permitem considerar estes modelos como alternativas viáveis para este tipo de problema. Baseados nos requerimentos computacionais e a melhora de desempenho, recentemente novas áreas de pesquisa têm sido apresentadas na comunidade científica. Este é o caso do Reservoir Computing, que apresenta novos campos de estudo para redes neurais do tipo recorrentes, as quais, no passado, não foram muito utilizados devido à complexidade de treinamento e ao alto custo computacional. Nesta nova área são apresentados modelos como Liquid State Machine e Echo State Networks, que proporcionam um novo entendimento no conceito de processamento dinâmico para redes recorrentes e propõem métodos de treinamento com baixo custo computacional. Neste trabalho determinou-se como foco de pesquisa a otimização de parâmetros globais para o projeto das Echo State Networks. Embora as Echo State Networks sejam objeto de estudo de pesquisadores reconhecidos, ainda apresentam comportamentos desconhecidos, em parte pela sua natureza dinâmica, mas também, pela falta de estudos que aprofundem o entendimento no comportamento dos estados gerados. Utilizando como fundamento o modelo Separation Ratio Graph para análise do desempenho, é proposto um novo modelo, denominado ESN-GA-SRG, que usa como base redes ESN com otimização de parâmetros globais utilizando GA e seleção de topologias para Reservoir por meio de análise de estados empregando SRG. O desempenho deste novo modelo é avaliado na previsão das 11 séries que compõem a versão reduzida do NN3 Forecasting Competition e em 36 séries da competição M3, selecionadas segundo características de periodicidade na amostragem, assimetria, sazonalidade e estacionaridade. O desempenho do modelo ESN-GA-SRG na previsão dessas séries temporais foi superior na maioria dos casos, com significância estatística, quando comparado com outros modelos da literatura. / [en] The use of computational intelligence models for Multi-Step time series prediction tasks has presented results that allow us to consider these models as viable alternatives for this type of problem. Based on computational requirements and performance improvement, new areas of research have recently been presented in the scientific community. This is the case of Reservoir Computing, which presents new fields of study for recurrent-type neural networks, which in the past were not widely used because of training complexity and high computational cost. In this new area are presented models such as Liquid State Machine and Echo State Networks, which provide a new understanding of the concept of dynamic processing for recurring networks and propose methods of training with low computational cost. In this work, we determined the optimization of global parameters for the Echo State Networks project. Although Echo State Networks are the object of study by recognized researchers, they still present unknown behavior, partly due to their dynamic nature, but also due to the lack of studies that deepen behavior understanding of the generated states. Based on the Separation Ratio Graph model for performance analysis, a new model, called ESN-GA-SRG, is proposed, which uses ESN networks with global parameter optimization using GA and selection of topologies for Reservoir through analysis of States employing SRG. The performance of this new model is evaluated to forecast the 11 series that made up the reduced version of the NN3 Forecasting Competition and for 36 series of the M3 competition, selected according to characteristics of periodicity in sampling, asymmetry, seasonality and stationary. The performance of the ESN-GA-SRG model in predicting these time series was superior in most cases, with statistical significance when compared with other models in the literature.

Long short-term volume forecasting is essential for companies regarding their logistics service operations. It is crucial for logistic companies to predict the volumes of goods that will be delivered to various centers at any given day, as this will assist in managing the efficiency of their business operations. This research aims to create a forecasting model for outbound logistics volumes by utilizing design science research methodology in building 3 machine-learning models and evaluating the performance of the models . The dataset is provided by Tetra Pak AB, the World's leading food processing and packaging solutions company,. Research methods were mainly quantitative, based on statistical data and numerical calculations. Three algorithms were implemented: which are encoder–decoder networks based on Long Short-Term Memory (LSTM), Convolutional Long Short-Term Memory (ConvLSTM), and Convolutional Neural Network Long ShortTerm Memory (CNN-LSTM). Comparisons are made with the average Root Mean Square Error (RMSE) for six distribution centers (DC) of Tetra Pak. Results obtained from encoder–decoder networks based on LSTM are compared to results obtained by encoder–decoder networks based on ConvLSTM and CNN-LSTM. The three algorithms performed very well, considering the loss of the Train and Test with our multivariate time series dataset. However, based on the average score of the RMSE, there are slight differences between algorithms for all DCs.