Recent advancements in machine learning and the widespread adoption of electronic healthrecords have enabled breakthroughs for several predictive modelling tasks in health care. One such task that has seen considerable improvements brought by deep neural networks is length of stay (LOS) prediction, in which research has mainly focused on adult patients in the intensive care unit. This thesis uses multivariate time series extracted from the publicly available Medical Information Mart for Intensive Care III database to explore the potential of deep learning for classifying the remaining LOS of newborns in the neonatal intensive care unit (NICU) at each hour of the stay. To investigate this, this thesis describes experiments conducted with various deep learning models, including long short-term memory cells, gated recurrentunits, fully-convolutional networks and several composite networks. This work demonstrates that modelling the remaining LOS of newborns in the NICU as a multivariate time series classification problem naturally facilitates repeated predictions over time as the stay progresses and enables advanced deep learning models to outperform a multinomial logistic regression baseline trained on hand-crafted features. Moreover, it shows the importance of the newborn’s gestational age and binary masks indicating missing values as variables for predicting the remaining LOS. / Framstegen inom maskininlärning och det utbredda införandet av elektroniska hälsoregister har möjliggjort genombrott för flera prediktiva modelleringsuppgifter inom sjukvården. En sådan uppgift som har sett betydande förbättringar förknippade med djupa neurala nätverk är förutsägelsens av vistelsetid på sjukhus, men forskningen har främst inriktats på vuxna patienter i intensivvården. Den här avhandlingen använder multivariata tidsserier extraherade från den offentligt tillgängliga databasen Medical Information Mart for Intensive Care III för att undersöka potentialen för djup inlärning att klassificera återstående vistelsetid för nyfödda i den neonatala intensivvårdsavdelningen (neonatal-IVA) vid varje timme av vistelsen. Denna avhandling beskriver experiment genomförda med olika djupinlärningsmodeller, inklusive longshort-term memory, gated recurrent units, fully-convolutional networks och flera sammansatta nätverk. Detta arbete visar att modellering av återstående vistelsetid för nyfödda i neonatal-IVA som ett multivariat tidsserieklassificeringsproblem på ett naturligt sätt underlättar upprepade förutsägelser över tid och gör det möjligt för avancerade djupa inlärningsmodeller att överträffaen multinomial logistisk regressionsbaslinje tränad på handgjorda funktioner. Dessutom visar det vikten av den nyfödda graviditetsåldern och binära masker som indikerar saknade värden som variabler för att förutsäga den återstående vistelsetiden.

Today, a large amount of time series data is being produced from a variety of different devices such as smart speakers, cell phones and vehicles. This data can be used to make inferences and predictions. Neural network based methods are among one of the most popular ways to model time series data. The field of neural networks is constantly expanding and new methods and model variants are frequently introduced. In 2018, a new family of neural networks was introduced. Namely, Neural Ordinary Differential Equations (Neural ODEs). Neural ODEs have shown great potential in modelling the dynamics of temporal data. Here we present an investigation into using Neural Ordinary Differential Equations for anomaly detection. We tested two model variants, LSTM-ODE and latent-ODE. The former model utilises a neural ODE to model the continuous-time hidden state in between observations of an LSTM model, the latter is a variational autoencoder that uses the LSTM-ODE as encoding and a Neural ODE as decoding. Both models are suited for modelling sparsely and irregularly sampled time series data. Here, we test their ability to detect anomalies on various sparsity and irregularity ofthe data. The models are compared to a Gaussian mixture model, a vanilla LSTM model and an LSTM variational autoencoder. Experimental results using the Human Activity Recognition dataset showed that the Neural ODEbased models obtained a better ability to detect anomalies compared to their LSTM based counterparts. However, the computational training cost of the Neural ODE models were considerably higher than for the models that onlyutilise the LSTM architecture. The Neural ODE based methods were also more memory consuming than their LSTM counterparts. / Idag produceras en stor mängd tidsseriedata från en mängd olika enheter som smarta högtalare, mobiltelefoner och fordon. Denna datan kan användas för att dra slutsatser och förutsägelser. Neurala nätverksbaserade metoder är bland de mest populära sätten att modellera tidsseriedata. Mycket forskning inom området neurala nätverk pågår och nya metoder och modellvarianter introduceras ofta. Under 2018 introducerades en ny familj av neurala nätverk. Nämligen, Neurala Ordinära Differentialekvationer (NeuralaODE:er). Neurala ODE:er har visat en stor potential i att modellera dynamiken hos temporal data. Vi presenterar här en undersökning i att använda neuralaordinära differentialekvationer för anomalidetektion. Vi testade två olika modellvarianter, en som kallas LSTM-ODE och en annan som kallas latent-ODE.Den förstnämnda använder Neurala ODE:er för att modellera det kontinuerliga dolda tillståndet mellan observationer av en LSTM-modell, den andra är en variational autoencoder som använder LSTM-ODE som kodning och en Neural ODE som avkodning. Båda dessa modeller är lämpliga för att modellera glest och oregelbundet samplade tidsserier. Därför testas deras förmåga att upptäcka anomalier på olika gleshet och oregelbundenhet av datan. Modellerna jämförs med en gaussisk blandningsmodell, en vanlig LSTM modell och en LSTM variational autoencoder. Experimentella resultat vid användning av datasetet Human Activity Recognition (HAR) visade att de Neurala ODE-baserade modellerna erhöll en bättre förmåga att upptäcka avvikelser jämfört med deras LSTM-baserade motsvarighet. Träningstiden förde Neurala ODE-baserade modellerna var dock betydligt långsammare än träningstiden för deras LSTM-baserade motsvarighet. Neurala ODE-baserade metoder krävde också mer minnesanvändning än deras LSTM motsvarighet.

Работа посвящена решению актуальной задачи классификации многомерных временных рядов данных окулографии методом машинного обучения для диагностики дислексии. Дислексия распространенное заболевание, его имеет каждый десятый из популяции, и ранняя его диагностика позволяет предотвратить его последствия, а также улучшить качество жизни этих людей. Современные методы классификации данных окулографии позволяют добиться высокой точности диагностики данного заболевания, однако не используют сырые данные айтрекоров, представляющие из себя параметры перемещения глаз. В данной работе изучены сырые данные о положении глаз испытуемых шведского лонгитюдного проекта, исследовавшего дефекты чтения у детей, предложен метод k–NN с динамической трансформацией времени для классификации многомерных временных рядов окулографических данных, предложены метрики для оценки работы модели, подобраны оптимальные гиперпараметры, а также проанализированы ошибки построенного классификатора. / The graduate qualification work is dedicated to solving the current task of classifying multivariate time series oculographic data using machine learning methods for diagnosing dyslexia. Dyslexia is a widespread disorder, affecting one in ten individuals in the population, and early diagnosis can prevent its consequences and improve the quality of life for these individuals. Modern methods for classifying oculographic data achieve high diagnostic accuracy for this condition, but they do not utilize raw eye-tracking data, which includes parameters of eye movements. In this study, raw eye-tracking data from the Swedish longitudinal project investigating reading disabilities in children were analyzed. A k-NN method with dynamic time warping (DTW) was proposed for classifying multivariate time series oculographic data. Metrics for evaluating the model's performance were proposed, optimal hyperparameters were selected, and the errors of the constructed classifier were analyzed.

Dans cette thèse, nous étudions des modèles de moyennes conditionnelles de séries temporelles à valeurs entières. Tout d’abord, nous proposons l’estimateur de quasi maximum de vraisemblance de Poisson (EQMVP) pour les paramètres de la moyenne conditionnelle. Nous montrons que, sous des conditions générales de régularité, cet estimateur est consistant et asymptotiquement normal pour une grande classe de modèles. Étant donné que les paramètres de la moyenne conditionnelle de certains modèles sont positivement contraints, comme par exemple dans les modèles INAR (INteger-valued AutoRegressive) et les modèles INGARCH (INteger-valued Generalized AutoRegressive Conditional Heteroscedastic), nous étudions la distribution asymptotique de l’EQMVP lorsque le paramètre est sur le bord de l’espace des paramètres. En tenant compte de cette dernière situation, nous déduisons deux versions modifiées du test de Wald pour la significativité des paramètres et pour la moyenne conditionnelle constante. Par la suite, nous accordons une attention particulière au problème de validation des modèles des séries temporelles à valeurs entières en proposant un test portmanteau pour l’adéquation de l’ajustement. Nous dérivons la distribution jointe de l’EQMVP et des autocovariances résiduelles empiriques. Puis, nous déduisons la distribution asymptotique des autocovariances résiduelles estimées, et aussi la statistique du test. Enfin, nous proposons l’EQMVP pour estimer équation-par-équation (EpE) les paramètres de la moyenne conditionnelle des séries temporelles multivariées à valeurs entières. Nous présentons les hypothèses de régularité sous lesquelles l’EQMVP-EpE est consistant et asymptotiquement normal, et appliquons les résultats obtenus à plusieurs modèles des séries temporelles multivariées à valeurs entières. / The framework of this PhD dissertation is the conditional mean count time seriesmodels. We propose the Poisson quasi-maximum likelihood estimator (PQMLE) for the conditional mean parameters. We show that, under quite general regularityconditions, this estimator is consistent and asymptotically normal for a wide classeof count time series models. Since the conditional mean parameters of some modelsare positively constrained, as, for example, in the integer-valued autoregressive (INAR) and in the integer-valued generalized autoregressive conditional heteroscedasticity (INGARCH), we study the asymptotic distribution of this estimator when the parameter lies at the boundary of the parameter space. We deduce a Waldtype test for the significance of the parameters and another Wald-type test for the constance of the conditional mean. Subsequently, we propose a robust and general goodness-of-fit test for the count time series models. We derive the joint distribution of the PQMLE and of the empirical residual autocovariances. Then, we deduce the asymptotic distribution of the estimated residual autocovariances and also of a portmanteau test. Finally, we propose the PQMLE for estimating, equation-by-equation (EbE), the conditional mean parameters of a multivariate time series of counts. By using slightly different assumptions from those given for PQMLE, we show the consistency and the asymptotic normality of this estimator for a considerable variety of multivariate count time series models.

The diploma thesis comprises of a general approach used to predict the time series, their categorization, basic characteristics and basic statistical methods for their prediction. Neural networks are also mentioned and their categorization with regards to the suitability for prediction of time series. A program for the prediction of the progress of multiple time series in stock market is designed and implemented, and it's based on a model of flexible neuron tree, whose structure is optimized using immune programming and parameters using a modified version of simulated annealing or particle swarm optimization. Firstly, the program is tested on its ability to predict simple time series and then on its ability to predict multiple time series.

Time series anomaly detection has been a longstanding area of research with applications across various domains. In recent years, there has been a surge of interest in applying deep learning models to this problem domain. This thesis presents a critical examination of the efficacy of deep learning models in comparison to classical approaches for time series anomaly detection. Contrary to the widespread belief in the superiority of deep learning models, our research findings suggest that their performance may be misleading and the progress illusory. Through rigorous experimentation and evaluation, we reveal that classical models outperform deep learning counterparts in various scenarios, challenging the prevailing assumptions. In addition to model performance, our study delves into the intricacies of evaluation metrics commonly employed in time series anomaly detection. We uncover how it inadvertently inflates the performance scores of models, potentially leading to misleading conclusions. By identifying and addressing these issues, our research contributes to providing valuable insights for researchers, practitioners, and decision-makers in the field of time series anomaly detection, encouraging a critical reevaluation of the role of deep learning models and the metrics used to assess their performance. / Tidsperiods avvikelsedetektering har varit ett långvarigt forskningsområde med tillämpningar inom olika områden. Under de senaste åren har det uppstått ett ökat intresse för att tillämpa djupinlärningsmodeller på detta problemområde. Denna avhandling presenterar en kritisk granskning av djupinlärningsmodellers effektivitet jämfört med klassiska metoder för tidsperiods avvikelsedetektering. I motsats till den allmänna övertygelsen om överlägsenheten hos djupinlärningsmodeller tyder våra forskningsresultat på att deras prestanda kan vara vilseledande och framsteg illusoriskt. Genom rigorös experimentell utvärdering avslöjar vi att klassiska modeller överträffar djupinlärningsalternativ i olika scenarier och därmed utmanar de rådande antagandena. Utöver modellprestanda går vår studie in på detaljerna kring utvärderings-metoder som oftast används inom tidsperiods avvikelsedetektering. Vi avslöjar hur dessa oavsiktligt överdriver modellernas prestandapoäng och kan därmed leda till vilseledande slutsatser. Genom att identifiera och åtgärda dessa problem bidrar vår forskning till att erbjuda värdefulla insikter för forskare, praktiker och beslutsfattare inom området tidsperiods avvikelsedetektering, och uppmanar till en kritisk omvärdering av djupinlärningsmodellers roll och de metoder som används för att bedöma deras prestanda.

[ES] La presente tesis doctoral propone la arquitectura de un sistema de Geo-visualización Espaciotemporal de actividad delictiva y criminal, para ser aplicada a Sistemas de Comando y Control (C2S) específicamente dentro de sus Sistemas de Información de Comando y Control (C2IS). El sistema de Geo-visualización Espaciotemporal se basa en el análisis masivo de datos reales de actividad delictiva, proporcionado por la Policía Nacional Colombiana (PONAL) y está compuesto por dos aplicaciones diferentes: la primera permite al usuario geo-visualizar espaciotemporalmente de forma dinámica, las concentraciones, tendencias y patrones de movilidad de esta actividad dentro de la extensión de área geográfica y el rango de fechas y horas que se precise, lo cual permite al usuario realizar análisis e interpretaciones y tomar decisiones estratégicas de acción más acertadas; la segunda aplicación permite al usuario geo-visualizar espaciotemporalmente las predicciones de la actividad delictiva en periodos continuos y cortos a modo de tiempo real, esto también dentro de la extensión de área geográfica y el rango de fechas y horas de elección del usuario. Para estas predicciones se usaron técnicas clásicas y técnicas de Machine Learning (incluido el Deep Learning), adecuadas para el pronóstico en multiparalelo de varios pasos de series temporales multivariantes con datos escasos. Las dos aplicaciones del sistema, cuyo desarrollo se muestra en esta tesis, están realizadas con métodos novedosos que permitieron lograr estos objetivos de efectividad a la hora de detectar el volumen y los patrones y tendencias en el desplazamiento de dicha actividad, mejorando así la conciencia situacional, la proyección futura y la agilidad y eficiencia en los procesos de toma de decisiones, particularmente en la gestión de los recursos destinados a la disuasión, prevención y control del delito, lo cual contribuye a los objetivos de ciudad segura y por consiguiente de ciudad inteligente, dentro de arquitecturas de Sistemas de Comando y Control (C2S) como en el caso de los Centros de Comando y Control de Seguridad Ciudadana de la PONAL. / [CA] Aquesta tesi doctoral proposa l'arquitectura d'un sistema de Geo-visualització Espaitemporal d'activitat delictiva i criminal, per ser aplicada a Sistemes de Comandament i Control (C2S) específicament dins dels seus Sistemes d'informació de Comandament i Control (C2IS). El sistema de Geo-visualització Espaitemporal es basa en l'anàlisi massiva de dades reals d'activitat delictiva, proporcionada per la Policia Nacional Colombiana (PONAL) i està composta per dues aplicacions diferents: la primera permet a l'usuari geo-visualitzar espaitemporalment de forma dinàmica, les concentracions, les tendències i els patrons de mobilitat d'aquesta activitat dins de l'extensió d'àrea geogràfica i el rang de dates i hores que calgui, la qual cosa permet a l'usuari fer anàlisis i interpretacions i prendre decisions estratègiques d'acció més encertades; la segona aplicació permet a l'usuari geovisualitzar espaciotemporalment les prediccions de l'activitat delictiva en períodes continus i curts a mode de temps real, això també dins l'extensió d'àrea geogràfica i el rang de dates i hores d'elecció de l'usuari. Per a aquestes prediccions es van usar tècniques clàssiques i tècniques de Machine Learning (inclòs el Deep Learning), adequades per al pronòstic en multiparal·lel de diversos passos de sèries temporals multivariants amb dades escasses. Les dues aplicacions del sistema, el desenvolupament de les quals es mostra en aquesta tesi, estan realitzades amb mètodes nous que van permetre assolir aquests objectius d'efectivitat a l'hora de detectar el volum i els patrons i les tendències en el desplaçament d'aquesta activitat, millorant així la consciència situacional , la projecció futura i l'agilitat i eficiència en els processos de presa de decisions, particularment en la gestió dels recursos destinats a la dissuasió, prevenció i control del delicte, la qual cosa contribueix als objectius de ciutat segura i per tant de ciutat intel·ligent , dins arquitectures de Sistemes de Comandament i Control (C2S) com en el cas dels Centres de Comandament i Control de Seguretat Ciutadana de la PONAL. / [EN] This doctoral thesis proposes the architecture of a Spatiotemporal Geo-visualization system of criminal activity, to be applied to Command and Control Systems (C2S) specifically within their Command and Control Information Systems (C2IS). The Spatiotemporal Geo-visualization system is based on the massive analysis of real data of criminal activity, provided by the Colombian National Police (PONAL) and is made up of two different applications: the first allows the user to dynamically geo-visualize spatiotemporally, the concentrations, trends and patterns of mobility of this activity within the extension of the geographic area and the range of dates and times that are required, which allows the user to carry out analyses and interpretations and make more accurate strategic action decisions; the second application allows the user to spatially visualize the predictions of criminal activity in continuous and short periods like in real time, this also within the extension of the geographic area and the range of dates and times of the user's choice. For these predictions, classical techniques and Machine Learning techniques (including Deep Learning) were used, suitable for multistep multiparallel forecasting of multivariate time series with sparse data. The two applications of the system, whose development is shown in this thesis, are carried out with innovative methods that allowed achieving these effectiveness objectives when detecting the volume and patterns and trends in the movement of said activity, thus improving situational awareness, the future projection and the agility and efficiency in the decision-making processes, particularly in the management of the resources destined to the dissuasion, prevention and control of crime, which contributes to the objectives of a safe city and therefore of a smart city, within architectures of Command and Control Systems (C2S) as in the case of the Citizen Security Command and Control Centers of the PONAL. / Salcedo González, ML. (2023). Arquitectura de un sistema de geo-visualización espacio-temporal de actividad delictiva, basada en el análisis masivo de datos, aplicada a sistemas de información de comando y control (C2IS) [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/192685