Motivated by successes in the image generation domain, this thesis presents a novel Hybrid VQ-VAE (H-VQ-VAE) approach for generating realistic synthetic time series data with categorical features. The primary motivation behind this work is to address the limitations of existing generative models in accurately capturing the underlying structure and patterns of time series data, especially when dealing with categorical features.  Our proposed H-VQ-VAE model builds upon the foundation of the VQ-VAE architecture and consists of two separate VQ-VAEs: the whole VQ-VAE and the sliding VQ-VAE. Both models share a ResNet-based architecture with conv1d layers to effectively capture the temporal structure within the time series data. The whole VQ-VAE focuses on entire sequences of data to learn relationships between categorical and numerical features, while the sliding VQ-VAE exclusively processes numerical features using a sliding window approach. We conducted experiments on multiple datasets to evaluate the performance of our H-VQ-VAE model in comparison with the original VQ-VAE and TimeGAN models. Our evaluation used a train-on-real and test-on-synthetic approach, focusing on metrics such as Mean Absolute Error (MAE) and Explained Variance (EV). The H-VQ-VAE model achieved a 25-50% better MAE for numerical features compared to the VQ-VAE and outperformed TimeGAN by 45-75% on the complex dataset indicating its effectiveness in capturing the underlying structure and patterns of the time series data. In conclusion, the H-VQ-VAE model offers a promising approach for generating realistic synthetic time series data with categorical features, with potential applications in various fields where accurate data generation is crucial.

Anomaly detection is the process of detecting samples in a dataset that are atypical or abnormal. Anomaly detection can for example be of great use in an industrial setting, where faults in the manufactured products need to be detected at an early stage. In this setting, the available image data might be from different non-natural domains, such as the depth domain. However, the amount of data available is often limited in these domains. This thesis aims to investigate if a convolutional neural network (CNN) can be trained to perform anomaly detection well on limited datasets in non-natural image domains. The attempted approach is to train the CNN as an autoencoder, in which the CNN is the encoder network. The encoder is then extracted and used as a feature extractor for the anomaly detection task, which is performed using Semantic Pyramid Anomaly Detection (SPADE). The results are then evaluated and analyzed. Two autoencoder models were used in this approach. As the encoder network, one of the models uses a MobileNetV3-Small network that had been pretrained on ImageNet, while the other uses a more basic network, which is a few layers deep and initialized with random weights. Both these networks were trained as regular convolutional autoencoders, as well as variational autoencoders. The results were compared to a MobileNetV3-Small network that had been pretrained on ImageNet, but had not been trained as an autoencoder. The models were tested on six different datasets, all of which contained images from the depth and intensity domains. Three of these datasets additionally contained images from the scatter domain, and for these datasets, the combination of all three domains was tested as well. The main focus was however on the performance in the depth domain. The results show that there is generally an improvement when training the more complex autoencoder on the depth domain. Furthermore, the basic network generally obtains an equivalent result to the more complex network, suggesting that complexity is not necessarily an advantage for this approach. Looking at the different domains, there is no apparent pattern to which domain yields the best performance. This rather seems to depend on the dataset. Lastly, it was found that training the networks as variational autoencoders did generally not improve the performance in the depth domain compared to the regular autoencoders. In summary, an improved anomaly detection was obtained in the depth domain, but for optimal anomaly detection with regard to domain and network, one must look at the individual datasets. / <p>Examensarbetet är utfört vid Institutionen för teknik och naturvetenskap (ITN) vid Tekniska fakulteten, Linköpings universitet</p>

In this thesis we start by reproducing previous experiments by Zanos et al., where they have shown that it is possible to associate neural signals with specific cytokines. One future aim of this project is to send synthetic neural signals through the efferent arc of the vagus nerve and observe reactions without the corresponding catalyst of the symptoms. We use a variational autoencoder (VAE) in our experiment to create a model able to generate new neural signals, and we introduce a novel clustering technique called VAE-clustering, which will be used to cluster neural signals with their associated cytokines. The focus of this paper is the implementation of this method and applying it on the neural signals. Running VAE-clustering on the MNIST dataset shows it to be viable for finding detailed properties of a dataset. We also find that using a VAE as a generative model for neural signals is a good way for recreating detailed waveforms. / I detta examensarbete börjar vi med att reproducera tidigare experiment av Zanos et al., där dom visat att det är möjligt att associera nervsignaler med specifika cytokiner. Ett framtida mål med detta projekt är att skicka syntetiska nervsignaler till kroppen för att observera reaktioner utan motsvarande katalysator av symptomen. Vi använder en variational autoencoder (VAE) i våra experiment för att skapa en modell kapabel till att generera nya nervsignaler, och vi introducerar en ny klusterings-teknik kallad VAE-klustring, vilken kommer att användas för att klustra nervsignaler med dess associerade cytokiner. Fokuset i detta arbete ligger i implementationen av denna metod och applicerandet på nervsignaler. Efter att ha kört VAE-klustring på MNIST dataset fann vi att det det är användbart för att hitta detaljerade egenskaper hos ett dataset. Vi har även funnit att användningen av en VAE som en generativ modell för nervsignaler är ett bra sätt att återskapa detaljerade vågformer.

Autonomous drone navigation in classical approaches typically involves constructing a map representation and employing path planning and collision checking algorithms within that map. Recently, novel deep learning techniques combined with depth camera observations have emerged as alternative approaches capable of achieving comparable collision-free performance. While these methods have demonstrated effective collision-free performance in dense environments, they rely on low-noise range or visual data, which may not be feasible in extreme degraded environments characterized by factors such as dust, smoke, weak geometries, or low-texture areas. A possible alternative is to leverage recent progress in mmWave radar imaging, which previously has produced data of insufficient resolution for such purposes. Through the use of a Variational Autoencoder and existing collision prediction algorithms, the goal of this study is to prove the use of mmWave radar for navigating difficult environments. The results of the study exhibit successful navigation in simulated scenarios featuring sparse obstacles. Additionally, results of utilizing real-world mmWave radar data in example scenarios is provided to demonstrate the potential for further application of this technology. / Autonom navigation för drönare i klassiska tillvägagångssätt innebär vanligtvis att man konstruerar en kartrepresentation och använder vägplanerings- och kollisionskontrollalgoritmer inom den kartan. Nyligen har nya djupinlärningstekniker kombinerat med djupkameraobservationer framträtt som alternativa tillvägagångssätt som kan uppnå jämförbar prestanda utan kollisioner. Även om dessa metoder har visat effektiv prestanda utan kollisioner i täta miljöer, är de beroende av störningsfria avstånds- eller visuella data, vilket kanske inte är genomförbart i extrema försämrade miljöer som karakteriseras av faktorer som damm, rök, svaga geometrier eller områden med låg textur. Ett möjligt alternativ är att dra nytta av de senaste framstegen inom mmWave-radaravbildning, vilket tidigare har producerat data med otillräcklig upplösning för sådana ändamål. Genom användning av en varieabel autoencoder och befintliga kollisionsprognosalgoritmer syftar denna studie till att bevisa användningen av mmWave-radar för att navigera i svåra miljöer. Resultaten från studien visar framgångsrik navigering i simulerade scenarier med glesa hinder. Dessutom presenteras resultat från användning av verkliga mmWave-radardata i exempelscenarier för att visa potentialen för ytterligare tillämpningar av denna teknik.

Diffusion Magnetic Resonance Imaging (dMRI) is a method for measuring molecular diffusion in biological tissue microstructure. This information can be used to predict the location and orientation of white matter fibers in the brain, a process known as tractography. Analysis of the map of neural connections can provide meaningful information about the severity or progression of neurodegenerative diseases such as Alzheimer's, and allow for early intervention to prevent progression. However, tractography has its pitfalls; current fiber-tracking algorithms suffer from generating false-positive connections and affect the reliability of structural connectivity maps. To counter this downside, tractogram filtering methods have been created to remove inaccurately predicted connections. This study aims at evaluating the impact of the novel semi-supervised filtering method FINTA on the brain networks of people with Mild Cognitive Impairment (MCI), which precedes diseases like Alzheimer's. The proposed experiments use the Nipype Neuroimaging Python library for the automation of the entire process. Registration, parcellation, and tracking were performed using MRtrix and FSL. Furthermore, DIPY and NiBabel were used for tractogram processing. Finally, filtering was performed based on code provided by the authors of FINTA, and graph measures were computed using the NetworkX Python library. Experiments were performed on both raw and weighted structural connectivity matrices. Results suggest that filtering has an effect on graph measures such as the clustering coefficient and betweenness centrality for different nodes corresponding to brain regions. / Diffusion magnetisk resonanstomografi (diffusions MRT) är en metod för att mäta den molekylära diffusionen i mikrostrukturen i biologisk vävnad. Denna information kan användas för att förutsäga var fibrerna i den vita substansen i hjärnan befinner sig och hur de är orienterade i den process som kallas traktografi. Analys av kartan över nervförbindelser kan ge meningsfull information om svårighetsgraden eller utvecklingen av neurodegenerativa sjukdomar som Alzheimers och möjliggöra tidiga insatser för att förhindra utvecklingen. Traktografi har dock sina fallgropar och nuvarande algoritmer för fiberspårning lider av att generera falska positiva anslutningar och påverkar de strukturella konnektivitetskartorna som förhindrar tillförlitliga förutsägelser. För att motverka denna nackdel har filtreringsmetoder för traktogram skapats för att ta bort de felaktigt förutsagda anslutningarna.  Denna studie syftar till att utvärdera effekterna av den nya semi-övervakade filtreringsmetoden FINTA på hjärnnätverk hos personer med lindrig kognitiv störning (eng. mild cognitive impairment, MCI) som föregår sjukdomar som Alzheimers. I de föreslagna experimenten används Python-biblioteket Nipype Neuroimaging för automatisering av hela processen. Registrering, parcellering och spårning gjordes med hjälp av MRtrix och FSL, dessutom användes DIPY och NiBabel för traktogrambehandling. Slutligen utfördes filtrering baserat på kod från författarna till FINTA och grafmått beräknades med hjälp av NetworkX Python-bibliotek. Experimenten utfördes på råa och viktade strukturella konnektivitetsmatriser. Resultaten tyder på att filtrering har en effekt på grafmått som klustringskoefficient och betweenness centrality för olika noder som motsvarar hjärnregioner.

Anomaly detection is a field of study that is closely associated with machine learning and it is the process of finding irregularities in datasets. Developing and maintaining multiple machine learning models for anomaly detection takes time and can be an expensive task. One proposed solution is to combine all datasets and create a single model. This creates a heterogeneous dataset with a wide variation in its distribution, making it difficult to find anomalies in the dataset. The objective of this thesis is then to identify a framework that is suitable for anomaly detection in heterogeneous datasets. A selection of five methods were implemented in this project - 2 supervised learning approaches and 3 unsupervised learning approaches. These models are trained on 3 synthetic datasets that have been designed to be heterogeneous with an imbalance between the classes as anomalies are rare events. The performance of the models are evaluated with the AUC and the F1-score, aswell as observing the Precision-Recall Curve. The results makes it evident that anomaly detection in heterogeneous datasets is a challenging task. The best performing approach was with a random forest model where the class imbalance problem had been solved by generating synthetic samples of the anomaly class by implementing a generative adversarial network. / Anomalidetektering är ett studieområde som är starkt förknippat med maskininlärning och det kan beskrivas som processen att hitta avvikelser i datamängder. Att utveckla och underhålla flera maskininlärningsmodeller tar tid och kan vara kostsamt. Ett förslag för att lösa dessa problem är att kombinera alla dataset och skapa endast en modell. Detta leder till att datamängden blir heterogen i dess fördelning och gör det mer utmanande att skapa en modell som kan detektera anomalier. Syftet i denna tes är att identifiera ett ramverk som är lämpligt för anomalidetektering i heterogena datamängder. Ett urval av fem metoder tillämpades i detta projekt - 2 metoder inom övervakad inlärning och 3 metoder inom oövervakad inlärning. Dessa modeller är tränade på syntetiska datamängder som är framtagna så att de är heterogena i dess fördelning och har en urbalans mellan klasserna då anomalier är sällsynta händelser. Modellernas prestanda evalueras genom att beräkna dess AUC och F1-värde, samt observera Precision-Recall kurvan. Resultaten gör det tydligt att anomalidetektering i heterogena datamängder är ett utmanande uppdrag. Den model som presterade bäst var en random forest model där urbalansen mellan klasserna var omhändertagen genom att generera syntetiska observation av anomaliklassen med hjälp av en generativ advarserial network.

One cornerstone in building future 5G and beyond wireless systems is to mimic the real-world environment using a simulator. The simulator needs to reflect the experienced propagation environment by the device in different scenarios. Today, the methods used to generate such an environment and finding the signal qualities at certain locations can be time-consuming for large cities with many base stations and devices. The objective of this project is speed up an existing SCM channel generator by replacing certain time-critical numerical formulas with a machine learning (ML) model that can generate the channel coefficients directly. The expectation is that this setup will provide much faster generations than any existing solution. A machine learning paradigm is suggested and implemented. The results suggests that a model can learn and generalize from the training data, and that provided solution is a possible configuration for modelling radio channels. Conclusions regarding the implementational considerations are made as guidance for future work. / En av hörnstenarna för att kunna bygga framtida trådlösa 5G system är att kunna efterlikna den verkliga miljön med hjälp av en simulator. Simulatorn måste återspegla enhetens upplevda propageringsmiljö i olika scenarier. I dagens läge kan metoderna som används för att skapa en sådan miljö, och hitta signalkvaliteterna på vissa platser vara tidskrävande för scenarier med stora städer med många basstationer och enheter. Målet med detta projekt är att påskynda en befintlig SCM-kanalgenerator genom att ersätta vissa tidskritiska numeriska formler med en maskininlärningsmodell (ML) som kan generera kanalkoefficienterna direkt. Förväntningen är att denna lösning kommer att generera data mycket snabbare än någon befintlig lösning. En sådan lösning föreslås och implementeras. Resultaten tyder på att en modell kan lära sig och generalisera av träningsdatat, och att den tillhandahållna lösningen är en möjlig konfiguration för modellering av radiokanaler. Slutsatser gällande övervägningarna vid implementeringen dras som vägledning för framtida arbete.

In the ever-changing landscape of the fishing industry, demands for automating specific processes are increasing substantially. Predicting future events eliminates much of the existing communication latency between fishing vessels and their customers and makes real-time analysis of onboard catch possible for the fishing industry. Further, machine learning models, may reduce the number of human resources necessary for the numerous processes that may be automated. In this document, we focus on weight estimation of three different species of fish. Namely, we want to estimate the fish weight given its specie through datadriven techniques. Due to the high complexity of image data, the overhead expenses of collecting images at sea, and the complexities of fish features, we consider a dimensionality reduction on the inputs to reduce the curse of dimensionality and increase interpretability. We will study the viability of modeling fish weights from lower-dimensional feature vectors and the conjunction of lower-dimensional feature vectors and algorithmically obtained features. We found that modeling the residuals with latent representations of a simple power model fitted on length features resulted in a significant difference in the weight estimates for two types of fish and a decrease in Root Mean Squared Error (rMSE) and Mean Absolute Percentage Error (MAPE) scores in favour of the estimations utilizing latent representations. / I fiskeindustrins ständigt föränderliga landskap ökar kraven på att automatisera specifika processer väsentligt. Att förutsäga framtida händelser eliminerar mycket av den befintliga kommunikationsfördröjningen mellan fiskefartyg och deras kunder och möjliggör analys i realtid av ombordfångst för fiskeindustrin. Vidare kan det minska antalet personalresurser som krävs för de många processer som kan automatiseras. I detta dokument studerar vi två olika beslutsproblem relaterade till att sortera fisk av tre olika arter. Vi vill nämligen bestämma fiskvikten och dess art genom datadrivna tekniker. På grund av bilddatas höga komplexitet, de allmänna kostnaderna för att samla bilder till sjöss och komplexiteten hos fiskegenskaper, anser vi att en dimensionalitetsminskning av särdragen minskar problemet relaterat till dimensionsexplosion och ökar tolkbarheten. Vi kommer att studera lämpligheten av modellering av fiskvikter och arter från lägre dimensionella särdragsvektorer samt kombinationen av dessa med algoritmiskt erhållna funktioner. Vi fann att modellering av residual med latenta representationer av en enkel potensfunktionsmodell som är anpassad till fisklängder resulterade i en signifikant skillnad i viktuppskattningarna för två typer av fisk och en minskning av rMSE och MAPE poäng.

Single-cell analysis means to analyze cells on an individual level. This individual analysis enhances the investigation of the heterogeneity among and the classification of individual cells. Single-cell analysis is a broad term and can include various measurements. This thesis utilizes single-cell RNA sequence data that measures RNA sequences representing genes for individual cells. This data is often high-dimensional, with tens of thousands of RNA sequences measured for each cell. Dimension reduction is therefore necessary when analyzing the data. One proposed dimension reduction method is the unsupervised machine learning method variational autoencoders. The scVI framework has previously implemented a variational autoencoder for analyzing single-cell RNA sequence data. The variational autoencoder of the scVI has one latent space with a Gaussian distribution. Several extensions have been made to the scVI framework since its creation. This thesis proposes an additional extension consisting of a variational autoencoder with two latent spaces, called hybridVI. One of these latent spaces has a Gaussian distribution and the other a von Mises-Fisher distribution. The data is separated between these two latent spaces, meaning that some of the genes go through one latent space and the rest go through the other. In this thesis the cell cycle genes go through the von Mises-Fisher latent space and the rest of the genes go through the Gaussian latent space. The motivation behind the von Mises-Fisher latent space is that cell cycle genes are believed to follow a circular distribution. Putting these genes through a von Mises-Fisher latent space instead of a Gaussian latent space could provide additional insights into the data. The main focus of this thesis was to analyze the impact this separation. The analysis consisted of comparing the performance of the hybridVI model, to the original scVI variational autoencoder. The comparison utilized three annotated datasets, one peripheral blood mononuclear cell dataset, one cortex cell dataset, and one B cell dataset collected by the Henriksson lab at Umeå University. The evaluation metrics used were the adjusted rand index, normalized mutual information and a Wilcoxon signed ranks test was used to determine if the results had statistical significance. The results indicate that the size of the dataset was essential for achieving robust and statistically significant results. For the two datasets that yielded statistically significant results, the scVI model performed better than the hybridVI model. However, more research analyzing biological aspects is necessary to declare the hybridVI model’s effect on the biological interpretation of the results. / Individuell cellanalys är en relativt ny metod som möjliggör undersökning av celler på indivudiell nivå. Det här examensarbetet analyserar RNA sekvens data, där RNA sekvenser är specifierade för individuella celler. Den här sortens data är ofta högdimensionell med flera tusen gener noterade för varje cell. För att möjliggöra en analys av den här datan krävs någon form av dimensionreducering. En föreslagen metod är den ovövervakade maskininlärningsmetoden variational autoencoders. Ett ramverk, scVI, har framtagit en variational autoencoder designad för att hantera den här sortens data. Den här modellen har endast en latentrymd med en normalfördelning. Det här examensarbetet föreslår en utökning av det här ramverket med en variational autoencoder med två latentrymder,där den ena är normalfördelad och den andra följer en von Mises-Fisher fördelning. Motiveringen till en sådan fördelning är att cellcykelgener är antagna att tillhöra en cirkulär fördelning. Cellcykelgenerna i datan kan därmed hanteras av den cirkulära latentrymden. Huvudfokuset i den här studien är att undersöka om den här separationen av gener kan förbättra modellens förmåga att hitta korrekta kluster. Experimentet utfördes på tre annoterade dataset, ett som bestod av perifera mononukleära blodceller, ett som bestod av hjärnbarksceller och ett som bestod av B celler insamlat av Henrikssongruppen vid Umeå universitet. Modellen från scVI ramverket jämfördes med den nya metoden med två latentrymder, hybridVI. Måtten som användes för att bedöma de modellerna var adjusted rand index och normaliserad mutual information och ett Wilcoxon Signed-Ranks test användes för att bedöma resultatens statistiska signifikans. Resultaten påvisar att de båda modellerna preseterar bättre och mer konsekvent för större dataset. Två dataset gav statistiskt signifikanta resultat och visade att scVI modellen presterade bättre än hybridmodellen. Det behövs dock en biologisk analys av resultaten för att undersöka vilken modells resultat som har mest biologisk relevans.

Цель работы – анализ моделей машинного обучения, направленных на обнаружение аномалий на промышленных предприятиях, использующих автоматизированные системы управления технологическим процессом, а также выявление причин аномалий. Объектом исследования является выявление аномалий во время работы технологического оборудования, агрегатов, установок, отдельных производств – выявление атак на датчик или группу датчиков. Рассматриваются основные модели машинного обучения, позволяющие выявлять аномалии, которые могут возникать при попытках внешнего воздействия, так и при технологических неисправностях промышленного производства. Рассмотрена модель – AutoEncoder. Оценена точность предсказания применяемой модели ML. / The purpose of the work is to analyze machine learning models aimed at detecting anomalies at industrial enterprises using automated process control systems, as well as identifying the causes of anomalies. The object of the study is to identify anomalies during the operation of technological equipment, units, installations, individual industries - identifying attacks on a sensor or group of sensors. The main models of machine learning are considered, allowing to identify anomalies that can arise during attempts of external influence, as well as during technological malfunctions of industrial production. The model considered is AutoEncoder. The prediction accuracy of the applied ML model is assessed.