Subsurface porous media, like aquifers, petroleum reservoirs, and geothermal systems, are vital for natural resources and environmental management. Extensive research has been conducted to understand flow and transport in these media, addressing challenges in hydrocarbon extraction, carbon storage and waste management. Classifying the type of porous media (e.g., sandstone, carbonate) is often the first step in the rock characterization process, and it provides critical information regarding the physical properties of the porous media. Therefore, we utilize multivariate statistical methods with discriminant analysis to categorize porous media samples which proved to be efficient by achieving excellent classification accuracy on testing datasets and served as a surrogate tool to study key porous media characteristics. While recent advances in three-dimensional (3D) imaging of core samples have enabled digital subsurface characterization, the exorbitant computational cost associated with direct numerical simulation in 3D remains a persistent challenge. In contrast, machine learning (ML) models are much more efficient, though their use in subsurface characterization is still in its infancy. Therefore, we introduce a novel 3D convolution neural network (CNN) for end-to-end prediction of permeability. By increasing dataset size, diversity, and optimizing the network architecture, our model surpasses the accuracy of existing 3D CNN models for permeability prediction. It demonstrates excellent generalizability, accurately predicting permeability in previously unseen samples. However, despite the efficiency of the developed 3D CNN model for accurate and fast permeability prediction, its utility remains limited to small subdomains of the digital rock samples. Therefore, we introduce an upscaling technique using a new analytical solution to calculate effective permeability in a 3D digital rock composed of 2 × 2 × 2 anisotropic cells. By incorporating this solution into physics-informed neural network (PINN) models, we achieve highly accurate results. Even when upscaling previously unseen samples at multiple levels, the PINN with the physics-informed module maintains excellent accuracy. This advancement enhances the capability of ML models, like 3D CNN, for efficient and accurate digital rock analysis at the core scale. After successfully applying ML models in permeability prediction, we now extend their application to another important parameter in subsurface engineering projects: effective thermal conductivity, which is a key parameter in engineering projects like radioactive waste repositories, geothermal energy production, and underground energy storage. To address the need for large training data and processing power in ML models, we propose a novel framework based on transfer learning. This approach allows prior knowledge from previous applications to be transferred, resulting in faster and more efficient implementation of new relevant applications. We introduce CNN models trained on various porous media samples that leverage transfer learning to predict porous media sample thermal conductivity accurately. Our approach reduces training time, processing power, and data requirements, enabling effective prediction and analysis of porous media properties such as permeability and thermal conductivity. It also facilitates the application of ML to other properties, improving efficiency and accuracy. / Thesis / Doctor of Philosophy (PhD)

This abstract presents a study in which knowledge distillation techniques were applied to a Large Language Model (LLM) to create smaller, more efficient models without sacrificing performance. Three configurations of the RoBERTa model were selected as ”student” models to gain knowledge from a pre-trained ”teacher” model. Multiple steps were used to improve the knowledge distillation process, such as copying some weights from the teacher to the student model and defining a custom loss function. The selected task for the knowledge distillation process was sentiment analysis on Amazon Reviews for Sentiment Analysis dataset. The resulting student models showed promising performance on the sentiment analysis task capturing sentiment-related information from text. The smallest of the student models managed to obtain 98% of the performance of the teacher model while being 45% lighter and taking less than a third of the time to analyze an entire the entire IMDB Dataset of 50K Movie Reviews dataset. However, the student models struggled to produce meaningful results on the topic modeling task. These results were consistent with the topic modeling results from the teacher model. In conclusion, the study showcases the efficacy of knowledge distillation techniques in enhancing the performance of LLMs on specific downstream tasks. While the model excelled in sentiment analysis, further improvements are needed to achieve desirable outcomes in topic modeling. These findings highlight the complexity of language understanding tasks and emphasize the importance of ongoing research and development to further advance the capabilities of NLP models. / Denna sammanfattning presenterar en studie där kunskapsdestilleringstekniker tillämpades på en stor språkmodell (Large Language Model, LLM) för att skapa mindre och mer effektiva modeller utan att kompremissa på prestandan. Tre konfigurationer av RoBERTa-modellen valdes som ”student”-modeller för att inhämta kunskap från en förtränad ”teacher”-modell. Studien mäter även modellernas prestanda på två ”DOWNSTREAM” uppgifter, sentimentanalys och ämnesmodellering. Flera steg användes för att förbättra kunskapsdestilleringsprocessen, såsom att kopiera vissa vikter från lärarmodellen till studentmodellen och definiera en anpassad förlustfunktion. Uppgiften som valdes för kunskapsdestilleringen var sentimentanalys på datamängden Amazon Reviews for Sentiment Analysis. De resulterande studentmodellerna visade lovande prestanda på sentimentanalysuppgiften genom att fånga upp information relaterad till sentiment från texten. Den minsta av studentmodellerna lyckades erhålla 98% av prestandan hos lärarmodellen samtidigt som den var 45% lättare och tog mindre än en tredjedel av tiden att analysera hela IMDB Dataset of 50K Movie Reviews datasettet.Dock hade studentmodellerna svårt att producera meningsfulla resultat på ämnesmodelleringsuppgiften. Dessa resultat överensstämde med ämnesmodelleringsresultaten från lärarmodellen. Dock hade studentmodellerna svårt att producera meningsfulla resultat på ämnesmodelleringsuppgiften. Dessa resultat överensstämde med ämnesmodelleringsresultaten från lärarmodellen.

[pt] As Redes Generativas Adversariais (GANs) são modelos não supervisionados capazes de aprender a partir de um número indefinidamente grande de imagens. Entretanto, modelos que geram imagens a partir de linguagem dependem de dados rotulados de alta qualidade, que são escassos. A transferência de aprendizado é uma técnica conhecida que alivia a necessidade de dados rotulados, embora transformar um modelo gerativo incondicional em um modelo condicionado a texto não seja uma tarefa trivial. Este trabalho propõe uma abordagem de ajuste simples, porém eficaz, chamada U2C transfer. Esta abordagem é capaz de aproveitar modelos pré-treinados não condicionados enquanto aprende a respeitar as condições textuais fornecidas. Avaliamos a eficiência do U2C transfer ao ajustar o StyleGAN2 em duas das fontes de dados mais utilizadas para a geração images a partir de texto, resultando na arquitetura Text-Conditioned StyleGAN2 (TC-StyleGAN2). Nossos modelos alcançaram rapidamente o estado da arte nas bases de dados CUB-200 e Oxford-102, com valores de FID de 7.49 e 9.47, respectivamente. Esses valores representam ganhos relativos de 7 por cento e 68 por cento, respectivamente, em comparação com trabalhos anteriores. Demonstramos que nosso método é capaz de aprender detalhes refinados a partir de consultas de texto, produzindo imagens fotorrealistas e detalhadas. Além disso, mostramos que os modelos organizam o espaço intermediário de maneira semanticamente significativa. Nossas descobertas revelam que as imagens sintetizadas usando nossa técnica proposta não são apenas críveis, mas também exibem forte alinhamento com suas descrições textuais correspondentes. De fato, os escores de alinhamento textual alcançados por nosso método são impressionantemente e comparáveis aos das imagens reais. / [en] Generative Adversarial Networks (GANs) are unsupervised models that can learn from an indefinitely large amount of images. On the other hand, models that generate images from language queries depend on high-quality labeled data that is scarce. Transfer learning is a known technique that alleviates the need for labeled data, though it is not trivial to turn an unconditional generative model into a text-conditioned one. This work proposes a simple, yet effective fine-tuning approach, called Unconditional-to-Conditional Transfer Learning (U2C transfer). It can leverage well-established pre-trained models while learning to respect the given textual condition conditions. We evaluate U2C transfer efficiency by fine-tuning StyleGAN2 in two of the most widely used text-to-image data sources, generating the Text-Conditioned StyleGAN2 (TC-StyleGAN2). Our models quickly achieved state-of-the-art results in the CUB-200 and Oxford-102 datasets, with FID values of 7.49 and 9.47, respectively. These values represent relative gains of 7 percent and 68 percent compared to prior work. We show that our method is capable of learning fine-grained details from text queries while producing photorealistic and detailed images. Our findings highlight that the images created using our proposed technique are credible and display a robust alignment with their corresponding textual descriptions.

Chromosome based genetic diagnostics, the detection of specific chromosomes, plays an increasingly important role in medicine as the molecular basis of hu- man disease is defined. The current diagnostic process is performed mainly by karyotyping specialists. They first put chromosomes in pairs and generate an image listing all the chromosome pairs in order. This process is called kary- otyping, and the generated image is called karyogram. Then they analyze the images based on the shapes, size, and relationships of different image segments and then make diagnostic decisions. Manual inspection is time-consuming, labor-intensive, and error-prone.This thesis investigates supervised methods for genetic diagnostics on karyo- grams. Mainly, the theory targets abnormality detection and gives the confi- dence of the result in the chromosome domain. This thesis aims to divide chromosome pictures into normal and abnormal categories and give the con- fidence level. The main contributions of this thesis are (1) an empirical study of chromosome and karyotyping; (2) appropriate data preprocessing; (3) neu- ral networks building by using transfer learning; (4) experiments on different systems and conditions and comparison of them; (5) a right choice for our requirement and a way to improve the model; (6) a method to calculate the confidence level of the result by uncertainty estimation.Empirical research shows that the karyogram is ordered as a whole, so preprocessing such as rotation and folding is not appropriate. It is more rea- sonable to choose noise or blur. In the experiment, two neural networks based on VGG16 and InceptionV3 were established using transfer learning and com- pared their effects under different conditions. We hope to minimize the error of assuming normal cases because we cannot accept that abnormal chromo- somes are predicted as normal cases. This thesis describes how to use Monte Carlo Dropout to do uncertainty estimation like a non-Bayesian model[1]. / Kromosombaserad genetisk diagnostik, detektering av specifika kromosomer, kommer att spela en allt viktigare roll inom medicin eftersom den molekylära grunden för mänsklig sjukdom definieras. Den nuvarande diagnostiska pro- cessen utförs huvudsakligen av specialister på karyotypning. De sätter först kromosomer i par och genererar en bild som listar alla kromosompar i ord- ning. Denna process kallas karyotypning, och den genererade bilden kallas karyogram. Därefter analyserar de bilderna baserat på former, storlek och för- hållanden för olika bildsegment och fattar sedan diagnostiska beslut.Denna avhandling undersöker övervakade metoder för genetisk diagnostik på karyogram. Huvudsakligen riktar teorin sig mot onormal detektion och ger förtroendet för resultatet i kromosomdomänen. Manuell inspektion är tidskrä- vande, arbetskrävande och felbenägen. Denna uppsats syftar till att dela in kro- mosombilder i normala och onormala kategorier och ge konfidensnivån. Dess huvudsakliga bidrag är (1) en empirisk studie av kromosom och karyotyp- ning; (2) lämplig förbehandling av data; (3) Neurala nätverk byggs med hjälp av transfer learning; (4) experiment på olika system och förhållanden och jäm- förelse av dem; (5) ett rätt val för vårt krav och ett sätt att förbättra modellen;    en metod för att beräkna resultatets konfidensnivå genom osäkerhetsupp- skattning.    Empirisk forskning visar att karyogrammet är ordnat som en helhet, så förbehandling som rotation och vikning är inte lämpligt. Det är rimligare att välja brus, oskärpa etc. I experimentet upprättades två neurala nätverk base- rade på VGG16 och InceptionV3 med hjälp av transfer learning och jämförde deras effekter under olika förhållanden. När vi väljer utvärderingsindikatorer, eftersom vi inte kan acceptera att onormala kromosomer bedöms förväntas, hoppas vi att minimera felet att anta som vanligt. Denna avhandling beskriver hur man använder Monte Carlo Dropout för att göra osäkerhetsberäkningar som en icke-Bayesisk modell [1].

The future of the fashion industry is expected to be online, thus a significant amount of research is being conducted in the field of fashion image analysis. Currently, a task that places a heavy workload on online stores is manually tagging new garments, including attributes such as category, color, pattern, or style. To this end, extensive research has targeted the automatic prediction of clothing categories and attributes, achieving promising results. Nevertheless, no previous study has been found in the literature that specifically reflects the performance of clothing attribute recognition with children’s clothing. This work intends to fill this gap and effectively present, in the same fashion analysis task, how a model trained in adult fashion performs over a model trained exclusively in children’s fashion. When examining the global understanding of children’s fashion apparel, the experiments exhibit that the best performance is obtained when leveraging the domain knowledge of adult fashion, specifically from the iMaterialist dataset, wherein the best model a difference in the overall performance of about 3% was achieved compared to pre- training on the ImageNet dataset or 12% when only children’s fashion was considered for training. / Modebranschen förväntas i framtiden vara online, och därför bedrivs det mycket forskning inom området bildanalys av modebilder. En uppgift som för närvarande innebär en stor arbetsbörda för nätbutiker är att manuellt tagga nya plagg med attribut som kategori, färg, mönster eller stil. Därför har omfattande forskning genomförts om automatisk förutsägelse av klädkategorier och attribut, och man har uppnått lovande resultat. Trots detta har ingen tidigare studie hittats i litteraturen som specifikt speglar prestandan för igenkänning av klädattribut för barnkläder. Syftet med det här arbetet är att fylla denna lucka och, som en del i en analys av mode, på ett effektivt sätt visa hur en modell som tränats för vuxenmode presterar jämfört med en modell som enbart tränats för barnmode. När man undersöker den globala förståelsen för barnkläder visar experimenten att den bästa prestandan uppnås när man utnyttjar domänkunskapen om vuxenmode, särskilt från iMaterialist- dataset, där man med den bästa modellen uppnådde en skillnad i den totala prestandan på cirka 3% jämfört med förträning på ImageNet- dataset eller 12% när endast barnmode beaktades vid träningen.

The dynamic nature of the edge cloud and future network infrastructures is another challenge to be added when modeling end-to-end service performance using machine learning. That is, a model that has been trained for one specific environment may see reductions in prediction accuracy over time due to e.g., routing, migration, or scaling decisions. Transfer learning has been proposed as an approach for leveraging already learned knowledge in a new environment, especially when the amount of training data is limited in that new domain. This thesis proposes and evaluates a heterogeneous transfer learning approach via feed-forward neural networks that addresses model transfer across different domains with diverse input features, a natural consequence of network, and cloud infrastructure re-orchestration. Transfer gain is measured, and a positive gain is empirically shown in the vast majority of cases. The impact neural network architectures have on transfer gain is also analyzed, returning interesting insights for several different neural network architectures. The method we propose is evaluated on data traces collected from a testbed that runs a video-on-demand service and a key-value store under two different load conditions. Finally, the social, economic, and environmental impact of the work is discussed, as well as possible future lines of work and the accomplished objectives. / Edge-molnets dynamiska karaktär och framtida nätverksinfrastrukturer är utmaningar som måste tas i beaktande när man modellerar prestanda med hjälp av maskininlärning. Det vill säga, en modell som har tränats för en specifik miljö kan se försämrad noggrannhet över tid på grund av t.ex. routing, migration eller skalningsbeslut i infrastrukturen. Transfer Learning har föreslagits som ett sätt att utnyttja redan inlärd kunskap i en ny miljö, särskilt när mängden träningsdata är begränsad i den nya domänen. Denna uppsats föreslår och utvärderar en heterogen metod för transfer learning som utnyttjar neurala nätverk vilka möjliggör modellöverföring mellan olika domäner med olika features. Överföringsvinsten mäts och en positiv vinst visas i de allra flesta scenarier med empirisk data. De effekter som neurala nätverksarkitekturer har på överföringsvinsten analyseras också, vilket ger intressanta insikter för valet av olika neurala nätverksarkitekturer. Metoden vi föreslår utvärderas på data som samlats in från en testbädd som kör en video-on-demand-tjänst och en nyckelvärdeslagring under två olika lastscenarier. Slutligen diskuteras arbetets sociala, ekonomiska och miljöpåverkan, liksom möjliga framtida arbetslinjer och de uppnådda målen.

<p dir="ltr">In this dissertation, efforts and innovations are made to advance subtle pattern mining, edge computing, and system efficiency optimization for biomedical applications, thereby advancing precision medicine big data.</p><p dir="ltr">Brain visual dynamics encode rich functional and biological patterns of the neural system, promising for applications like intention decoding, cognitive load quantization and neural disorder measurement. We here focus on the understanding of the brain visual dynamics for the Amyotrophic lateral sclerosis (ALS) population. We leverage a deep learning framework for automatic feature learning and classification, which can translate the eye Electrooculography (EOG) signal to meaningful words. We then build an edge computing platform on the smart phone, for learning, visualization, and decoded word demonstration, all in real-time. In a further study, we have leveraged deep transfer learning to boost EOG decoding effectiveness. More specifically, the model trained on basic eye movements is leveraged and treated as an additional feature extractor when classifying the signal to the meaningful word, resulting in higher accuracy.</p><p dir="ltr">Efforts are further made to decoding functional Near-Infrared Spectroscopy (fNIRS) signal, which encodes rich brain dynamics like the cognitive load. We have proposed a novel Multi-view Multi-channel Graph Neural Network (mmGNN). More specifically, we propose to mine the multi-channel fNIRS dynamics with a multi-stage GNN that can effectively extract the channel- specific patterns, propagate patterns among channels, and fuse patterns for high-level abstraction. Further, we boost the learning capability with multi-view learning to mine pertinent patterns in temporal, spectral, time-frequency, and statistical domains.</p><p dir="ltr">Massive-device systems, like wearable massive-sensor computers and Internet of Things (IoTs), are promising in the era of big data. The crucial challenge is about how to maximize the efficiency under coupling constraints like energy budget, computing, and communication. We propose a deep reinforcement learning framework, with a pattern booster and a learning adaptor. This framework has demonstrated optimally maximizes the energy utilization and computing efficiency on the local massive devices under a one-center fifteen-device circumstance.</p><p dir="ltr">Our research and findings are expected to greatly advance the intelligent, real-time, and efficient big data harnessing, leveraging deep learning, edge computing, and efficiency optimization.</p>

Due to the unpredictability of the stock market,forecasting stock prices is a challenging task. In this project,we will investigate the performance of the machine learningalgorithm LSTM for stock market prediction. The algorithmwill be based only on historical numerical data and technicalindicators for IBM and FORD. Furthermore, the denoising anddimension reduction algorithm, PCA, is applied to the stockdata, to examine if the performance of forecasting the stockprice is greater than the initial model. A second method, transferlearning, is applied by training the model on the IBM datasetand then applying it on the FORD dataset, and vice versa, toevaluate if the results will improve. The results show that whenthe PCA algorithm is applied to the dataset separately, and incombination with transfer learning, the performance is greater incomparison to the initial model. Moreover, the transfer learningmodel is inconsistent as the performance is worse for FORD inrespect to the initial model, but better for IBM. Thus, concerningthe results when forecasting stock prices using related tools, it issuggested to use trial and error to identify which of the modelsthat performs the optimally. / Att förutse aktiekurser är en utmanande uppgift. Detta beror på aktiemarknadens oförutsägbarhet. Därför kommer vi i detta projekt att undersöka prestandan för maskininlärnings algoritmen LSTMs prognosförmåga för aktie priser. Algoritmen baseras endast på historisk numerisk data och tekniska indikatorer for företagen IBM och FORD. Vidare tillämpas brus minskande och dimension reducerande algorithmen, PCA, på aktiedata för att undersöka om prestandan för att förutse aktie priser är bättre än den ursprungliga modellen. En andra metod, transfer learning, tillämpas genom att träna modellen på IBM data och sedan använda den på FORD data, och vice versa, för att utvärdera om resultaten kommer att förbättras. Resultaten visar, när PCA-algoritmen tillämpas på aktiedata separat, och i kombination med transfer learning är prestandan bättre jämfört med bas modellen. Vidare kan vi inte dra slutsatser om transfer learning då prestandan är sämre för FORD med avseende på bas modellen, men bättre för IBM. I hänsyn till resultaten så föreslås det att man tillämpar modellerna för att identifiera vilken som är mest optimal när man arbetar i ett relaterat ämnesområde. / Kandidatexjobb i elektroteknik 2020, KTH, Stockholm

No description available.

Framgången inom maskininlärning och djupinlärning beror till stor del på stora, annoterade dataset. Att tilldela etiketter till data är väldigt resurskrävande och kan till viss del undvikas genom att utnyttja datans statistiska egenskaper. En maskininlärningsmodell kan lära sig att klassificera bilder från en domän utifrån träningsexempel som innehåller bilder, samt etiketter som berättar vad bilder föreställer. Men vad gör man om datan inte har tilldelade etiketter? En maskininlärningsmodell som lär sig en uppgift utifrån annoterad data från en källdomän, kan med hjälp av information från måldomänen (som inte har tilldelade etiketter), anpassas till att prestera bättre på data från måldomänen. Forskningsområdet som studerar hur man anpassar och generaliserar en modell mellan två olika domäner heter domänanpassning, eller domain adaptation, på engelska.   Detta examensarbete är utfört på Scanias forskningsavdelning för autonom transport och handlar om hur modeller för bildklassificering som tränas på kamerabilder med etiketter, kan anpassas till att få ökad noggrannhet på ett dataset med LiDAR bilder, som inte har etiketter. Två metoder för domänanpassning har jämförts med varandra, samt en model tränad på kameradata genom övervakad inlärning utan domänanpassning. Alla metoder opererar på något vis med ett djupt faltningsnätverk (CNN) där uppgiften är att klassificera bilder utav bilar eller fotgängare. Kovariansen utav datan från käll- och måldomänen är det centrala måttet för domänanpassningsmetoderna i detta projekt. Den första metoden är en så kallad ytlig metod, där själva anpassningsmetoden inte ingår inuti den djupa arkitekturen av modellen, utan är ett mellansteg i processen. Den andra metoden förenar domänanpassningsmetoden med klassificeringen i den djupa arkitekturen. Den tredje modellen består endast utav faltningsnätverket, utan en metod för domänanpassning och används som referens.    Modellen som tränades på kamerabilderna utan en domänanpassningsmetod klassificerar LiDAR-bilderna med en noggrannhet på 63.80%, samtidigt som den ”ytliga” metoden når en noggrannhet på 74.67% och den djupa metoden presterar bäst med 80.73%. Resultaten visar att det är möjligt att anpassa en modell som tränas på data från källdomänen, till att få ökad klassificeringsnoggrannhet i måldomänen genom att använda kovariansen utav datan från de två domänerna. Den djupa metoden för domänanpassning tillåter även användandet utav andra statistiska mått som kan vara mer framgångsrika i att generalisera modellen, beroende på hur datan är fördelad. Överlägsenheten hos den djupa metoden antyder att domänanpassning med fördel kan bäddas in i den djupa arkitekturen så att modelparametrarna blir uppdaterade för att lära sig en mer robust representation utav måldomänen.