• Refine Query
  • Source
  • Publication year
  • to
  • Language
  • 203
  • 58
  • Tagged with
  • 261
  • 261
  • 209
  • 152
  • 150
  • 132
  • 119
  • 110
  • 99
  • 84
  • 83
  • 80
  • 68
  • 59
  • 54
  • About
  • The Global ETD Search service is a free service for researchers to find electronic theses and dissertations. This service is provided by the Networked Digital Library of Theses and Dissertations.
    Our metadata is collected from universities around the world. If you manage a university/consortium/country archive and want to be added, details can be found on the NDLTD website.
141

Using a Deep Generative Model to Generate and Manipulate 3D Object Representation / Att använda en djup generativ modell för att skapa och manipulera 3D-objektrepresentation.

Hu, Yu January 2023 (has links)
The increasing importance of 3D data in various domains, such as computer vision, robotics, medical analysis, augmented reality, and virtual reality, has gained giant research interest in generating 3D data using deep generative models. The challenging problem is how to build generative models to synthesize diverse and realistic 3D objects representations, while having controllability for manipulating the shape attributes of 3D objects. This thesis explores the use of 3D Generative Adversarial Networks (GANs) for generation of 3D indoor objects shapes represented by point clouds, with a focus on shape editing tasks. Leveraging insights from 2D semantic face editing, the thesis proposes extending the InterFaceGAN framework to 3D GAN model for discovering the relationship between latent codes and semantic attributes of generated shapes. In the end, we successfully perform controllable shape editing by manipulating the latent code of GAN. / Den ökande betydelsen av 3D-data inom olika områden, såsom datorseende, robotik, medicinsk analys, förstärkt verklighet och virtuell verklighet, har väckt stort forskningsintresse för att generera 3D-data med hjälp av djupa generativa modeller. Det utmanande problemet är hur man bygger generativa modeller för att syntetisera varierande och realistiska 3Dobjektrepresentationer samtidigt som man har kontroll över att manipulera formattributen hos 3D-objekt. Denna avhandling utforskar användningen av 3D Generative Adversarial Networks (GANs) för generering av 3Dinomhusobjektformer representerade av punktmoln, med fokus på formredigeringsuppgifter. Genom att dra nytta av insikter från 2D-semantisk ansiktsredigering föreslår avhandlingen att utvidga InterFaceGAN-ramverket till en 3D GAN-modell för att upptäcka förhållandet mellan latenta koder och semantiska egenskaper hos genererade former. I slutändan genomför vi framgångsrikt kontrollerad formredigering genom att manipulera den latenta koden hos GAN.
142

Remaining Useful Life Prediction of Power Electronic Devices Using Recurrent Neural Networks / Förutsägelse av återstående livslängd för kraftelektroniska enheter som använder återkommande neurala nätverk

Cai, Congrui January 2023 (has links)
The growing demand for sustainable technology has led to an increased application of power electronics. As these devices are often exposed to harsh conditions, their reliability is a primary concern for both manufacturers and users. Addressing these reliability challenges involves a set of activities known as Prognostics and Health Management (PHM). In PHM, predicting the Remaining Useful Life (RUL) is crucial. This prediction relies on identifying failure precursors, which signify the presence of degradation. These precursors are then used to construct a degradation model that enables the prediction of the remaining time that the device can work before failure. The project focuses on examining a MOSFET aging dataset from the NASA PCoE dataset depository and a diode aging dataset from Fraunhofer ENAS. The prediction of the remaining useful life of devices using failure precursors has been done by applying recurrent neural network (RNN) methods. However, the prediction results from a single feature is significantly deviated from the actual values. To improve the prediction, the age of the device was proposed as an additional feature. RNNs with a similar number of weights and RNNs with the same hyperparameters are implemented and their performance is evaluated by the accuracy of prediction. The results show that all the RNN models implemented manage to capture the characteristics of the aging data. Despite its simpler structure, the vanilla RNN manages to produce a comparable result with the GRU and LSTM by simpler mechanism and less number of weights. The results also reveal that the characteristics of the data have a significant impact on the final results. / Den växande efterfrågan på hållbar teknik har lett till en ökad tillämpning av kraftelektronik. Eftersom dessa enheter ofta utsätts för tuffa förhållanden är deras tillförlitlighet ett primärt bekymmer för både tillverkare och användare. Att ta itu med dessa tillförlitlighetsutmaningar innebär en uppsättning aktiviteter som kallas Prognostics and Health Management (PHM). I PHM är det avgörande att förutsäga det återstående användbara livet (RUL). Denna förutsägelse bygger på identifiering av felprekursorer, som anger förekomsten av nedbrytning. Dessa prekursorer används sedan för att konstruera en nedbrytningsmodell som möjliggör förutsägelse av den återstående tiden som enheten kan fungera innan fel. Projektet fokuserar på att undersöka en MOSFET-åldringsdataset från NASA PCoE-datauppsättningen och en diodåldringsdataset från Fraunhofer ENAS. Förutsägelsen av den återstående livslängden för enheter som använder felprekursorer har gjorts genom att använda metoder för återkommande neurala nätverk (RNN). Förutsägelseresultatet från en enskild funktion avviker dock avsevärt från de faktiska värdena. För att förbättra förutsägelsen föreslogs enhetens ålder som en extra funktion. RNN med ett liknande antal vikter och RNN med samma hyperparametrar implementeras och deras prestanda utvärderas av förutsägelsens noggrannhet. Resultaten visar att alla implementerade RNN-modeller lyckas fånga egenskaperna hos åldrande data. Trots sin enklare struktur lyckas vanilj RNN producera ett jämförbart resultat med GRU och LSTM genom enklare mekanism och färre antal vikter. Resultaten visar också att uppgifternas egenskaper har en betydande inverkan på de slutliga resultaten.
143

The Applicability and Scalability of Graph Neural Networks on Combinatorial Optimization / Tillämpning och Skalbarhet av Grafiska Neurala Nätverk på Kombinatorisk Optimering

Hårderup, Peder January 2023 (has links)
This master's thesis investigates the application of Graph Neural Networks (GNNs) to address scalability challenges in combinatorial optimization, with a primary focus on the minimum Total Dominating set Problem (TDP) and additionally the related Carrier Scheduling Problem (CSP) in networks of Internet of Things. The research identifies the NP-hard nature of these problems as a fundamental challenge and addresses how to improve predictions on input graphs of sizes much larger than seen during training phase. Further, the thesis explores the instability in such scalability when leveraging GNNs for TDP and CSP. Two primary measures to counter this scalability problem are proposed and tested: incorporating node degree as an additional feature and modifying the attention mechanism in GNNs. Results indicate that these countermeasures show promise in addressing scalability issues in TDP, with node degree inclusion demonstrating overall performance improvements while the modified attention mechanism presents a nuanced outcome with some metrics improved at the cost of others. Application of these methods to CSP yields bleak results, evincing the challenges of scalability in more complex problem domains. The thesis contributes by detecting and addressing scalability challenges in combinatorial optimization using GNNs and provides insights for further research in refining methodologies for real-world applications. / Denna masteruppsats undersöker tillämpningen av Grafiska Neurala Nätverk (GNN) för att hantera utmaningar inom skalbarhet vid kombinatorisk optimering, med ett primärt fokus på minimum Total Dominating set Problem (TDP) samt även det relaterade Carrier Scheduling Problem (CSP) i nätverk inom Internet of Things. Studien identifierar den NP-svåra karaktären av dessa problem som en grundläggande utmaning och lyfter hur man kan förbättra prediktioner på indatagrafer av storlekar som är mycket större än vad man sett under träningsfasen. Vidare utforskar uppsatsen instabiliteten i sådan skalbarhet när man utnyttjar GNN för TDP och CSP. Två primära åtgärder mot detta skalbarhetsproblem föreslås och testas: inkorporering av nodgrad som ett extra attribut och modifiering av attention-mekanismer i GNN. Resultaten indikerar att dessa motåtgärder har potential för att angripa skalbarhetsproblem i TDP, där inkludering av nodgrad ger övergripande prestandaförbättringar medan den modifierade attention-mekanismen ger ett mer tvetydigt resultat med vissa mätvärden förbättrade på bekostnad av andra. Tillämpning av dessa metoder på CSP ger svaga resultat, vilket antyder om utmaningarna med skalbarhet i mer komplexa problemdomäner. Uppsatsen bidrar genom att upptäcka och adressera skalbarhetsutmaningar i kombinatorisk optimering med hjälp av GNN och ger insikter för vidare forskning i att förfina metoder för verkliga tillämpningar.
144

Monocular 3D Human Pose Estimation / Monokulär 3D-människans hållningsuppskattning

Rey, Robert January 2023 (has links)
The focus of this work is the task of 3D human pose estimation, more specifically by making use of key points located in single monocular images in order to estimate the location of human body joints in a 3D space. It was done in association with Tracab, a company based in Stockholm, who specialises in advanced sports tracking and analytics solutions. Tracab’s core product is their optical tracking system for football, which involves installing multiple highspeed cameras around the sports venue. One of the main benefits of this work will be to reduce the number of cameras required to create the 3D skeletons of the players, hence reducing production costs as well as making the whole process of creating the 3D skeletons much simpler in the future. The main problem we are tackling consists in going from a set of 2D joint locations and lifting them to a 3D space, which would add an information of depth to the joint locations. One problem with this task is the limited availability of in-thewild datasets with corresponding 3D ground truth labels. We hope to tackle this issue by making use of the restricted Human3.6m dataset along with the Tracab dataset in order to achieve adequate results. Since the Tracab dataset is very large, i.e millions of unique poses and skeletons, we have focused our experiments on a single football game. Although extensive research has been done in the field by using architectures such as convolutional neural networks, transformers, spatial-temporal architectures and more, we are tackling this issue by making use of a simple feedforward neural network developed by Martinez et al, this is mainly possible due to the abundance of data available at Tracab. / Fokus för detta arbete är att estimera 3D kroppspositioner, genom att använda detekterade punkter på människokroppen i enskilda monokulära bilder för att uppskatta 3D positionen av dessa ledpunkter. Detta arbete genomfördes i samarbete med Tracab, ett företag baserat i Stockholm, som specialiserar sig på avancerade lösningar för följning och analys inom idrott. Tracabs huvudprodukt är deras optiska följningssystem, som innebär att flera synkroniserade höghastighetskameror installeras runt arenan. En av de främsta fördelarna med detta arbete kommer att vara att minska antalet kameror som krävs för att skapa 3D-skelett av spelarna, vilket minskar produktionskostnaderna och förenklar hela processen för att skapa 3D-skelett i framtiden. Huvudproblemet vi angriper är att gå från en uppsättning 2D-ledpunkter och lyfta dem till 3D-utrymme. Ett problem är den begränsade tillgången till datamängder med 3D ground truth från realistiska miljöer. Vi angriper detta problem genom att använda den begränsade Human3.6m-datasetet tillsammans med Tracab-datasetet för att uppnå tillräckliga resultat. Eftersom Tracab-datamängden är mycket stor, med miljontals unika poser och skelett, .har vi begränsat våra experiment till en fotbollsmatch. Omfattande forskning har gjorts inom området med användning av arkitekturer som konvolutionella neurala nätverk, transformerare, rumsligttemporala arkitekturer med mera. Här använder vi ett enkelt framåtriktat neuralt nätverk utvecklat av Martinez et al, vilket är möjligt tack vare den stora mängden data som är tillgänglig hos Tracab.
145

Convolutional-LSTM for IGBTs Prognostics and Age Monitoring : Designing a neural network for predicting aging precursors in power devices / Convolutional-LSTM för IGBT-transistorer Prognostik och Åldersövervakning : Utformning av ett neuralt nätverk för att förutsäga förstadier till åldrande i kraftaggregat

Santoro, Matteo January 2023 (has links)
In recent years, extensive research efforts have been dedicated to the field of prognostics and age-related degradation, with major focus on higher complexity devices. However, relatively little attention has been given to power devices, such as Insulated Bipolar Gate Transistors (IGBTs), despite their critical role in high power electronic applications. These device find their application in various domains, including power grids, where their capability of operating over a broad spectrum of current and voltage levels is a necessity. Because of their central role, their condition can heavily effect the entire system, and the lack of comprehensive understanding and accurate aging prediction for IGBTs poses a significant challenge in ensuring their optimal performance, the deployment of intelligent equipment maintenance and in minimizing the risk of failure. To overcome this research and knowledge gap, the present study focuses on the development and implementation of a Convolutional-Long Short-Term Memory Neural Network, for predicting the value of the component temperature, as the main precursor for its premature aging. Moreover, an incremental learning approach is employed to address the challenges of online learning in real-world scenarios. To evaluate the proposed methodology, a comparative analysis is conducted against a base Long Short-Term Memory (LSTM) model, using an IGBT data set from the NASA Ames Laboratory. The empirical experiments yield promising results, demonstrating that the proposed model outperforms the base LSTM model in terms of accuracy and predictive capabilities. Moreover, the incremental approach appears to be suitable to extend the Convolutional-LSTM model to online learning settings. The findings of this research provide valuable insight into prognostics of power devices and contribute to broaden the field of predictive maintenance, especially in the context of power devices. / Under de senaste åren har omfattande forskningsinsatser ägnats åt prognostik och åldersrelaterad degradering, med fokus på mer komplexa enheter. Kraftelektronik, t.ex. IGBT-transistorer (Insulated Bipolar Gate Transistors), har dock ägnats relativt lite uppmärksamhet, trots deras kritiska roll i elektroniska applikationer med hög effekt. Dessa enheter används inom olika områden, bland annat kraftnät, där deras förmåga att arbeta över ett brett spektrum av ström- och spänningsnivåer är en nödvändighet. På grund av deras centrala roll kan deras tillstånd kraftigt påverka hela systemet, och bristen på omfattande förståelse och exakta åldringsprognoser för IGBT utgör en betydande utmaning för att säkerställa optimal prestanda, implementering av intelligent underhåll av utrustning och för att minimera risken för fel. För att överbrygga denna forsknings- och kunskapslucka fokuserar den här studien på utveckling och implementering av ett neuralt nätverk med faltning och långt korttidsminne för att förutsäga värdet på komponenttemperaturen, som den viktigaste föregångaren till dess för tidiga åldrande. Dessutom används en inkrementell inlärningsmetod för att hantera utmaningarna med online-inlärning i verkliga scenarier. För att utvärdera den föreslagna metoden genomförs en jämförande analys mot en basmodell för Long Short-Term Memory (LSTM), med hjälp av en IGBT-datauppsättning från NASA Ames Laboratory. De empiriska experimenten ger lovande resultat och visar att den föreslagna modellen överträffar den grundläggande LSTM-modellen när det gäller noggrannhet och prediktiva förmågor. Dessutom verkar det inkrementella tillvägagångssättet vara lämpligt för att utvidga Convolutional-LSTM-modellen till onlineinlärningsinställningar. Resultaten av denna forskning ger värdefull insikt i prognostik av kraftaggregat och bidrar till att bredda området för prediktivt underhåll, särskilt i samband med kraftaggregat.
146

Sales Volume Forecasting of Ericsson Radio Units - A Statistical Learning Approach / : Prognostisering av försäljningsvolymer för radioenheter - Statistisk modellering

Amethier, Patrik, Gerbaulet, André January 2020 (has links)
Demand forecasting is a well-established internal process at Ericsson, where employees from various departments within the company collaborate in order to predict future sales volumes of specific products over horizons ranging from months to a few years. This study aims to evaluate current predictions regarding radio unit products of Ericsson, draw insights from historical volume data, and finally develop a novel, statistical prediction approach. Specifically, a two-part statistical model with a decision tree followed by a neural network is trained on previous sales data of radio units, and then evaluated (also on historical data) regarding predictive accuracy. To test the hypothesis that mid-range volume predictions of a 1-3 year horizon made by data-driven statistical models can be more accurate, the two-part model makes predictions per individual radio unit product based on several predictive attributes, mainly historical volume data and information relating to geography, country and customer trends. The majority of wMAPEs per product from the predictive model were shown to be less than 5% for the three different prediction horizons, which can be compared to global wMAPEs from Ericsson's existing long range forecast process of 9% for 1 year, 13% for 2 years and 22% for 3 years. These results suggest the strength of the data-driven predictive model. However, care must be taken when comparing the two error measures and one must take into account the large variances of wMAPEs from the predictive model. / Ericsson har en väletablerad intern process för prognostisering av försäljningsvolymer, där produktnära samt kundnära roller samarbetar med inköpsorganisationen för att säkra noggranna uppskattningar angående framtidens efterfrågan. Syftet med denna studie är att evaluera tidigare prognoser, och sedan utveckla en ny prediktiv, statistisk modell som prognostiserar baserad på historisk data. Studien fokuserar på produktkategorin radio, och utvecklar en två-stegsmodell bestående av en trädmodell och ett neuralt nätverk. För att testa hypotesen att en 1-3 års prognos för en produkt kan göras mer noggran med en datadriven modell, tränas modellen på attribut kopplat till produkten, till exempel historiska volymer för produkten, och volymtrender inom produktens marknadsområden och kundgrupper. Detta resulterade i flera prognoser på olika tidshorisonter, nämligen 1-12 månader, 13-24 månader samt 25-36 månder. Majoriteten av wMAPE-felen för dess prognoser visades ligga under 5%, vilket kan jämföras med wMAPE på 9% för Ericssons befintliga 1-årsprognoser, 13% för 2-årsprognerna samt 22% för 3-årsprognoserna. Detta pekar på att datadrivna, statistiska metoder kan användas för att producera gedigna prognoser för framtida försäljningsvolymer, men hänsyn bör tas till jämförelsen mellan de kvalitativa uppskattningarna och de statistiska prognoserna, samt de höga varianserna i felen.
147

AI-Powered Network Traffic Prediction / AI baserad prediktering av nätverkstraffik

Bolakhrif, Amin January 2021 (has links)
In this Internet and big data era, resource management has become a crucial task to ensure the quality of service for users in modern wireless networks. Accurate and rapid Internet traffic data is essential for many applications in computer networking to enable high networking performance. Such applications facilitate admission control, congestion control, anomaly detection, and bandwidth allocation. In radio networks, these mechanisms are typically handled by features such as Carrier Aggregation, Inter-Frequency Handover, and Predictive Scheduling. Since these mechanisms often take time and cost radio resources, it is desirable to only enable them for users expected to gain from them. The problem of network traffic flow prediction is forecasting aspects of an ongoing traffic flow to mobilize networking mechanisms that ensures both user experience quality and resource management. The expected size of an active traffic flow, its expected duration, and the anticipated amount of packets within the flow are some of the aspects. Additionally, forecasting individual packet sizes and arrival times can also be beneficial. The wide-spread availability of Internet flow data allows machine learning algorithms to learn the complex relationships in network traffic and form models capable of forecasting traffic flows. This study proposes a deep-learning-based flow prediction method, established using a residual neural network (ResNet) for regression. The proposed model architecture demonstrates the ability to accurately predict the packet count, size, and duration of flows using only the information available at the arrival of the first packet. Additionally, the proposed method manages to outperform traditional machine learning methods such as linear regression and decision trees, in addition to conventional deep neural networks. The results indicate that the proposed method is able to predict the general magnitude of flows with high accuracy, providing precise magnitude classifications. / I denna Internet och data era har resurshantering blivit allt mer avgörande för att säkerställa tjänstekvaliteten för användare i moderna trådlösa nätverk. Noggrann och hastig Internet-trafikinformation är avgörande för många applikationer inom datanätverk för att möjliggöra hög nätverksprestanda. Sådana applikationer underlättar kontroll av behörighet, kontroller av trängsel, detektering av avvikelser och allokering av bandbredd. I radionätverk hanteras dessa mekanismer vanligtvis av funktioner som Carrier Aggregation, Inter- Frequency Handover och Predictive Scheduling. Eftersom dessa funktioner ofta tar tid och kostar resurser så är det önskvärt att nätverk endast möjliggör sådana funktioner för användare som förväntas dra nytta av dem. Prediktering av trafikflöden i nätverk grundar sig i att förutsäga aspekter av ett pågående trafikflöde för att kunna mobilisera nätverksfunktioner som säkerställer både kvaliteten för användare samt resurshantering. Den förväntade storleken på ett aktivt trafikflöde, dess varaktighet och mängden paket inom flödet är några av dessa aspekter. Det kan dessutom vara fördelaktigt att förutsäga individuella paketstorlekar och ankomsttider. Den stora tillgången till data med nätverks-flöden gör det möjligt för maskininlärningsmetoder att lära sig de komplexa förhållandena i nätverkstrafik och därigenom formulera modeller som kan förutsäga flöden i nätverk. Denna studie föreslår en djupinlärningsbaserad metod för att prediktera flöden i nätverk, med hjälp av ett anpassat neuralt nätverk som utnyttjar genvägar i modellens konstruktion (ResNet). Den föreslagna modell-arkitekturen visar sig nöjaktigt kunna förutsäga antalet paket, storlek och varaktighet för flöden med endast den information som är tillgänglig från det första paketet. Dessutom lyckas den föreslagna metoden att överträffa både traditionella maskininlärningsmetoder som linjär regression och beslutsträd, samt konventionella djupa neurala nätverk. Resultaten indikerar att den föreslagna metoden kan förutsäga den allmänna storleken på flödens egenskaper med hög noggrannhet, givet att IP-adresser är tillgängliga.
148

Physics-Informed Deep Learning for System Identification of Autonomous Underwater Vehicles : A Lagrangian Neural Network Approach / Fysikinformerad Djupinlärning för Systemidentifiering av Autonoma Undervattensfordon : Med Användning av Lagrangianska Neurala Nätverk

Mirzai, Badi January 2021 (has links)
In this thesis, we explore Lagrangian Neural Networks (LNNs) for system identification of Autonomous Underwater Vehicles (AUVs) with 6 degrees of freedom. One of the main challenges of AUVs is that they have limited wireless communication and navigation under water. AUVs operate under strict and uncertain conditions, where they need to be able to navigate and perform tasks in unknown ocean environments with limited and noisy sensor data. A crucial requirement for localization and adaptive control of AUVs is having an accurate and reliable model of the system’s nonlinear dynamics while taking into account the dynamic environment of the ocean. Most of these dynamics models do not incorporate data. The collection of data for AUVs is difficult, but necessary in order to have more flexibility in the model’s parameters due to the dynamic environment of the ocean. Yet, traditional system identification methods are still dominant today, despite the recent breakthroughs in Deep Learning. Therefore, in this thesis, we aim for a data-driven approach that embeds laws from physics in order to learn the state-space model of an AUV. More precisely, exploring the LNN framework for higher-dimensional systems. Furthermore, we also extend the LNN to account for non-conservative forces acting upon the system, such as damping and control inputs. The networks are trained to learn from simulated data of a second-order ordinary differential equation of an AUV. The trained model is evaluated by integrating paths from different initial states and comparing them to the true dynamics. The results yielded a model capable of predicting the output acceleration of the state space model but struggled in learning the direction of the forward movement with time. / I den här uppsatsen utforskas Lagrangianska Neurala Nätverk (LNN) för systemidentifiering av Autonoma Undervattensfordon (AUV) med 6 frihetsgrader. En av de största utmaningarna med AUV är deras begränsningar när det kommer till trådlös kommunikation och navigering under vatten. Ett krav för att ha fungerande AUV är deras förmåga att navigera och utföra uppdrag under okända undervattensförhållanden med begränsad och brusig sensordata. Dessutom är ett kritiskt krav för lokalisering och adaptiv reglerteknik att ha noggranna modeller av systemets olinjära dynamik, samtidigt som den dynamiska miljön i havet tas i beaktande. De flesta sådana modeller tar inte i beaktande sensordata för att reglera dess parameterar. Insamling av sådan data för AUVer är besvärligt, men nödvändigt för att skapa större flexibilitet hos modellens parametrar. Trots de senaste genombrotten inom djupinlärning är traditionella metoder av systemidentifiering dominanta än idag för AUV. Det är av dessa anledningar som vi i denna uppsats strävar efter en datadriven metod, där vi förankrar lagar från fysik under inlärningen av systemets state-space modell. Mer specifikt utforskar vi LNN för ett system med högre dimension. Vidare expanderar vi även LNN till att även ta ickekonservativa krafter som verkar på systemet i beaktande, såsom dämpning och styrsignaler. Nätverket tränas att lära sig från simulerad data från en andra ordningens differentialekvation som beskriver en AUV. Den tränade modellen utvärderas genom att iterativt integrera fram dess rörelse från olika initialstillstånd, vilket jämförs med den korrekta modellen. Resultaten visade en modell som till viss del var kapabel till att förutspå korrekt acceleration, med begränsad framgång i att lära sig korrekt rörelseriktning framåt i tiden.
149

Uncertainty Estimation for Deep Learning-based LPI Radar Classification : A Comparative Study of Bayesian Neural Networks and Deep Ensembles / Osäkerhetsskattning för LPI radarklassificering med djupa neurala nätverk : En jämförelsestudie av Bayesianska neurala nätverk och djupa ensembler

Ekelund, Måns January 2021 (has links)
Deep Neural Networks (DNNs) have shown promising results in classifying known Low-probability-of-intercept (LPI) radar signals in noisy environments. However, regular DNNs produce low-quality confidence and uncertainty estimates, making them unreliable, which inhibit deployment in real-world settings. Hence, the need for robust uncertainty estimation methods has grown, and two categories emerged, Bayesian approximation and ensemble learning. As autonomous LPI radar classification is deployed in safety-critical environments, this study compares Bayesian Neural Networks (BNNs) and Deep Ensembles (DEs) as uncertainty estimation methods. We synthetically generate a training and test data set, as well as a shifted data set where subtle changes are made to the signal parameters. The methods are evaluated on predictive performance, relevant confidence and uncertainty estimation metrics, and method-related metrics such as model size, training, and inference time. Our results show that our DE achieves slightly higher predictive performance than the BNN on both in-distribution and shifted data with an accuracy of 74% and 32%, respectively. Further, we show that both methods exhibit more cautiousness in their predictions compared to a regular DNN for in-distribution data, while the confidence quality significantly degrades on shifted data. Uncertainty in predictions is evaluated as predictive entropy, and we show that both methods exhibit higher uncertainty on shifted data. We also show that the signal-to-noise ratio affects uncertainty compared to a regular DNN. However, none of the methods exhibit uncertainty when making predictions on unseen signal modulation patterns, which is not a desirable behavior. Further, we conclude that the amount of available resources could influence the choice of the method since DEs are resource-heavy, requiring more memory than a regular DNN or BNN. On the other hand, the BNN requires a far longer training time. / Tidigare studier har visat att djupa neurala nätverk (DNN) kan klassificera signalmönster för en speciell typ av radar (LPI) som är skapad för att vara svår att identifiera och avlyssna. Traditionella neurala nätverk saknar dock ett naturligt sätt att skatta osäkerhet, vilket skadar deras pålitlighet och förhindrar att de används i säkerhetskritiska miljöer. Osäkerhetsskattning för djupinlärning har därför vuxit och på senare tid blivit ett stort område med två tydliga kategorier, Bayesiansk approximering och ensemblemetoder. LPI radarklassificering är av stort intresse för försvarsindustrin, och tekniken kommer med största sannolikhet att appliceras i säkerhetskritiska miljöer. I denna studie jämför vi Bayesianska neurala nätverk och djupa ensembler för LPI radarklassificering. Resultaten från studien pekar på att en djup ensemble uppnår högre träffsäkerhet än ett Bayesianskt neuralt nätverk och att båda metoderna uppvisar återhållsamhet i sina förutsägelser jämfört med ett traditionellt djupt neuralt nätverk. Vi skattar osäkerhet som entropi och visar att osäkerheten i metodernas slutledningar ökar både på höga brusnivåer och på data som är något förskjuten från den kända datadistributionen. Resultaten visar dock att metodernas osäkerhet inte ökar jämfört med ett vanligt nätverk när de får se tidigare osedda signal mönster. Vi visar också att val av metod kan influeras av tillgängliga resurser, eftersom djupa ensembler kräver mycket minne jämfört med ett traditionellt eller Bayesianskt neuralt nätverk.
150

Stylometric Embeddings for Book Similarities / Stilometriska vektorer för likhet mellan böcker

Chen, Beichen January 2021 (has links)
Stylometry is the field of research aimed at defining features for quantifying writing style, and the most studied question in stylometry has been authorship attribution, where given a set of texts with known authorship, we are asked to determine the author of a new unseen document. In this study a number of lexical and syntactic stylometric feature sets were extracted for two datasets, a smaller one containing 27 books from 25 authors, and a larger one containing 11,063 books from 316 authors. Neural networks were used to transform the features into embeddings after which the nearest neighbor method was used to attribute texts to their closest neighbor. The smaller dataset achieved an accuracy of 91.25% using frequencies of 50 most common functional words, dependency relations, and Part-of-speech (POS) tags as features, and the larger dataset achieved 69.18% accuracy using a similar feature set with 100 most common functional words. In addition to performing author attribution, a user test showed the potentials of the model in generating author similarities and hence being useful in an applied setting for recommending books to readers based on author style. / Stilometri eller stilistisk statistik är ett forskningsområde som arbetar med att definiera särdrag för att kvantitativt studera stilistisk variation hos författare. Stilometri har mest fokuserat på författarbestämning, där uppgiften är att avgöra vem som skrivit en viss text där författaren är okänd, givet tidigare texter med kända författare. I denna stude valdes ett antal lexikala och syntaktiska stilistiska särdrag vilka användes för att bestämma författare. Experimentella resultat redovisas för två samlingar litterära verk: en mindre med 27 böcker skrivna av 25 författare och en större med 11 063 böcker skrivna av 316 författare. Neurala nätverk användes för att koda de valda särdragen som vektorer varefter de närmaste grannarna för de okända texterna i vektorrummet användes för att bestämma författarna. För den mindre samlingen uppnåddes en träffsäkerhet på 91,25% genom att använda de 50 vanligaste funktionsorden, syntaktiska dependensrelationer och ordklassinformation. För den större samlingen uppnåddes en träffsäkerhet på 69,18% med liknande särdrag. Ett användartest visar att modellen utöver att bestämma författare har potential att representera likhet mellan författares stil. Detta skulle kunna tillämpas för att rekommendera böcker till läsare baserat på stil.

Page generated in 0.0743 seconds