This thesis investigates the performance of Mask R-CNN when utilizing transfer learning on a small dataset. The aim was to instance segment eyeglass lenses as accurately as possible from self-portrait images. Five different models were trained, where the key difference was the types of eyeglasses the models were trained on. The eyeglasses were grouped into three types, fully rimmed, semi-rimless, and rimless glasses. 1550 images were used for training, validation, and testing. The model's performances were evaluated using TensorBoard training data and mean Intersection over Union scores (mIoU). No major differences in performance were found in four of the models, which grouped all three types of glasses into one class. Their mIoU scores range from 0.913 to 0.94 whereas the model with one class for each group of glasses, performed worse, with a mIoU of 0.85. The thesis revealed that one can achieve great instance segmentation results using a limited dataset when taking advantage of transfer learning. / Denna uppsats undersöker prestandan för Mask R-CNN vid användning av överföringsinlärning på en liten datamängd. Syftet med arbetet var att segmentera glasögonlinser så exakt som möjligt från självporträttbilder. Fem olika modeller tränades, där den viktigaste skillnaden var de typer av glasögon som modellerna tränades på. Glasögonen delades in i 3 typer, helbåge, halvbåge och båglösa. Totalt samlades 1550 träningsbilder in, dessa annoterades och användes för att träna modellerna.  Modellens prestanda utvärderades med TensorBoard träningsdata samt genomsnittlig Intersection over Union (IoU). Inga större skillnader i prestanda hittades mellan modellerna som endast tränades på en klass av glasögon. Deras genomsnittliga IoU varierar mellan 0,913 och 0,94. Modellen där varje glasögonkategori representerades som en unik klass, presterade sämre med en genomsnittlig IoU på 0,85. Resultatet av uppsatsen påvisar att goda instanssegmenteringsresultat går att uppnå med hjälp av en begränsad datamängd om överföringsinlärning används.

Deep Neural Networks are widely applied to various kinds of fields nowadays. However, hundreds of thousands of neurons in each layer result in intensive memory storage requirement and a massive number of operations, making it difficult to employ deep neural networks on mobile devices where the hardware resources are limited. One common technique to address the memory limitation is to prune and quantize the neural networks. Besides, due to the frequent usage of Rectified Linear Unit (ReLU) function or network pruning, majority of the data in the weight matrices will be zeros, which will not only take up a large amount of memory space but also cause unnecessary computation operations. In this thesis, a new value-based compression method is put forward to represent sparse matrix more efficiently by eliminating these zero elements, and a customized hardware is implemented to realize the decompression and computation operations. The value-based compression method is aimed to replace the nonzero data in each column of the weight matrix with a reference value (arithmetic mean) and the relative differences between each nonzero element and the reference value. Intuitively, the data stored in each column is likely to contain similar values. Therefore, the differences will have a narrow range, and fewer bits rather than the full form will be sufficient to represent all the differences. In this way, the weight matrix can be further compressed to save memory space. The proposed value-based compression method reduces the memory storage requirement for the fully-connected layers of AlexNet to 37%, 41%, 47% and 68% of the compressed model, e.g., the Compressed Sparse Column (CSC) format, when the data size is set to 8 bits and the sparsity is 20%, 40%, 60% and 80% respectively. In the meanwhile, 41%, 53% and 63% compression rates of the fully-connected layers of the compressed AlexNet model with respect to 8-bit, 16-bit and 32-bit data are achieved when the sparsity is 40%. Similar results are obtained for VGG16 experiment. / Djupa neurala nätverk används i stor utsträckning inom olika fält nuförtiden. Emellertid ställer hundratusentals neuroner per lager krav på intensiv minneslagring och ett stort antal operationer, vilket gör det svårt att använda djupa neurala nätverk på mobila enheter där hårdvaruresurserna är begränsade. En vanlig teknik för att hantera minnesbegränsningen är att beskära och kvantifiera de neurala nätverken. På grund av den frekventa användningen av Rectified Linear Unit (ReLU) -funktionen eller nätverksbeskärning kommer majoriteten av datat i viktmatriserna att vara nollor, vilket inte bara tar upp mycket minnesutrymme utan också orsakar onödiga beräkningsoperationer. I denna avhandling presenteras en ny värdebaserad komprimeringsmetod för att representera den glesa matrisen mer effektivt genom att eliminera dessa nollelement, och en anpassad hårdvara implementeras för att realisera dekompressions- och beräkningsoperationerna. Den värdebaserade komprimeringsmetoden syftar till att ersätta icke-nolldata i varje kolumn i viktmatrisen med ett referensvärde (aritmetiskt medelvärde) och de relativa skillnaderna mellan varje icke-nollelement och referensvärdet. Intuitivt kommer data som lagras i varje kolumn sannolikt att innehålla liknande värden. Därför kommer skillnaderna att ha ett smalt intervall, och färre bitar snarare än den fullständiga formen kommer att räcka för att representera alla skillnader. På så sätt kan viktmatrisen komprimeras ytterligare för att spara minnesutrymme. Den föreslagna värdebaserade komprimeringsmetoden minskar minneslagringskravet för de helt anslutna lagren av AlexNet till 37%, 41%, 47% och 68% av den komprimerade modellen, t.ex. Compressed Sparse Column (CSC) format, när datastorleken är inställd på 8 bitar och sparsiteten är 20%, 40%, 60% respektive 80%. Under tiden uppnås 41%, 53% och 63% komprimeringshastigheter för de helt anslutna lagren i den komprimerade AlexNet-modellen med avseende på 8- bitars, 16-bitars och 32-bitars data när sparsiteten är 40%. Liknande resultat erhålls för VGG16-experiment.

Automatic document processing has been a subject of interest in the industry for the past few years, especially with the recent technological advances in Machine Learning and Computer Vision. This project investigates in-depth a major component used in Document Image Processing known as Optical Character Recognition (OCR). First, an improvement upon existing shallow CNN+LSTM is proposed, using domain-specific data synthesis. We demonstrate that this model can achieve an accuracy of up to 97% on non-handwritten text, with an accuracy improvement of 24% when using synthetic data. Furthermore, we deal with handwritten text that presents more challenges including the variance of writing style, slanting, and character ambiguity. A CNN+Transformer architecture is validated to recognize handwriting extracted from real-world insurance statements data. This model achieves a maximal accuracy of 92% on real-world data. Moreover, we demonstrate how a data pipeline relying on synthetic data can be a scalable and affordable solution for modern OCR needs. / Automatisk dokumenthantering har varit ett ämne av intresse i branschen under de senaste åren, särskilt med de senaste tekniska framstegen inom maskininlärning och datorseende. I detta projekt kommer man att på djupet undersöka en viktig komponent som används vid bildbehandling av dokument och som kallas optisk teckenigenkänning (OCR). Först kommer en förbättring av befintlig ytlig CNN+LSTM att föreslås, med hjälp av domänspecifik datasyntes. Vi kommer att visa att denna modell kan uppnå en noggrannhet på upp till 97% på icke handskriven text, med en förbättring av noggrannheten på 24% när syntetiska data används. Dessutom kommer vi att behandla handskriven text som innebär fler utmaningar, t.ex. variationer i skrivstilen, snedställningar och tvetydiga tecken. En CNN+Transformer-arkitektur kommer att valideras för att känna igen handskrift från verkliga data om försäkringsbesked. Denna modell uppnår en maximal noggrannhet på 92% på verkliga data. Dessutom kommer vi att visa hur en datapipeline som bygger på syntetiska data är en skalbar och prisvärd lösning för moderna OCR-behov.

Convolutional neural networks (CNN) have come a long way and can be trained toclassify many of the objects around us. Despite this, researchers do not fullyunderstand how CNN models learn features (edges, shapes, contours, etc.) fromdata. For this reason, it is reasonable to investigate if a CNN model can learn toclassify objects under extreme conditions. An example of such an extreme conditioncould be a car that drives towards the camera at night, and therefore does not haveany distinct features because the light from the headlights covers large parts of thecar.The aim of this thesis is to investigate how the performance of a CNN model isaffected, when trained on objects under extreme conditions. A YOLOv4 model willbe trained on three different extreme cases: light polluted vehicles, nighttimeobjects and snow-covered vehicles. A validation will then be conducted on a testdataset to see if the performance decreases or improves, compared to when themodel trained is on normal conditions. Generally, the training was stable for allextreme cases and the results show an improved or similar performance incomparison to the normal cases. This indicates that models can be trained with allextreme cases. Snow-covered vehicles with mosaic data augmentation and the IOUthreshold 0,25 had the best overall performance compared to the normal cases, witha difference of +14,95% in AP for cars, −0,73% in AP for persons, +8,08% in AP fortrucks, 0 in precision and +9% in recall. / Konvolutionella neurala nätverk (CNN) har kommit långt och kan tränas till attklassificera de flesta objekten i vår omgivning. Trots detta har forskare intefullständigt förstått hur CNN modeller lär sig att klassificera drag (kanter, former,konturer, osv), på grund av detta är det rimligt att undersöka om en CNN-modellkan lära sig att klassificera objekt som befinner sig under extrema förhållanden.Ett exempel på ett sådant extremfall kan vara när en bil kör mot kameran undernattetid och inte har några distinkta drag, eftersom ljuset från framlyktorna täckerstora delar av bilen.Målet med detta arbete är att undersöka hur en CNN-modells prestanda påverkas,när den tränats på objekt som befinner sig under extrema förhållanden. EnYOLOV4 modell ska tränas på tre olika extrema fall: ljus bländade fordon,nattetidobjekt samt snötäckta fordon. En validering ska sedan utföras på ett test setför att se om prestandan försämras eller förbättras, jämfört med modellen somtränat på normala förhållanden. Generellt sett var träningen stabil för alla extremafall och resultatet visade förbättring eller liknande prestanda, i förhållande tillnormala fallen. Detta indikerar att modeller kan tränas med alla extrema fall. Bästprestanda erhölls av snötäckta bilar med mosaik data augmentering och IOUtröskeln 0,25 jämfört med normala fallen, med en skillnad på -0,73% i AP förpersoner, +14,95% i AP för bilar, +8,08% skillnad i AP för lastbilar, 0 i precisionoch +9% i recall.

CSAW-M is a dataset that contains about 10 000 x-ray images created from mammograms. Mammograms are used to identify patients with breast cancer through a screening process with the goal of catching cancer tumours early. Modern convolutional neural networks are very sophisticated and capable of identifying patterns nearly indistinguishable to humans. CSAW-M doesn’t contain images of active cancer tumours, rather, whether the patient will develop cancer or not. Classification tasks such as this are known to require large datasets for training, which is cumbersome to acquire in the biomedical domain. In this paper we investigate how classification performance of non-trivial classification tasks scale with the size of available annotated images. To research this, a wide range of data-sets are generated from CSAW-M, with varying sample size and cancer types. Three different convolutional neural networks were trained on all data-sets. The study showed that classification performance does increase with the size of the annotated dataset. All three networks generally improved their prediction on the supplied benchmarking dataset. However, the improvements were very small and the research question could not be conclusively answered. The primary reasons for this was the challenging nature of the classification task, and the size of the data-set. Further research is required to gain more understanding of how much data is needed to yield a usable model. / CSAW-M är ett dataset som innehåller ungefär 10 000 röntgenbilder skapade från ett stort antal mammografier. Mammografi används för att identifiera patienter med bröstcancer genom en screeningprocess med målet att fånga cancerfall tidigt. Moderna konvolutionella neurala nätverk är mycket sofistikerade och kan tränas till att identifiera mönster i bilder mycket bättre än människor. CSAW-M innehåller inga bilder av cancertumörer, utan istället data på huruvida patienten kommer att utveckla cancer eller inte. Klassificeringsuppgifter som denna är kända för att kräva stora datamängder för träning, vilket är svårt att införskaffa inom den biomedicinska domänen. I denna artikel undersöker vi hur klassificerings prestanda för svåra klassificeringsuppgifter skalar med storleken på tillgänglig annoterad data. För att undersöka detta, genererades ett antal nya dataset från CSAW-M, med varierande storleksurval och cancertyp. Tre olika konvolutionella neurala nätverk tränades på alla nya data-set. Studien visar att klassificeringsprestanda ökar med storleken på den annoterade datamängden. Alla tre nätverk förbättrade generellt sin klassificeringsprestanda desto större urval som gjordes från CSAW-M. Förbättringarna var dock små och den studerade frågan kunde inte besvaras fullständigt. De främsta anledningarna till detta var klassificeringsuppgiftens utmanande karaktär och storleken på det tillgängliga datat i CSAW-M. Ytterligare forskning krävs för att få mer förståelse för hur mycket data som behövs för att skapa en användbar modell.

Biometrics are widely used in identification systems, such as face, fingerprint, iris, etc. Polar code is the only code that can be strictly proved to achieve channel capacity, and it has been proved to be optimal for channel and source coding. In this degree project, our goal is to apply polar codes algorithms to biometric identification systems, and to design a biometric identification system with high identification accuracy, low system complexity, and good privacy preservation. This degree project has carried out specific and in-depth research in four aspects, following results are achieved: First, idea of polar codes is learnt, for example channel combination, channel splitting, successive cancellation decoding. The successive cancellation and successive cancellation list algorithm are also applied to encoding, which further realizes polar codes for source coding. Second, using autoencoder to process biometrics. Autoencoder is introduced to compress fingerprints into binary sequences of length 1024, it has 5 encoding layers and 12 decoding layers, achieved reconstruction error is 0.03. The distribution is close to Gaussian distribution, and compressed codes are quantized into binary sequences. Properties of sequences are similar with random sequences in terms of entropy, correlation, variance. Third, the identification system under Wyner-Ziv problem is studied with fingerprints. In enrollment phase, encoding algorithms are designed to compress biometrics, and in identification phase, decoding algorithms are designed to estimate the original sequence based on decoded results and noisy sequence. Maximum mutual information method is used to identify users. Results show that with smaller number of users, longer code length, smaller noise, then recognition error rate is lower. Fourth, human faces are used in the generated secret key system. After fully considering the trade off to achieve optimal results, in enrollment phase both public data and secure data are generated, in identification phase user’s index and secret key are estimated. A hierarchical structure is further studied. First, CNN is used to classify the age of faces, and then the generated secret key system is used for identification after narrowing the range. The system complexity is reduced by 80% and the identification accuracy is not reduced. / Biometriska kännetecken används i stor utsträckning i identifieringssystem, kännetecken såsom ansikte, fingeravtryck, iris, etc. Polär kod är den enda koden som strikt bevisats uppnå kanalkapacitet och den har visat sig vara optimal för kanal- och källkodning. Målet med detta examensarbete är att tillämpa polära kodalgoritmer på biometriska identifieringssystem, och att designa ett biometriskt identifieringssystem med hög identifieringsnoggrannhet, låg systemkomplexitet och bra integritetsskydd. Under examensarbetet har det genomförts specifik och djupgående forskning i fyra aspekter, följande resultat har uppnåtts: För det första introduceras idén om polära koder, till exempel kanalkombination, kanaluppdelning, successiv annulleringsavkodning. Algoritmerna för successiv annullering och successiv annulleringslista tillämpas även på kodning,vilket ytterligare realiserar polära koders användning för källkodning. För det andra används autoencoder för att bearbeta biometriska uppgifter. Autoencoder introduceras för att komprimera fingeravtryck till binära sekvenser med längden 1024, den har 5 kodningslager och 12 avkodningslager, det uppnådda rekonstruktionsfelet är 0,03. Fördelningen liknar en normaldistribution och komprimerade koder kvantiseras till binära sekvenser. Egenskaperna för sekvenserna liknar slumpmässiga sekvenser vad gäller entropi, korrelation, varians. För det tredje studeras identifieringssystemet under Wyner-Ziv-problemet med fingeravtryck. I inskrivningsfasen är kodningsalgoritmer utformade för att komprimera biometriska kännetecken, och i identifieringsfasen är avkodningsalgoritmer utformade för att estimera den ursprungliga sekvensen baserat på avkodade resultat och brusiga sekvenser. Maximal ömsesidig informationsmetod används för att identifiera användare. Resultaten visar att med ett mindre antal användare, längre kodlängd och mindre brus så är identifieringsfelfrekvensen lägre. För det fjärde används mänskliga ansikten i det genererade hemliga nyckelsystemet. Efter att noggrant ha övervägt kompromisser fullt ut för att uppnå det optimala resultatet genereras både offentlig data och säker data under registreringsfasen, i identifieringsfasen uppskattas användarens index och säkerhetsnyckel. En hierarkisk struktur studeras vidare. Först används CNN för att klassificera ålder baserat på ansikten och sedan används det genererade hemliga nyckelsystemet för identifiering efter att intervallet har begränsats. Systemkomplexiteten reduceras med 80% men identifieringsnoggrannheten reduceras inte.

Dengue and Zika are two arboviral viruses that affect a significant portion of the world population. The principal vector species of both viruses are Aedes aegypti and Aedes albopictus mosquitoes. They breed in very slow flowing or standing pools of water. It is important to reduce and control such potential breeding grounds to contain the spread of these diseases. This thesis investigates a model for the detection of water bodies using high-resolution images collected by Unmanned Aerial Vehicles (UAVs) in tropical countries, exemplified by Sri Lanka, and their multispectral information to help detect water bodies where larvae are most likely to breed quickly and accurately. Although machine learning has been studied in previous work to process multispectral image information to obtain the location of water bodies, different machine learning methods have not been compared, only random forest algorithms have been used. Because Convolutional Neural Networks (CNNs) are known to provide advanced classification performance for visual recognition tasks, in this thesis, faster region-based CNNs are introduced to perform fast and accurate identification of water body locations. In order to better evaluate the experimental results, this thesis introduces Intersection over Union (IoU) as a criterion for evaluating the results. On the one hand, IoU can judge the success rate of the model for water region recognition, and on the other hand, analysis of the model recall rate under different IoU values can also evaluate the model’s ability to detect the range of water regions. Meanwhile, the basic CNN network and random forest algorithm in the previous work are also implemented to compare the results of faster region-based CNNs. In conclusion, the faster region-based CNN model achieves the best results with a 98.33% recognition success rate for water bodies in multispectral images, compared to 95.80% for the CNN model and 95.74% for the random forest model. In addition, the faster region-based CNN model significantly outperformed the CNN model and the random forest model for training speed. / Dengue och zika är två arbovirala virus som drabbar en stor del av världens befolkning. De viktigaste vektorerna för båda virusen är myggorna Aedes aegypti och Aedes albopictus. De förökar sig i mycket långsamt rinnande eller stående vattensamlingar. Det är viktigt att minska och kontrollera sådana potentiella grogrunder för att begränsa spridningen av dessa sjukdomar. I denna avhandling undersöks en modell för att upptäcka vattenområden med hjälp av högupplösta bilder som samlas in av Unmanned Aerial Vehicles (UAV) i tropiska länder, exemplifierat av Sri Lanka, och deras multispektrala information för att hjälpa till att upptäcka vattenområden där larverna sannolikt förökar sig snabbt och noggrant. Även om maskininlärning har studerats i tidigare arbeten för att bearbeta multispektral information från bilder för att få fram platsen för vattenförekomster, har olika metoder för maskininlärning inte jämförts, utan endast random forest-algoritmer har använts. Eftersom Convolutional Neural Networks (CNN) är kända för att erbjuda avancerade klassificeringsprestanda för visuella igenkänningsuppgifter i denna avhandling introduceras snabbare regionbaserade CNN för att utföra snabb och exakt identifiering av vattenkropparnas läge. För att bättre kunna utvärdera de experimentella resultaten införs i denna avhandling Intersection over Union (IoU) som ett kriterium för utvärdering av resultaten. Å ena sidan kan IoU bedöma modellens framgång för igenkänning av vattenområden, och å andra sidan kan analysen av modellens återkallningsfrekvens under olika IoU-värden också utvärdera modellens förmåga att upptäcka olika vattenområden. Samtidigt genomförs även det grundläggande CNN-nätverket och algoritmen för slumpmässig skog i det tidigare arbetet för att jämföra resultaten av Faster regionbaserad CNN. Sammanfattningsvis ger den snabbare regionbaserade CNN-modellen de bästa resultaten med 98,33% av alla igenkänningsresultat för vattenkroppar i multispektrala bilder, jämfört med 95,80% för CNN-modellen och 95,74% för modellen med slumpmässig skog. Dessutom överträffade den snabbare regionbaserade CNN-modellen CNN-modellen och random forest-modellen avsevärt när det gäller träningshastighet.

Flood forecasting maps are essential for rapid disaster response and risk management, yet the computational complexity of physically-based simulations hinders their application for efficient high-resolution spatial flood forecasting. To address the problems of high computational cost and long prediction time, this thesis proposes to develop deep learning neural networks based on a flood simulation dataset, and explore their potential use for flood prediction without learning hydrological modelling knowledge from scratch.  A Fully Convolutional Network (FCN), FCN with multiple outputs (Multioutput FCN), UNet, Graph-based model and their Recurrent Neural Network (RNN) variants are trained on a catchment area with twelve rainfall events, and evaluated on two cases of a specific rainfall event both quantitatively and qualitatively. Among them, Convolution-based models (FCN, Multioutput FCN and UNet) are commonly used to solve problems related to spatial data but do not encode the position and orientation of objects, and Graph-based models can capture the structure of the problem but require higher time and space complexity. RNN-based models are effective for modelling time-series data, however, the computation is slow due to its recurrent nature. The results show that Multioutput FCN and the Graph-based model have significant advantages in predicting deep water depths (>50 cm), and the application of recurrent training greatly improves the long-term flood prediction accuracy of the base deep learning models. In addition, the proposed recurrent training FCN model performs the best and can provide flood predictions with high accuracy.

In a world under the constant impact of global warming, wetlands are decreasing in size all across the globe. As the wetlands are a vital part of preventing global warming, the ability to prevent their shrinkage through restorative measures is critical. Continuously orbiting the Earth are satellites that can be used to monitor the wetlands by collecting images of them over time. In order to determine the size of a wetland, and to register if it is shrinking or not, deep learning models can be used. Especially useful for this task is convolutional neural networks (CNNs). This project uses one type of CNN, a U-Net, to segment vegetated water in satellite data. However, this task requires labeled data, which is expensive to generate and difficult to acquire. The model used therefore needs to be able to generate reliable results even on small data sets. Therefore, pre-training of the network is used with a large-scale natural image segmentation data set called Common Objects in Context (COCO). To transfer the satellite data into RGB images to use as input for the pre-trained network, three different methods are tried. Firstly, the commonly used linear transformation method which simply moves the value of radar data into the RGB feature space. Secondly, two convolutional layers are placed before the U-Net which gradually changes the number of channels of the input data, with weights trained through backpropagation during the fine-tuning of the segmentation model. Lastly, a convolutional auto-encoder is trained in the same way as the convolutional layers. The results show that the autoencoder does not perform very well, but that the linear transformation and convolutional layers methods each can outperform the other depending on the data set. No statistical significance can be shown however between the performance of the two latter. Experimenting with including different amounts of polarizations from Sentinel-1 and bands from Sentinel-2 showed that only using radar data gave the best results. It remains to be determined whether one or both of the polarizations should be included to achieve the best result. / I en värld som ständigt påverkas av den globala uppvärmningen, minskar våtmarkerna i storlek över hela världen. Eftersom våtmarkerna är en viktig del i att förhindra global uppvärmning, är förmågan att förhindra att de krymper genom återställande åtgärder kritisk. Kontinuerligt kretsande runt jorden finns satelliter som kan användas för att övervaka våtmarkerna genom att samla in bilder av dem över tid. För att bestämma storleken på en våtmark, i syfte att registrera om den krymper eller inte, kan djupinlärningsmodeller användas. Speciellt användbar för denna uppgift är konvolutionella neurala nätverk (CNN). Detta projekt använder en typ av CNN, ett U-Net, för att segmentera vegeterat vatten i satellitdata. Denna uppgift kräver dock märkt data, vilket är dyrt att generera och svårt att få tag på. Modellen som används behöver därför kunna generera pålitliga resultat även med små datauppsättning. Därför används förträning av nätverket med en storskalig naturlig bildsegmenteringsdatauppsättning som kallas Common Objects in Context (COCO). För att överföra satellitdata till RGB-bilder som ska användas som indata för det förtränade nätverket prövas tre olika metoder. För det första, den vanliga linjära transformationsmetoden som helt enkelt flyttar värdet av radardatan till RGB-funktionsutrymmet. För det andra två konvolutionella lager placerade före U-Net:et som gradvis ändrar mängden kanaler i indatan, med vikter tränade genom bakåtpropagering under finjusteringen av segmenteringsmodellen. Slutligen tränade en konvolutionell auto encoder på samma sätt som de konvolutionella lagren. Resultaten visar att auto encodern inte fungerar särskilt bra, men att metoderna för linjär transformation och konvolutionella lager var och en kan överträffa den andra beroende på datauppsättningen. Ingen statistisk signifikans kan dock visas mellan prestationen för de två senare. Experiment med att inkludera olika mängder av polariseringar från Sentinell-1 och band från Sentinell-2 visade att endast användning av radardata gav de bästa resultaten. Om att inkludera båda polariseringarna eller bara en är den mest lämpliga återstår fortfarande att fastställa.

Deep Learning and Neural Networks have been studied and developed for many years as of today, but there is still a great need of research on this field, because the industry needs are rapidly changing. The new challenge in this field is called edge inference and it is the deployment of Deep Learning on small, simple and cheap devices, such as low-power microcontrollers. At the same time, also on the field of hardware design the industry is moving towards the RISC-V micro-architecture, which is open-source and is developing at such a fast rate that it will soon become the standard. A batteryless ultra low power microcontroller based on energy harvesting and RISC-V microarchitecture has been the final target device of this thesis. The challenge on which this project is based is to make a simple Neural Network work on this chip, i.e., finding out the capabilities and the limits of this chip for such an application and trying to optimize as much as possible the power and energy consumption. To do that TensorFlow Lite Micro has been chosen as the Deep Learning framework of reference, and a simple existing application was studied and tested first on the SparkFun Edge board and then successfully ported to the RISC-V ONiO.zero core, with its restrictive features. The optimizations have been done only on the convolutional layer of the neural network, both by Software, implementing the Im2col algorithm, and by Hardware, designing and implementing a new RISC-V instruction and the corresponding Hardware unit that performs four 8-bit parallel multiply-and-accumulate operations. This new design drastically reduces both the inference time (3.7 times reduction) and the number of instructions executed (4.8 times reduction), meaning lower overall power consumption. This kind of application on this type of chip can open the doors to a whole new market, giving the possibility to have thousands small, cheap and self-sufficient chips deploying Deep Learning applications to solve simple everyday life problems, even without network connection and without any privacy issue. / Deep Learning och neurala nätverk har studerats och utvecklats i många år fram till idag, men det finns fortfarande ett stort behov av forskning på detta område, eftersom industrins behov förändras snabbt. Den nya utmaningen inom detta område kallas edge inferens och det är implementeringen av Deep Learning på små, enkla och billiga enheter, såsom lågeffektmikrokontroller. Samtidigt, även på området hårdvarudesign, går industrin mot RISC-V-mikroarkitekturen, som är öppen källkod och utvecklas i så snabb takt att den snart kommer att bli standarden. En batterilös mikrokontroller med ultralåg effekt baserad på energiinsamling och RISC-V-mikroarkitektur har varit den slutliga målenheten för denna avhandling. Utmaningen som detta projekt är baserat på är att få ett enkelt neuralt nätverk att fungera på detta chip, det vill säga att ta reda på funktionerna och gränserna för detta chip för en sådan applikation och försöka optimera så mycket som möjligt ström- och energiförbrukningen. För att göra det har TensorFlow Lite Micro valts som referensram för Deep Learning, och en enkel befintlig applikation studerades och testades först på SparkFun Edge-kortet och portades sedan framgångsrikt till RISC-V ONiO.zero-kärnan, med dess restriktiva funktioner. Optimeringarna har endast gjorts på det konvolutionerande skikt av det neurala nätverket, både av mjukvara, implementering av Im2col-algoritmen, och av hårdvara, design och implementering av en ny RISC-V-instruktion och motsvarande hårdvaruenhet som utför fyra 8-bitars parallella multiplikation -och-ackumulationsoperationer. Denna nya design minskar drastiskt både slutledningstiden (3,7 gånger kortare) och antalet utförda instruktioner (4.8 gånger färre), vilket innebär lägre total strömförbrukning. Den här typen av applikationer på den här typen av chip kan öppna dörrarna till en helt ny marknad, vilket ger möjlighet att ha tusentals små, billiga och självförsörjande chip som distribuerar Deep Learning-applikationer för att lösa enkla vardagsproblem, även utan nätverksanslutning och utan någon integritetsproblematik.