The growth of image collection sizes during the development has currently made manual annotation unfeasible, leading to the need for accurate and time efficient image annotation methods. This project evaluates a system for Automatic Image Annotation to see if it is possible to share annotations between images based on un-supervised clustering. The evaluation of the system included performing experiments with different algorithms and different unlabeled data sets. The system is also compared to an award winning Convolutional Neural Network model, used as a baseline, to see if the system’s precision and/or recall could be better than the baseline model’s. The results of the experiment conducted in this work showed that the precision and recall could be increased on the data used in this thesis, an increase of 0.094 in precision and 0.049 in recall in average for the system compared to the baseline. / Utvecklingen av bildkollektioners storlekar har fram till idag ökat behovet av ett pålitligt och effektivt annoteringsverktyg i och med att manuell annotering har blivit ineffektivt. Denna rapport utvärderar möjligheterna att dela bildtaggar mellan visuellt lika bilder med ett system för automatisk bildannotering baserat på klustring. Utvärderingen sker i form av flera experiment med olika algoritmer och olika omärkta datamängder. I experimenten är systemet jämfört med en prisbelönt konvolutionell neural nätverksmodell, vilken är använd som utgångspunkt, för att undersöka om systemets resultat kan bli bättre än utgångspunktens resultat. Resultaten visar att både precisionen och återkallelsen förbättrades i de experiment som genomfördes på den data använd i detta arbete. En precisionsökning med 0.094 och en återkallelseökning med 0.049 för det implementerade systemet jämfört med utgångspunkten, över det genomförda experimenten.

From 1G to nowadays 5G, the development of cellular systems stirs more demands and expectation for high quality of cellular-based positioning service. Precise positioning (also called localization) is one of the key applications of 5G and beyond. time of arrival (ToA) techniques is one of the main positioning techniques utilized today. However, in the process of positioning, the noise resulted from various factors definitely will affect the accuracy and reliability of positioning service within a cellular system. Machine learning is gradually reported as one of the useful and significant ways to reduce the noise, and there are various machine learning algorithms related to cellular-based positioning. Both Convolutional Neural Network (CNN) and denoising autoencoder (DAE) have been proven that can improve the positioning accuracy, and these two algorithms aims to regenerate the distance between user equipment (UE) and base station (BS) directly after training. However, the distance information are with more feature that may be hard to be regenerated directly. A new method aims to extract the noise data at first and subtract the noise data from the noisy distance data to obtain the distance between UE and BS, which is called noise learning based algorithms. The corresponding noise learning based denoising algorithms of CNN and DAE are called Denoising Convolutional Neural Network (DnCNN) and noise-learning based denoising autoencoder (nlDAE). In this project, we evaluate the performance of these four algorithms in different noise environments in ToA based and cellular based positioning systems. The hyperparameters of each algorithm in different noise environment are searched by keras tuners. The results show that these four algorithms significantly improve the positioning accuracy, and the regular denoising algorithms have the same positioning performance with the noise learning based denoising algorithms with the hyperparameters searched by keras tuner. / Från 1G till numera 5G, väcker utvecklingen av cellulära system fler krav och förväntningar på hög kvalitet på mobilbaserad positioneringstjänst. Exakt positionering (även kallad lokalisering) är en av nyckelapplikationerna för 5G och senare. Ankomsttid (ToA) tekniker är en av de viktigaste positioneringsteknikerna som används idag. Under positioneringsprocessen kommer dock bruset från olika faktorer definitivt att påverka noggrannheten och tillförlitligheten för positioneringstjänsten inom ett cellulärt system. Maskininlärning rapporteras gradvis som ett av de användbara och betydelsefulla sätten att minska bruset, och det finns olika maskininlärningsalgoritmer relaterade till mobilbaserad positionering. Både Convolutional Neural Network (CNN) och denoising autoencoder (DAE) har bevisats som kan förbättra positioneringsnoggrannheten, och dessa två algoritmer syftar till att regenerera avståndet mellan användarutrustning (UE) och basstation (BS) direkt efter träning. Avståndsinformationen har dock fler funktioner som kan vara svåra att återskapa direkt. En ny metod syftar till att först extrahera brusdata och subtrahera brusdata från bullriga avståndsdata för att erhålla avståndet mellan UE och BS, vilket kallas brusinlärningsbaserade algoritmer. De motsvarande brusinlärningsbaserade denoisingalgoritmerna för CNN och DAE kallas Denoising Convolutional Neural Network (DnCNN) och brusinlärningsbaserade denoising autoencoder (nlDAE). I detta projekt utvärderar vi prestandan för dessa fyra algoritmer i olika brusmiljöer i ToAbaserade och cellulära positioneringssystem. Hyperparametrarna för varje algoritm i olika brusmiljöer genomsöks av keras-tuners. Resultaten visar att dessa fyra algoritmer avsevärt förbättrar positioneringsnoggrannheten, och de vanliga avbrusningsalgoritmerna har samma positioneringsprestanda som de brusinlärningsbaserade avbrusningsalgoritmerna med hyperparametrarna som söks av keras tuner.

As society is becoming more and more digitized the amount of digital data is increasing rapidly. Newspapers are one example of this, that many Libraries around the world are storing as digital images. This enables a great opportunity for research on Newspapers, and a particular research area is Document Layout Analysis where one divides the document into different segments and classifies them. In this thesis modern Newspaper pages, provided by KBLab, were used to investigate how well a Deep Learning model developed for General Object Detection performs in this area. In particular the Faster R-CNN Object detection model was trained on manually annotated newspaper pages from two different Swedish publishers, namely Dagens Nyheter and Aftonbladet. All newspaper pages were taken from editions published between 2010 and 2020, meaning only modern newspapers were considered. The methodology in this thesis involved sampling editions from the given publishers and time periods and then manually annotating these by marking out the desired layout elements with bounding boxes. The classes considered were: headlines, subheadlines, decks, charts/infographics, photographs, pull quotes, cartoons, fact boxes, bylines/credits, captions, tableaus and tables. Given the annotated data, a Faster R-CNN with a ResNet-50-FPN backbone was trained on both the Dagens Nyheter and Aftonbladet train sets and then evaluated on different test set. Results such as a mAP0.5:0.95 of 0.6 were achieved for all classes, while class-wise evaluation indicate precisions around 0.8 for some classes such as tableaus, decks and photographs. / I takt med att samhället blir mer och mer digitaliserat ökar mängden digital data snabbt. Tidningar är ett exempel på detta, som många bibliotek runt om i världen lagrar som digitala bilder. Detta möjliggör en stor möjlighet för forskning på tidningar, och ett särskilt forskningsområde är Dokument Layout Analys där man delar in dokumentet i olika segment och klassificerar dem. I denna avhandling användes moderna tidningssidor, tillhandahållna av KBLab, för att undersöka hur väl en djupinlärnings-modell utvecklad för generell Objektdetektering presterar inom detta område. Mer precist, tränades en Faster R-CNN Objektdetekteringsmodell på manuellt annoterade tidningssidor från två olika svenska förlag, nämligen Dagens Nyheter och Aftonbladet. Alla tidningssidor togs från utgåvor som publicerats mellan 2010 och 2020, vilket innebär att endast moderna tidningar behandlades. Metodiken i detta examensarbete innebar att först göra ett urval av utgåvor från givna förlag och tidsperioder och sedan manuellt annotera dessa genom att markera ut önskade layoutelement med begränsningsrutor. Klasserna som användes var: rubriker, underrubriker, ingress, diagram/infografik, fotografier, citat, tecknade serier, faktarutor, författares signatur, bildtexter, tablåer och tabeller. Givet den annoterade datan, tränades en Faster R-CNN med en ResNet-50-FPN ryggrad på både Dagens Nyheter och Aftonbladet träningsdatan och sedan utvärderades dem på olika testset. Resultat som mAP0.5:0.95 på 0.6 uppnåddes för alla klasser, medan klassvis utvärdering indikerar precision kring 0.8 för vissa klasser som tablåer, ingresser och fotografier.

This thesis aims to analyze how object detectors perform under winter weather conditions, specifically in areas with varying degrees of snow cover. The investigation will evaluate the effectiveness of commonly used object detection methods in identifying vehicles in snowy environments, including YOLO v8, Yolo v5, and Faster R-CNN. Additionally, the study explores the method of labeling vehicle objects within a set of image frames for the purpose of high-quality annotations in terms of correctness, details, and consistency. Training data is the cornerstone upon which the development of machine learning is built. Inaccurate or inconsistent annotations can mislead the model, causing it to learn incorrect patterns and features. Data augmentation techniques like rotation, scaling, or color alteration have been applied to enhance some robustness to recognize objects under different alterations. The study aims to contribute to the field of deep learning by providing valuable insights into the challenges of detecting vehicles in snowy conditions and offering suggestions for improving the accuracy and reliability of object detection systems. Furthermore, the investigation will examine edge devices' real-time tracking and detection capabilities when applied to aerial images under these weather conditions. What drives this research is the need to delve deeper into the research gap concerning vehicle detection using drones, especially in adverse weather conditions. It highlights the scarcity of substantial datasets before Mokayed et al. published the Nordic Vehicle Dataset. Using unmanned aerial vehicles(UAVs) or drones to capture real images in different settings and under various snow cover conditions in the Nordic region contributes to expanding the existing dataset, which has previously been restricted to non-snowy weather conditions. In recent years, the leverage of drones to capture real-time data to optimize intelligent transport systems has seen a surge. The potential of drones in providing an aerial perspective efficiently collecting data over large areas to precisely and timely monitor vehicular movement is an area that is imperative to address. To a greater extent, snowy weather conditions can create an environment of limited visibility, significantly complicating data interpretation and object detection. The emphasis is set on edge devices' real-time tracking and detection capabilities, which in this study introduces the integration of edge computing in drone technologies to explore the speed and efficiency of data processing in such systems.

The accurate assessment of hemodynamics and its parameters play an important role when diagnosing cardiovascular diseases. In this context, 4D Flow Magnetic Resonance Imaging (4D Flow MRI) is a non-invasive measurement technique that facilitates hemodynamic parameter assessment as well as quantitative and qualitative analysis of three-directional flow over time. However, the assessment is limited by noise, low spatio-temporal resolution and long acquisition times. Consequently, in regions characterized by transient, rapid flow dynamics, such as the aorta and heart, capturing these rapid transient flows remains particularly challenging. Recent research has shown the feasibility of machine learning models to effectively denoise and increase the spatio-temporal resolution of 4D Flow MRI. However, temporal super-resolution networks, which can generalize on unseen domains and are independent on boundary segmentations, remain unexplored.  This study aims to investigate the feasibility of a neural network for temporal super-resolution and denoising of 4D Flow MRI data. To achieve this, we propose a residual convolutional neural network (based on the 4DFlowNet from Ferdian et al.) providing an end-to-end mapping from temporal low resolution space to high resolution space. The network is trained on patient-specific cardiac models created with computational-fluid dynamic (CFD) simulations covering a full cardiac cycle. For clinical contextualization, performance is assessed on clinical patient data. The study shows the potential of the 4DFlowNet for temporal-super resolution with an average relative error of 16.6 % on an unseen cardiac domain, outperforming deterministic methods such as linear and cubic interpolation. We find that the network effectively reduces noise and recovers high-transient flow by a factor of 2 on both in-silico and in-vivo cardiac datasets. The prediction results in a temporal resolution of 20 ms, going beyond the general clinical routine of 30-40 ms. This study exemplifies the performance of a residual CNN for temporal super-resolution of 4D flow MRI data, providing an option to extend evaluations to aortic geometries and to further develop different upsampling factors and temporal resolutions. / En noggrann bedömning av hemodynamiken och dess parametrar spelar en viktig roll vid diagnos av kardiovaskulära sjukdomar. I detta sammanhang är 4D Flow Magnetic Resonance Imaging (4D Flow MRI) en icke-invasiv mätteknik som underlättar bedömning av hemodynamiska parametrar samt kvantitativ och kvalitativ analys av flöde. Bedömningen begränsas av brus, låg spatio-temporal upplösning och långa insamlingstider. I områden som karakteriseras av snabb flödesdynamik, såsom aorta och hjärta, är det därför fortfarande särskilt svårt att fånga dessa snabba transienta flöden. Ny forskning har visat att det är möjligt att använda maskininlärningsmodeller för att effektivt reducera brus och öka den spatio-temporala upplösningen i 4D Flow MRI. Nätverk för temporal superupplösning, som kan generaliseras till osedda domäner och är oberoende av segmentering, är fortfarande outforskade.  Denna studie syftar till att undersöka genomförbarheten av ett neuralt nätverk för temporal superupplösning och brusreducering av 4D Flow MRI-data. För att uppnå detta föreslår vi ett residual faltningsneuralt nätverk (baserat på 4DFlowNet från Ferdian et al.) som tillhandahåller en end-to-end-mappning från temporalt lågupplöst utrymme till högupplöst utrymme. Nätverket tränas på patientspecifika hjärtmodeller som skapats med CFD-simuleringar som spänner över en hel hjärtcykel. För klinisk kontextualisering utvärderas nätverkets prestanda på kliniska patientdata. Studien visar potentialen av 4DFlowNet för temporal superupplösning med ett genomsnittligt relativt fel på 16,6 % på en osedd hjärtdomän, vilket överträffar deterministiska metoder som linjär och kubisk interpolation. Vi konstaterar att nätverket effektivt minskar brus och återställer högtransient flöde med en faktor på 2 på både in-silico ochin-vivo hjärtdataset. Förutsägelsen resulterar i en temporal upplösning på 20 ms, vilket är mer än den allmänna kliniska rutinen på 30-40 ms. Denna studie exemplifierar prestandan hos en residual CNN för temporal superupplösning av 4D-flödes-MRI-data, vilket ger möjlighet att utvidga utvärderingarna till aortageometrier och att vidareutveckla olika uppsamplingsfaktorer och temporala upplösningar.

Multi-modality fusion is an area of research that has shown promising results in the domain of 2D and 3D object detection. However, multi-modality fusion methods have largely not been utilized in the domain of instance segmentation. This master’s thesis investigated if multi-modality fusion methods can be applied to deep learning instance segmentation models to improve their performance on multi-modality data. The two multi-modality fusion methods presented, input extension and feature fusions, were applied to a two-stage instance segmentation model, Mask R-CNN, and a single-stage instance segmentation model, RTMDet. Models were trained on different variations of preprocessed RGBD and ToF data provided by SICK IVP, as well as RGBD data from the publicly available NYUDepth dataset. The master’s thesis concludes that the multi-modality fusion method presented as feature fusion can be applied to the Mask R-CNN model to improve the networks performance by 1.8%points (1.8%pt.) bounding box mAP and 1.6%pt. segmentation mAP on SICK RGBD, 7.7%pt. bounding box mAP and 7.4%pt. segmentation mAP on ToF, and 7.4%pt. bounding box mAP and 7.4%pt. segmentation mAP on NYUDepth. The RTMDet model saw little to no improvements from the inclusion of depth but had similar baseline performance as the improved Mask R-CNN model that utilized feature fusion. The input extension method saw no improvements to performance as it faced technical implementation limitations.

The future of the fashion industry is expected to be online, thus a significant amount of research is being conducted in the field of fashion image analysis. Currently, a task that places a heavy workload on online stores is manually tagging new garments, including attributes such as category, color, pattern, or style. To this end, extensive research has targeted the automatic prediction of clothing categories and attributes, achieving promising results. Nevertheless, no previous study has been found in the literature that specifically reflects the performance of clothing attribute recognition with children’s clothing. This work intends to fill this gap and effectively present, in the same fashion analysis task, how a model trained in adult fashion performs over a model trained exclusively in children’s fashion. When examining the global understanding of children’s fashion apparel, the experiments exhibit that the best performance is obtained when leveraging the domain knowledge of adult fashion, specifically from the iMaterialist dataset, wherein the best model a difference in the overall performance of about 3% was achieved compared to pre- training on the ImageNet dataset or 12% when only children’s fashion was considered for training. / Modebranschen förväntas i framtiden vara online, och därför bedrivs det mycket forskning inom området bildanalys av modebilder. En uppgift som för närvarande innebär en stor arbetsbörda för nätbutiker är att manuellt tagga nya plagg med attribut som kategori, färg, mönster eller stil. Därför har omfattande forskning genomförts om automatisk förutsägelse av klädkategorier och attribut, och man har uppnått lovande resultat. Trots detta har ingen tidigare studie hittats i litteraturen som specifikt speglar prestandan för igenkänning av klädattribut för barnkläder. Syftet med det här arbetet är att fylla denna lucka och, som en del i en analys av mode, på ett effektivt sätt visa hur en modell som tränats för vuxenmode presterar jämfört med en modell som enbart tränats för barnmode. När man undersöker den globala förståelsen för barnkläder visar experimenten att den bästa prestandan uppnås när man utnyttjar domänkunskapen om vuxenmode, särskilt från iMaterialist- dataset, där man med den bästa modellen uppnådde en skillnad i den totala prestandan på cirka 3% jämfört med förträning på ImageNet- dataset eller 12% när endast barnmode beaktades vid träningen.

Change detection using satellite imagery has applications in urban development, disaster response and precision agriculture. Current deep learning models show promising results. However, on-board computers are typically highly constrained which poses a challenge for deployment. On-board processing is desirable for saving bandwidth by downlinking only novel and valuable data. The goal of this work is to determine what change detection models are most technically feasible for on-board use in satellites. The novel patch based model MobileGoNogo is evaluated along current state-of-the-art models. Technical feasibility was determined by observing accuracy, inference time, storage buildup, memory usage and resolution on a satellite computer tasked with detecting changes in buildings from the SpaceNet 7 dataset. Three high level approaches were taken; direct classification, post classification and patch-based change detection. None of the models compared in the study fulfilled all requirements for general technical feasibility. Direct classification models were highly resource intensive and slow. Post classification model had critically low accuracy but desirable storage characteristics. Patch based MobileGoNogo performed better by all metrics except in resolution where it is significantly lower than any other model. We conclude that the novel model offers a feasible solution for low resolution, noncritical applications. / Upptäckt av förändringar med hjälp av satellitbilder har tillämpningar inom bl.a. stadsutveckling, katastrofinsatser och precisionsjordbruk. De nuvarande modellerna för djupinlärning visar lovande resultat. Datorerna ombord satelliter är dock vanligtvis mycket begränsade, vilket innebär en utmaning för användningen av dessa modeller. Databehandling ombord är önskvärd för att spara bandbredd genom att endast skicka ner nya och värdefulla data. Målet med detta arbete är att fastställa vilka modeller för upptäckt av förändringar som är mest tekniskt genomförbara för användning ombord på satelliter. Den nya bildfältbaserade modellen MobileGoNogo utvärderas tillsammans med de senaste modellerna. Den tekniska genomförbarheten fastställdes genom att observera träffsäkerhet, inferenstid, lagring, minnesanvändning och upplösning på en satellitdator med uppgift att upptäcka förändringar i byggnader från SpaceNet 7dataset. Tre tillvägagångssätt på hög nivå användes: direkt klassificering, postklassificering och fältbaserad klassificering. Ingen av de modeller som jämfördes i studien uppfyllde alla krav på allmän teknisk genomförbarhet. Direkta klassificeringsmodeller var mycket resurskrävande och långsamma. Postklassificeringsmodellen hade kritiskt låg träffsäkerhet men önskvärda lagringsegenskaper. Den bildfältbaserade MobileGoNogo-modellen var bättre i alla mätvärden utom i upplösningen, där den var betydligt lägre än någon annan modell. Vi drar slutsatsen att den nya modellen erbjuder en genomförbar lösning för icke-kritiska tillämpningar med låg upplösning.

Block partitioning is a computationally heavy step in the video coding process. Previously, this stage has been done using a full-search-esque algorithm. Recently, Artificial Neural Networks (ANN) approaches to speed-up block partitioning in encoders compliant to the Versatile Video Coding (VVC) standard have shown to significantly decrease the time needed for block partitioning. In this degree project, a state of the art Convolutional Neural Network (CNN) was ported to VTM16. It was ablated into 7 new models which were trained and tested. The eects of the ablations were compared and discussed with respect to the number of Multiply-Accumulate operations (MAC) a model required, the speed-up in the encoding stage as well as the quality of the encoding. The results show that the number of MACs can be substantially decreased from that of the state of the art model while having low negative eects on the quality of the encoding. Furthermore, the results show that the two tested approaches of reducing the computational complexity of the model were eective. Those were: 1) reducing the image’s resolution earlier in the model. 2) reducing the number of features in the beginning layers. The results point towards the first approach being more eective. / Blockpartitionering är ett beräkningstungt steg i videokodningsprocessen. Tidigare har detta gjorts genom att använda en algoritm i fullsökningsstil. Nyligen har artificiella neurala nätverk (ANN) visats vara eektiva för att minska tidsåtgången för blockpartitioneringen i enkodare som följer Versatile Video Coding-standarden (VVC). I detta examensarbete har en framgångsrik Convolutional Neural Networkmodell (CNN) portats till VTM16. Stegvisa ändringar på denna modell har gjorts för att ta fram sju modeller som tränades och testades. Eekten av ändringarna på ursprungsmodellen jämfördes och diskuterades med hänsyn till antalet Multiply-Accumulate-operationer (MAC) som respektive modell krävde, deras påverkan på tidsåtgången samt deras påverkan på kvalitén av kodningen. Resultaten visar att antalet MACs kan minskas betydligt utan att betydelsefullt minska kvalitén på kodningen. Resultaten visar att de båda testade tillvägagångssätt för att minska beräkningskomplexiteten var eektiva. Tillvägagångssätten var 1) minska bildens upplösning i ett tidigare skede i modellen. 2) minska antalet kanaler i de tidigare lagren. Resultaten pekar mot att det första tillvägagångssättet är mer eektivt.

CSAW-M is a dataset that contains about 10 000 x-ray images created from mammograms. Mammograms are used to identify patients with breast cancer through a screening process with the goal of catching cancer tumours early. Modern convolutional neural networks are very sophisticated and capable of identifying patterns nearly indistinguishable to humans. CSAW-M doesn’t contain images of active cancer tumours, rather, whether the patient will develop cancer or not. Classification tasks such as this are known to require large datasets for training, which is cumbersome to acquire in the biomedical domain. In this paper we investigate how classification performance of non-trivial classification tasks scale with the size of available annotated images. To research this, a wide range of data-sets are generated from CSAW-M, with varying sample size and cancer types. Three different convolutional neural networks were trained on all data-sets. The study showed that classification performance does increase with the size of the annotated dataset. All three networks generally improved their prediction on the supplied benchmarking dataset. However, the improvements were very small and the research question could not be conclusively answered. The primary reasons for this was the challenging nature of the classification task, and the size of the data-set. Further research is required to gain more understanding of how much data is needed to yield a usable model. / CSAW-M är ett dataset som innehåller ungefär 10 000 röntgenbilder skapade från ett stort antal mammografier. Mammografi används för att identifiera patienter med bröstcancer genom en screeningprocess med målet att fånga cancerfall tidigt. Moderna konvolutionella neurala nätverk är mycket sofistikerade och kan tränas till att identifiera mönster i bilder mycket bättre än människor. CSAW-M innehåller inga bilder av cancertumörer, utan istället data på huruvida patienten kommer att utveckla cancer eller inte. Klassificeringsuppgifter som denna är kända för att kräva stora datamängder för träning, vilket är svårt att införskaffa inom den biomedicinska domänen. I denna artikel undersöker vi hur klassificerings prestanda för svåra klassificeringsuppgifter skalar med storleken på tillgänglig annoterad data. För att undersöka detta, genererades ett antal nya dataset från CSAW-M, med varierande storleksurval och cancertyp. Tre olika konvolutionella neurala nätverk tränades på alla nya data-set. Studien visar att klassificeringsprestanda ökar med storleken på den annoterade datamängden. Alla tre nätverk förbättrade generellt sin klassificeringsprestanda desto större urval som gjordes från CSAW-M. Förbättringarna var dock små och den studerade frågan kunde inte besvaras fullständigt. De främsta anledningarna till detta var klassificeringsuppgiftens utmanande karaktär och storleken på det tillgängliga datat i CSAW-M. Ytterligare forskning krävs för att få mer förståelse för hur mycket data som behövs för att skapa en användbar modell.