One of every eight women will in their lifetime suffer from breast cancer, making it the most common type of cancer for women. A successful treatment is very much dependent on identifying metastatic tissue which is cancer found beyond the initial tumour. Using deep learning within biomedical analysis has become an effective approach. However, its success is very dependent on large datasets. Data augmentation is a way to enhance datasets without requiring more annotated data. One way of doing this is using the cutout method which masks parts of an input image. Our research focused on investigating how the cutout method could improve the performance of Convolutional Neural Networks for classifying metastatic tissue on the Patch Camelyon dataset. Our research showed that improvements in performance can be achieved by using the cutout method. Further, our research suggests that using a non label- preserving version of cutout is better than a label- preserving version. The most improvement in accuracy was seen when we used a randomly sized cutout mask. The experiment resulted in an increase in accuracy by 3.6%, from the baseline of 82,3% to 85.9%. The cutout method was also compared- and used in conjunction with other well- established data augmentation techniques. Our conclusion is that cutout can be a competitive form of data augmentation that can be used both with and without other data augmentation techniques. / Var åttonde kvinna drabbas under sin livstid av bröstcancer. Detta gör det till den vanligaste formen av cancer för kvinnor. En framgångsrik behandling är beroende av att kunna identifiera metastatisk vävnad, vilket är cancer som spridit sig bortom den ursprungliga tumören. Att använda djupinlärning inom biomedicinsk analys har blivit en effektiv metod. Dock är dess framgång väldigt beroende av stora datamängder. Dataförstärkning är olika sätt att förbättra en mängd data som inte innebär att addera ytterligare annoterad data. Ett sätt att göra detta är genom den en metod som kallas Cutout som maskar en del av en bild. Vår studie undersöker hur Cutout påverkar resultatet när Convolutional Neural Networks klassificerar huruvida bilder från datasetet Patch Camelyon innehåler metastaser eller inte. Vår studie visar att användandet av Cutout kan innebära förbättringar i resultatet. Dessutom tyder vår studie på att resultatet förbättras än mer om även delen av bilden som kan innehålla metastaser kan maskas ut. Den största förbättringen i resultatet var när maskningen var av varierande storlek från bild till bild. Resultatet förbättrades från 82.3% korrekta klassifikationer utan någon dataförstärkning till 85.9% med den bästa versionen av Cutout. Cutout jämfördes också, och användas tillsammans med, andra väletablerade dataförstärkningsmetoder. Vår slutsats är att Cutout är en dataförstärkningsmetod med potentital att vara användbar såväl med som utan andra dataförstärkningsmetoder.

No description available.

No description available.

Machine learning has achieved great success in recent years, especially the deep learning algorithms based on Artificial Neural Network. However, high performance and large memories are needed for these models , which makes them not suitable for IoT device, as IoT devices have limited performance and should be low cost and less energy-consuming. Therefore, it is necessary to optimize the deep learning models to accommodate the resource-constrained IoT devices. This thesis is to seek for a possible solution of optimizing the ANN models to fit into the IoT devices and provide a hardware implementation of the ANN accelerator on FPGA. The contribution of this thesis mainly lies in two aspects: 1). analyze the sparsity in the two mainstream deep learning models – DBN and CNN. The DBN model consists of two hidden layers with Restricted Boltzmann Machines while the CNN model consists of 2 convolutional layers and 2 sub-sampling layer. Experiments have been done on the MNIST data set with the sparsity of 75%. The ratio of the multiplications resulting in near-zero values has been tested. 2). FPGA implementation of an ANN accelerator. This thesis designed a hardware accelerator for the inference process in ANN models on FPGA (Stratix IV: EP4SGX530KH40C2). The main part of hardware design is the processing array consists of 256 Multiply-Accumulators array, which can conduct multiply-accumulate operations of 256 synaptic connections simultaneously. 16-bit fixed point computation is used to reduce the hardware complexity, thus saving power and area. Based on the evaluation results, it is found that the ratio of the multiplications under the threshold of 2-5 is 75% for CNN with ReLU activation function, and is 83% for DBN with sigmoid activation function, respectively. Therefore, there still exists large space for complex ANN models to be optimized if the sparsity of data is fully utilized. Meanwhile, the implemented hardware accelerator is verified to provide correct results through 16-bit fixed point computation, which can be used as a hardware testing platform for evaluating the ANN models.

Artificiell intelligens, även kallat AI, har länge varit ett aktuellt ämne. Idag genomsyras hela samhället av artificiell intelligens, allt ifrån sökmotorer, servicetjänster, självkörande bilar till verktyg för att underlätta vissa arbeten. För allt detta så finns det mängder av olika neurala nätverk att välja mellan för att lösa olika problem. Men hur vet man vilket nätverk som fungerar bäst för sin uppgift?  Målet med arbetet är att hitta en modell med högst noggrannhet i ett jämförande experiment. För att göra en rättvis bedömning togs en metod för att jämföra modeller inom objektdetektering med hög tillförlitlighet fram genom en litteraturstudie.  I litteraturstudien extraherades data från andra jämförande studier och sammanställdes i en så kallad jämförelsemodell som beskriver de viktigaste faktorerna att ta hänsyn till när man jämför modeller. Jämförelsemodellen visar att kända dataset bör användas, mätvärdena recall, precision och F1 är de mest pålitliga och man bör motivera alla sina val då det ökar tillförlitligheten och validiteten. Därefter applicerades jämförelsemodellen i ett demonstrerande experimentet som använde sig av neurala nätverk (CNN) där två modeller Multi-Task Cascaded Convolutional Neural Network (MTCNN) och You Only Look Once (YOLOv3) tränades och testades med samma dataset. Resultatet visade att modellen YOLOv3 gav bäst resultat.

Unmanned aerial vehicles (UAVs) with high-resolution cameras are common in today’s society. Industries, such as the forestry industry, use drones to get a fast overview of tree populations. More advanced sensors, such as near-infrared light or depth data, can increase the amount of information that UAV images provide, providing information about the forest, such as; tree quantity or forest health. However, the fast-expanding field of deep learning could help expand the information acquired using only RGB cameras. Three deep learning models, FasterR-CNN, RetinaNet, and YOLOR were compared to investigate this. It was also investigated if initializing the models using transfer learning from the MS COCO dataset could increase the performance of the models. The dataset used was Swedish Forest Agency (2021): Forest Damages-Spruce Bark Beetle 1.0 National Forest Data Lab and drone images provided by IT-Bolaget Per & Per. The deep learning models were to detect five different tree species; spruce, pine, birch, aspen, and others. The results show potential for the usage of deep learning to detect tree species in images from UAVs. / Obemannade drönare med högupplösta kameror är vanliga i dagens samhälle. Branscher, så som skogsindustrin, kan använda sig av sådana drönare för att få en snabb översikt över ett skogsområde.Mer avancerade sensorer, som använder nära-infrarött ljus eller djupdata, kan öka mängden information som drönarna kan samla in, information såsom; trädmängd eller data om skogens hälsa. Det snabbt växande området djup-maskinlärning kan dock hjälpa till att utöka informationen som kan extraheras vid användning av endast RGB-kameror. Tre modeller för djupinlärning, Faster R-CNN, RetinaNet och YOLOR, jämfördes för att undersöka detta. Det undersöktes också om initiering med för-tränade vikter, med överföringsinlärning från datasetet MS COCO, skulle kunna öka modellernas prestanda. Datasetet som användes var Skogsstyrelsen (2021): Skogsskador-Granbarkborre1.0 Nationell Forest Data Lab samt drönarbilder tillhandahållna av IT-Bolaget Per & Per. Det tredjupinlärnings-modellerna skulle detektera fem olika trädarter: gran, tall, björk, asp, och övrigt.Resultaten visar potential för användning av djupinlärning för att upptäcka trädarter i bilder från drönare.

This study is about a small experiment using CNNmodels to see how well they differentiate between dolls andhumans. The experiment used two different kinds of CNNmodels one which was built after a classic model and one morerudimental model. The models were tested on how accuratelythey predicted the right answer. The experiment was a threeclassedproblem and had a set of different parameters to testwhat would make it harder for the system to classify the imagescorrectly. The original images were digitally enhanced to testdifferent conditions. The models were tested on a dataset withnegative images of the original images, one set with highercontrast than the original, one set with different light conditions,one set with higher brightness and three different levels of lowresolution on the images. The study concludes that brightness andlighting are the two most difficult conditions. The contours in theimage are the most important part for successful classification. / Studien är på ett litet experiment med CNNmodellerför att se hur väl de skiljer mellan dockor ochmänniskor. Experimentet använder två olika typer av CNNmodeller,en som byggdes efter en klassisk modell och en merrudimentär modell. Modellerna testades på hur exakt de kanbestämma de olika klasserna. Experimentet var ett treklassproblem och bilderna testades med olika typer av förhållanden,för att se vad som skulle göra det svårare för modellen attklassificera bilderna korrekt. Original bilderna gjordes om föratt studera olika typer av förhållanden. Modellerna testades på ett dataset med negativa bilder av originalbilderna, enuppsättning med högre kontrast än originalet, en uppsättningmed olika ljusförhållanden, en uppsättning med högre ljusstyrkaoch tre olika nivåer med låg upplösning av bilderna. I studiendrogs slutsatsen att ljusstyrka och belysning är de två svårasteförhållandena. Konturerna på objekten i bilden är den viktigastefaktorn för en framgångsrik klassificering. / Kandidatexjobb i elektroteknik 2021, KTH, Stockholm

Human activity recognition (HAR) is a growing area within machine learning as the possible applications are vast, especially with the growing amount of collectable sensor data as Internet of Things-devices are becoming more accessible. This project aims to contribute to HAR by developing two supervised machine learning algorithms that are able to distinguish between four different human activities. We collected data from the tri-axial accelerometer in two different smartphones while doing these activities, and put together a dataset. The algorithms that were used was a convolutional neural network (CNN) and a support vector machine (SVM), and they were applied to the dataset separately. The results show that it is possible to accurately classify the activities using the algorithms and that a short time window of 3 seconds is enough to classify the activities with an accuracy of over 99% with both algorithms. The SVM outperformed the CNN slightly. We also discuss the result and continuations of this study. / Mlinsklig aktivitetsigenkanning (HAR) lir ett vlixande omrade inom maskininllirning da de mojliga applikationerna lir stora, speciellt med den vlixande mangd insamlingsbar sensordata da Internet of Things-enheter blir mer atkomliga. Detta projekt siktar pa att bidra till HAR genom att utveckla tva algoritmer som kan urskilja mellan fyra olika mlinskliga aktiviteter. Vi samlade in data fran den treaxlade accelerometern i tva olika smarta telefoner medans dessa aktiviteter utfordes, och satte ihop ett dataset. Algoritmerna som anvlindes var ett faltande neuralt nlitverk och en stodvektormaskin, och de applicerades separat pa datasetet. Resultaten visar att det lir mojligt att med slikerhet klassificera aktiviteterna genom att anvlinda dessa algoritmer och att ett kort tidsfonster med 3 sekunder av data lir tillrlickligt for att klassificera med en slikerhet pa over 99% med bada algoritmerna. Stodvektormaskinen presterade nagot blittre an det neurala nlitverket. Vi diskuterar liven resultatet och fortsatta studier. / Kandidatexjobb i elektroteknik 2021, KTH, Stockholm

Nowadays inspections of civil engineering structures are performed manually at close range to be able to assess damages. This requires specialized equipment that tends to be expensive and to produce closure of the bridge. Furthermore, manual inspections are time-consuming and can often be a source or risk for the inspectors. Moreover, manual inspections are subjective and highly dependent on the state of mind of the inspector which reduces the accuracy of this kind of inspections. Image-based inspections using cameras or unmanned aerial vehicles (UAV) combined with image processing have been used to overcome the challenges of traditional manual inspections. This type of inspection has also been studied with the use of machine learning algorithms to improve the detection of damages, in particular cracks. This master’s thesis presents an approach that combines different aspects of the inspection, from the data acquisition, through the crack detection to the quantification of essential parameters. To do this, both digital cameras and a UAV have been used for data acquisition. A convolutional neural network (CNN) for the identification of cracks is used and subsequently, different quantification methods are explored to determine the width and length of the cracks. The results are compared with control measures to determine the accuracy of the method. The results present low to no false negatives when using the CNN to identify cracks. The quantification of the identified cracks is performed obtaining the highest accuracy estimation for 0.2mm cracks.

No description available.