Digitaliseringen medför ett allt större utbud av datoriserad teknik, med maskininlärning i framkanten. Allt ifrån industrirobotar till självkörande bilar kan dra nytta av maskininlärning för att fungera, men även andra komplexa problem kan lösas med maskininlärning. Ett problem med maskininlärning är dock energikostnaden av att träna stora modeller, varför effektivisering av modellerna och deras träning är aktuellt. I detta projekt utvecklas maskininlärningsmodeller av typen Convolutional Neural Network, som sedan används för att utföra objektklassificering på datasetet CIFAR-10, vilket består av 60 000 bilder i storleken 32x32 pixlar, tillhörande tio olika kategorier. Åtta olika modeller konstruerades med varierande antal konvolutionerande lager och maxbredd på de konvolutionerande lagerna, och olika aktiveringsfunktioner testades. Den modell som valdes ut som projektets slutprodukt består av åtta konvolutionerande lager med mellan 64 och 512 kanaler, vilket ger totalt 5,7 miljoner parametrar. Detta nätverk åstadkom en noggrannhet på 91% på 10 000 testbilder efter att det tränats i 120 epoker på datasetets 50 000 träningsbilder. Därefter kunde träningen av denna modell effektiviseras genom att tränas på endast hälften av träningsdatan, vilket resulterade i att träningstiden minskade från ca. 1 timme och 12 minuter till 40 minuter, samtidigt som accuracy sjönk med endast fyra procentenheter, till 87%.

I detta projekt utvecklas ett halvautonomt program för att spela kortspelet UNO med fysiska kort. Objektdetektering med Cannymetoden och kontursökning används för att hitta korten på spelplanen. Dessa kort klassificeras med avseende på valör av ett egendesignat neuronnät. För färgade kort bestäms sedan färgen med traditionell bildanalys. Utifrån klassificering av valör och färg väljer programmet ett giltigt drag och fungerar därmed som en spelare. Valörklassificeringens prestanda jämfördes med neuronnäten ResNet-18 och SqueezeNet, medan färgigenkänningens prestanda enbart jämfördes med SqueezeNet. Klassificering av valör sker cirka fem respektive tre gånger snabbare i det egendesignade neuronnätet än i ResNet-18 respektive SqueezeNet. Dessutom är färgigenkänningen med traditionell bildanalys cirka 600 gånger snabbare än SqueezeNet. Vårt program har dock en riktighet på cirka 99% vid klassificering av valör och färg, vilket var lägre än riktigheten för ResNet-18 och SqueezeNet.

IoT-enheter blir allt populärare i takt med att de blir kraftfullare och skalbara. Därför var det viktigt att undersöka prestandan hos IoT-enheter när det kommer till maskininlärning. Huvudsyftet med detta arbete är att implementera två maskininlärningsmodeller på en bärbar dator och en Raspberry Pi 4 för att bestämma vilka maskininlärningsuppgifter som kan utföras på dessa enheter genom att sätta upp scenarier där vi kan testa låg-, medel- och högkrävande maskininlärning uppgifter på båda enheterna, som också möjliggör noggrann mätning. En bärbar dator användes som referenspunkt för att se om Raspberry Pi 4 kan prestera bra jämfört med en modern bärbar dator när de utför maskininlärningsuppgifter. Tensorflow valdes att användas för att implementera de två maskininlärningsmodellerna och för att mäta processen. Noggrannheten och träningstiden mättes för att bestämma prestandan för modellerna på de två enheterna. Tre datauppsättningar valdes ut för att användas för att träna och testa modellerna på de två enheterna, dessa datauppsättningar innehöll bilder, den första datauppsättningen bestod av mycket små bilder, och den andra bestod av lite större bilder, den sista datauppsättningen bestod av ännu större bilder, detta gjordes för att testa tre olika svårighetsgrader för modellerna på de två olika enheterna. Efter att träningen och utvärdering av modellerna slutförts på båda enheterna med hjälp av de tre datauppsättningarna analyserades de resulterande mätningarna och diskuterades sedan för att nå en slutsats. Slutsatsen från detta arbete var att endast lågnivåmaskininlärningsuppgifter är ett gångbart alternativ nu på grund av den extrema tid som krävs för att träna modellen för bildklassificering, men om tiden inte är en viktig faktor, skulle Raspberry Pi 4 efter en lång tid fortfarande uppnå samma noggrannhet som den bärbara datorn gjorde. / IoT devices are becoming increasingly popular as they are becoming more powerful and scalable. Therefor it was important to examine the potential of IoT devices when it comes to Machine Learning. The main objective of this work is to implement two machine learning models on a laptop and a Raspberry Pi 4 to determine what machine learning tasks that can be performed on these devices by setting up scenarios where we can test low, mid and high demanding machine learning tasks on both devices that also allows for accurate measurement being taken. A laptop was used a reference point to see if the Raspberry Pi 4 can perform well relative to a modern-day laptop when performing machine learning tasks. Tensorflow was chosen to be used to implement the two machine learning models and to measure the process. The accuracy and training time were measured to determine the performance of the models on the two devices. Three datasets were chosen to be used for training and testing the models on the two devices, these datasets contained images, the first dataset consisted of very tiny images, and the second one consisted of slightly larger images, the last dataset consisted of very large images, this was done to test three different levels of difficulty for the models. After training and evaluation of the models were completed on both devices using the three datasets, the resulting measurements were analyzed and then discussed to reach the conclusion. The conclusion from this work was that only low-tier machine learning tasks are a viable option now because of the extreme amount of time required to train the model for image classification, however if time isn’t an important factor, the Raspberry Pi 4 would after a long time still reach the same accuracy as the laptop did.

Ansiktsigenkänning med hjälp av maskininlärning är ett växande område och används i många sammanhang i dagens samhälle, till exempel som autentiseringsmetod i mobiltelefoner. De flesta system för ansiktsigenkänning har haft stor budget och starka utvecklare bakom sig, men går det att skapa ett fungerande system med begränsade resurser och datamängd? Det här projektet undersöker hur mycket data som krävs för att producera en fungerande ansiktsautentiseringssmodul för kontorsmiljö baserad på bildklassificering. I projektet används ett förtränat Convolutional Neural Network (ResNet34), data som är insamlad med hjälp av uppdragsgivaren samt en bilddatabas från NVIDIA. Resultaten visar att mängden data som krävs för att producera en tillförlitlig modell troligtvis överstiger den mängd som är rimlig att samla in från användaren. / Face recognition using machine learning is a changing field and is used in many contexts in today’s society, for example as an authentication method in mobile phones. Most face recognition systems have had large budgets and strong developers behind them, but is it possible to create a working system with a limited amount of resourses and data? This project investigates how much data is required to produce a working face recognition module for an office environment based on image classification. This project used a pretrained Convolutional Neural Network (ResNet34), data collected with the help of the client, and an image database from NVIDIA. The results show that the amount of data required to produce and reliable model probably exceeds the amount that is reasonable to collect from the user.

Det här arbetet har undersökt om det är möjligt att klassificera bilder tagna av åtelkameror med hjälp av olika bildklassificeringsmetoder inom deep learning. Anledningen till att bilder från åtelkameror undersöktes, var på grund projektet ”Åtelkameror som verktyg för viltuppskattningar” vilket samlar in data och för statistik över främst älgbeståndet inom Gävleborgsregionen med hjälp av åtelkameror. Det undersöktes därför hur bildklassificering med neurala nätverk kunde användas för att automatisk klassificera bilder utifrån följande klassificeringsdomäner: är det ett djur på bilden?, vilka djurarter är på bilden?, om djuret är en älg är den då vuxen eller juvenil?   De bildklassificeringsmetoder som undersöktes var binärklassificering och objektdetektering. Binärklassificering användes för klassificeringsdomäner är det ett djur på bilden, objektdetektering användes för klassificeringsdomäner vilka djurarter är i bilden. Både binärklassificering och objektdetektering användes för att skilja en vuxen älg från en juvenil älg.  Resultaten för binärklassificeringen visade att ResNet generellt klassificerade bilder bättre än VGG-16, när det skulle avgöras om bilden innehöll ett djur eller inte. För att klassificera älgar som var vuxna eller juvenila så presterade VGG-16 och ResNet-101 bäst. Resultaten för objektdetekteringen visade generellt att YOLOv3 presterade bättre än YOLOv3-tiny, det gick även att se att båda neurala nätverken presterade bättre när de tränades med färre klasser. När tränings- och testdataseten delades upp så att träningsbilderna och testbilder kom från olika kameror så noterades en minskning av resultateten för både objektdetektering och binärklassificering.

Micronic Mydata AB utvecklar och tillverkar maskiner för att automatisk montera elektroniska komponenter på kretskort, s.k. ”Pick and place” (PnP) maskiner. Komponenterna blir lokaliserade och inspekterade optiskt innan de monteras på kretskorten, för att säkerhetsställa att de monteras korrekt och inte är skadade. En komponent kan t.ex. plockas på sidan, vertikalt eller missas helt. Det nuvarande systemet räknar ut uppmätta parametrar så som: längd, bredd och kontrast.Projektet syftar till att undersöka olika maskininlärningsmetoder för att klassificera felaktiga plock som kan uppstå i maskinen. Vidare skall metoderna minska antalet defekta komponenter som monteras samt minska antalet komponenter som felaktigt avvisas. Till förfogande finns en databas innehållande manuellt klassificerade komponenter och tillhörande uppmätta parametrar och bilder. Detta kan användas som träningsdata för de maskininlärningsmetoder som undersöks och testas. Projektet skall även undersöka hur dessa maskininlärningsmetoder lämpar sig allmänt i mekatroniska produkter, med hänsyn till problem så som realtidsbegräsningar.Fyra olika maskininlärningsmetoder har blivit utvärderade och testade. Metoderna har blivit utvärderade för ett test set där den nuvarande metoden presterar mycket bra. Dels har de nuvarande parametrarna använts, samt en alternativ metod som extraherar parametrar (s.k. SIFT descriptor) från bilderna. De nuvarande parametrarna kan användas tillsammans med en SVM eller ett ANN och uppnå resultat som reducerar defekta och monterade komponenter med upp till 64 %. Detta innebär att dessa fel kan reduceras utan att uppgradera de nuvarande bildbehandlingsalgoritmerna. Genom att använda SIFT descriptor tillsammans med ett ANN eller en SVM kan de vanligare felen som uppstår klassificeras med en noggrannhet upp till ca 97 %. Detta överstiger kraftigt de resultat som uppnåtts när de nuvarande parametrarna har använts. / Micronic Mydata AB develops and builds machines for mounting electronic component onto PCBs, i.e. Pick and Place (PnP) machines. Before being mounted the components are localized and inspected optically, to ensure that the components are intact and picked correctly. Some of the errors which may occur are; the component is picked sideways, vertically or not picked at all. The current vision system computes parameter such as: length, width and contrast.The project strives to investigate and test machine learning approaches which enable automatic error classification. Additionally the approaches should reduce the number of defect components which are mounted, as well as reducing the number of components which are falsely rejected. At disposal is a large database containing the calculated parameters and images of manually classified components. This can be used as training data for the machine learning approaches. The project also strives to investigate how machine learning approaches can be implemented in mechatronic systems, and how limitations such as real-time constraints could affect the feasibility.Four machine learning approaches have been evaluated and verified against a test set where the current implementation performs very well. The currently calculated parameters have been used as inputs, as well as a new approach which extracts (so called SIFT descriptor) parameters from the raw images. The current parameters can be used with an ANN or a SVM and achieve results which reduce the number of poorly mounted components by up to 64 %. Hence, these defects can be decreased without updating the current vision algorithms. By using SIFT descriptors and an ANN or a SVM the more common classes can be classified with accuracies up to approximately 97 %. This greatly exceeds results achieved when using the currently computed parameters.

Because of Machine Learning, machines have become extremely good at image classification in near real time. With using significant training data, powerful machines can be trained to recognize images as good as any human would. Till now the norm has been to have pictures sent to a server and have the server recognize them. With increasing number of sensors the trend is moving towards edge computing to curb the increasing rate of data transfer and communication bottlenecks. The idea is to do the processing locally or as close to the sensor as possible and then only transmit actionable data to the server. While, this does solve plethora of communication problems, specially in industrial settings, it creates a new problem. The sensors need to do this computationally intensive image classification which is a challenge for embedded/wearable devices, due to their resource constrained nature. This thesis analyzes Machine Learning algorithms and libraries from the motivation of porting image classifiers to embedded devices. This includes, comparing different supervised Machine Learning approaches to image classification and figuring out which are most suited for being ported to embedded devices. Taking a step forward in making the process of testing and implementing Machine Learning algorithms as easy as their desktop counterparts. The goal is to ease the process of porting new image recognition and classification algorithms on a host of different embedded devices and to provide motivations behind design decisions. The final proposal goes through all design considerations and implements a prototype that is hardware independent. Which can be used as a reference for designing and then later porting of Machine Learning classifiers to embedded devices. / Maskiner har blivit extremt bra på bildklassificering i nära realtid. På grund av maskininlärning med kraftig träningsdata, kan kraftfulla maskiner utbildas för att känna igen bilder så bra som alla människor skulle. Hittills har trenden varit att få bilderna skickade till en server och sedan få servern att känna igen bilderna. Men eftersom sensorerna ökar i antal, går trenden mot så kallad "edge computing" för att stryka den ökande graden av dataöverföring och kommunikationsflaskhalsar. Tanken är att göra bearbetningen lokalt eller så nära sensorn som möjligt och sedan bara överföra aktiv data till servern. Samtidigt som detta löser överflöd av kommunikationsproblem, speciellt i industriella inställningar, skapar det ett nytt problem. Sensorerna måste kunna göra denna beräkningsintensiva bildklassificering ombord vilket speciellt är en utmaning för inbyggda system och bärbara enheter, på grund av sin resursbegränsade natur. Denna avhandling analyserar maskininlärningsalgoritmer och biblioteken från motivationen att portera generiska bildklassificatorer till inbyggda system. Att jämföra olika övervakade maskininlärningsmetoder för bildklassificering, utreda vilka som är mest lämpade för att bli porterade till inbyggda system, för att göra processen att testa och implementera maskininlärningsalgoritmer lika enkelt som sina skrivbordsmodeller. Målet är att underlätta processen för att portera nya bildigenkännings och klassificeringsalgoritmer på en mängd olika inbyggda system och att ge motivation bakom designbeslut som tagits och för att beskriva det snabbaste sättet att skapa en prototyp med "embedded vision design". Det slutliga förslaget går igenom all hänsyn till konstruktion och implementerar en prototyp som är maskinvaruoberoende och kan användas för snabb framtagning av prototyper och sedan senare överföring av maskininlärningsklassificatorer till inbyggda system.

I takt med att industri 4.0 sveper över dagens industrier så utvecklas tillämpningsområden inom artificiell intelligens (AI). En relativt nyfunnen tillämpning som vanligen benämns AI-vision eller Computer-vision, inom detta arbete har benämningen AI-vision valts. Tillämpningen handlar om att datorer och maskiner upprättas med förmågan att tolka visuellt innehåll.I och med detta tränas en intelligent modell som klarar av att fatta beslut utifrån visuell data, såsom bild och video. Inriktningen i arbetet belyser inom AI-Vision teknikerna objektdetektering och bildklassificering. Objektdetektering innebär att ett eller flera specifika objekt upptäcks från en bild av flera komplexa linjer och former. Tekniken används inom en rad olika tillämpningar såsom t.ex. robotnavigering och automatisk fordonsstyrning. Syftet med bildklassificering ibland kallat bildigenkänning, handlar om att klassificera och kategorisera bilden genom att identifiera och sortera väsentlig data. Detta i försök att konstatera vad bilden i sig föreställer. För att forma och rama in detta arbete på ett lämpligt sätt ämnas huvudsakliga målet med arbetet beskriva hur tekniker såsom objektdetektering och bildklassificerings-modeller konstrueras. Så även redogöra kring bakomliggande intelligens i modellerna, samt vilka verktyg och metoder som används för att skapa dessa modeller. Arbetet syftar även till att presentera presumtiva tillämpningar inom en stålindustri, därför kommer förslag till applikationer framföras. I resultatdelen av arbetet presenteras i huvudsak uppbyggnaden av en objekdetekteringsapplikation som hanterar personsäkerhet och i diskussionsdelen framhävs vidare förslag till applikationer. Detta avses lägga grund för eventuell implementation i verkliga produktionsutrustningar i framtiden. / As Industry 4.0 sweeps across today's industries, applications within artificial intelligence (AI) are developing. A relatively new application that is commonly called AI-vision or sometimes Computer-vision, in this study the term AI-vision is used. The application is about making computers and machines visually inclined. With this, an intelligent model is trained that can make decisions based on visual data, such as image and video. The orientation in this study within AI-Vision, is to highlight object detection and image classification. Object detection defines as follows, one or more specific objects are detected from an image of several complex lines and shapes. The technology is used in a variety of applications such as robot navigation and automatic vehicle control. The purpose of image classification, sometimes called image recognition, is to classify and categorize the image by identifying and sorting essential data. This in attempt to ascertain what the image itself represents. In order to frame this work in an appropriate way, the main quest of this thesis is to describe how techniques such as Object Detection and Image Classification models are constructed. Explain the underlying intelligence in the models as well as what tools and methods are used to create these models. As the thesis also alludes to present prospective applications in a steel industry, proposals of specific applications will be presented. The results section mainly presents an Object Detection application that handles personal safety and drafts to applications is presented in the discussion section. This work intends to contribute for possible implementation in production equipment in the future.

While deep learning has proved to be useful in a large variety of tasks, a limitation remains of needing all classes and samples to be present at the training stage in supervised problems. This is a major issue in the field of biomedical imaging since keeping samples in the training sets consistently is often a liability. Furthermore, this issue prevents the simple updating of older models with only the new data when it is introduced, and prevents collaboration between companies. In this work, we examine an array of Continual Learning approaches to try to improve upon the baseline of the naive finetuning approach when retraining on new tasks, and achieve accuracy levels similar to the ones seen when all the data is available at the same time. Continual learning approaches with which we attempt to mitigate the problem are EWC, UCB, EWC Online, SI, MAS, CN-DPM. We explore some complex scenarios with varied classes being included in the tasks, as well as close to ideal scenarios where the sample size is balanced among the tasks. Overall, we focus on X-ray images, since they encompass a large variety of diseases, with new diseases requiring retraining. In the preferred setting, where classes are relatively balanced, we get an accuracy of 63.30 versus a baseline of 53.92 and the target score of 66.83. For the continued training on the same classes, we get an accuracy of 35.52 versus a baseline of 27.73. We also examine whether learning rate adjustments at task level improve accuracy, with some improvements for EWC Online. The preliminary results indicate that CL approaches such as EWC Online and SI could be integrated into radiography data learning pipelines to reduce catastrophic forgetting in situations where some level of sequential training ability justifies the significant computational overhead. / Även om djupinlärning har visat sig vara användbart i en mängd olika uppgifter, kvarstår en begränsning av att behöva alla klasser och prover som finns på utbildningsstadiet i övervakade problem. Detta är en viktig fråga inom området biomedicinsk avbildning eftersom det ofta är en belastning att hålla prover i träningsuppsättningarna. Dessutom förhindrar det här problemet enkel uppdatering av äldre modeller med endast nya data när de introduceras och förhindrar samarbete mellan företag. I det här arbetet undersöker vi en rad kontinuerliga inlärningsmetoder för att försöka förbättra baslinjen för den naiva finjusteringsmetoden vid omskolning på nya uppgifter och närma sig noggrannhetsnivåer som de som ses när alla data är tillgängliga samtidigt. Kontinuerliga inlärningsmetoder som vi försöker mildra problemet med inkluderar bland annat EWC, UCB, EWC Online, SI. Vi utforskar några komplexa scenarier med olika klasser som ingår i uppgifterna, samt nära idealiska scenarier där exempelstorleken balanseras mellan uppgifterna. Sammantaget fokuserar vi på röntgenbilder, eftersom de omfattar ett stort antal sjukdomar, med nya sjukdomar som kräver omskolning. I den föredragna inställningen får vi en noggrannhet på 63,30 jämfört med en baslinje på 53,92 och målpoängen på 66,83. Medan vi för den utökade träningen på samma klasser får en noggrannhet på 35,52 jämfört med en baslinje på 27,73. Vi undersöker också om justeringar av inlärningsfrekvensen på uppgiftsnivå förbättrar noggrannheten, med vissa förbättringar för EWC Online. De preliminära resultaten tyder på att CL-metoder som EWC Online och SI kan integreras i rörledningar för röntgendatainlärning för att minska katastrofal glömska i situationer där en viss nivå av sekventiell utbildningsförmåga motiverar den betydande beräkningskostnaden.

Illegal gold mining in the Amazon forest has increased dramatically since 2005 with the rise in the price of gold. The use of chemicals such as mercury, which facilitate the gold extraction, increases the toxicity of the soil and can enter the food chain, leading to health problems for the inhabitants, and causes the environmental scourge we know today. In addition, the massive increase in these activities favours deforestation and impacts on protected areas such as indigenous areas and natural reserves. Organisations and governments from Peru, Brazil and French Guyana in particular, are trying to regulate these activities, but the area to cover being very large, by the time illegal exploitation is detected it is often too late to react. The idea of this thesis is to evaluate whether it is possible to automate the task of detecting these illegal gold mines using open satellite images and deep learning. In order to answer this question, this report includes the creation of new datasets, as well as the evaluation of two techniques which are object detection using RetinaNet and semantic segmentation using U-Net. The influence of image spectral bands is also studied in this thesis. The numerous trained models are all evaluated using the Dice Coefficient and Intersection over Union metrics, and each comparison is supported by the statistical sign-test. The report shows the superiority of the segmentation model for the binary classification of illegal mines. However, it is suggested to first use RetinaNet to find out more precisely whether the mine is legal or illegal, and then to use U-Net if the mine is illegal in order to make a more precise segmentation. It also shows and illustrates the importance of using the right image spectral bands which greatly increases the accuracy of the models. / Den illegala guldutvinningen i Amazonas har ökat dramatiskt sedan 2005 i och med att guldpriset stigit. Användningen av kemikalier, exempelvis kvicksilver, underlättar guldutvinningen men ökar giftigheten i marken och kan komma in i näringskedjan. Detta leder till hälsoproblem för invånarna och orsakar det miljöplågeri som vi känner till i dag. Dessutom leder den massiva ökningen av dessa verksamheter till ytterligare avskogning i skyddade områden, vilket exempelvis påverkar ursprungsområden och naturreservat. Organisationer och regeringar i Peru, Brasilien och Franska Guyana försöker att reglera denna verksamhet, men eftersom det område som ska täckas är mycket stort är det ofta för sent att agera när olaglig exploatering upptäcks. Syftet med denna avhandling är att utvärdera om det är möjligt att automatisera uppgiften att upptäcka dessa illegala guldgruvor med hjälp av öppna satellitbilder och djup inlärning. För att besvara denna fråga omfattar denna rapport skapandet av nya datamängder samt utvärderingen av två tekniker som är objektsdetektering med hjälp av RetinaNet och semantisk segmentering med hjälp av U-Net. Inflytandet av bildens spektralband studeras också i denna avhandling. De tränade modellerna utvärderas alla med hjälp av Dice-koefficienten och Intersection over Union-måtten, och varje jämförelse stöds av det statistiska sign-testet. Rapporten visar att segmenteringsmodellen är extremt överlägsen när det gäller binär klassificering av illegala gruvor. Det föreslås dock att man först använder RetinaNet för att mer exakt ta reda på om gruvan är laglig eller olaglig, och sedan använder U-Net om gruvan är olaglig för att göra en mer exakt segmentering. Rapporten visar och illustrerar också vikten av att använda rätt bildspektralband, vilket ökar modellernas noggrannhet avsevärt