Digitaliseringen medför ett allt större utbud av datoriserad teknik, med maskininlärning i framkanten. Allt ifrån industrirobotar till självkörande bilar kan dra nytta av maskininlärning för att fungera, men även andra komplexa problem kan lösas med maskininlärning. Ett problem med maskininlärning är dock energikostnaden av att träna stora modeller, varför effektivisering av modellerna och deras träning är aktuellt. I detta projekt utvecklas maskininlärningsmodeller av typen Convolutional Neural Network, som sedan används för att utföra objektklassificering på datasetet CIFAR-10, vilket består av 60 000 bilder i storleken 32x32 pixlar, tillhörande tio olika kategorier. Åtta olika modeller konstruerades med varierande antal konvolutionerande lager och maxbredd på de konvolutionerande lagerna, och olika aktiveringsfunktioner testades. Den modell som valdes ut som projektets slutprodukt består av åtta konvolutionerande lager med mellan 64 och 512 kanaler, vilket ger totalt 5,7 miljoner parametrar. Detta nätverk åstadkom en noggrannhet på 91% på 10 000 testbilder efter att det tränats i 120 epoker på datasetets 50 000 träningsbilder. Därefter kunde träningen av denna modell effektiviseras genom att tränas på endast hälften av träningsdatan, vilket resulterade i att träningstiden minskade från ca. 1 timme och 12 minuter till 40 minuter, samtidigt som accuracy sjönk med endast fyra procentenheter, till 87%.

I detta projekt utvecklas ett halvautonomt program för att spela kortspelet UNO med fysiska kort. Objektdetektering med Cannymetoden och kontursökning används för att hitta korten på spelplanen. Dessa kort klassificeras med avseende på valör av ett egendesignat neuronnät. För färgade kort bestäms sedan färgen med traditionell bildanalys. Utifrån klassificering av valör och färg väljer programmet ett giltigt drag och fungerar därmed som en spelare. Valörklassificeringens prestanda jämfördes med neuronnäten ResNet-18 och SqueezeNet, medan färgigenkänningens prestanda enbart jämfördes med SqueezeNet. Klassificering av valör sker cirka fem respektive tre gånger snabbare i det egendesignade neuronnätet än i ResNet-18 respektive SqueezeNet. Dessutom är färgigenkänningen med traditionell bildanalys cirka 600 gånger snabbare än SqueezeNet. Vårt program har dock en riktighet på cirka 99% vid klassificering av valör och färg, vilket var lägre än riktigheten för ResNet-18 och SqueezeNet.

IoT-enheter blir allt populärare i takt med att de blir kraftfullare och skalbara. Därför var det viktigt att undersöka prestandan hos IoT-enheter när det kommer till maskininlärning. Huvudsyftet med detta arbete är att implementera två maskininlärningsmodeller på en bärbar dator och en Raspberry Pi 4 för att bestämma vilka maskininlärningsuppgifter som kan utföras på dessa enheter genom att sätta upp scenarier där vi kan testa låg-, medel- och högkrävande maskininlärning uppgifter på båda enheterna, som också möjliggör noggrann mätning. En bärbar dator användes som referenspunkt för att se om Raspberry Pi 4 kan prestera bra jämfört med en modern bärbar dator när de utför maskininlärningsuppgifter. Tensorflow valdes att användas för att implementera de två maskininlärningsmodellerna och för att mäta processen. Noggrannheten och träningstiden mättes för att bestämma prestandan för modellerna på de två enheterna. Tre datauppsättningar valdes ut för att användas för att träna och testa modellerna på de två enheterna, dessa datauppsättningar innehöll bilder, den första datauppsättningen bestod av mycket små bilder, och den andra bestod av lite större bilder, den sista datauppsättningen bestod av ännu större bilder, detta gjordes för att testa tre olika svårighetsgrader för modellerna på de två olika enheterna. Efter att träningen och utvärdering av modellerna slutförts på båda enheterna med hjälp av de tre datauppsättningarna analyserades de resulterande mätningarna och diskuterades sedan för att nå en slutsats. Slutsatsen från detta arbete var att endast lågnivåmaskininlärningsuppgifter är ett gångbart alternativ nu på grund av den extrema tid som krävs för att träna modellen för bildklassificering, men om tiden inte är en viktig faktor, skulle Raspberry Pi 4 efter en lång tid fortfarande uppnå samma noggrannhet som den bärbara datorn gjorde. / IoT devices are becoming increasingly popular as they are becoming more powerful and scalable. Therefor it was important to examine the potential of IoT devices when it comes to Machine Learning. The main objective of this work is to implement two machine learning models on a laptop and a Raspberry Pi 4 to determine what machine learning tasks that can be performed on these devices by setting up scenarios where we can test low, mid and high demanding machine learning tasks on both devices that also allows for accurate measurement being taken. A laptop was used a reference point to see if the Raspberry Pi 4 can perform well relative to a modern-day laptop when performing machine learning tasks. Tensorflow was chosen to be used to implement the two machine learning models and to measure the process. The accuracy and training time were measured to determine the performance of the models on the two devices. Three datasets were chosen to be used for training and testing the models on the two devices, these datasets contained images, the first dataset consisted of very tiny images, and the second one consisted of slightly larger images, the last dataset consisted of very large images, this was done to test three different levels of difficulty for the models. After training and evaluation of the models were completed on both devices using the three datasets, the resulting measurements were analyzed and then discussed to reach the conclusion. The conclusion from this work was that only low-tier machine learning tasks are a viable option now because of the extreme amount of time required to train the model for image classification, however if time isn’t an important factor, the Raspberry Pi 4 would after a long time still reach the same accuracy as the laptop did.

Ansiktsigenkänning med hjälp av maskininlärning är ett växande område och används i många sammanhang i dagens samhälle, till exempel som autentiseringsmetod i mobiltelefoner. De flesta system för ansiktsigenkänning har haft stor budget och starka utvecklare bakom sig, men går det att skapa ett fungerande system med begränsade resurser och datamängd? Det här projektet undersöker hur mycket data som krävs för att producera en fungerande ansiktsautentiseringssmodul för kontorsmiljö baserad på bildklassificering. I projektet används ett förtränat Convolutional Neural Network (ResNet34), data som är insamlad med hjälp av uppdragsgivaren samt en bilddatabas från NVIDIA. Resultaten visar att mängden data som krävs för att producera en tillförlitlig modell troligtvis överstiger den mängd som är rimlig att samla in från användaren. / Face recognition using machine learning is a changing field and is used in many contexts in today’s society, for example as an authentication method in mobile phones. Most face recognition systems have had large budgets and strong developers behind them, but is it possible to create a working system with a limited amount of resourses and data? This project investigates how much data is required to produce a working face recognition module for an office environment based on image classification. This project used a pretrained Convolutional Neural Network (ResNet34), data collected with the help of the client, and an image database from NVIDIA. The results show that the amount of data required to produce and reliable model probably exceeds the amount that is reasonable to collect from the user.

Det här arbetet har undersökt om det är möjligt att klassificera bilder tagna av åtelkameror med hjälp av olika bildklassificeringsmetoder inom deep learning. Anledningen till att bilder från åtelkameror undersöktes, var på grund projektet ”Åtelkameror som verktyg för viltuppskattningar” vilket samlar in data och för statistik över främst älgbeståndet inom Gävleborgsregionen med hjälp av åtelkameror. Det undersöktes därför hur bildklassificering med neurala nätverk kunde användas för att automatisk klassificera bilder utifrån följande klassificeringsdomäner: är det ett djur på bilden?, vilka djurarter är på bilden?, om djuret är en älg är den då vuxen eller juvenil?   De bildklassificeringsmetoder som undersöktes var binärklassificering och objektdetektering. Binärklassificering användes för klassificeringsdomäner är det ett djur på bilden, objektdetektering användes för klassificeringsdomäner vilka djurarter är i bilden. Både binärklassificering och objektdetektering användes för att skilja en vuxen älg från en juvenil älg.  Resultaten för binärklassificeringen visade att ResNet generellt klassificerade bilder bättre än VGG-16, när det skulle avgöras om bilden innehöll ett djur eller inte. För att klassificera älgar som var vuxna eller juvenila så presterade VGG-16 och ResNet-101 bäst. Resultaten för objektdetekteringen visade generellt att YOLOv3 presterade bättre än YOLOv3-tiny, det gick även att se att båda neurala nätverken presterade bättre när de tränades med färre klasser. När tränings- och testdataseten delades upp så att träningsbilderna och testbilder kom från olika kameror så noterades en minskning av resultateten för både objektdetektering och binärklassificering.

Advancements in machine learning and artificial intelligence has created opportunities for vast improvements in the manufacturing sector. This study was conducted at a world-leading manufacturing company with the goal to assist in the development of a framework for application of machine learning in the company's operational workflow. Specifically, with the aim to investigate the potential benefits and pitfalls when utilizing machine learning to supervise a laser soldering process. This thesis analyzes and designs all the required steps for a machine learning approach for this specific manufacturing process. This included (1) image capturing, (2) preprocessing, (3) modelling, (4) testing and (5) functional tool. The thesis also discusses strategies for dealing with limitations posed by the industrial environment, for example unattainable process data and imbalanced datasets. In conclusion, it became evident that for a machine learning approach in an industrial setting it is crucial to understand the underlying process, the importance of a reliable data collection setup as well as the necessity of a proper framework. The thesis also proposes a sliding window approach as a preprocessing method for similar image classification tasks. / Framsteg inom maskininlärning och artificiell intelligens har banat vägen för omfattande förbättringar inom tillverkningsindustrin. Denna studie genomfördes på ett världsledande tillverkningsföretag för att stödja utvecklingen av ett ramverk kring hur maskininlärning kan appliceras inom deras operativa flöde. Syftet var specifikt att undersöka de potentiella fördelarna och fallgroparna med att utnyttja maskininlärning för övervakning av en laserlödningsprocess.  Denna rapport undersökte och konstruerade alla nödvändiga steg för hur maskininlärning kan appliceras på denna specifika produktionsprocess. Detta inkluderar (1) bildtagning, (2) dataförbehandling, (3) modellering, (4) testning och (5) slutgiltig implementation. Rapporten diskuterar även strategier för att hantera de begränsningar som uppstod på grund av den industriella miljön, till exempel otillgänglig processdata och obalanserad data.  Avslutningsvis, så var det uppenbart att förståelsen för den underliggande processen, vikten av en tillförlitlig anordning för datainsamlig samt behovet för ett tillbörligt ramverk för maskininlärning inom företaget är avgörande. Rapporten förslår även en "sliding window" ansats som preprocessering metod för liknade cases inom bildklassificering.

Micronic Mydata AB utvecklar och tillverkar maskiner för att automatisk montera elektroniska komponenter på kretskort, s.k. ”Pick and place” (PnP) maskiner. Komponenterna blir lokaliserade och inspekterade optiskt innan de monteras på kretskorten, för att säkerhetsställa att de monteras korrekt och inte är skadade. En komponent kan t.ex. plockas på sidan, vertikalt eller missas helt. Det nuvarande systemet räknar ut uppmätta parametrar så som: längd, bredd och kontrast.Projektet syftar till att undersöka olika maskininlärningsmetoder för att klassificera felaktiga plock som kan uppstå i maskinen. Vidare skall metoderna minska antalet defekta komponenter som monteras samt minska antalet komponenter som felaktigt avvisas. Till förfogande finns en databas innehållande manuellt klassificerade komponenter och tillhörande uppmätta parametrar och bilder. Detta kan användas som träningsdata för de maskininlärningsmetoder som undersöks och testas. Projektet skall även undersöka hur dessa maskininlärningsmetoder lämpar sig allmänt i mekatroniska produkter, med hänsyn till problem så som realtidsbegräsningar.Fyra olika maskininlärningsmetoder har blivit utvärderade och testade. Metoderna har blivit utvärderade för ett test set där den nuvarande metoden presterar mycket bra. Dels har de nuvarande parametrarna använts, samt en alternativ metod som extraherar parametrar (s.k. SIFT descriptor) från bilderna. De nuvarande parametrarna kan användas tillsammans med en SVM eller ett ANN och uppnå resultat som reducerar defekta och monterade komponenter med upp till 64 %. Detta innebär att dessa fel kan reduceras utan att uppgradera de nuvarande bildbehandlingsalgoritmerna. Genom att använda SIFT descriptor tillsammans med ett ANN eller en SVM kan de vanligare felen som uppstår klassificeras med en noggrannhet upp till ca 97 %. Detta överstiger kraftigt de resultat som uppnåtts när de nuvarande parametrarna har använts. / Micronic Mydata AB develops and builds machines for mounting electronic component onto PCBs, i.e. Pick and Place (PnP) machines. Before being mounted the components are localized and inspected optically, to ensure that the components are intact and picked correctly. Some of the errors which may occur are; the component is picked sideways, vertically or not picked at all. The current vision system computes parameter such as: length, width and contrast.The project strives to investigate and test machine learning approaches which enable automatic error classification. Additionally the approaches should reduce the number of defect components which are mounted, as well as reducing the number of components which are falsely rejected. At disposal is a large database containing the calculated parameters and images of manually classified components. This can be used as training data for the machine learning approaches. The project also strives to investigate how machine learning approaches can be implemented in mechatronic systems, and how limitations such as real-time constraints could affect the feasibility.Four machine learning approaches have been evaluated and verified against a test set where the current implementation performs very well. The currently calculated parameters have been used as inputs, as well as a new approach which extracts (so called SIFT descriptor) parameters from the raw images. The current parameters can be used with an ANN or a SVM and achieve results which reduce the number of poorly mounted components by up to 64 %. Hence, these defects can be decreased without updating the current vision algorithms. By using SIFT descriptors and an ANN or a SVM the more common classes can be classified with accuracies up to approximately 97 %. This greatly exceeds results achieved when using the currently computed parameters.

Because of Machine Learning, machines have become extremely good at image classification in near real time. With using significant training data, powerful machines can be trained to recognize images as good as any human would. Till now the norm has been to have pictures sent to a server and have the server recognize them. With increasing number of sensors the trend is moving towards edge computing to curb the increasing rate of data transfer and communication bottlenecks. The idea is to do the processing locally or as close to the sensor as possible and then only transmit actionable data to the server. While, this does solve plethora of communication problems, specially in industrial settings, it creates a new problem. The sensors need to do this computationally intensive image classification which is a challenge for embedded/wearable devices, due to their resource constrained nature. This thesis analyzes Machine Learning algorithms and libraries from the motivation of porting image classifiers to embedded devices. This includes, comparing different supervised Machine Learning approaches to image classification and figuring out which are most suited for being ported to embedded devices. Taking a step forward in making the process of testing and implementing Machine Learning algorithms as easy as their desktop counterparts. The goal is to ease the process of porting new image recognition and classification algorithms on a host of different embedded devices and to provide motivations behind design decisions. The final proposal goes through all design considerations and implements a prototype that is hardware independent. Which can be used as a reference for designing and then later porting of Machine Learning classifiers to embedded devices. / Maskiner har blivit extremt bra på bildklassificering i nära realtid. På grund av maskininlärning med kraftig träningsdata, kan kraftfulla maskiner utbildas för att känna igen bilder så bra som alla människor skulle. Hittills har trenden varit att få bilderna skickade till en server och sedan få servern att känna igen bilderna. Men eftersom sensorerna ökar i antal, går trenden mot så kallad "edge computing" för att stryka den ökande graden av dataöverföring och kommunikationsflaskhalsar. Tanken är att göra bearbetningen lokalt eller så nära sensorn som möjligt och sedan bara överföra aktiv data till servern. Samtidigt som detta löser överflöd av kommunikationsproblem, speciellt i industriella inställningar, skapar det ett nytt problem. Sensorerna måste kunna göra denna beräkningsintensiva bildklassificering ombord vilket speciellt är en utmaning för inbyggda system och bärbara enheter, på grund av sin resursbegränsade natur. Denna avhandling analyserar maskininlärningsalgoritmer och biblioteken från motivationen att portera generiska bildklassificatorer till inbyggda system. Att jämföra olika övervakade maskininlärningsmetoder för bildklassificering, utreda vilka som är mest lämpade för att bli porterade till inbyggda system, för att göra processen att testa och implementera maskininlärningsalgoritmer lika enkelt som sina skrivbordsmodeller. Målet är att underlätta processen för att portera nya bildigenkännings och klassificeringsalgoritmer på en mängd olika inbyggda system och att ge motivation bakom designbeslut som tagits och för att beskriva det snabbaste sättet att skapa en prototyp med "embedded vision design". Det slutliga förslaget går igenom all hänsyn till konstruktion och implementerar en prototyp som är maskinvaruoberoende och kan användas för snabb framtagning av prototyper och sedan senare överföring av maskininlärningsklassificatorer till inbyggda system.

Detta arbete syftar till att undersöka effektiviteten av federated learning (FL) för bildklassificering i decentraliserade databehandlingsmiljöer. Med den ökande mängden av datagenerering från mobil- och ‘edge computing’, särskilt bilddata, så finns ett behov av att förbättra metoderna för bildklassificering. Dessa metoder bör inte bara adressera de utmaningar som ställs av traditionella centraliserade djupinlärningsmodeller, utan även värna om integriteten, minska kommunikationskostnaderna och övervinna skalbarhetshinder. Federated learning erbjuder en lovande lösning som tillhandahåller en ram för modellträning över decentraliserade noder med fokus på datasekretess. Denna studie analyserar FL Förmåga att förbättra bildklassificering med dess distinkta metoder, jämför dess prestanda med konventionella modeller, och granskar dess vidare implikationer och begränsningar i praktiska, verkliga inställningar. Resultatet av denna studie visar att med lämplig hantering av brus kan FL-modeller uppnå jämförbar noggrannhet med traditionella metoder, där datasekretessen förbättras betydelsefull. Vilket demonstrerar en potential balans mellan prestanda och skydd av integritet i decentraliserade miljöer. / This study aims to explore the effectiveness of Federated Learning (FL) in image classification across decentralized computing environments. With the increasing amount of data generated from mobile and edge computing, particularly image data, there is a need to improve image classification methods that not only address the challenges posed by traditional centralized deep learning models but also respect privacy, reduce communication costs, and overcome scalability barriers. Federated Learning is a promising solution that offers a framework for model training across decentralized nodes with a focus on data privacy. This study analyzes FL's capabilities to enhance image classification using its distinct methodologies, compares its performance with conventional models, and examines its wider implications and limitations in practical, real-world settings. The result of the study indicates that with appropriate noise management, FL models can achieve comparable accuracy to traditional approaches while significantly enhancing data privacy. which demonstrates a potential balance between performance and privacy protection in decentralized environments.

I takt med att industri 4.0 sveper över dagens industrier så utvecklas tillämpningsområden inom artificiell intelligens (AI). En relativt nyfunnen tillämpning som vanligen benämns AI-vision eller Computer-vision, inom detta arbete har benämningen AI-vision valts. Tillämpningen handlar om att datorer och maskiner upprättas med förmågan att tolka visuellt innehåll.I och med detta tränas en intelligent modell som klarar av att fatta beslut utifrån visuell data, såsom bild och video. Inriktningen i arbetet belyser inom AI-Vision teknikerna objektdetektering och bildklassificering. Objektdetektering innebär att ett eller flera specifika objekt upptäcks från en bild av flera komplexa linjer och former. Tekniken används inom en rad olika tillämpningar såsom t.ex. robotnavigering och automatisk fordonsstyrning. Syftet med bildklassificering ibland kallat bildigenkänning, handlar om att klassificera och kategorisera bilden genom att identifiera och sortera väsentlig data. Detta i försök att konstatera vad bilden i sig föreställer. För att forma och rama in detta arbete på ett lämpligt sätt ämnas huvudsakliga målet med arbetet beskriva hur tekniker såsom objektdetektering och bildklassificerings-modeller konstrueras. Så även redogöra kring bakomliggande intelligens i modellerna, samt vilka verktyg och metoder som används för att skapa dessa modeller. Arbetet syftar även till att presentera presumtiva tillämpningar inom en stålindustri, därför kommer förslag till applikationer framföras. I resultatdelen av arbetet presenteras i huvudsak uppbyggnaden av en objekdetekteringsapplikation som hanterar personsäkerhet och i diskussionsdelen framhävs vidare förslag till applikationer. Detta avses lägga grund för eventuell implementation i verkliga produktionsutrustningar i framtiden. / As Industry 4.0 sweeps across today's industries, applications within artificial intelligence (AI) are developing. A relatively new application that is commonly called AI-vision or sometimes Computer-vision, in this study the term AI-vision is used. The application is about making computers and machines visually inclined. With this, an intelligent model is trained that can make decisions based on visual data, such as image and video. The orientation in this study within AI-Vision, is to highlight object detection and image classification. Object detection defines as follows, one or more specific objects are detected from an image of several complex lines and shapes. The technology is used in a variety of applications such as robot navigation and automatic vehicle control. The purpose of image classification, sometimes called image recognition, is to classify and categorize the image by identifying and sorting essential data. This in attempt to ascertain what the image itself represents. In order to frame this work in an appropriate way, the main quest of this thesis is to describe how techniques such as Object Detection and Image Classification models are constructed. Explain the underlying intelligence in the models as well as what tools and methods are used to create these models. As the thesis also alludes to present prospective applications in a steel industry, proposals of specific applications will be presented. The results section mainly presents an Object Detection application that handles personal safety and drafts to applications is presented in the discussion section. This work intends to contribute for possible implementation in production equipment in the future.