Inom byggindustrin uppstår många olika situationer som kan leda till olyckor där en person kan skadas eller avlida. Att utveckla metoder för att förhindra olyckor är därför mycket angeläget. I denna studie undersöker jag möjligheterna att skapa en applikation, anpassad för autonoma displaydatorer, för att öka säkerheten runt arbetsmaskiner genom att med objektdetektering och kameraövervakning skapa situationsmedvetenhet runt maskinen. Objektdetekteringen används för att hitta alla personer och koner som är med på bilden från kameran. Genom att detektera utställda trafikkoner byggs ett virtuellt stängsel upp som avgränsar det farliga området runt maskinen. För att sedan bedöma om personer befinner sig innanför området har jag tagit fram och utvärderat tre olika algoritmer. Jag har utvärderat algoritmerna med avseende på om exekveringstiden påverkar möjligheten att analysera 30 bilder per sekund och att de bedömer personens position korrekt i förhållande till det virtuella stängslet i olika scenarion.  Tester har också genomförts för att verifiera att algoritmerna fungerar i praktiken integrerade i realtidsapplikationen. Resultaten visar att inte någon av algoritmerna har exekveringstid som kommer att påverka analysen av 30 bilder per sekund. Vidare bedömer två av algoritmerna alla testade situationer korrekt förutom i vissa specifika fall när en person befinner sig exakt på en avgränsningslinje eller på en kon. Felbedömningen har dock ingen praktisk betydelse i denna tillämpning. Testerna av realtidsapplikationen visar att algoritmerna hanterar att området ändras dynamiskt och att det larmar när en person går in i det farliga området. Utifrån utvärderingen kan jag konstatera att det är möjligt att skapa en applikation för en autonom displaydator för att skapa situationsmedvetenhet för tunga arbetsmaskiner på byggarbetsplatser.

One of the main limitations of training deep learning-based object detection models is the availability of large amounts of data annotations. When annotations are scarce, semi-supervised learning provides frameworks to improve object detection performance by utilising unlabelled data. This is particularly useful in plant leaf detection and possible leaf stress recognition, where data annotations are expensive to obtain due to the need for specialised domain knowledge. This project aims to investigate the feasibility of the Unbiased Teacher, a semi-supervised object detection algorithm, for detecting plant leaves and recognising possible leaf stress in experimental settings where few annotations are available during training. We build an annotated data set for this task and implement the Unbiased Teacher algorithm. We optimise the Unbiased Teacher algorithm and compare its performance to that of a baseline model. Finally, we investigate which hyperparameters of the Unbiased Teacher algorithm most significantly affect its performance and its ability to utilise unlabelled images. We find that the Unbiased Teacher algorithm outperforms the baseline model in the experimental settings when limited annotated data are available during training. Amongst the hyperparameters we consider, we identify the confidence threshold as having the most effect on the algorithm’s performance and ability to leverage unlabelled data. Ultimately, we demonstrate the feasibility of improving object detection performance with the Unbiased Teacher algorithm in plant leaf detection and possible stress recognition when few annotations are available. The improved performance reduces the amount of annotated data required for this task, reducing annotation costs and thereby increasing usage for real-world tasks. / En av huvudbegränsningarna med att träna djupinlärningsbaserade objektdetekteringsmodeller är tillgången på stora mängder annoterad data. Vid små mängder av tillgänglig data kan semi-övervakad inlärning erbjuda ett ramverk för att förbättra objektdetekteringsprestanda genom att använda icke-annoterad data. Detta är särskilt användbart vid detektering av växtblad och möjlig igenkänning av stressymptom hos bladen, där kostnaden för annotering av data är hög på grund av behovet av specialiserad kunskap inom området. Detta projekt syftar till att undersöka genomförbarheten av Opartiska Läraren (eng. ”Unbiased Teacher”), en semi-övervakad objektdetekteringsalgoritm, för att upptäcka växtblad och känna igen möjliga stressymptom hos blad i experimentella miljöer när endast en liten mängd annoterad data finns tillgänglig under träning. För att åstadkomma detta bygger vi ett annoterat dataset och implementerar Opartiska Läraren. Vi optimerar Opartiska Läraren och jämför dess prestanda med en baslinjemodell. Slutligen undersöker vi de hyperparametrar som mest påverkar Opartiska Lärarens prestanda och dess förmåga att använda icke-annoterade bilder. Vi finner att Opartiska Läraren överträffar baslinjemodellen i de experimentella inställningarna när det finns en begränsad mängd annoterad data under träningen. Bland hyperparametrarna vi överväger identifierar vi konfidensgränsen som har störst effekt på algoritmens prestanda och dess förmåga att utnyttja icke-annoterad data. Vi demonstrerar möjligheten att förbättra objektdetekteringsprestandan med Opartiska Läraren i växtbladsdetektering och möjlig stressigenkänning när få anteckningar finns tillgängliga. Den förbättrade prestandan minskar mängden annoterad data som krävs, vilket minskar anteckningskostnaderna och ökar därmed användbarheten för användning inom mer praktiska områden.

Runt om i världen finns det en stor mängd historiska dokument som endast finns i pappersform. Genom att digitalisera dessa dokument förenklas bland annat förvaring och spridning av dokumenten. Vid digitalisering av dokument räcker det oftast inte att enbart skanna in dokumenten och förvara dem som en bild, oftast finns det önskemål att kunna hantera informationen som dokumenten innehåller på olika vis. Det kan t.ex. vara att söka efter en viss information eller att sortera dokumenten utifrån informationen dem innehåller. Det finns olika sätt att digitalisera dokument och extrahera den information som finns på dem. I denna studie används metoden objektdetektering av typen YOLOv3 för att hitta och urskilja olika områden på historiska dokument i form av gamla registerkort för gamla svenska fordon. Objektdetekteringen tränas på ett egenskapat träningsdataset och träningen av objektdetekteringen sker via ramverket Darknet. Studien redovisar resultat i form av recall, precision och IoU för flera olika objektdetekteringsmodeller tränade på olika träningsdataset och som testats på ett flertal olika testdataset. Resultatet analyseras bland annat utifrån storlek och färg på träningsdatat samt mängden träning av objektdetekteringen.

Mabema har en produkt som mäter vedvolym av virkestravar på lastbilar. Systemet är byggt på att en bildbehandlingsalgoritm hittar silhuetterna av stockarna på renderade bilder av lastbilstravar. Arbetsgivaren är inte helt nöjd med prestandan av algoritmen och vill utreda om djupinlärning kan förbättra resultatet. Detta arbete undersöker hur diameterfördelningen i varje trave kan estimeras med hjälp av djupinlärning och objektdetektering i synnerhet. Två metoder granskas, den ena hanterar problemet abstrakt med djup regression medan den andra metoden går in i detalj och nyttjar objektigenkänning för att hitta stockändar. Arbetet utvärderar även möjliheterna att träna dessa modeller baserat på data från fysiska simulationer. Det visar sig vara användbart att nyttja syntetisk data för träning och med transfer learning lyckas de syntetiska modellen uppnå kraven Biometria ställer på automatiserad diameterberäkning. Med objektdetektering visar det sig också gå att uppnå samma prestanda som arbetsgivarens algoritm med en bättre stocksökning tre gånger så snabbt eller snabbare.

Det här arbetet har undersökt om det är möjligt att klassificera bilder tagna av åtelkameror med hjälp av olika bildklassificeringsmetoder inom deep learning. Anledningen till att bilder från åtelkameror undersöktes, var på grund projektet ”Åtelkameror som verktyg för viltuppskattningar” vilket samlar in data och för statistik över främst älgbeståndet inom Gävleborgsregionen med hjälp av åtelkameror. Det undersöktes därför hur bildklassificering med neurala nätverk kunde användas för att automatisk klassificera bilder utifrån följande klassificeringsdomäner: är det ett djur på bilden?, vilka djurarter är på bilden?, om djuret är en älg är den då vuxen eller juvenil?   De bildklassificeringsmetoder som undersöktes var binärklassificering och objektdetektering. Binärklassificering användes för klassificeringsdomäner är det ett djur på bilden, objektdetektering användes för klassificeringsdomäner vilka djurarter är i bilden. Både binärklassificering och objektdetektering användes för att skilja en vuxen älg från en juvenil älg.  Resultaten för binärklassificeringen visade att ResNet generellt klassificerade bilder bättre än VGG-16, när det skulle avgöras om bilden innehöll ett djur eller inte. För att klassificera älgar som var vuxna eller juvenila så presterade VGG-16 och ResNet-101 bäst. Resultaten för objektdetekteringen visade generellt att YOLOv3 presterade bättre än YOLOv3-tiny, det gick även att se att båda neurala nätverken presterade bättre när de tränades med färre klasser. När tränings- och testdataseten delades upp så att träningsbilderna och testbilder kom från olika kameror så noterades en minskning av resultateten för både objektdetektering och binärklassificering.

Artificiell intelligens, även kallat AI, har länge varit ett aktuellt ämne. Idag genomsyras hela samhället av artificiell intelligens, allt ifrån sökmotorer, servicetjänster, självkörande bilar till verktyg för att underlätta vissa arbeten. För allt detta så finns det mängder av olika neurala nätverk att välja mellan för att lösa olika problem. Men hur vet man vilket nätverk som fungerar bäst för sin uppgift?  Målet med arbetet är att hitta en modell med högst noggrannhet i ett jämförande experiment. För att göra en rättvis bedömning togs en metod för att jämföra modeller inom objektdetektering med hög tillförlitlighet fram genom en litteraturstudie.  I litteraturstudien extraherades data från andra jämförande studier och sammanställdes i en så kallad jämförelsemodell som beskriver de viktigaste faktorerna att ta hänsyn till när man jämför modeller. Jämförelsemodellen visar att kända dataset bör användas, mätvärdena recall, precision och F1 är de mest pålitliga och man bör motivera alla sina val då det ökar tillförlitligheten och validiteten. Därefter applicerades jämförelsemodellen i ett demonstrerande experimentet som använde sig av neurala nätverk (CNN) där två modeller Multi-Task Cascaded Convolutional Neural Network (MTCNN) och You Only Look Once (YOLOv3) tränades och testades med samma dataset. Resultatet visade att modellen YOLOv3 gav bäst resultat.

In the master thesis about object detection(OD) using deep convolutional neural network(DCNN), the area of OD is being tested when being applied to infrared images(IR). In this thesis the, goal is to use both long wave infrared(LWIR) images and short wave infrared(SWIR) images taken from an airplane in order to train a DCNN to detect runways, Precision Approach Path Indicator(PAPI) lights, and approaching lights. The purpose for detecting these objects in IR images is because IR light transmits better than visible light under certain weather conditions, for example, fog. This system could then help the pilot detect the runway in bad weather. The RetinaNet model architecture was used and modified in different ways to find the best performing model. The models contain parameters that are found during the training process but some parameters, called hyperparameters, need to be determined in advance. A way to automatically find good values of these hyperparameters was also tested. In hyperparameter optimization, the Bayesian optimization method proved to create a model with equally good performance as the best performance acieved by the author using manual hyperparameter tuning. The OD system was implemented using Keras with Tensorflow backend and received a high perfomance (mAP=0.9245) on the test data. The system manages to detect the wanted objects in the images but is expected to perform worse in a general situation since the training data and test data are very similar. In order to further develop this system and to improve performance under general conditions more data is needed from other airfields and under different weather conditions.

Machine learning models are becoming popular in the industry since the technology has developed to solve numerous problems, such as classification [1], detection [2], and segmentation [3]. These algorithms require training with a large dataset which includes correct class labels to perform well on unseen data. One way to get access to large sets of annotated data is to use data from simulation engines. However this data is often not as complex and rich as real data, and for images, for examples, there can be a need to make these look more photorealistic. One approach to do this is denoted Domain adaptation. In collaboration with SAAB Aeronautics, which funds this research, this study aims to explore available domain adaptation frameworks, implement a framework and use it to make a transformation from simulation to real- life. A state-of-the-art framework CyCADA was re-implemented from scratch using Python and TensorFlow as a Deep Learning package. The CyCADA implementation was successfully verified by reproducing the digit adaptation result demonstrated in the original paper, making domain adaptations between MNIST, USPS, and SVHN. CyCADA was used to domain adapt landscape images from simulation to real-life. Domain-adapted images were used to train an object detector to evaluate whether CyCADA allows a detector to perform more accurately in real-life data. Statistical measurements, unfortunately, showed that domain-adapted images became less photorealistic with CyCADA, 88.68 FID on domain-adapted images compared to 80.43 FID on simulations, and object detection performed better on real-life data without CyCADA, 0.131 mAP with a detector trained on domain-adapted images compared to 0.681 mAP with simulations. Since CyCADA produced effective domain adaptation results between digits, there remains a possibility to try multiple hyperparameter settings and neural network architecture to produce effective results with landscape images. / Denna studie genomfördes i ett samarbete med SAAB Aeronautics och handlar om att utveckla en Domain Adaptation-modul som förbättrar prestandan av ett nätverk för objektdetektering. När ett objektdetekteringsnätverk är tränat med data från en domän så är det inte givet att samma nätverk presterar bra på en annan domän. Till exempel, ritningar och fotografier av frukter. Forskare löser problemet genom att samla data från varje domän och träna flera maskininlärningsalgoritmer, vilket är en lösning som kräver tid och energi. Detta problem kallas för domänskiftesproblem. Ett hett ämne inom djupinlärning handlar om att lösa just detta problem med domänskift och det finns en rad algoritmer som faller i kategorin Domain Adaptation. Denna studie utvecklar CyCADA som metod att evaluera en toppmodern Domain Adaptation-algoritm. Återimplementering av CyCADA blev lyckad, eftersom flera resultat var återskapade från den originala artikeln. CyCADA producerade effektiva domänskiften på bilder av siffror. CyCADA användes med landskapsbilder från en simulator för att öka verklighetsförankringen på bilderna. Domänskiftade landskapsbilder blev suddiga med CyCADA. FID värdet av domänskiftade bilder, ett utvärderingsmått som evaluerar fotorealism av bilder, blev lägre i jämförelse med endast simulerade bilder. Objektdetekteringsnätverket presterade bättre utan användning av CyCADA. Givet att CyCADA presterade bra i att transformera bilder av siffror från en domän till en annan finns det hopp om att ramverket kan prestera bra med landskapsbilder med fler försök i att ställa in hyperparameterar.

Idag är det vanligt att det sker filmning av evenemang utan att man använder sig av en professionell videofotograf. Det kan vara knatteligans fotbollsmatch, konferensmöten, undervisning eller YouTube-klipp. För att slippa ha en kameraman kan man använda sig av något som kallas för objektföljningskameror. Det är en kamera som kan följa ett objekts position över tid utan att en kameraman styr kameran. I detta examensarbete beskrivs hur objektföljning fungerar, samt görs en jämförelse mellan objektföljningskameror med datorseende och en kameraman. För att kunna jämföra de mot varandra har en prototyp byggts. Prototypen består av en Raspberry Pi 4B med MOSSE som är en objektföljningsalgoritm och SSD300 som är en detekteringsalgoritm inom datorseende. Styrningen består av en gimbal som består av tre borstlösa motorer som styr kameran med en regulator. Resultatet blev en prototyp som klarar av att följa en person som promenerar i maximalt 100 pixlar per sekund eller 1 meter per sekund i helbild, med en maxdistans på 11,4 meter utomhus. Medan en kameraman klarar av att följa en person i 300–800 pixlar per sekund eller 3 meter per sekund. Prototypen är inte lika bra som en ka-meraman men kan användas för att följa en person som undervisar och går långsamt. Under förutsättningen att prototypen är robust vilket inte är fallet. För att få bättre resultat behövs starkare processor och bättre algoritmer än som använts med prototypen. Då ett stort problem var att uppdateringshastigheten var låg för detekteringsalgoritmen. / Today, it is common for events to be filmed without the use of a professional video photographer. It can be the little league football game, conference meetings, teaching or YouTube clips. To film without a cameraman, you can use something called object tracking cameras. It is a camera that can follow an object's position without a cameraman.This thesis describes how object tracking works as well as comparison between ob-ject tracking cameras with computer vision and a cameraman. In order to compare them against each other, a prototype has been developed. The prototype consists of a Raspberry Pi 4B with MOSSE which is an object tracking algorithm and SSD300 which is a detection algorithm in computer vision. The steering consists of a gimbal consisting of three brushless motors that control the camera with a regulator. The result was a prototype capable of following a person walking at a maximum speed 100 pixels per second or 1 meter per second in full screen, with a maximum distance of 11.4 meters outdoors. While a cameraman managed to follow a person at 300-800 pixels per second or 3 meters per second. The prototype is not as good as a cameraman but can be used to follow a person who teaches and walks slowly. Under basis that the prototype is robust, which is not the case. To get better results, stronger processor and better algorithms are needed than used with the prototype. That’s because a big problem was that the refresh rate was low for the detection algorithm.

Perceiving the environment is a crucial aspect of autonomous vehicles. To plan the route, the autonomous vehicle needs to be able to detect objects such as cars and pedestrians. This is possible through 3D object detection. However, labeling this type of data is time-consuming. By utilizing a virtual environment, there is an opportunity to generate data and label it in a quicker manner. This thesis aims to investigate how well three selected state-of-the-art models perform on a synthetic dataset of point cloud data. The results showed that the models attain a higher average precision compared to a dataset from the real world. This is mainly due to the virtual environment’s simplicity in relation to the real world’s detail. The results also suggest that models using different representations of point cloud data have different capabilities of transferring knowledge to the real world. / Att uppfatta miljön är en avgörande aspekt av autonoma fordon. Till planera rutten behöver det autonoma fordonet kunna upptäcka föremål som bilar och fotgängare. Detta är möjligt genom 3D-objektdetektering. Att märka denna typ av data är dock tidskrävande. Genom att använda en virtuell miljö, finns det en möjlighet att generera data och märka dem på ett snabbare sätt sätt. Denna avhandling syftar till att undersöka hur väl tre valda state-of-the-art modeller utför på en syntetiskt dataset av punktmolndata. Resultaten visade att modellerna uppnår en average precision jämfört med ett dataset från den riktiga världen. Detta beror främst på den virtuella miljöns enkelhet i förhållande till den verkliga världens detaljer. Resultaten tyder också på att modeller som använder olika representationer av punktmolnsdata har olika möjligheter att överföra kunskap till den verkliga världen.