Antalet vägtrafikanter ökar varje år, och med det ökar trängseln. Man har därför gjort undersökningar med hjälp av objektdetektionsalgoritmer på videoströmmar. Genom att analysera data resultat är det möjligt att bygga en bättre infrastruktur, för att minska trafikstockning samt olyckor. Data som analyseras kan till exempel vara att räkna hur många trafikanter som vistas på en viss väg (Slottsbron i Halmstad) under en viss tid. Detta examensarbete undersöker teoretiskt hur en YOLO algoritm samt TensorFlow kan användas för att detektera olika trafikanter. Utvärderingsmetoder som användes i projektet för att få resultatet och dra slutsatser är mAP, träning och testning av egna och andras YOLO modeller samt övervakning av FPS- och temperatur-värden. För att möjliggöra detekteringen av trafikflöde i realtid nyttjades Jetson nano toolkit. Flera olika jämförelser har skapats för att avgöra vilken YOLO modell som är lämpligast. Resultaten från tester av olika YOLO modeller visar att YOLO-TensorFlows implementationer kan detektera trafikanter med en godtagbar noggrannhet. Slutsatsen är att Jetson nano har tillräckligt med processorkraft för att detektera olika trafikanter i realtid med hjälp av original YOLO implementation. Metoderna för att detektera trafikanter är standard och fungerande för analysering av trafikflöden.Testning av mer varierande trafikmiljö under längre tidsperioder krävs för att ytterligare verifiera om Jetson nanos lämplighet.

Bildverarbeitungssysteme bieten innovative Lösungen für den Fertigungsprozess. Kameras und zugehörige Bildverarbeitungssysteme können zur Identifizierung, Prüfung und Lokalisierung von Teilen auf einem Förderband oder in einem Behälter mit Teilen eingesetzt werden. Roboter werden dann eingesetzt,um jedes Teil aufzunehmen und im Montagebereich zu platzieren oder sogar um die Grundmontage direkt durchzuführen. Das System für dieses Projekt besteht aus einem Roboter Kuka KR6 900, der die Position (x-, y- und z-Koordinaten des Objektschwerpunkts) und die Ausrichtung eines Bauteils von einem Bildverarbeitungssystem basierend auf einem Jetson Nano erhält. Das Ziel dieses Projekts ist es, eine automatische Erkennung eines Objekts mit Hilfe einer 2D-Kamera und der Auswertung mit dem Deep Learning Algorithmus Darknet YOLO V4 durchzuführen, so dass der Roboter das Objekt greifen und platzieren kann. Dieses Projekt verwendet zwei verschiedene Objekttypen: einen Quader und einen Zylinder. Die Bilderkennung erfolgt mit Hilfe des Jetson Nano, dort erfolgt aus den Pixelkoordinaten die Berechnung der realen Koordinaten, die dann über die TCP/IP-Schnittstelle des Kuka KR6 900 zur Durchführung der Entnahme und Platzierung übermittelt werden. Die Flexibilität des Roboters, dessen Steuerung auf diese Weise von der Bildverarbeitung unterstützt wird, kann den Bedarf an präzise konstruierten Teilezuführungen verringern und so die Flexibilität in der Fertigungszelle erhöhen und kurze Produktionsläufe und Anpassungsfähigkeit ermöglichen.

It is the purpose of this study to survey the schools of Yolo County and to propose a plan for the reorganization of the school districts of that county.

<p>Through the computing advance and GPU (Graphics Processing Unit) availability for math calculation, the deep learning field becomes more popular and prevalent. Object detection with deep learning, which is the part of image processing, plays an important role in automatic vehicle drive and computer vision. Object detection includes object localization and object classification. Object localization involves that the computer looks through the image and gives the correct coordinates to localize the object. Object classification is that the computer classification targets into different categories. The traditional image object detection pipeline idea is from Fast/Faster R-CNN [32] [58]. The region proposal network generates the contained objects areas and put them into classifier. The first step is the object localization while the second step is the object classification. The time cost for this pipeline function is not efficient. Aiming to address this problem, You Only Look Once (YOLO) [4] network is born. YOLO is the single neural network end-to-end pipeline with the image processing speed being 45 frames per second in real time for network prediction. In this thesis, the convolution neural networks are introduced, including the state of art convolutional neural networks in recently years. YOLO implementation details are illustrated step by step. We adopt the YOLO network for our applications since the YOLO network has the faster convergence rate in training and provides high accuracy and it is the end to end architecture, which makes networks easy to optimize and train. </p>

Video thumbnails are essential to represent the content and summary of a video. This thesis proposed a thumbnail extraction approach for fashion videos based on the presence of clothing items, sharpness, and contrast. Furthermore, this thesis investigated how the proposed thumbnail selection method performed concerning user engagement. Other research has been done on user engagement; however, the impact of clothing item presence has yet to be investigated. Firstly, a YOLOv7 model was trained on a fashion dataset to identify clothing items. The proposed selection method used the model to extract labels to determine what frames contain the maximum number of clothing items. The selected frames were filtered based on a contrast threshold, and the sharpest frame was kept as the proposed thumbnail from the remaining frames. The contrast was measured by calculating the standard deviation of the pixels in each frame. The sharpness was measured with the Laplacian operator. The user engagement was investigated by surveying 119 participants on thumbnail preference. The participants were presented with three frames, the thumbnail extracted with the proposed method, and two control frames: the middle frame of the video and a frame where the YOLOv7 model had only identified one object. The results show that the proposed thumbnail selection method performs well, receiving 59.75% of the total votes, compared to a middle frame and a single-item frame that received 17.46% and 22.79% of the votes, respectively. The results indicate that the proposed parameters for the thumbnail extraction could lead to higher user engagement. / Video-miniatyrbilder är en essentiell del av att presentera och sammanfatta videoinnehåll. Den här uppsatsen föreslår en miniatyrbilds extraktionsmetod för modevideos baserat på klädesplagg, skärpa och kontrast. Denna uppsats utvärderade hur den föreslagna metoden presterar i relation till användarengagemang. Tidigare forskning har utvärderat användarengagemang på miniatyrbilder, dock inte kopplat till närvaro av klädesplagg. Först tränades en YOLOv7 modell på ett modedataset för att identifiera klädesplagg. Den föreslagna metoden använde modellen för att extrahera etiketter för att fastställa vilka bilder som inkluderade flest klädesplagg. De utvalda bilderna filtrerades med en kontrast-tröskel, och den skarpaste bilden av de resterande bilderna behölls som en föreslagen miniatyrbild. Kontrasten mättes med standardavvikelsen mellan pixlar i varje bild. Skärpan mättes med Laplaceoperatorn. Användarengagemanget undersöktes med en enkät genomförd av 119 deltagare för att identifiera vilken miniatyrbild som föredrogs. Deltagarna blev presenterade med tre bilder, en extraherad med den föreslagna metoden och två kontrollbilder: mittenbilden från videon och en bild där YOLOv7 modellen endast identifierat ett objekt. Resultaten visar att den föreslagna metoden presterar bra, den fick 59,75% av rösterna, jämfört med mittenbilden och bilden med ett objekt, som fick respektive 17.46% och 22.79%. Resultaten indikerar att den föreslagna parametrarna kan bidra till ökat användarengagamang i modefilmer.

More cables will be installed owing to setting up more radio towers when it comes to 5G. However, a large proportion of radio units are constructed high in the open space, which makes it difficult for human technicians to maintain the systems. Under these circumstances, automatic detections of errors among radio cabinets are crucial. Cables and connectors are usually covered with weatherproofing tapes, and one of the most common problems is that the tapes are not closely rounded on the cables and connectors. This makes the tape go out of the cable and look like a waving flag, which may seriously damage the radio systems. The thesis aims at detecting this flagging-tape and addressing the issues. This thesis experiments two methods for object detection, the convolutional neural network as well as the OpenCV and image processing. The former uses YOLO (You Only Look Once) network for training and testing, while in the latter method, the connected component method is applied for the detection of big objects like the cables and line segment detector is responsible for the flagging-tape boundary extraction. Multiple parameters, structurally and functionally unique, were developed to find the most suitable way to meet the requirement. Furthermore, precision and recall are used to evaluate the performance of the system output quality, and in order to improve the requirements, larger experiments were performed using different parameters. The results show that the best way of detecting faulty weatherproofing is with the image processing method by which the recall is 71% and the precision reaches 60%. This method shows better performance than YOLO dealing with flagging-tape detection. The method shows the great potential of this kind of object detection, and a detailed discussion regarding the limitation is also presented in the thesis. / Fler kablar kommer att installeras på grund av installation av fler radiotorn när det gäller 5G. En stor del av radioenheterna är dock konstruerade högt i det öppna utrymmet, vilket gör det svårt för mänskliga tekniker att underhålla systemen. Under dessa omständigheter är automatiska upptäckter av fel bland radioskåp avgörande. Kablar och kontakter täcks vanligtvis med väderbeständiga band, och ett av de vanligaste problemen är att banden inte är rundade på kablarna och kontakterna. Detta gör att tejpen går ur kabeln och ser ut som en viftande flagga, vilket allvarligt kan skada radiosystemen. Avhandlingen syftar till att upptäcka detta flaggband och ta itu med frågorna. Den här avhandlingen experimenterar två metoder för objektdetektering, det invändiga neurala nätverket såväl som OpenCV och bildbehandling. Den förstnämnda använder YOLO (You Only Look Once) nätverk för träning och testning, medan i den senare metoden används den anslutna komponentmetoden för detektering av stora föremål som kablarna och linjesegmentdetektorn är ansvarig för utvinning av bandbandgränsen. Flera parametrar, strukturellt och funktionellt unika, utvecklades för att hitta det mest lämpliga sättet att uppfylla kravet. Dessutom används precision och återkallande för att utvärdera prestandan för systemutgångskvaliteten, och för att förbättra kraven utfördes större experiment med olika parametrar. Resultaten visar att det bästa sättet att upptäcka felaktigt väderbeständighet är med bildbehandlingsmetoden genom vilken återkallelsen är 71% och precisionen når 60%. Denna metod visar bättre prestanda än YOLO som hanterar markering av flaggband. Metoden visar den stora potentialen för denna typ av objektdetektering, och en detaljerad diskussion om begränsningen presenteras också i avhandlingen.

With an ever so high video consumption, applications and services need to use smart approaches to make the experience better for their users. By using key frames from a video, useful information can be retrieved regarding the entire video, and used for better explaining the content. At present, many key frame extraction (KFE) methods aim at selecting multiple frames from videos composed of multiple scenes, and coming from various contexts. In this study a proposed key frame extraction method that extracts a single frame for further clothing recognition purposes is implemented and compared against two other methods. The proposed method utilizes the state-of-the-art object detector YOLO (You Only Look Once) to ensure the extracted key frames contain people, and is referred to as YKFE (YOLO-based Key Frame Extraction). YKFE is then compared against the simple and baseline method named MFE (Middle Frame Extraction) which always extracts the middle frame of the video, and the famous optical flow based method referred to as Wolf KFE, that extracts frames having the lowest amount of optical flow. The YOLO model is pre-trained and further fine tuned on a custom dataset. Furthermore, three versions of the YKFE method are developed and compared, each utilizing different measurements in order to select the best key frame, the first one being optical flow, the second aspect ratio, and the third by combining both optical flow and aspect ratio. At last, three proposed metrics: RDO (Rate of Distinguishable Outfits), RSAR (Rate of Successful API Returns), and AET (Average Extraction Time) were used to evaluate and compare the performance of the methods against each other on two sets of test data containing 100 videos each. The results show that YKFE yields more reliable results while taking significantly more time than both MFE and Wolf KFE. However, both MFE and Wolf KFE do not consider whether frames contain people or not, meaning the context in which the methods are used is of significant importance for the rate of successful key frame extractions. Finally as an experiment, a method named Slim YKFE was developed as a combination of both MFE and YKFE, resulting in a substantially reduced extraction time while still maintaining high accuracy. / Med en ständigt växande videokonsumption så måste applikationer och tjänster använda smarta tillvägagångssätt för att göra upplevelsen så bra som möjligt för dess användare. Genom att använda nyckelbilder från en video kan användbar information erhållas om hela videon och användas för att bättre förklara dess innehåll. För nuvarande fokuserar många metoder för nyckelbildutvinning (KFE) på att utvinna ett flertal bilder från videoklipp komponerade av flera scener och många olika kontext. I denna studie föreslås och implementeras en ny nyckelbildutvinningsmetod som enbart extraherar en bild med syfte att användas av ett API för klädigenkänning. Denna metod jämförs sedan med två andra redan existerande metoder. Den föreslagna metoden använder sig av det moderna objektdetekteringssystemet YOLO (You Only Look Once) för att säkerställa förekomsten av personer i de extraherade nyckelbilderna och hänvisas som YKFE (YOLO-based Key Frame Extraction). YKFE jämförs sedan med en enkel basmetod kallad MFE (Middle Frame Extraction) som alltid extraherar den mittersta bilden av en video, och en känd metod som extraherar de bilder med lägst optiskt flöde, kallad Wolf KFE. YOLO-modellen är förtränad och vidare finjusterad på ett eget dataset. Fortsättningsvis utvecklas tre versioner av YKFE-metoden där varje version använder olika värden för att välja ut den bästa nyckelbilden. Den första versionen använder optiskt flöde, den andra använder bildförhållande och den tredje kombinerar både optiskt flöde och bildförhållande. Slutligen används tre föreslagna mättyper; RDO (Rate of Distinguishable Outfits), RSAR (Rate of Successful API Returns), and AET (Average Extraction Time) för att evaluera och jämföra metodernas prestanda mot varandra på två uppsättningar testdata bestånde av 100 videoklipp vardera. Resultaten visar att YKFE ger de mest stabila resultaten samtidigt som den har en betydligt längre exekveringstid än både MFE och Wolf KFE. Däremot betraktar inte MFE och Wolf YKFE bildernas innehåll vilket betyder att kontextet där dessa metoder används är av stor betydelse för antalet lyckade nyckelbildextraheringar. Som ett experiment så utvecklas även en metod kallad Slim YKFE, som kombinerar både MFE och YKFE som resulterade i en betydande minskning av exekveringstid samtidigt som antal lyckade extraheringar förblev hög.

Fine- grained Visual Classification (FGVC) is a rapidly growing field in image classification. However, it is a challenging task due to subcategories sharing subtle differences. Existing approaches tackle this problem by firstly extracting discriminative regions using part localization or object localization or Region Proposal Networks (RPN), then applying Convolutional Neural Network (CNN) or SVM classifier on those regions. In this work, with the purpose of simplifying the above complicated pipeline while keeping high accuracy, we get inspired by the one- stage object detection model YOLO and design a one- stage end- to- end object detector model for FGVC. Specifically, we apply YOLOv5 as a baseline model and replace its Path Aggregation Network (PANet) structure with Weighted Bidirectional Feature Pyramid Network (BiFPN) structure to efficiently fuse information from different resolutions. We conduct experiments on different classification and localization weight ratios to guide choosing loss weights in different scenarios. We have proved the viability of the one- stage detector model YOLO on FGVC, which has 87.1 % top1 accuracy on the FGVC dataset CUB2002011. Furthermore, we have designed a more accurate one- stage model, achieving 88.1 % accuracy, which is the most accurate method compared to the existing localization state- of- the- art models. Finally, we have shown that the higher the classification loss weight, the faster the convergence speed, while increasing slightly localization loss weight can help achieve a more accurate classification but resulting in slower convergence. / Finkornad visuell klassificering (FGVC) är ett snabbt växande fält inom bildklassificering. Det är dock en utmanande uppgift på grund av underkategorier som delar subtila skillnader. Befintliga tillvägagångssätt hanterar detta problem genom att först extrahera diskriminerande regioner med dellokalisering eller objektlokalisering eller Region Proposal Networks (RPN) och sedan tillämpa Convolutional Network eller SVM- klassificering på dessa regioner. I det här arbetet, med syftet att förenkla ovanstående komplicerade rörledning samtidigt som vi håller hög noggrannhet, blir vi inspirerade av enstegs objektdetekteringsmodellen YOLO och designar en enstegs end- to- end objektdetektormodell för FGVC. Specifikt tillämpar vi YOLOv5 som basmodell och ersätter dess Path Aggregation Network (PANet) struktur med en viktad dubbelriktad funktionspyramidnätverk (BiFPN) struktur för att effektivt smälta information från olika upplösningar. Vi utför experiment på olika klassificerings och lokaliseringsviktsförhållanden för att vägleda valet av förlustvikter i olika scenarier. Vi har bevisat livskraften hos enstegsdetektormodellen YOLO på FGVC, som har 87,1 % topp1noggrannhet i FGVC- dataset CUB2002011. Dessutom har vi utformat en mer exakt enstegsmodell som uppnår 88,1 % noggrannhet, vilket är den mest exakta metoden jämfört med befintliga lokaliseringsmodeller. Slutligen har vi visat att ju högre klassificeringsförlustvikten är, desto snabbare är konvergenshastigheten, medan en ökning av lokaliseringsförlustvikten ökar något kan bidra till en mer exakt klassificering men resulterar i långsammare konvergens.

Unmanned Aerial Vehicles (UAVs) could play an important role in Search &amp; Rescue (SAR) operations thanks to their ability to cover large, remote, or inaccessible search areas quickly without putting any personnel at risk. As UAVs are becoming autonomous, the problem of identifying humans in a variety of conditions can be solved with computer vision implemented with a thermal camera. In some cases, it would be necessary to operate with one or several small, agile UAVs to search for people in dense and narrow environments, where flying at a high altitude is not a viable option. This could for example be in a forest, cave, or a collapsed building. A small UAV has a limitation in carrying capacity, which is why this thesis aimed to propose a lightweight thermal solution for human detection that could be applied on a small SAR-UAV for operation in dense environments. The solution included a Raspberry Pi 4 and a FLIR Lepton 3.5 thermal camera in terms of hardware, which were mainly chosen thanks to their small footprint regarding size and weight, while also fitting within budget restrictions. In terms of object detection software, EfficentDet-Lite0 in TensorFlow Lite format was incorporated thanks to good balance between speed, accuracy, and resource usage. An own dataset of thermal images was collected and trained upon. The objective was to characterize disturbances and challenges this solution might face during a UAV SAR-operation in dense environments, as well as to measure how the performance of the proposed platform varied with increasing amount of environmental coverage of a human. This was solved by conducting a literature study, an experiment in a replicated dense environment and through observations of the system behavior combined with analysis of the measurements. Disturbances that affect a thermal camera in use for human detection were found to be a mixture of objective and subjective parameters, which formed a base of what type of phenomena to include in a diverse thermal dataset. The results from the experiment showed that stable and reliable detection performance can be expected up to 75% vegetational coverage of a human. When fully covered, the solution was not reliable when trained on the dataset used in this thesis. / Obemannade drönare (UAVs) kan spela en viktig roll i sök- och räddningsuppdrag (SAR) tack vare deras förmåga att snabbt täcka stora, avlägsna eller otillgängliga sökområden utan att utsätta personal för risker. För autonoma UAVs kan problemet med att identifiera människor i en mängd olika förhållanden lösas med datorseende implementerat tillsammans med en värmekamera. I vissa fall kan det vara nödvändigt att operera med en eller flera små, smidiga UAVs för att söka efter människor i täta och trånga miljöer, där flygning på hög höjd inte är ett genomförbart alternativ. Det kan till exempel vara i en skog, grotta eller i en kollapsad byggnad. En liten UAV har begränsad bärförmåga, vilket är varför denna avhandling syftade till att föreslå en lättviktslösning för mänsklig detektering med värmekamera som skulle kunna appliceras på en liten SAR-UAV för drift i täta miljöer. Lösningen inkluderade Raspberry Pi 4 och en FLIR Lepton 3.5 värmekamera gällande hårdvara, tack vare liten formfaktor och liten vikt, samtidigt som de passade inom budgetramen. Gällande detekterings-mjukvara användes EfficentDet-Lite0 i TensorFlow Lite-format tack vare en bra balans mellan hastighet, noggrannhet och resursanvändning. En egen uppsättning av värmebilder samlades in och tränades på. Målet var att identifiera vilka störningar och utmaningar som denna lösning kan påträffa under en sökoperation med UAVs i täta miljöer, samt att mäta hur prestandan för den föreslagna plattformen varierade när täckningsgraden av en människa ökar p.g.a. omgivningen. Detta löstes genom att genomföra en litteraturstudie, ett experiment i en replikerad tät miljö och genom observationer av systemets beteende kombinerat med analys av mätningarna. Störningar som påverkar en värmekamera som används för mänsklig detektion visade sig vara en blandning av objektiva och subjektiva parametrar, vilka utgjorde en bas för vilka typer av fenomen som skulle inkluderas i en mångsidig kollektion med värmebilder. Resultaten från experimentet visade att stabil och pålitlig detekteringsprestanda kan förväntas upp till 75% täckningsgrad av en människa p.g.a. vegetation. När människan var helt täckt var lösningen inte tillförlitlig när den var tränad på kollektionen som användes i denna avhandling.

With the fast development of embedded deep-learning computing systems, applications powered by deep learning are moving from the cloud to the edge. When deploying NN onto the devices under complex environments, there are various types of possible faults: soft errors caused by cosmic radiation and radioactive impurities, voltage instability, aging, temperature variations, etc. Thus, more attention is drawn on the reliability of the NN embedded system. In this project, we build a virtual simulation system in Gazebo to simulate and test the working of an embedded NN system in the virtual environment in indoor navigation. The system can detect objects in the virtual environment with the help of the virtual camera(the image sensor) and the object detection module, which is based on YOLO v3, and make corresponding control decisions. We also designed and simulated the corresponding error injection module according to the working principle of the image sensor, and tested the functionality, and fault tolerance of the YOLO network. At the same time, network pruning algorithm is also introduced to study the relationship between different degrees of network pruning and network fault tolerance to sensor faults. / Med den snabba utvecklingen av inbyggda datorsystem för djupinlärning flyttas applikationer som drivs av djupinlärning från molnet till kanten. När man distribuerar NN på enheterna under komplexa miljöer finns det olika typer av möjliga fel: mjuka fel orsakade av kosmisk strålning och radioaktiva föroreningar, spänningsinstabilitet, åldrande, temperaturvariationer, illvilliga angripare, etc. Därför är mer uppmärksamhet ritade om tillförlitligheten hos det inbyggda NN-systemet. I det här projektet bygger vi ett virtuellt simuleringssystem för att simulera och testa hur ett inbäddat NN-system fungerar i den virtuella miljö vi ställer upp. Systemet kan upptäcka objekt i den virtuella miljön enligt den virtuella kameran och objektdetekteringsmodulen, som är baserad på YOLO v3, och göra motsvarande kontrollstrategier. Vi designade och simulerade också motsvarande felinsprutningsmodul enligt bildsensorns arbetsprincip och testade funktionalitet, tillförlitlighet och feltolerans hos YOLO-nätverket. Samtidigt nätverk beskärningsalgoritm introduceras också för att studera sambandet mellan olika grader av nätverksbeskärning och nätverksfeltolerans.