No description available.

Syftet med studien är att undersöka möjligheten att använda en videokamera och bildbehandlings-algoritmer för att inhämta data till simulering genom att spåra personers rörelse. Den teoretiska referensramen och litteraturstudie används för att få en fördjupad kunskap om simulering och hur personer spåras med spårningsalgoritmer. För att undersöka möjligheten har en kod skapats som använder bildbehandlingsalgoritmer från OpenCv. Algoritmerna som används har utvärderats med fyra experiment i två olika miljöer, en affärsmiljö och en industrimiljö. Experimenten har använts till att spela in videomaterial på personernas förflyttning i miljöerna. Videomaterialen har använts med den skapade koden och bildbehandlingsalgoritmer för att analysera spårnings-algoritmernas prestanda och om tider kan erhållas. Resultatet från analysen påvisar att tider kan erhållas om en person spåras i videoscenen. De erhållna tiderna har jämfört med manuella tidsstudier och påvisar att medelfelet är 0,1 sekunder och standardavvikelsen är 0,27 sekunder. När det är flera personer som spåras i videoscenen visar resultatet att de inte är möjligt att erhålla tider till simulering. Detta beror på att algoritmerna misslyckas att spåra, faktorer som samman-fogning, färg, riktning, ocklusion och förflyttning av statiska objekt påverkar spårningen på algoritmerna. Detta bidrar till att tiderna som erhålls inte är tillförlitliga och därmed har inte tiderna jämfört med manuella tidsstudier. / The purpose of the study is to investigate the possibility of using a video camera and the image processing algorithms to obtain data for simulation through tracking people’s movement. The theoretical frame of reference and literature studies are used to get an in-depth knowledge about simulation and how people are tracked with tracking algorithms. To investigate the possibility, a code has been created that uses image processing algorithms from OpenCv. These algorithms that have been used have been evaluated with four experiments in two different environments, one store environment and one industrial environment. The experiments have been used to record video on people’s movements in these two environments. The video recordings have been made with the created code and the image processing algorithms to analyze the performance of the tracking algorithms and if time can be obtained. The result of the analysis shows that the time can be obtained if a person is used in the video scene. The obtained times have been compared with manual time studies. The result shows that the average error is 0, 1 seconds and the standard deviation is 0, 27 seconds. When there are more people that are being tracked in the video scene, the result shows that they are not possible to obtain times for simulation. This is because the algorithms are failing to track, factors such as joining, color, direction, occlusion and movement of static objects affect the tracking of the algorithms. This contributes that the times obtained are not reliable and thereby have not been compared with manual time’s studies.

Cirka en miljard cigarettfimpar slängs på svenska gator varje år. Detta leder till risker för både människan och miljön som skulle kunna minskas betydligt med robotar som städar bort fimparna. Denna rapport behandlar ett konstruktionsförslag för en robot som utför just denna uppgift. Med tanke på givna begränsningar utvecklas endast funktionaliteten som krävs för att roboten skall kunna utföra sin uppgift i en idealiserad inomhusmiljö. En prototyp konstrueras för att kunna undersöka precisionen av detektering och upplockning av cigarettfimpar med den valda konstruktionen. För att kunna hitta cigarettfimpar drivs och styrs prototypen med två DC-motorer som är kopplade till separata H-bryggor. En ultraljudssensor upptäcker stora hinder så att prototypen kan undvika dessa. För detekteringen av cigarettfimparna används en Pixy-kamera som identifierar objekt genom att beräkna deras färgsignatur. Upptäcks en cigarettfimp styr prototypen mot denna. Sedan plockas fimpen upp med en mekanism baserad på servomotorer som styrs med en Arduino Uno mikrokontroller. Mekanismen består av en ramp med dörr som fälls ned och genom rampen leder in cigarettfimpen i en behållare. Konstruktionen har till stor del skapats med flertal elektriska komponenter, en byggsats samt i Solid Edge skapade och i 3D-skrivaren Ultimaker utskrivna delar. Resultat av utförda tester visar att Pixy-kameran är en svag punkt då den är väldigt ljuskänslig. Det är också mycket svårare för den att detektera fimpar i standardfärgen orange relativt röda fimpar. Tester av upplockning i goda ljusförhållanden och med röda cigarettfimpar ger 78% framgångskvot vilket visar på att konstruktionen fungerar väl. En framtida utvecklingsmöjlighet som minskade kvoten var dock att prototypen var opålitlig på att köra rakt. / Approximately one billion cigarette butts are thrown onto Swedish streets each year. This leads to risks both for the human and the environment that could be reduced considerably with robots that clean up the cigarette butts. This report deals with a construction proposal for a robot that performs exactly this task. Considering the restraints that this project faces only the functionality is developed that is required for the robot to be able to perform the task in an idealised indoor-environment. A prototype is constructed to be able to examine the precision of detection and collection of the cigarette butts for the chosen construction. To find cigarette butts the prototype is driving and steering with two DC-motors that are connected to separate H-bridges. A ultrasonic sensor detects large obstacles for the prototype to be able to avoid them. For detection of cigarette butts a Pixy-camera is used that identifies objects by calculating their colour signature. When a cigarette butt is detected the prototype steers towards it. Then it picks up the cigarette butt with a mechanism working with servomotors that are controlled by an Arduino Uno microcontroller. This mechanism is made up of a ramp with door that is tilted down onto the ground and leads the butt into a container.The construction was built using mainly multiple electric components, a building kit and parts designed in Solid Edge and 3D-printed in Ultimaker. Results of conducted tests show that the Pixy-camera is a weak spot as it is very light sensitive. Furthermore it is much harder for the camera to detect cigarette butts in standard colour orange compared to red cigarette butts. Tests of the cigarette butt collection performance showed a success ratio of 78% which shows that the construction works well. A future development for the prototype that lowered the success ratio was that it was unreliable at driving straight forward.

Object tracking seeks to determine the object size and location in the following video frames, given the appearance and location of the object in the first frame. The object tracking approaches can be divided into categories: online trained trackers and offline trained tracker. First group of trackers is based on handcrafted features like HOG or Color Names. This group is characterised by high inference speed, but struggles from lack of highly deterministic features. On the other hand the second group uses Convolution Neural Networks as features extractors. They generate highly meaningful features, but limit the inference speed and possibility of learning object appearance in the offline phase. The following report investigates the problem of tracking a soccer ball on mobile devices. Keeping in mind the limited computational resources of mobile devices, we propose the fused tracker. At the beginning of the video the simple online trained tracker is fired. As soon as the tracker looses the ball, the more advanced tracer, based on deep neural networks is fired. The fusion allows to speed up the inference time, by using the simple tracker as much as possible, but keeps the tracking success rate high, by using the more advanced tracker after the object is lost by the first tracker. Both quantitative and qualitative experiments demonstrate the validity of this approach. / Objektspårning syftar till att bestämma objektets storlek och plats i följande videoramar, med tanke på objektets utseende och plats i den första bilden. Objektspårningsmetoderna kan delas in i kategorier: online-utbildade trackers och offline-utbildade trackers. Första gruppen av trackers är baserad på handgjorda funktioner som HOG eller Color Names. Denna grupp kännetecknas av hög inferenshastighet, men kämpar från brist på mycket deterministiska egenskaper. Å andra sidan använder den andra gruppen Convolution Neural Networks som funktioner för extrahering. De genererar mycket meningsfulla funktioner, men begränsar sluthastigheten och möjligheten att lära sig objekt i offlinefasen. Följande rapport undersöker problemet med att spåra en fotboll på mobila enheter. Med tanke på de begränsade beräkningsresurserna för mobila enheter föreslår vi den smälta trackern. I början av videon sparkas den enkla utbildade spåraren online. Så snart trackern förlorar bollen avfyras den mer avancerade spåraren, baserad på djupa neurala nätverk. Fusionen gör det möjligt att påskynda inferenstiden genom att använda den enkla trackern så mycket som möjligt, men håller spårningsfrekvensen hög, genom att använda den mer avancerade trackern efter att objektet förlorats av den första trackern. Både kvantitativa och kvalitativa experiment visar att detta tillvägagångssätt är giltigt.

Detta examensarbete har utförts under tio veckor på uppdrag av företaget BitSim NOW. Den manuella metod som idag används för mätning av stötar inom kulstötning kan utgöra en risk för felaktiga resultat och personskador. Med hjälp av tekniska hjälpmedel kan en lösning med noggrannare mätningar och lägre risk för skador implementeras i sporten kulstötning. Denna rapport presenterar en lösning som med hjälp av artificiell intelligens identifierar kulan utifrån en filmsekvens. Därefter beräknas längden av stöten med hjälp av en formel för kastparabeln. Lösningen jämförs sedan med en metod utan artificiell intelligens för att fastställa den bästa av de två metoderna. De variablersom jämfördes var noggrannheten på stötens längd och hur bra de två olika metoderna spårade kulan. Resultatet analyserades i relation till de uppsatta målen och sattes därefter in i ett större sammanhang. / This thesis project has been done during ten weeks on behalf of the companyBitSim NOW. The current method used to measure the length of shot-puts presents a risk of inaccurate results along with the risk of injury for the measuring personnel. With the help of technical aids, a solution with more accurate measurements and a lower risk for injuries could be implemented in the sport of shot-puts. This report presents a solution using artificial intelligence to first identify the shotin video films and secondly calculate the length using mathematical formulas. Thesolution is then compared to a method that does not use artificial intelligence, to determine what method is the superior one. The parameters that were compared were the accuracy of the length and the quality of the tracking. The result was analyzed in relation to the aims of the project and then put into a larger context.

In this master thesis, different neural networks have investigated annotating objects in video streams with partially annotated data as input. Annotation in this thesis is referring to bounding boxes around the targeted objects. Two different methods have been used ROLO and GOTURN, object detection with tracking respective object tracking with pixels. The data set used for validation is surveillance footage consists of varying image resolution, image size and sequence length. Modifications of the original models have been executed to fit the test data.  Promising results for modified GOTURN were shown, where the partially annotated data was used as assistance in tracking. The model is robust and provides sufficiently accurate object detections for practical use. With the new model, human resources for image annotation can be reduced by at least half. / I detta examensarbete har olika neurala nätverk undersökts för att annotera objekt i videoströmmar med partiellt annoterade data som indata. Annotering i denna uppsats syftar på avgränsninglådor runt de eftertraktade objekten. Två olika metoder har använts ROLO och GOTURN, objektdetektering med spårning respektive objektspårning av pixlar. Datasetet som användes för validering är videoströmmar från övervakningskameror i varierande bildupplösning, bildstorlek och sekvenslängd. Modifieringar av ursprungsmodellerna har utförts för att anpassa testdatat. Lovande resultat för modifierade GOTURN visades, där den partiella annoterade datan användes som assistans vid spårning. Modellen är robust och ger tillräckligt noggranna objektdetektioner för praktiskt bruk. Med den nya modellen kan mänskliga resurser för bild annotering reduceras med minst hälften.

The integration of robotic modules is common both in industry and in academia, especially when it comes to robotic grasping and object tracking. However, there are usually two challenges in the integration process. Firstly, the respective fields are extensive, making it challenging to select a method in each field for integration according to specific needs. Secondly, because the integrated system is rarely discussed in academia, there is no set of metrics to evaluate it. Aiming at the first challenge, this thesis reviews and categorizes popular methods in the fields of robotic grasping and object tracking, summarizing their advantages and disadvantages. This categorization provides the basis for selecting methods according to the specific needs of application scenarios. For evaluation, two well-established methods for grasp pose detection and object tracking are integrated for a common application scenario. Furthermore, the technical, as well as the task-related challenges of the integration process are discussed. Finally, in response to the second challenge, a set of metrics is proposed to evaluate the integrated system. / Integration av robotmoduler är vanligt förekommande både inom industrin och i den akademiska världen, särskilt när det gäller robotgrepp och objektspårning. Det finns dock vanligtvis två utmaningar i integrationsprocessen. För det första är både respektive fält omfattande, vilket gör det svårt att välja en metod inom varje fält för integration enligt relevanta behov. För det andra, eftersom det integrerade systemet sällan diskuteras i den akademiska världen, finns det inga etablerade mätvärden för att utvärdera det. För att fokusera på den första utmaningen, granskar och kategoriserar denna avhandling populära metoder inom robotgreppning och spårning av objekt, samt sammanfattar deras fördelar och nackdelar. Denna kategorisering utgör grunden för att välja metoder enligt de specifika behoven i olika applikationsscenarion. Som utvärdering, integreras samt jämförs två väletablerade metoder för posdetektion och objektspårning för ett vanligt applikationsscenario. Vidare diskuteras de tekniska och uppgiftsrelaterade utmaningarna i integrationsprocessen. Slutligen, som svar på den andra utmaningen, föreslås en uppsättning mätvärden för att utvärdera det integrerade systemet.

Prestationsmätning och analys används inom sporter för att förbättra en spelares resultat relaterade till sin respektive sport. För analys finns labb och/eller dyr utrustning vilket gör den svårtillgänglig för icke-professionella utövare. Att minska kostnaden för mätverktyg bidrar till mer jämlika förutsättningar för spelare oavsett inkomst eller ålder. Den här studien syftar till att undersöka om en smartphone eller surfplatta kan användas för mätning och sportanalys. För att utforska detta utvecklades en applikation med fokus på projektilsporter som fotboll, tennis och golf. Applikationen testar visualisering av ett objekts parabel, mätning av dess hastighet och visualisering av dess träff i ett vertikalt plan. Applikationen utvecklades för iOS och testades på en iPad 12 pro. Tester för att validera applikationens noggrannhet utfördes med en fotboll, en tennisboll och en golfboll. Testresultaten för visualisering av parabel gav resultat för fotboll och tennisboll men kunde inte hantera golfbollens mindre storlek. Hastighet kunde mätas för alla tre bollar med en genomsnittlig procentuell avvikelse på 76% för fotboll, 21% för tennisboll och 43% för golfboll. Testresultaten för visualisering av ett objekts träff i ett målplan visade resultat för fotboll och tennisboll, men inte för en golfboll. Den genomsnittliga procentuella avvikelsen var 89% för fotboll respektive 23% för tennisboll. / Measuring and analyzing player performance within sports helps to improve a players results in regards to their respective sport. Specialized labs and or expensive equipment are used for analysis but are difficult to access for the average player. Decreasing the cost of measurement tools would help equalize the playing field for players regardless of age or economic background. This study evaluates if a smartphone or tablet can be used to perform the same task. To achieve this an application was developed with a focus on projectile sports such as soccer, tennis, or golf. The application will visualize a parabola, measure speed, and visualize the point where an object hits a vertical plane. The application was developed for iOS and was tested on an iPad 12 pro. The tests were performed with a soccer ball, tennis ball and golf ball. Tests for visualizing a parabola produced results for the soccer ball and the tennis ball but could not handle the golf balls smaller size. Speed was measured for all three balls with an average percentual offset of 76% for the soccer ball, 21% for the tennis ball and 43% for the golf ball. Hit on a vertical plan produced results for the soccer ball and tennis ball with an average percentual offset of 89% for the soccer ball and 23% for the tennis ball.

Multiple-object tracking is a task within the field of computer vision. As the name stated, the task consists of tracking multiple objects in the video, an algorithm that completes such task are called trackers. Many of the existing trackers require supervision, meaning that the location and identity of each object which appears in the training data must be labeled. The procedure of generating these labels, usually through manual annotation of video material, is highly resource-consuming. On the other hand, different from well-known labeled Multiple-object tracking datasets, there exist a massive amount of unlabeled video with different objects, environments, and video specifications. Using such unlabeled video can therefore contribute to cheaper and more diverse datasets. There have been numerous attempts on unsupervised object tracking, but most rely on evaluating the tracker performance on a labeled dataset. The reason behind this is the lack of an evaluation method for unlabeled datasets. This project explores unsupervised pedestrian tracking on video taken from a stationary camera over a long duration. On top of a simple baseline tracker, two methods are proposed to extend the baseline to increase its performance. We then propose an evaluation method that works for unlabeled video, which we use to evaluate the proposed methods. The evaluation method consists of the trajectory completion rate and the number of ID switches. The trajectory completion rate is a novel metric proposed for pedestrian tracking. Pedestrians generally enter and exit the scene for video taken by a stationary camera in specific locations. We define a complete trajectory as a trajectory that goes from one area to another. The completion rate is calculated by the number of complete trajectories over all trajectories. Results showed that the two proposed methods had increased the trajectory completion rate on top of the original baseline performance. Moreover, both proposed methods did so without significantly increasing the number of ID switches. / Spårning av flera objekt är en uppgift inom området datorseende. Som namnet angav består uppgiften av att spåra flera objekt i videon, en algoritm som slutför en sådan uppgift kallas trackers. Många av de befintliga spårarna kräver övervakning, vilket innebär att platsen och identiteten för varje objekt som visas i träningsdata måste märkas. Proceduren för att generera dessa etiketter, vanligtvis genom manuell anteckning av videomaterial, är mycket resurskrävande. Å andra sidan, till skillnad från välkända märkta uppsättningar för spårning av flera objekt, finns det en enorm mängd omärkt video med olika objekt, miljöer och videospecifikationer. Att använda sådan omärkt video kan därför bidra till billigare och mer varierande datauppsättningar. Det har gjorts många försök med oövervakad objektspårning, men de flesta förlitar sig på att utvärdera spårningsprestandan på en märkt dataset. Anledningen till detta är avsaknaden av en utvärderingsmetod för omärkta datamängder. Detta projekt utforskar oövervakad fotgängarspårning på video som tagits från en stillastående kamera under lång tid. Utöver en enkel baslinjespårare föreslås två metoder för att utöka baslinjen för att öka dess prestanda. Vi föreslår sedan en utvärderingsmetod som fungerar för omärkt video, som vi använder för att utvärdera de föreslagna metoderna. Utvärderingsmetoden består av banans slutförandegrad och antalet ID-växlar. Banans slutförandegrad är ett nytt mått som föreslås för spårning av fotgängare. Fotgängare går vanligtvis in och lämnar scenen för video tagna med en stillastående kamera på specifika platser. Vi definierar en komplett bana som en bana som går från ett område till ett annat. Färdigställandegraden beräknas av antalet kompletta banor över alla banor. Resultaten visade att de två föreslagna metoderna hade ökat graden av fullbordande av banan utöver den ursprungliga baslinjeprestandan. Dessutom gjorde båda de föreslagna metoderna det utan att nämnvärt öka antalet ID-växlar.

Rapporten beskriver utvecklingsarbetet och resultatet från utvecklingen av en robotplattform vid namn AIDA (AI Design Assistant), som utvecklades åt Institutionen för datavetenskap vid Linköpings universitet. Plattformen består av en robotarm som utgörs av sex stycken servomotorer, som är anslutna till en enkortsdator. En Android-surfplatta sitter integrerad på robotarmen och har en applikation installerad som utgör användargränssnittet. Tre huvudsakliga funktioner för plattformen utvecklades. Dessa funktioner är objektigenkänning, objektspårning och taligenkänning. Objektigenkänningen kan klassificera fyra olika fruktsorter, objektspårningen kan spåra objekt och följa dem med robotarmen genom inverskinematik, och taligenkänningen kan transkribera tal till text och svara på kommandon. Utifrån resultatet och diskussionen härleds slutsatser över fyra frågeställningar relaterade till utvecklingsarbetet. Projektet utfördes som en del av kursen TDDD96 Kandidatprojekt i programvaruutveckling, och varje projektmedlem har även skrivit ett individuellt bidrag till rapporten som behandlar områden kopplade till projektarbetet. / This report describes the development process and the resulting product from the development of a robot platform named AIDA (AI Design Assistant), that was developed on a request from the Department of Computer and Information Science at Linköping University. The platform consists of a robot arm that is made up by six servo motors connected to a single-board computer. An Android tablet is attached to the robot arm and has an application installed which constitutes the user interface. Three main functions were developed for the platform. These functions constitute object recognition, object tracking, and speech recognition. The object recognition module can classify four different types of fruit, the object tracking module can track objects and follow them by moving the robot arm using inverse kinematics, and the speech recognition module can transcribe speech to text and respond to  audible commands. Conclusions over four questions related to the development of the product are derived from the results and discussion chapters of the report. The project was conducted as a part of the course TDDD96 Software Engineering – Bachelor Project, and each project member has produced an individual contribution to the report which covers subjects related to the project.