Denna rapport beskriver ett examensarbete som gjorts vid Linköpings Universitet under hösten 2012 och våren 2013. Arbetet gick ut på att utforska de olika interaktionsmöjligheterna för Microsoft Kinect samt vad man själv kan utveckla till denna plattform. I detta arbete gjordes en förstudie för att utröna existerande metoder och hur dessa fungerar. Utifrån denna studie formulerades en frågeställning enligt nedan. Hur kan man använda Microsoft Kinect för att identifiera fysiska objekt på en yta? Kan vi använda Kinect för att klassificera objekt? Kan vi utveckla en produkt som kan användas i hemmet? Metoden för att svara på dessa frågor innefattar skapandet av ett scenario där Kinecten kan användas för objektidentifiering. Scenariot i fråga innefattar att Kinectens objektidentifieringsmöjligheter används för att interagera med ett spel som utvecklades i samband med arbetet. Under arbetets gång förfinades och förbättrades teknikerna och kunde därmed börja användas på fler sätt än de initialt var tänkta för. Utvecklingen resulterade i en färdig produkt samt ett flertal klasser som andra utvecklare kan använda för att skapa egna applikationer som använder de tekniker detta arbete resulterade i. / This report describes a thesis done at Linköping University in the autumn of 2012 and the spring of 2013. The intent of the work was to explore the different interaction possibilities of Microsoft Kinect and what can be developed for this platform. In this work, a preliminary study to determine existing methods and how they work was performed. Based on this study the research questions below were formulated. How to use Microsoft Kinect to identify physical objects on a surface? Can we use Kinect to classify objects? Can we develop a product that can be used in the home? The method for answering these questions includes the creation of a scenario where the Kinect can be used for object identification. The scenario in question involves the Kinect’s object detection capability, which is used to interact with a game that was developed during the process. Also, the techniques were refined and improved and could therefore be used in more ways than they were initially intended. The development resulted in a finished product and a number of classes that other developers can use to create custom applications using the techniques that this work resulted in.

Saab använder sig i nuläget av ett utdaterat system för att utföra tester av deras produkter. Systemet filmar ur olika vinklar och sammanfogar videoströmmarna till en slutgiltig video, där de sedan kan analysera resultatet av produkten. Enkortsdatorer är något som på senare år har blivit mer och mer populärt, Saab vill därför undersöka om det går att ersätta det äldre systemet med enkortsdatorer och kameror.Det ska undersökas om enkortsdatorn BeagleBoard klarar av att köra objektidentifiering samtidigt som den filmar och utför operationer som videosynkning, videokodning samt sparar den synkade filmen.Undersökningen visade att BeagleBoardens processor inte är tillräckligt kraftfull för att klara av objektidentifieringen utan hårdvarustöd. Istället behöver det utföras av en dator som bearbetar filmen i efterhand och plockar ut objekt. Det har förslagits en bättre metod för att göra objektidentifieringen smartare och lärande som kommer fungera bättre i Saabs fall. / Saab is currently using an old and complex system to perform tests of their products. The system is based on filming from different angles which will be merged to one film from which Saab can analyze the results of their products. Single-board computers is something that have become increasingly popular in the recent years, therefore, we are to investigate whether it is possible or not to replace the older systems with SBCs and cameras.We will also investigate whether the BeagleBoard is capable of detecting objects while filming, synchronizing, encoding and saving the video for later use.The result showed that the processor isn’t powerful enough to handle object identification without full hardware support. Instead, it needs to be performed afterwards by a computer which will identify objects in the video. A better method has been proposed to make object identification smarter and learning, which will work better in Saab’s case and their future work.

Internet of Things växer fort och förutspås bli en del av vardagen. Detta öppnar möjligheter för att skapa produkter som förenklar vardagslivet. Automatisk objektsidentifiering kombinerad med en automatiserad lagerstatus kan underlätta inventering, något som kan användas till exempel i smarta kylskåp för att göra vardagen enklare genom Internet of Things.Detta examensarbete studerar metoder inom objektsidentifikation för att ta fram ett system som automatiskt kan identifiera objekt och hantera lagerstatus. En prototyp framställdes och testades för att se vilka möjligheter som finns. Systemet använder en Raspberry Pi som basenhet, vilken använder Dlib-bibliotek för att identifiera objekt som har blivit fördefinierade. Vid okända objekt identifierar användaren objekt i en mobilapplikation, systemet kan genom detta lära sig identifiera nya objekt. Samma applikation används för att se lagerstatusen på de olika objekt som har registrerats av systemet. Prototypen klarar av att identifiera kända objekt samt att lära sig nya, enligt projektets mål. / Internet of Things is growing fast and is predicted to become a part of everyday life. This can be used to create products which will make everyday life easier. Automated object detection combined with an automated inventory check can make it easier to manage what is in stock, this is something that can be used in smart refrigerators as an example, to make life more convenient through Internet of Things. This Bachelor thesis studies methods regarding object detection with the purpose to build a system which automatically identifies objects and manages the inventory status. A prototype was built and tested to see what the possibilities there is with such a system. The Prototype uses a Raspberry Pi as core unit, which uses Dlib libraries to identify predefined objects. The user will identify unknown objects via the mobile phone application, which makes it possible for the system to learn how to identify new objects. The same application is used to check the inventory status for the different objects that has been identified by the system. The prototype can identify objects and learn to identify new ones, according to the goals of the project.

Video thumbnails are essential to represent the content and summary of a video. This thesis proposed a thumbnail extraction approach for fashion videos based on the presence of clothing items, sharpness, and contrast. Furthermore, this thesis investigated how the proposed thumbnail selection method performed concerning user engagement. Other research has been done on user engagement; however, the impact of clothing item presence has yet to be investigated. Firstly, a YOLOv7 model was trained on a fashion dataset to identify clothing items. The proposed selection method used the model to extract labels to determine what frames contain the maximum number of clothing items. The selected frames were filtered based on a contrast threshold, and the sharpest frame was kept as the proposed thumbnail from the remaining frames. The contrast was measured by calculating the standard deviation of the pixels in each frame. The sharpness was measured with the Laplacian operator. The user engagement was investigated by surveying 119 participants on thumbnail preference. The participants were presented with three frames, the thumbnail extracted with the proposed method, and two control frames: the middle frame of the video and a frame where the YOLOv7 model had only identified one object. The results show that the proposed thumbnail selection method performs well, receiving 59.75% of the total votes, compared to a middle frame and a single-item frame that received 17.46% and 22.79% of the votes, respectively. The results indicate that the proposed parameters for the thumbnail extraction could lead to higher user engagement. / Video-miniatyrbilder är en essentiell del av att presentera och sammanfatta videoinnehåll. Den här uppsatsen föreslår en miniatyrbilds extraktionsmetod för modevideos baserat på klädesplagg, skärpa och kontrast. Denna uppsats utvärderade hur den föreslagna metoden presterar i relation till användarengagemang. Tidigare forskning har utvärderat användarengagemang på miniatyrbilder, dock inte kopplat till närvaro av klädesplagg. Först tränades en YOLOv7 modell på ett modedataset för att identifiera klädesplagg. Den föreslagna metoden använde modellen för att extrahera etiketter för att fastställa vilka bilder som inkluderade flest klädesplagg. De utvalda bilderna filtrerades med en kontrast-tröskel, och den skarpaste bilden av de resterande bilderna behölls som en föreslagen miniatyrbild. Kontrasten mättes med standardavvikelsen mellan pixlar i varje bild. Skärpan mättes med Laplaceoperatorn. Användarengagemanget undersöktes med en enkät genomförd av 119 deltagare för att identifiera vilken miniatyrbild som föredrogs. Deltagarna blev presenterade med tre bilder, en extraherad med den föreslagna metoden och två kontrollbilder: mittenbilden från videon och en bild där YOLOv7 modellen endast identifierat ett objekt. Resultaten visar att den föreslagna metoden presterar bra, den fick 59,75% av rösterna, jämfört med mittenbilden och bilden med ett objekt, som fick respektive 17.46% och 22.79%. Resultaten indikerar att den föreslagna parametrarna kan bidra till ökat användarengagamang i modefilmer.

The expectations in performing high-performance cyber-physical applications in resource-constrained devices are continuously increasing. The available hardware is still a main limitation in this context, both in terms of computation capability and energy limits. On the other hand, one must ensure the robust and accurate execution of the applications deployed, since their failure may entail risks for humans and the surrounding environment. The limits and risks are enhanced when multiple applications are executed on the same device. The focus of this thesis is to provide a trade-off between the required performance and power consumption. The focus is on two fundamental applications in the mobile autonomous vehicles scenario: localization and object detection. The multi-objective optimization is performed in a cross-layer manner, exploring both applications and platform configurable parameters with Design Space Exploration (DSE). The focus is on localization and detection accuracy, detection latency and power consumption. Predictive models are designed to estimate the metrics of interest and ensure robust execution, excluding potential faulty configurations from the design space. The research is approached empirically, performing tests on the Nvidia Jetson AGX and NX platforms. Results show that optimal configurations for a single application are in general sub-optimal or faulty for the concurrent execution case, while the opposite is sometimes applicable. / Resursbegränsade enheter förväntas utföra mer och mer krävande cyberfysiska program. Hårdvaran är en av de huvudsakliga begränsningarna både vad gäller beräkningshastighet och energigränser. Samtidigt måste programmen som körs vara robusta och noggranna, eftersom ett fel kan påverka människor och deras omgivning. När flera program körs på samma enhet blir både begränsningar och risker större. Den här avhandlingen fokuserar på att göra en avvägning mellan krav på prestanda och energiförbrukning för två tillämpningar inom området autonoma fordon: lokalisering och objektigenkänning. Med hjälp av Design Space Exploration (DSE) utforskas parametrar både i applikationerna och på plattformen genom att utföra tvärlageroptimering med flera mål. Lokaliserings- och detekteringsnoggrannhet, fördröjning i igenkänning och energiförbrukning är egenskaper i fokus. Prediktiva modeller designas för att estimera måtten som är av intresse och garantera robust körning genom att utesluta potentiellt felaktiga konfigurationer. Empirisk forskning görs med tester på Nvidia Jetson AGXoch NX-plattformarna. Resultaten visar att de optimala konfigurationerna för ett enda program i allmänhet är suboptimala eller felaktiga vid körning av flera program samtidigt, medan motsatsen ibland är tillämplig.