The aim of this project is to examine the feasibility andreliability of the use of a low cost computer vision system totrack and intercept a thrown object. A stereo vision systemtracks the object using color recognition and then guides amobile wheeled robot towards an interception point in orderto capture it. Two different trajectory prediction modelsare compared. One model fits a second degree polynomialto the collected positional measurements of the object andthe other uses the Forward Euler Method to construct theobjects flight path.To accurately guide the robot, the angular position of therobot must also be measured. Two different methods ofmeasuring the angular position are presented and their respectivereliability are measured. A calibrated magnetometeris used as one method while pure computer vision isimplemented as the alternative method.A functional object tracking and interception system thatwas able to intercept the thrown object was constructed usingboth the polynomial fitting trajectory prediction modelas well as the one based on the Forward Euler Method.The magnetometer and pure computer vision are both viablemethods of determining the angular position of therobot with an error of less than 1.5°. / I detta projekt behandlas konstruktionen av och pålitligheteni en bollfånganderobot och dess bakomliggande lågbudgetkamerasystem.För att fungera i tre dimensioner användsen stereokameramodul som spårar bollen med hjälpav färgigenkänning och beräknar bollbanan samt förutspårnedslaget för att ge god tid till roboten att genskjuta bollen.Två olika bollbanemodeller testas, där den ena tar hänsyntill luftmotståndet och nedslaget beräknas numeriskt ochden andra anpassar en andragradspolynom till de observeradedatapunkterna.För att styra roboten till den tänkta uppfångningspunktenbehövs både robotens position, vilket bestäms med kameramodulen,och robotens riktning. Riktningen bestäms medbåde en magnetometer och med kameramodulen, för attundersöka vilken metod som passar bäst.Den förslagna konstruktionen för roboten och kamerasystemetkan spåra och fånga objekt med bådadera de testademodellerna för att beräkna bollbana, dock så är tillförlitligheteni den numeriska metoden betydligt känsligare fördåliga mätvärden. Det är även möjligt att använda sig avbåde magnetometern eller endast kameramodulen för attbestämma robotens riktning då båda ger ett fel under 1.5°.

This thesis covers the design, construction and programming of an automated tic-tac-toe game with robotic control and image processing. Research shows that robotic systems, over time, have transitioned from manufacturing tools to service tools with a large focus on human interaction, a central aspect- of this project. The research questions of the project are centered around the use of inverse kinematics and difficulties with using color recognition to identify player moves. Furthermore, a theoretical analysis of forward and inverse kinematics, image processing, the minimax algorithm and electrical components is presented. The prototype was developed using a Raspberry Pi, servo motors and a camera module to identify player moves. Multiple tests with regards to speed, accuracy and reliability were performed to evaluate the performance of the prototype. The accuracy tests showed minor positional deviations in the movement of the prototype. Additionally, the tests of the image processing algorithm showed that lighting is important to attain reliable color recognition. The project resulted in a fully functional prototype that enables a game of tic-tac-toe to be played against an automated opponent. Potential future work includes an improved design, more efficient methods to determine the optimal move and alternative image processing algorithms. / Detta arbete omfattar design, konstruktion och programmering av ett automatiserat tre-i-rad spel med robotstyrning och bildbehandling. Forskning visar att robotsystem med tiden har övergått från tillverkningsverktyg till hjälpmedel med ett stort fokus på mänsklig interaktion, en central aspekt i detta projekt. Forskningsfrågorna som behandlas i projektet innefattar användning av inverterad kinematik och svårigheter med att använda färgigenkänning för att identifiera spelardrag. Dessutom utförs en teoretisk analys av framåt- och inverterad kinematik, bildbehandling, minimax algoritmen och elektriska komponenter. Prototypen utvecklades med hjälp av en Raspberry Pi, servomotorer samt en kameramodul för att identifiera spelardrag. Flertalet tester kring hastighet, noggranhet och pålitlighet genomfördes för att utvärdera prototypens prestanda. Noggranhetstesterna visade på små positionavvikelser i prototypens rörelse. Testerna av bildbehandlingalgoritmen indikerade att belysning är en viktig aspekt för att uppnå en tillförlitlig färgigenkänning. Projektet resulterade i en fullt fungerande prototyp som gör det möjligt att spela tre-i-rad mot en automatiserad motståndare. Potentiella framtida förbättringar inkluderar en förbättrad design, effektivare metoder för att bestämma optimala spelardrag samt alternativa bildbehandlingsalgoritmer.

In a world with an ever growing population, the ability to grow food eciently is essential. One way to improve the eciency is by automation. The purpose of this project is therefore to investigate how the identification of a plant’s stage in its growth cycle that can be made autonomous. This was done with the method of measuring the amount of green pixels in an image of the plant. To be able to answer our research questions a demonstrator was built. The demonstrator is a greenhouse with a non regulated aeroponic system, a regulation system for humidity and an identification system for determining the plant growth stage. The plant chosen to test the identification system was basil. The identification system successfully identified the stage of plants well into the adult stage, in the seed stage and in the middle of the sprout stage. It was however not always successful in the identification of plants transitioning from the sprout stage into the adult stage. / I en värld med en ständigt växande befolkning är förmågan att odla mat effektivt nödvändig. En metod för att öka denna effektivitet är genom automatisering. Syftet för detta projekt är därför att undersöka hur identifieringen av en plantans stadie i dess växtcykel kan automatiseras. Detta gjordes genom att mäta antalet gröna pixlar i en bild av plantan. För att kunna svara våra forskningsfrågor byggdes en testmiljö. Testmiljön bestod av ett växthus med ett oreglerat aeroponiskt system, ett regulationssystem för luftfuktighet och ett identifikationsssystem för att avgöra en plantas stadie i dess växtcykel. Plantan som valdes för att testa identifikationssystemet var basilika. Identifikationssystemet som togs fram kunde med framgång identifiera stadiet av en planta som är långt in i dess vuxna stadie, i förstadiet eller i mitten av dess groddstadie. Plantor som precis övergått från grodd till vuxet stadie blev däremot inte alltid identifierade korrekt.

The aim of this project is to examine the feasibility and reliability of the use of a low cost computer vision system to track and intercept a thrown object. A stereo vision system tracks the object using color recognition and then guides a mobile wheeled robot towards an interception point in order to capture it. Two different trajectory prediction models are compared. One model fits a second degree polynomial to the collected positional measurements of the object and the other uses the Forward Euler Method to construct the objects flight path. To accurately guide the robot, the angular position of the robot must also be measured. Two different methods of measuring the angular position are presented and their respective reliability are measured. A calibrated magnetometer is used as one method while pure computer vision is implemented as the alternative method. A functional object tracking and interception system that was able to intercept the thrown object was constructed using both the polynomial fitting trajectory prediction model as well as the one based on the Forward Euler Method. The magnetometer and pure computer vision are both viable methods of determining the angular position of the robot with an error of less than 1.5°. / I detta projekt behandlas konstruktionen av och pålitligheten i en bollfånganderobot och dess bakomliggande lågbudgetkamerasystem. För att fungera i tre dimensioner används en stereokameramodul som spårar bollen med hjälp av färgigenkänning och beräknar bollbanan samt förutspår nedslaget för att ge god tid till roboten att genskjuta bollen. Två olika bollbanemodeller testas, där den ena tar hänsyn till luftmotståndet och nedslaget beräknas numeriskt och den andra anpassar en andragradspolynom till de observerade datapunkterna. För att styra roboten till den tänkta uppfångningspunkten behövs både robotens position, vilket bestäms med kameramodulen, och robotens riktning.Riktningen bestäms medbåde en magnetometer och med kameramodulen, för att undersöka vilken metod som passar bäst. Den förslagna konstruktionen för roboten och kamerasystemet kan spåra och fånga objekt med bådadera de testade modellerna för att beräkna bollbana, dock så är tillförlitligheten i den numeriska metoden betydligt känsligare för dåliga mätvärden. Det är även möjligt att använda sig av både magnetometern eller endast kameramodulen för att bestämma robotens riktning då båda ger ett fel under 1.5°.

Today, there is an increasing demand for smart robots that can make decisions on their own and cooperate with humans in changing environments. The application areas for robotic arms with camera vision are likely to increase in the future of artificial intelligence as algorithms become more adaptable and intelligent than ever. The purpose of this bachelor’s thesis is to develop a robotic arm that recognises arbitrarily placed objects with camera vision and has the ability to pick and place the objects when they appear in unpredictable positions. The robotic arm has three degrees of freedom and the construction is modularised and 3D-printed with respect to maintenance, but also in order to be adaptive to new applications. The camera vision sensor is integrated in an external camera tripod with its field of view over the workspace. The camera vision sensor recognises objects through colour filtering and it uses an edge detection algorithm to return measurements of detected objects. The measurements are then used as input for the inverse kinematics, that calculates the rotation of each stepper motor. Moreover, there are three different angular potentiometers integrated in each axis to regulate the rotation by each stepper motor. The results in this thesis show that the robotic arm is able to pick up to 90% of the detected objects when using barrel distortion correction in the algorithm. The findings in this thesis is that barrel distortion, that comes with the camera lens, significantly impacts the precision of the robotic arm and thus the results. It can also be stated that the method for barrel distortion correction is affected by the geometry of detected objects and differences in illumination over the workspace. Another conclusion is that correct illumination is needed in order for the vision sensor to differentiate objects with different hue and saturation. / Idag ökar efterfrågan på smarta robotar som kan ta egna beslut och samarbeta med människor i föränderliga miljöer. Tillämpningsområdena för robotar med kamerasensorer kommer sannolikt att öka i en framtid av artificiell intelligens med algoritmer som blir mer intelligenta och anpassningsbara än tidigare. Syftet med detta kandidatexamensarbete är att utveckla en robotarm som, med hjälp av en kamerasensor, kan ta upp och sortera godtyckliga objekt när de uppträder på oförutsägbara positioner. Robotarmen har tre frihetsgrader och hela konstruktionen är 3D-printad och modulariserad för att vara underhållsvänlig, men också anpassningsbar för nya tillämpningsområden. Kamerasensorn ¨ar integrerad i ett externt kamerastativ med sitt synfält över robotarmens arbetsyta. Kamerasensorn detekterar objekt med hjälp av en färgfiltreringsalgoritm och returnerar sedan storlek, position och signatur för objekten med hjälp av en kantdetekteringsalgoritm. Objektens storlek används för att kalibrera kameran och kompensera för den radiella förvrängningen hos linsen. Objektens relativa position används sedan till invers kinematik för att räkna ut hur mycket varje stegmotor ska rotera för att erhålla den önskade vinkeln på varje axel som gör att gripdonet kan nå det detekterade objektet. Robotarmen har även tre olika potentiometrar integrerade i varje axel för att reglera rotationen av varje stegmotor. Resultaten i denna rapport visar att robotarmen kan detektera och plocka upp till 90% av objekten när kamerakalibrering används i algoritmen. Slutsatsen från rapporten är att förvrängningen från kameralinsen har störst påverkan på robotarmens precision och därmed resultatet. Det går även att konstatera att metoden som används för att korrigera kameraförvrängningen påverkas av geometrin samt orienteringen av objekten som ska detekteras, men framför allt variationer i belysning och skuggor över arbetsytan. En annan slutsats är att belysningen över arbetsytan är helt avgörande för om kamerasensorn ska kunna särskilja objekt med olika färgmättad och nyans.