Human-robot Collaboration as a new paradigm in manufacturing has already been a hot topic in both manufacturing science, production research, intelligent robotics, and computer science. Due to the boost of deep learning technologies in the nearly ten years, advanced information processing technologies bring the new possibility to human-robot Collaboration. Meanwhile, machine learning-based image processing such as convolutional neural network has become a powerful tool in dealing with problems like target recognizing and locating. This kind of technologies shows potentials on robotic manufacturing and human-robot Collaboration. A challenge is to implement well-designed deep neural networks linked to a robotic system that can conduct collaborative works with the human. Accuracy and robustness need also be concerned in the development. This thesis work will address this challenge. This thesis tries to implement a solution based in Machine Learning methods for image detection which permits us to, using a low cost image solutions (RGB single camera), detect and localize manufacturing components to pick them and finish an assembly, helping the human co-workers, using an industrial robot, simplifying also the IT tasks to run it. / Människa-robot samarbete, som ett nytt paradigm inom tillverkningsindustrin, har redan blivit ett omtalat ämne inom tillverkningsvetenskapen, produktforskningen, intelligent robotik och datavetenskapen. På grund av det senaste decenniets ökning av "deep learning" teknologier kan avancerade information-processerings teknologier bringa nya möjligheter för människarobot samarbete. Under tiden har även maskininlärnings-baserad bildklassificering med "convolutional neural network" blivit ett kraftfullt verktyg för att hantera problem så som måligenkänning och lokalisering. Dessa typer av teknologier har potential att implementeras nom robotiserad tillverkning och människa-robot samarbete. En utmaning är att implementera väldesignade "convolutional neural networks" kopplat till ett robot system som kan utföra arbete i samarbete med människan. Noggranhet och robusthet behöver också avvägas i utvecklingsarbetet. Detta examensarbete kommer att ta itu med denna utmaning. Detta examensarbete försöker att implementera en lösning baserad på maskininlärnings-metoder för bildigenkänning som tillåter oss att, med hjälp av en billig bild lösning (RGB enkel kamera), detektera och lokalisera tillverkningskomponenter att plocka upp och slutföra en montering, vilket hjälper den mänskliga medhjälparen, med en industriell robot. Detta förenklar också IT-uppgifterna för att köra den.

The TRACAB Image Tracking System is used by ChyronHego for the tracking of ball and players on football fields. It requires the calibration of the cameras around the arena which is disrupted by fences and other mesh structures that are positioned between the camera and the field as a safety measure for the public. The purpose of this work was the implementation of a cycle consistent Generative Adversarial Network (cycle-GAN) for removing the fence from the image using unpaired data. Cycle-GANs are part of the state-of-the-art of image-to-image translation and can solve this kind of problem without the need of paired images. This makes it an exciting and powerful method and, according to the latest investigations in the current work, it has never been used for this kind of application before. The model was able to strongly attenuate, and in some cases completely remove, the net structure from images. To quantify the impact of the net removal a homography matching was performed. Then, it was compared with the homography associated to the baseline of blurring the image with a gaussian filter and the original image without the use of any filter. The results showed that the identification of key-points was harder on synthetic images than on the original image with or without small Gaussian filters, but it showed a better performance against images blurred with filters with a standard deviation of 3 pixels or more. Despite the performance not being better than the baseline in all the cases it always added new key-points, and sometimes, it was able to find correct homographies where the baseline could not. Therefore, the cycle-GAN model proved to complement the baseline. / TRACAB Image Tracking System används av ChyronHego för spårning av bollen och spelaren påfotbollsplaner. Detta kräver kalibrering av kamerorna runt arenan som störs av staket och andra nätstrukturer som är placerade mellan kameran och fältet som en säkerhetsåtgärd för publiken. Detta examensabrete fokuserar påimplementeringen av en cycle-GAN för borttagning av nätet från bilden med hjälp av oparade data. Cycle-GAN är en bild-till-bild-översättning state-of-the-art teknik och det kan lösa denna typ av problem utan parade bilder. Detta gör det till en spännande och kraftfull metod och enligt den senaste forskningen har det aldrig använts för denna typ av tillämpning förut. Modellen kunde kraftigt dämpa och i vissa fall helt ta bort nätstrukturen från bilder. För att kvantifiera effekterna av avlägsnandet av nätet utfördes en homografimatchning. Därefter jämfördes det med homografin associerad med baslinjen där bilden görs suddig med ett gaussiskt filter och originalbilden utan användning av något filter. Resultaten visade att identifieringen av nyckelpunkter var svårare påsyntetiska bilder än påoriginalbilder med eller utan småGauss-filter, men det visade bättre prestanda än bilder som var suddigt med filter med en standardavvikelse på 3 pixlar eller mer. Trots att prestandan inte var bättre än baslinjen i alla fall lade versionen utan nätet alltid till nya nyckelpunkter, och ibland kunde den hitta korrekta homografier där baslinjen misslyckades. Därför, cycle-GAN-modellen kompletterar baslinjen.

The usage of programmable logic resources in Field Programmable Gate Arrays, also known as FPGAs, has increased a lot recently due to the complexity of the algorithms, especially for some computer vision algorithms. Due to this reason, sometimes the hardware resources in the FPGA are not sufficient. Partial reconfiguration provides us with the possibility to solve this problem. Partial reconfiguration is a technique that can be used to reconfigure specific parts of the FPGA during run-time. By using this technique, we can reduce the need for programmable logic resources. This master thesis project aims to design a software framework for partial reconfiguration that can load a set of processing components/algorithms (e.g. object detection, optical flow, Harris-Corner detection etc) in the FPGA area without affecting real-time static components such as camera capture, basic image filtering and colour conversion which are continuously running. Partial reconfiguration has been applied to two different video processing pipelines, a direct streaming architecture and a frame buffer streaming architecture respectively. The result shows that reconfiguration time is predictable which depends on the partial bitstream size, and that partial reconfiguration can be used in real-time applications taking the partial bitstream size and the frequency to switch the partial bitstreams into account. / Användningen av programmerbara logiska resurser i Field Programmable Gate Arrayer, även känd som FPGA:er, har ökat mycket nyligen på grund av komplexiteten hos algoritmerna, speciellt för vissa datorvisningsalgoritmer. På grund av detta är det ibland inte tillräckligt med hårdvaruresurser i FPGA:n. Partiell omkonfiguration ger oss möjlighet att lösa detta problem. Partiell omkonfigurering är en teknik som kan användas för att omkonfigurera specifika delar av FPGA:n under körtid. Genom att använda denna teknik kan vi minska behovet av programmerbara logiska resurser. Det här mastersprojektet syftar till att utforma ett programvaru-ramverk för partiell omkonfiguration som kan ladda en uppsättning processkomponenter / algoritmer (t.ex. objektdetektering, optiskt flöde, Harris-Corner detection etc) i FPGA- området utan att påverka statiska realtids-komponenter såsom kamerafångst, grundläggande bildfiltrering och färgkonvertering som körs kontinuerligt. Partiell omkonfiguration har tillämpats på två olika videoprocessnings-pipelines, en direkt-strömmande respektive en rambuffert-strömmande arkitektur. Resultatet visar att omkonfigurationstiden är förutsägbar och att partiell omkonfiguration kan användas i realtids-tillämpningar.