In modern industrial environments, human-robot collaboration is a trend in automation to improve performance and productivity. Instead of isolating robot from human to guarantee safety, collaborative robotics allows human and robot working in the same area at the same time. New hazards and risks, such as the collision between robot and human, arise in this situation. Safety analysis is necessary to protect both human and robot when using a collaborative robot.To perform safety analysis, robots need to perceive the surrounding environment in realtime. This surrounding environment is perceived and stored in the form of scene graph, which is a direct graph with semantic representation of the environment, the relationship between the detected objects and properties of these objects. In order to generate the scene graph, a simulated warehouse is used: robots and humans work in a common area for transferring products between shelves and conveyor belts. Each robot generates its own scene graph from the attached camera sensor. In the graph, each detected object is represented by a node and edges are used to denote the relationship among the identified objects. The graph node includes values like velocity, bounding box sizes, orientation, distance and directions between the object and the robot.We generate scene graph in a simulated warehouse scenario with the frequency of 7 Hz and present a study of Mask R-CNN based on the qualitative comparison. Mask R-CNN is a method for object instance segmentation to get the properties of the objects. It uses ResNetFPN for feature extraction and adds a branch to Faster R-CNN for predicting segmentation mask for each object. And its results outperform almost all existing, single-model entries on instance segmentation and bounding-box object detection. With the help of this method, the boundaries of the detected object are extracted from the camera images. We initialize Mask R-CNN model using three different types of weights: COCO pre-trained weight, ImageNet pre-trained weight and random weight, and the results of these three different weights are compared w.r.t. precision and recall.Results showed that Mask R-CNN is also suitable for simulated environments and can meet requirements in both detection precision and speed. Moreover, the model trained used the COCO pre-trained weight outperformed the model with ImageNet and randomly assigned initial weights. The calculated Mean Average Precision (mAP) value for validation dataset reaches 0.949 with COCO pre-trained weights and execution speed of 11.35 fps. / I modern industriella miljöer, för att förbättra prestanda och produktivitet i automatisering är human-robot samarbete en trend. Istället för att isolera roboten från människan för att garantera säkerheten, möjliggör samarbets robotar att man och robot arbetar i samma område samtidigt. Nya risker, såsom kollisionen mellan robot och människa, uppstår i denna situation. Säkerhetsanalys är nödvändig för att skydda både människa och robot när man använder en samarbets robot.För att utföra säkerhetsanalys måste robotar uppfatta omgivningen i realtid. Denna omgivande miljö uppfattas och lagras i form av scen graf, som är ett direkt diagram med semantisk representation av miljön, samt förhållandet mellan de detekterade objekten och egenskaperna hos dessa objekt. För att skapa scen grafen används ett simulerat lager: robotar och människor arbetar i ett gemensamt område för överföring av produkter mellan hyllor och transportband. Varje robot genererar sin egen scen grafik från den medföljande kamerasensorn. I diagrammet presenteras varje detekterat objekt av en nod och kanterna används för att beteckna förhållandet mellan de identifierade objekten. Diagram noden innehåller värden som hastighet, gränsvärde, orientering, avstånd och riktningar mellan objektet och roboten.Vi genererar scen graf i ett simulerat lager scenario med frekvensen 7 Hz och presenterar en studie av Mask R-CNN baserat på den kvalitativa jämförelsen. Mask R-CNN är ett sätt att segmentera objekt exempel för att få objektens egenskaper. Det använder ResNetFPN för funktion extraktion och lägger till en gren till Snabbare R-CNN för att förutsäga segmenterings mask för varje objekt. Och dess resultat överträffar nästan alla befintliga, enkel modell poster, till exempel segmentering och avgränsning av objektiv detektering. Med hjälp av denna metod extraheras kanterna för det detekterade objektet från kamerabilderna. Vi initierar Mask R-CNN-modellen med tre olika typer av vikter: COCO-utbildade vikter, ImageNet-tränade vikter och slumpmässiga vikter, och resultaten av dessa tre olika vikter jämförs med avseende på precision och återkallelse.Resultaten visade att Mask R-CNN också är lämplig för simulerade miljöer och kan uppfylla kraven i både detekterings precision och hastighet. Dessutom använde den utbildade modellen de COCO-tränade vikterna överträffat modellen med slumpmässigt tilldelade initial vikter. Det beräknade medelvärdet för precision (mAP) för validerings dataset når 0.949 med COCO-pre-utbildade vikter och körhastighet på 11.35 fps.

Scope of this thesis is the integration and implementation of a collaborative robot in the production line. In the first chapter, the project is described, and its objectives, purpose, boundaries and requirements are defined. Moreover, the project management tools and techniques are presented. All the steps and procedures followed before the initiation of the project are analysed. In the second chapter, the basic theoretical background necessary for a better understanding of the content of this thesis is presented. The history and development of collaborative robots, as well as the industrial evolutions are mentioned. The different types of collaborative robots and their importance in Industry 4.0 and current production are analysed. The third chapter deals with the detailed description of the project. All the devices and equipment are presented thoroughly. The programming logic and working flow is explained. In the last chapter according to the initial objectives, boundaries and requirements the success of the project is assessed. An analysis of how the installation of automate corrugate loader affected the production process is performed. Future changes, improvements and technical suggestions are discussed. The ultimate goal of this thesis project is that the content in the thesis report will be used as a guide for future installations of same or similar type of robots. The aim is to avoid many of the mistakes made, due to rush decisions, lack of experience and communication between team members. The leaning curve obtained during the implementation of the project, can lead to more effective projects in the future. / Fokus för denna avhandling är integrering och implementering av en interaktiv robot i en produktionslina. I det första kapitlet beskrivs projektet, och dess mål, syfte, gränser samt krav definieras. Dessutom presenteras verktyg och tekniker för projektledning. Alla de steg och procedurer som använts/följts innan projektet påbörjades har analyserats. I det andra kapitlet presenteras den grundläggande teoretiska bakgrunden för att ge en bättre förståelse av innehållet i denna avhandling. Historien och utvecklingen av interaktiva robotar, liksom de industriella evolutionerna nämns. De olika typerna av interaktiva robotar och deras betydelse i Industri 4.0 och nuvarande produktion analyseras. Det tredje kapitlet innehåller en detaljerad beskrivning av projektet. Alla enheter och utrustning presenteras noggrant. Programmeringslogiken och arbetsflödet förklaras. I det sista kapitlet utvärderas projektets framgång utfrån de ursprungliga målen, gränserna och kraven. En analys utförs av hur installationen av den automatiska laddaren för veckmaskinen påverkar produktionsprocessen. Framtida ändringar, förbättringar och tekniska förslag diskuteras. Det slutliga målet för detta exjobbsarbete är att innehållet i avhandlingen ska användas som en vägledning för framtida installationer av samma eller liknande typ av robotar. Syftet är att undvika många av de misstag som gjorts, på grund av brådska beslut, brist på erfarenhet och kommunikation mellan lagmedlemmar. Lärandekurvan som uppnåtts under genomförandet av projektet kan leda till effektivare projekt i framtiden.

Nowadays, the use of robots in industrial tasks is growing constantly. However, manual assembly is one area that is hard to make fully automated since manual assembly operations work with different shapes and products that require human finesse to do some operations. Humans, on the other hand, have a lot of limitations since this kind of task can be unergonomic and repetitive for operators, which can cause them stress, fatigue, repetitive stress injuries(RSI), and repetitive motion injuries. This project involved designing an insert for the gripper 2F-85 (version 3) that would allow the collaborative robot (UR5) to carry out more assembly tasks in order to relieve human workers of repetitive tasks. The insert has to handle cylindrical shapes in addition to bigger parts that the actual insert cannot handle due to its parallel stroke. For that, a detailed market analysis and insert research were conducted in the initial study. The new insert was then developed using a double-diamond design process. The needs were ranked using the Moscow prioritization method, and ideas were then generated using the brainstorming technique. The final concept was chosen using the weighted decision matrix method. After the final concept selection, computer-aided design (CAD) technology was employed to create the new insert's 3D model and its technical specifications. The mechanical behaviour of the new insert was analysed to reflect its range of workability, expressing the maximum force that it can withstand on each of its grip work surfaces without presenting plastic deformation. For this study, finite element analyses were conducted following the general method for linear structural analysis using Abaqus. Achieving an insert that can reach, transport, and assemble different shapes will help integrate collaborative robots into manual assembly processes, avoiding the cost of a new gripper.

A collaborative robot is something of growing interest for companies in the manufacturing industries to implement. However, a collaborative robot is quite new in today’s market. An issue that arises is that no implementation process for collaborative robots exists today, as well as no requirement guide for skills, as well as actors, has been defined. The aim of this project was to examine how an implementation process of collaborative robots in manufacturing companies could look like. Focusing on charting the integration process steps of a collaborative robot, and identifying the actors as well as skills needed for successful cobot integration, with the aim achieve the goal of this thesis by answering the research questions. The thesis had the following research questions: Research Question 1 – How is an integration process for implementing a cobot represented in the manufacturing companies? Research Question 2 – What particular skills as well as actors are required when implementing in a cobot in the manufacturing companies? To answer the research questions, the author conducted several interviews with different companies. The interview questions were mainly constructed in order to answer the RQs but also to get an understanding for the different aspects of what a cobot is, what is required as well as how it compares to a traditional industrial robot. The thesis resulted in an implementation process with several steps constructed in order to implement a cobot as well as different aspects of what skills and actors are needed. In order to separate the aspects, the respondents were categorized into different roles which are the developer, integrator and the user. The different roles were all vital, providing an understanding from different perspectives. Keywords: Collaborative robot, cobot, Human-robot interaction, Human-Robot Collaboration, Development strategies, Automation, Industry 4.0.

Skapat av Högskolan i Skövde och på uppdrag av Elektroautomatik i Skövde har detta projekt genomförts för att identifiera möjliga människa-robot samarbeten i monteringsmiljö. Robotarna som funnits i åtanke för denna form av samarbete är kollaborativa robotar. I dagens industri existerar redan kollaborativa robotar men utför ofta uppgifter på en mer samexisterande nivå avskild från människan. Den form av människa-robot samarbete som undersökts i detta arbete är där båda parter assisterar varandra i en arbetsuppgift på gemensam yta. Detta koncept har blivit allt viktigare för dagens företag som efterfrågar ett mer flexibelt och anpassningsbart system i framtiden. Under projektet undersöktes även förbättringsförslag på nuvarande lösningar för kollaborativa robotar samt processen kring robotlösningen. Genom studerad litteratur utformades tre intervjuprotokoll avsedda för en intervjustudie med tre olika yrkesgrupper – montörer, produktionstekniker och ingenjörer. Intervjustudien utfördes i samarbete med företag i Skövde där kunskap extraherats från personer inom monteringsmiljö. Kärnfrågan i samtliga intervjuprotokoll var i vilka uppgifter i monteringsmiljö som intervjupersonen såg möjlighet till ett människa-robot samarbete. Insamlad data har transkriberats, strukturerats och sorterats för att kunna sammanställa ett resultat. Förslag på möjliga arbetsmoment som framkom under intervjustudien delades in i sex kategorier: Svåråtkomligt, tidskrävande, ergonomisk avlastning, logistik, kvalitet och produktvariation. Ett resultat presenteras där samarbetsuppgifter mellan människa och robot sammanställts från intervjustudien. Dessa har sorterats efter de sex kategorierna inom möjliga arbetsmoment. Övergripande förslag angavs under intervjustudien på vilken typ av uppgifter och områden en kollaborativ robot hade kunnat samarbeta med en människa. Dessa förslag föll under flera kategorier – exempelvis äntring av stort antal skruvar vilket kan kategoriseras enligt både ergonomisk avlastning och tidskrävande. Den kategori som genererat flest förslag är arbetsuppgifter där en kollaborativ robot kan erbjuda ergonomisk avlastning för människan. För att identifiera mer specifika arbetsuppgifter behöver ytterligare undersökning utföras baserat på de områden som identifierats i detta arbete. Den kollaborativa robotlösningen behöver kunna arbeta inom flera olika kategorier för att uppnå den framtida flexibla produktion som efterfrågas. / Created by the University of Skövde and assigned by Elektroautomatik in Skövde this project was executed to identify possible HRC tasks in the assembly industry. The robots that were reviewed for this type of collaboration tasks were collaborative robots. Collaborative robots already exists in today’s industry but are commonly working on a co-existing level separated from the human. The type of collaboration investigated during this project regards solving tasks where the human and robot assist each other on a common work surface. This concept has gained more importance for companies today because of the increasing demand of a more flexible and adaptable system for the future production. Improvement proposals has been generated during the project regarding the collaborative robot and its implementation process. Based on the researched literature three interview protocols was created for three different groups of professions – assemblers, production technicians and engineers. In collaboration with companies in Skövde the interviews were executed gathering knowledge from people working within the assembly environment. The main question in all interview protocols were in which type of assembly tasks the interviewed could see a possibility for HRC. Collected data has been transcribed, structured and sorted in order to reach a result. Proposals of possible HRC operations gathered from the interviews were divided into six categories – inaccessible, time demanding, ergonomic relief, logistics, quality and product variety. A result has been presented where HRC tasks has been compiled from the interviews. These has been sorted into the six categories generated from possible HRC operations. General ideas were proposed during the interviews regarding what possible type of tasks and areas a collaborative robot could work together with a human. In many cases the proposals given could be sorted into more than one category – for example assemble of a large amount of screws that could be categorized as both ergonomic relief and time demanding. The category that generated the largest amount of proposals of HRC were tasks intended to offer ergonomic relief for the human. To identify more specific HRC tasks further research need to be performed based on the categories of areas that has been identified in this project. The future collaborative robot solution has to be able to combine more than one category to reach the flexible and adaptable system that is demanded.

The aim of the diploma thesis was to create a program with which it will be possible to control a collaborative robot by voice. First chapters contain a search of the current state in the field of collaborative robotics in terms of safety, work efficiency, robot programming and communication with the robot. Furthermore, the issue of machine processing of the human voice is discussed. In practical part was proposed an experiment in which we work with off-line simulation of UR3 robot in PolyScope 3.15.0 software. This simulation was linked to a Python program which uses SpeechRecognition and urx libraries. Simple voice instructions have been designed to move robot to defined position.

The development of advanced manufacturing opens new possibilities regarding cooperation between robots and humans, leading to a more sustainable industry. The study aims to research how automated processes with collaborative applications can be implemented in manual production systems and analyse the economic and ergonomic consequences this leads to. The process examined in the thesis is the de-labelling of wooden pallets conducted at the case company Volvo Construction Equipment in Braås, Sweden. Both quantitative and qualitative methods have been used. The study started with an analysis of the current situation regarding process design and the ergonomic aspect. The equipment needed to design the robot cell for testing had to be evaluated before a simulation of the automated process was done. Finally, the concept was tested in a laboratory environment. The result of the study shows that it is possible to automate if the removal of the labels is carried out completely perpendicularly. The economic analysis shows that the automated solution becomes a cheaper alternative after one year and four months. When the current manual process consists of unsustainable ergonomic elements, an automated solution will lead to improvements and more sustainable physical and organisational ergonomics. / Utvecklingen av avancerad tillverkning öppnar upp för nya möjligheter med samarbeten mellan människa och robot, vilket leder till en mer hållbar industri. Denna studie syftar till att undersöka hur automatiserade processer med kollaborativa applikationer kan bli implementerade i manuella produktionssystem och analysera de ekonomiska och ergonomiska konsekvenserna detta leder till. Processen som granskats är avtagandet av etiketter från träpallar som genomförts på fallföretaget Volvo Construction Equipment i Braås, Sverige. Både kvantitativa och kvalitativa metoder har använts. Studien började med analys av den nuvarande situationen gällande design av process och den ergonomiska situationen. Utrustningen som behövdes för att designa robotcellen utvärderades innan en simulering av den automatiserade processen gjordes. Seden testades konceptet i laboratoriemiljö. Studiens resultat visar att det är möjligt att automatisera om avtagandet av etiketter genomförs helt vinkelrät från pallen. Den ekonomiska analysen visar att den automatiserade lösningen blir ett billigare alternativ efter ett år och fyra månader. Om den nuvarande manuella processen består av ohållbara ergonomiska element, kommer en automatiserad lösning leda till förbättringar och en mer hållbar fysisk-, kognitiv- och organisatorisk ergonomisk situation.

Tesis por compendio / [ES] El mecanizado con brazos robots ha sido estudiado aproximadamente desde los años 90, durante este tiempo se han llevado a cabo importantes avances y descubrimientos en cuanto a su campo de aplicación. En general, los robots manipuladores tienen muchos beneficios y ventajas al ser usados en operaciones de mecanizado, tales como, flexibilidad, gran área de trabajo y facilidad de programación, entre otras, frente a las Máquinas Herramientas de Control numérico (MHCN) que necesitan de una gran inversión para trabajar piezas muy grandes o incrementar sus grados de libertad. Como desventajas, frente a las MHCN, los brazos robóticos poseen menor rigidez, lo que combinado con las altas fuerzas producidas en los procesos de mecanizado hace que aparezcan errores de precisión, desviaciones en las trayectorias, vibraciones y, por consiguiente, una mala calidad en las piezas fabricadas. Entre los brazos robots, los brazos colaborativos están en auge debido a su programación intuitiva y a sus medidas de seguridad, que les permiten trabajar en el mismo espacio que los operadores sin que estos corran riesgos. Como desventaja añadida de los robots colaborativos se encuentra la mayor flexibilidad que estos tienen en sus articulaciones, debido a que incluyen reductores del tipo Harmonic drive. El uso de un control de fuerza en procesos de mecanizado con brazos robots permite controlar y corregir en tiempo real las desviaciones generadas por la flexibilidad en las articulaciones del robot. Utilizar este método de control es beneficioso en cualquier brazo robot; sin embargo, el control interno que incluyen los robots colaborativos presenta ventajas que permiten que el control de fuerza pueda ser aplicado de una manera más eficiente. En el presente trabajo se desarrolla una propuesta real para la inclusión del control de esfuerzos en el brazo robot, así como también, se evalúa y cuantifica la capacidad de los robots industriales y colaborativos en tareas de mecanizado. La propuesta plantea cómo mejorar la utilización de un control de fuerza por bucle interior/exterior aplicado en un brazo colaborativo cuando se desconocen los pares reales de los motores del robot, así como otros parámetros internos que los fabricantes no dan a conocer. Este bucle de control interior/exterior ha sido utilizado en aplicaciones de pulido y lijado sobre diferentes materiales. Los resultados indican que el robot colaborativo es factible para realizar tales operaciones de mecanizado. Sus mejores resultados se obtienen cuando se utiliza un bucle de control interno por velocidad y un bucle de control externo de fuerza con algoritmos, Proporcional-Integral-Derivativo o Proporcional más Pre-Alimentación de la Fuerza. / [CA] El mecanitzat amb braços robots ha estat estudiat aproximadament des dels anys 90, durant aquest temps s'han dut a terme importants avanços i descobriments en el que fa al seu camp d'aplicació. En general, els robots manipuladors tenen molts beneficis i avantatges al ser usats en operacions de mecanitzat, com ara, flexibilitat, gran àrea de treball i facilitat de programació, entre d'altres, davant de Màquines Eines de Control Numèric (MECN) que necessiten d'una gran inversió per treballar peces molt grans o incrementar els seus graus de llibertat. Com a desavantatges, enfront de les MECN, els braços robòtics posseeixen menor rigidesa, el que combinat amb les altes forces produïdes en els processos de mecanitzat fa que apareguin errors de precisió, desviacions en les trajectòries, vibracions i, per tant, una mala qualitat en les peces fabricades. Entre els braços robots, els braços col·laboratius estan en auge a causa de la seva programació intuïtiva i a les seves mesures de seguretat, que els permeten treballar en el mateix espai que els operadors sense que aquests corrin riscos. Com desavantatge afegida als robots col·laboratius es troba la major flexibilitat que aquests tenen en les seves articulacions, a causa de que inclouen reductors del tipus Harmonic drive. L'ús d'un control de força en processos de mecanitzat amb braços robots permet controlar, i corregir, en temps real les desviacions generades per la flexibilitat en les articulacions del robot. Utilitzar aquest mètode de control és beneficiós en qualsevol braç robot, però, el control intern que inclouen els robots col·laboratius presenta avantatges que permeten que el control de força es puga aplicar d'una manera més eficient. En el present treball es desenvolupa una proposta real per a la inclusió del control d'esforços en el braç robot, així com s'avalua i quantifica la capacitat dels robots industrials i col·laboratius en tasques de mecanitzat. La proposta planteja com millorar la utilització d'un control de força per bucle interior/exterior aplicat en un braç col·laboratiu, quan es desconeixen els parells reals dels motors del robot, així com altres paràmetres interns que els fabricants no donen a conèixer. Aquest bucle de control interior/exterior ha estat utilitzat en aplicacions de polit sobre diferents materials. Els resultats indiquen que el robot col·laboratiu és factible de realitzar aquestes operacions de mecanitzat. Els seus millors resultats s'obtenen quan s'utilitza un bucle de control intern per velocitat i un bucle de control extern de força amb els algoritmes Proporcional-Integral-Derivatiu o Proporcional més Pre-alimentació de la Força. / [EN] Machining with robot arms has been studied approximately since the 90s; during this time, important advances and discoveries have been made in its field of application. In general, manipulative robots have many benefits and advantages when they are used in machining operations, such as flexibility, large work area, and ease of programming, among others, compared to Numerical Control Machine Tools (NCMT) that need a great investment to work very large pieces or increase their degrees of freedom. As for disadvantages, compared to NCMT, robotic arms have lower rigidity, which, combined with the high forces produced in machining processes, causes precision errors, path deviations, vibrations, and, consequently, poor quality in the manufactured parts. Among robot arms, collaborative arms are on the rise due to their intuitive programming and safety measures, which allow them to work in the same space without risk for the operators. An added disadvantage of collaborative robots is their flexibility in their joints because they include Harmonic drive type reducers. The use of force control in machining processes with robot arms makes possible to control and correct, in real-time, the deviations generated by the flexibility in the robot's joints. The use of this control method is beneficial for any robot arm. However, the internal control included in collaborative robots has advantages that allow the force control to be applied more efficiently. In this work, a real proposal is developed to include effort control in the robot arm. The capacity of industrial and collaborative robots in machining tasks is evaluated and quantified. The proposal recommends how to improve the use of an inner/outer force control loop applied in a collaborative arm, when the real torques of the robot's motors are unknown and other internal parameters that manufacturers do not disclose. This inner/outer control loop has been used in polishing and sanding applications on different materials. The results indicate that the collaborative robot is feasible to perform such machining operations. Best results are obtained using an internal velocity control loop and external force control loop with Proportional-Integral-Derivative or Proportional plus Feed Forward. / The authors are grateful for the financial support of the Spanish Ministry of Economy and European Union, grant DPI2016-81002-R (AEI/FEDER, UE). This work was funded by the CONICYT PFCHA/DOCTORADO BECAS CHILE/2017 – 72180157. / Pérez Ubeda, RA. (2022). Propuesta de inclusión de esfuerzos en el control de un brazo robot para asegurar el cumplimiento de la rugosidad superficial durante operaciones de lijado en diferentes materiales [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/182000 / Compendio