Reinforcement Learning (RL) is popular to solve complex tasks in robotics, but using it in scenarios where humans collaborate closely with robots can lead to hazardous situations. In an autonomous warehouse, mobile robotic units share the workspace with human workers which can lead to collisions, because the positions of humans or non-static obstacles are not known by the robot. Such a scenario requires the robot to use some form of visual input from a lidar sensor or RGB camera, to learn how to adjusts its velocity commands to keep a safe distance and reduced speed when approaching obstacles. This is essential to train an RL-based robotic controller to be safe, however, it does not address the issue to make training itself safer, which in foresight is crucial to enable real-world training. This thesis proposes an agent setup with modified reward structure to train a local planner for a Turtlebot robot with lidar sensor that satisfies safety while maximizing the RL reward. Additionally, it presents a shielding approach that can intervene on a complex controller, by using a safe, sub-optimal backup policy in case the agent enters unsafe states. Two agents, an unshielded agent and one with shielding, are trained with this method in a simulated autonomous warehouse to investigate the effects of shielding during training. For evaluation we compare four conditions: Both agents are deployed once with activated shield and once without it. Those four conditions are analysed in regards to safety and efficiency. Finally, a comparison to the performance of the baseline Trajectory Planner is conducted. The results show that shielding during training facilitates task completion and reduces collisions by 25% compared to the unshielded agent. On the other hand, unshielded training yields better safety results during deployment. Generally, an active shield during deployment contributes to efficiency of the agent, independent of the training setup. The system design is integrated into the Robot Operating System (ROS) where its modular design makes the method compatible with different (RL) algorithms and deployable in OpenAI gym environments. / Reinforcement learning (RL) är en vanlig metod för att lösa komplexa uppgifter inom robotik. Användningen av den i scenarier där människor arbetar nära robotar kan dock leda till farliga situationer. I ett autonomt lager delar mobila robotenheter arbetsområdet med mänskliga arbetare, vilket kan leda till kollisioner eftersom roboten inte känner till människornas positioner eller icke-statiska hinder. I ett sådant scenario måste roboten använda någon form av visuell information från en lidarsensor eller RGB-kamera för att lära sig hur den ska anpassa sina hastighetsinstruktioner för att hålla ett säkert avstånd och minskad hastighet när den närmar sig hinder. Detta är viktigt för att träna RL-baserad robotstyrning så att den blir säker. Det löser dock inte problemet med att göra själva utbildningen säkrare, vilket är avgörande för att möjliggöra utbildning i den verkliga världen. I det här examensarbeten presenteras en agentuppsättning med en modifierad belöningsstruktur för att träna en lokal planerare för en Turtlebot robot med en lidarsensor. Detta ger säkerhet samtidigt som belöningen maximeras. Dessutom presenteras en skyddsmekanism som kan ingripa i det komplexa styrsystemet och byta till ett säkert, suboptimalt reservstyrprogram om agenten hamnar i osäkra tillstånd. Två agenter tränas med denna metod i ett simulerat autonomt lager, en agent utan och en med sköld, för att undersöka effekterna av sköldning under träningen. Fyra konfigurationer jämförs för utvärdering: Båda ämnena används en gång med skölden aktiverad och en gång utan. Dessa fyra konfigurationer analyseras med avseende på säkerhet och effektivitet. Slutligen görs en jämförelse med Trajectory Planner som utgångspunkt. Resultaten visar att skydd under träningen gör det lättare att slutföra uppgiften snabbare och minskar antalet kollisioner med 25% jämfört med en agent utan skydd. Å andra sidan leder träning utan avskärmning till bättre säkerhetsmätningar under arbetet. Generellt sett bidrar en aktiv sköld under installationen till agentens effektivitet, oavsett hur utbildningen är upplagd. Systemet är integrerat i Robot Operating System (ROS). Dess modulära utformning möjliggör kompatibilitet med olika RL-algoritmer, liksom användning av metoden i OpenAI gymmiljöer.

Totalt produktivt underhåll (TPM) är ett arbetssätt med åtta delaspekter, som fokuserar på att underhålla och förbättra produktionen. Autonomt underhåll (AM) är en av de åtta pelarna och är en underhållsstrategi där maskinoperatörer utför grundläggande underhållsuppgifter samt kontinuerligt kontrollerar sina egna maskiner. Vid arbete med lyftverktyg bör alla komponenter och funktioner kontrolleras regelbundet för att minimera riskerna. Daglig tillsyn är ett lagkrav i många länder, och i Sverige ingår det i Arbetsmiljöverkets föreskrifter AFS 2006:6 30 §, som anger att lyftverktyg ska underhållas och kontrolleras dagligen. Det är lämpligt att genomföra en daglig tillsyn vid början av varje arbetsskifts. Hos Ålö AB saknades rutiner och riktlinjer för hur lyftverktygen som används för montering av frontlastare skall optimalt underhållas, samt instruktioner för det löpande underhållet av lyftverktygen. Syftet med projektet var att höja säkerheten på arbetsplatsen, förebygga ohälsa och olyckor, upptäcka underhållsbehov så tidigt som möjligt samt att öka operatörernas kompetens och kunskap om lyftverktyg. Målet med projektet var att ta fram en instruktion för operatörernas underhåll av lyftverktyg på monteringen av frontlastare. Projektet genomfördes genom faktainsamling, framtagning av olika koncept över process, utvärdering av koncept samt framtagning av ett slutligt koncept.  Den fastställda arbetsrutinen i det slutliga konceptet innebär att daglig tillsyn ska utföras vid olika områden i monteringen. Arbetssättet kombinerar analogdokumentation av den dagliga tillsynen på pappersblanketter med digital efterbearbetning. / Total Productive Maintenance (TPM) is an approach with eight sub-aspects, which focuses on maintaining and improving production. Autonomous maintenance (AM) is one of the eight pillars and is a maintenance strategy, where machine operators perform basic maintenance tasks and continuously check their own machines. When working with lifting tools, all components and functions should be checked to minimize the risk for accident. Daily supervision is a legal requirement in many countries, and, in Sweden, it is included in the Swedish Work Environment Authority's regulations AFS 2006: 6, section 30, which states that lifting tools must be maintained and checked daily. It is advisable to carry out a daily inspection at the beginning of each shift. Ålö AB lacked routines and guidelines for how the lifting tools used for mounting loaders should be optimally maintained, as well as instructions for the ongoing maintenance of the lifting tools. The purpose of the project was to increase safety in the workplace, prevent ill health and accidents, detect maintenance needs as early as possible, and to increase operators' skills and knowledge of lifting tools. The aim of the project was to produce an instruction for the operators' maintenance of lifting tools on the installation of loaders. The project was carried out through fact-finding, development of various concepts over the process, evaluation of concepts and development of a final concept. The specific work routine suggested in the final concept is based on daily inspections must be carried out at various locations in the assembly department. The working method combines analogue documentation of the daily supervision of paper forms with digital post-processing.

The contracting company is in the desire of an autonomous system that can do tedious administrative work that is today done manually. They would like to autonomically notify customers about incoming alarms from the customers’ real estates’ Data Under Centrals and to notify about bookings, in which a complete booking system has to be created, together with a file system analyzer that notifies about new files in the customers’ project folders. A notification system was made that was easily deployable and ready to use. The system had to be completely configurable for the contracting company to use it to its full potential. The notification system was to send notifications when a new alarm had entered the database, a booking had to be reminded of, a rebooking was made or a file had been added to the file system in a designated project folder. The contracting company had a web portal that was further developed in ASP.net in which a booking calendar and booking viewer page was added together with a form creation and management system. A demo buttons page was also added for generating demo notifications for the company to show it’s customers how the system responds to certain events. The employees at GATE IBS feel confident that this system will help them in their working environment to further strengthen their position as an industry leading business in control- and monitoring technology. / Det uppdragsgivande företaget önskar ett autonomt system som kan utföra tidskrävande administrativt arbete som idag utförs manuellt. De vill autonomt informera kunderna om inkommande larm från kundens fastigheters "Data Under Centrals" samt meddela om bokningar där ett komplett bokningssystem måste skapas tillsammans med en filsystemanalysator som meddelar om nya filer i kundens projektmapp. Ett notifikationssystem gjordes som var enkelt att distribuera och redo att använda. Systemet måste vara helt konfigurerbart för att det uppdragsgivande bolaget ska kunna använda programmet till sin fulla potential. Anmälningssystemet skulle skicka meddelanden när ett nytt larm hade kommit in i databasen, en bokning måste påminnas om, ombokning gjordes eller en fil hade lagts till filsystemet i en utsedd projektmapp. Kontraktsföretaget hade en webbportal som vidareutvecklades i ASP.net där en bokningskalender och bokningsvisningssida lagts till tillsammans med ett formulärgenererings- och formulärhanteringssystem och en demoknappssida för att generera demonotifikationer för att företaget ska kunna visa kunderna hur systemet svarar på vissa händelser. De anställda på GATE IBS är övertygade om att detta system kommer att hjälpa dem i sin arbetsmiljö för att ytterligare stärka sin ställning som branschledande företag inom kontroll- och övervakningsteknik.

This master thesis project is focused on the development of an LQR controller and its comparison with other controllers (PID and MPC), in order to successfully control an Autonomous Underwater Vehicle manipulation system. The modelling of the manipulator was performed first in Matlab and later on in Simulink-Simscape. Once the manipulator was integrated with the AUV model, the LQR controller was also developed initially in Matlab and then in Simulink. The controller was then extracted from Simulink as a C-code and verified in Stonefish. After confirming that the LQR code was working in Stonefish, its results from Simulink were compared with PID and MPC results for two different trajectories. The data for comparison and statistical analysis were divided into the two trajectory scenarios (horizontal and vertical) since the weight matrices of both controllers were different. Looking at the system’s overall behavior the Model Predictive Control (MPC) and LQR had similar results, regarding the rise time, overshoot, steady-state error and robustness to disturbances. An anticipated fact for the MPC was that it takes the longest run time for both scenarios. Lastly, as expected the PID had the worst response of all three controllers, in both scenarios. Implementing a PID on a nonlinear system, produced many oscillations without being able to stabilize at the reference value, thus giving a large steady-state error. In addition, it could not counteract the noise disturbances in the signal. / Detta examensarbete är inriktat på utvecklingen av en LQR-styrenhet och dess jämförelse med andra kontroller (PID och MPC), för att framgångsrikt styra ett autonomt undervattensfordon-manipulationssystem. Modelleringen av manipulatorn utfördes först i Matlab och senare i Simulink-Simscape. När manipulatorn väl hade integrerats med AUV modellen, utvecklades LQR styrenheten också inledningsvis i Matlab och sedan i Simulink. Kontrollenheten extraherades sedan från Simulink som en C-kod och verifierades i Stonefish. Efter att ha bekräftat att LQR koden fungerade i Stonefish, jämfördes resultaten från Simulink med PID och MPC resultat för två olika banor. Data för jämförelse och statistisk analys delades in i de två bana-scenarierna (horisontella och vertikala), eftersom viktmatriserna för båda kontrollerna var olika. När man tittar på systemets övergripande beteende hade Model Predictive Controller (MPC) och LQR liknande resultat när det gäller stigningstid, överskott, steady-state fel och robusthet mot störningar. Ett förväntat faktum för MPC var att det tar den längsta körtiden för båda scenarierna. Slutligen, som väntat, hade PID det sämsta svaret av alla tre kontrollerna, i båda scenarierna. Implementering av ett PID på ett olinjärt system gav många oscillationer utan att kunna stabilisera sig vid referensvärdet, vilket gav ett stort steady-state fel. Dessutom kunde den inte motverka bullerstörningarna i signalen.