To utilize space better, warehouses stack their products on top of each other. This increases the risk of injury for workers when storing and retrieving the products. Some warehouses counteract this by using robots to retrieve products to a picking area where a human worker picks the products needed to fulfill an order. This means that it is important for the robots to be effective when retrieving products to reduce the time the worker spends waiting in the picking area. This thesis focuses on the grouping of products in the containers when they are stored in the warehouse. The robots will then retrieve one container at a time and if the grouping of products is done correctly this should decrease the number of retrievals required to fulfill an order. In order to make the decision on which products to group together, an application was developed that data mined previous orders that the warehouse had received in an attempt to extract information about the products. With the help of this information the application then suggests different product layouts that focus on different goals when they are created. The different layouts are then compared against each other in order to determine which layout technique produces the best results. This algorithm has been named the PLO-algorithm. The results showed that when a product is placed with the PLO-algorithm, the most important aspect to consider is the relations it has with the other products it is grouped with. The results also showed that data mining orders that are too old can have a negative impact on the result if not handled correctly. The results also showed that when constructing the warehouse you should try to avoid restrictions that affect which products can be placed together as much as possible since these restrictions can impact the effectiveness of the warehouse in a negative way. The thesis draws the conclusion that there is a clear gain in effectiveness for warehouses to have a planed layout for their products. It is recommended to data mine previous orders to extract relations between the products if possible since this piece of information showed the best results in this thesis. It is also in the warehouse best interest to avoid as many restrictions as possible that affect which products can be placed together since this can impact the results in a negative way. It is also beneficial to not include data that is too old in the data mining since this can impact the results in a negative way if not handled correctly. / För att utnyttja sitt utrymme bättre staplar lagerhus sina produkter på höjden. Detta medför högre risker för personskada vid hämtning och lämning av produkter, en del lagerhus löser detta genom att använda sig av robotar som hämtar och lämnar produkterna i lagerhuset. Robotarna hämtar och lämnar produkterna i en plock zon där en mänsklig arbetare plockar de produkter som behövs för en order. Detta innebär att det är viktigt att robotarna är effektiva i sin hämtning av produkter för att minska väntetiden för arbetarna i plock zonen. I ett försök att effektivisera robotarna fokuserar denna avhandling på gruperingen av produkterna i behållarna. Detta innebär att beslutet om vilka produkter som ska grupperas tillsammans i samma behållare är viktig eftersom om rätt produkter lagras tillsammans så kommer detta minska antalet hämtningar och lämningar som krävs för att uppfylla en beställning. För att hjälpa till med detta beslut skapades en applikation som analyserade tidigare beställningar som varuhuset erhållit i ett försök att extrahera information om produkterna. Applikationen skapar sedan olika förslag på produkt placeringar där de olika förslagen fokuserar på olika mål för att undersöka vilket mål som är viktigast att fokusera på när en produkt ska placeras. Algoritmen i denna applikation har valts att kallas för PLO-algoritmen. Resultaten visade att när en produkt ska placeras med PLO-algoritmen så är det viktigt att gruppera produkten med produkter den har starka relationer till. Resultatet visade också att när data ska analyseras bör inte för gammal data analyseras då äldre relationer mellan produkter som inte stämmer längre kan påverka resultatet negativt om algoritmen ej hanterar detta på något sätt. Resultaten visade också att vid konstruktionen av lagerhuset bör restriktioner som begränsar hur produkter kan placeras, undvikas om möjligt då dessa kan påverka lagerhusets effektivitet negativt. Slutsatsen som kan dras är att ett lagerhus kan tjäna väldigt mycket på att ha en plan när de bestämmer hur deras produkter ska placeras. Om det finns möjlighet att analysera tidigare beställningar efter relationer mellan produkter så är detta rekommenderat då det visade bäst resultat i denna undersökning. Det är även till lagerhusets fördel att försöka undvika restriktioner på deras lagersystem när det byggs eftersom det möjliggör för fler kombinationer när produkterna ska grupperas. Till sist så visar avhandlingen att med datan som användes att det var fördelaktigt att inte göra analys på för gammal data, då detta ger sämre resultat.

Reinforcement Learning (RL) is popular to solve complex tasks in robotics, but using it in scenarios where humans collaborate closely with robots can lead to hazardous situations. In an autonomous warehouse, mobile robotic units share the workspace with human workers which can lead to collisions, because the positions of humans or non-static obstacles are not known by the robot. Such a scenario requires the robot to use some form of visual input from a lidar sensor or RGB camera, to learn how to adjusts its velocity commands to keep a safe distance and reduced speed when approaching obstacles. This is essential to train an RL-based robotic controller to be safe, however, it does not address the issue to make training itself safer, which in foresight is crucial to enable real-world training. This thesis proposes an agent setup with modified reward structure to train a local planner for a Turtlebot robot with lidar sensor that satisfies safety while maximizing the RL reward. Additionally, it presents a shielding approach that can intervene on a complex controller, by using a safe, sub-optimal backup policy in case the agent enters unsafe states. Two agents, an unshielded agent and one with shielding, are trained with this method in a simulated autonomous warehouse to investigate the effects of shielding during training. For evaluation we compare four conditions: Both agents are deployed once with activated shield and once without it. Those four conditions are analysed in regards to safety and efficiency. Finally, a comparison to the performance of the baseline Trajectory Planner is conducted. The results show that shielding during training facilitates task completion and reduces collisions by 25% compared to the unshielded agent. On the other hand, unshielded training yields better safety results during deployment. Generally, an active shield during deployment contributes to efficiency of the agent, independent of the training setup. The system design is integrated into the Robot Operating System (ROS) where its modular design makes the method compatible with different (RL) algorithms and deployable in OpenAI gym environments. / Reinforcement learning (RL) är en vanlig metod för att lösa komplexa uppgifter inom robotik. Användningen av den i scenarier där människor arbetar nära robotar kan dock leda till farliga situationer. I ett autonomt lager delar mobila robotenheter arbetsområdet med mänskliga arbetare, vilket kan leda till kollisioner eftersom roboten inte känner till människornas positioner eller icke-statiska hinder. I ett sådant scenario måste roboten använda någon form av visuell information från en lidarsensor eller RGB-kamera för att lära sig hur den ska anpassa sina hastighetsinstruktioner för att hålla ett säkert avstånd och minskad hastighet när den närmar sig hinder. Detta är viktigt för att träna RL-baserad robotstyrning så att den blir säker. Det löser dock inte problemet med att göra själva utbildningen säkrare, vilket är avgörande för att möjliggöra utbildning i den verkliga världen. I det här examensarbeten presenteras en agentuppsättning med en modifierad belöningsstruktur för att träna en lokal planerare för en Turtlebot robot med en lidarsensor. Detta ger säkerhet samtidigt som belöningen maximeras. Dessutom presenteras en skyddsmekanism som kan ingripa i det komplexa styrsystemet och byta till ett säkert, suboptimalt reservstyrprogram om agenten hamnar i osäkra tillstånd. Två agenter tränas med denna metod i ett simulerat autonomt lager, en agent utan och en med sköld, för att undersöka effekterna av sköldning under träningen. Fyra konfigurationer jämförs för utvärdering: Båda ämnena används en gång med skölden aktiverad och en gång utan. Dessa fyra konfigurationer analyseras med avseende på säkerhet och effektivitet. Slutligen görs en jämförelse med Trajectory Planner som utgångspunkt. Resultaten visar att skydd under träningen gör det lättare att slutföra uppgiften snabbare och minskar antalet kollisioner med 25% jämfört med en agent utan skydd. Å andra sidan leder träning utan avskärmning till bättre säkerhetsmätningar under arbetet. Generellt sett bidrar en aktiv sköld under installationen till agentens effektivitet, oavsett hur utbildningen är upplagd. Systemet är integrerat i Robot Operating System (ROS). Dess modulära utformning möjliggör kompatibilitet med olika RL-algoritmer, liksom användning av metoden i OpenAI gymmiljöer.

This thesis aims to develop and evaluate a dashboard design that visualizes a stream of data from the different entities involved in autonomous warehouses, a subset of cyber-physical systems. I created this dashboard through User-Centered Design (UCD) methodologies based on two feedback iterations with the stakeholders employing semi-structured expert opinion interviews. This thesis also discusses the different stages involved in building this dashboard design, the design decisions, the technical aspects of the libraries used, and the feedback session towards the end of the project. It also presents the implemented dashboard as a proof of development efforts and explains its different functionalities. The project concludes with evaluating the dashboard through a semi-structured interview with the respective stakeholders and suggests features for further development. / Denna studie ämnar att utveckla och utvärdera en design för ett dashboard som visualiserar dataströmmar från olika enheter som kan hittas i autonoma lager. Detta dashboard har utvecklats genom att använda metoder inom användarcentrerad design, som baserades på två iterationer med intressenter som är experter inom området, där semistrukturerade intervjuer gjordes. Denna studie diskuterar också de olika steg som är involverade i att bygga designen av detta dashboard, de olika beslut som togs i designprocessen, de tekniska aspekterna av de bibliotek som används och resultatet från de sessioner som hölls för att få feedback i slutet av projektet. Studien presenterar också det dashboard som utvecklades samt förklarar dess funktionalitet. Slutsatser dras från de semistrukturerade intervjuerna med respektive intressent och föreslår framtida funktioner som skulle vara möjliga att implementera.