Spelling suggestions: "subject:"dataoptimering"" "subject:"designoptimering""
451 |
Analys och vidareutveckling av lyftok till Dendro Lift ABs lyftbock LB2.5Levin, Niklas January 2016 (has links)
Dendro Lift AB är ett företag som utvecklar och tillverkar lyftbockar för tunga lyft. Tillsammans med konstruktionsföretaget Mk3D tar Dendro Lift AB fram ett nytt koncept för en lyftbocksmodell till lyft av stödbenstruckar. Syftet med examensarbetet är att vidareutveckla lyftoket till lyftbocken LB2.5 genom att minska materialanvändningen och bereda plats för ett nytt damm- och petskydd. Målet med examensarbetet är att ta fram underlag för tillverkning av ett nytt lyftok som uppfyllde ställda krav. Vid genomförandet av examensarbetet gjordes en förstudie kring dimensioneringskraven, spänningar i skruvförband, utvärdering av spänningar i svetsar, finita elementmetoden och hållbar utveckling. Förstudien följdes av analyser och vidareutveckling av lyftoket med finita elementanalyser i mjukvaran ANSYS Workbench 17.2. Modeller togs fram i Autodesk Inventor Professional 2016. Resultatet visade att det nya lyftokets plåttjocklek kunde minskas från 15 mm till 10 mm och därmed reducerades materialanvändningen med cirka 66 kg. I det nya lyftoket bereddes även plats för en ny typ av damm- och petskydd. Slutsatsen blir att det gamla lyftoket är överdimensionerat och mindre material kan användas utan att funktionen i lyftoket försämras. / Dendro Lift AB is a company that develops and manufactures lifting jacks for heavy lifting. Along with the construction company Mk3D, Dendro Lift AB introduces a new concept for a lifting trestle designed to lift stackers. The aim of the thesis is to further develop the yoke fitted in the lifting jack LB2.5 by reducing its material use and make way for a new dust and finger protection. The goal of the thesis is to develop manufacturing plans for the production of a new lifting yoke that meets the applicable requirements. In the implementation of the thesis there was a preliminary study on the design requirements, tension in bolted joints, evaluation of stresses in welds, finite element method analysis and sustainable development. The pilot study was followed by analysis and further development of the yoke with finite element analysis in software ANSYS Workbench 17.2. Models were developed in Autodesk Inventor Professional 2016. The results showed that the plate thickness could be reduced from 15 mm to 10 mm in the new yoke and thus reduced material usage by about 66 kg. The new yoke was also prepared for a new type of dust and finger protection. The conclusion was that the old yoke is oversized and less material can be used without compromising the operation of the lifting jack.
|
452 |
Analys av KING SEAWAYS processer från check-in till lastning med förbättringsförslag : En fallstudie hos DFDS / Analysis of KING SEAWAYS processes from check-in to loading with proposal for improvementLundblad, Caroline January 2017 (has links)
En viktig del av passagerartillfredsställelsen utgörs av hur smidiga köpprocesserna är. I denna studie analyseras delprocesser hos KING SEAWAYS med mål om att skapa ett optimerat förbättringsförslag till de studerade processerna. Den nuvarande processen gällande fartygets tid i hamn innefattar delprocesser som körs beroende och oberoende av varandra. Fokus i studien är på de sista delprocesserna innan fartygets avgång från det att passageraren ankommer till check-in fram till dem står parkerade på bildäcket. Kundundersökningen visar ett missnöje bland passagerarna gällande väntetid på kajen. Efter att ha analyserat passagerarbeteendet och genom att göra några resonabla antaganden för att förenkla uträkningarna gällande köer, är det uppenbart att det finns betydande flaskhalsar i processen som kan åtgärdas. Att applicera köteori i varje steg, skapar en klar bild av att förändringar kan skapa förutsättningar för reducerade kostnader samt en förhöjd kundnöjdhet. Förbättringsförslaget som framkom efter analys av den nuvarande processen och kundernas upplevelse var att nyttja tiden på kajen till att förbereda inför ombordkörning och placera bilar efter layout ombord på fartyget. Med detta kan bilarna på kajen hanteras som en homogen grupp, snarare än enskilda enheter och då öka effektiviteten i processen. Förslaget bör även ge ett positivt utfall på kundtillfredsställelsen. Denna rapport berör endast ett fartyg i DFDS totala flotta om cirka 50 fartyg, men tankarna som lett fram till resultat och slutsats bör även vara applicerbart på flertalet andra fartyg i flottan. Bara för fartyget KING SEAWAYS skulle en förändring om en minskad tid i hamn, om 15 minuter dagligen, innebära en bränslebesparing årligen om 1,7 miljoner danska kronor. Med en snabb beräkning gällande besparingar av resurser visar förbättringsförslaget att det kan komma att handla om flertalet miljoner. Med nöjdare kunder skaps även konkurrenskraft och det är en förutsättning för att DFDS även i framtiden behålla sin marknadsposition. / An important factor in passenger satisfaction is queue management. In this study processes at KING SEAWAYS are analyzed with the aim of creating a proposal for improvement and optimization. The current process of the vessels turnaround includes sub-processes that run dependent and independent of each other. The focus in this study deals with the final sub-processes before departure, from the time that the passenger arrives at the check-in until they are parked on the car deck. The customer survey shows dissatisfaction among passengers regarding waiting time on the dock. After analyzing the behavior of passengers and by taking a couple of reasonable assumptions, it becomes obvious that bottlenecks could be reduced. Applying queuing theory in each step creates a clear picture that changes can create conditions for reduced costs as well as increased condition for customer satisfaction. The improvement proposal that emerged after analyzing the current process and customer experience was to utilize time on the quay to prepare for boarding and place cars according to the ship layout. With this, the cars on the dock can be handled as a homogeneous group, rather than individual units, and then increase the efficiency of the process. The proposal should also give a positive outcome to customer satisfaction. This report deals with one vessel in DFDS' total fleet of about 50 vessels, but the thoughts that led to the results and conclusion could be applicable to most of the other fleet vessels. For KING SEAWAYS only, a reduced turnaround time of 15 minutes corresponds to fuel saving of 1.7 million Danish kroner per year. With a quick estimation on resource savings the proposal for improvement shows that improvements could have a considerable impact on DFDS bottom line. Satisfied customers are also a prerequisite for DFDS to maintain its market position in the future.
|
453 |
A method of voltage tracking for power system applicationsVisser, Jacobus 26 July 2010 (has links)
An algorithm that is capable of estimating the parameters of non-stationary sinusoids in real-time lends application to various branches of engineering. Non-stationary sinusoids are sinusoidal signals with time-varying parameters. In this dissertation, a nonlinear filter is applied to power system applications to test its performance. The filter has a structure which renders it fully adaptive to tracking time variations in the parameters of the targeted sinusoid, including its phase and frequency. Mathematical properties of the differential equations which govern the proposed filter are presented. The performance of the proposed filter in the field of power systems is demonstrated with the aid of computer simulations and practical experimentations. The filter is applied to synchronous generator excitation control, voltage dip mitigation as well as the real-time estimation of symmetrical components. The parameter settings of the filter are tested and optimized for each of the applications. This dissertation demonstrates the simulation and experimental results of the filter when applied to the various power system applications. AFRIKAANS : 'n Filter wat bevoeglik is met die beraming van die parameters van beweeglike sinusoïdale in ware-tyd, kan bruikbaar aangewend word in verskeie takke van ingenieurswese. Beweeglike sinuskrommes is sinusoïdale seine met tyd-wisselende parameters. In hierdie verhandeling word `n nie-liniêre filter aangewend in verskeie kragstelseltoepassings om die werksverrigting van die filter te toets. Die filter het 'n struktuur wat dit toelaat om wisselende tydvariasies in die parameters van die teikensinusoïdaal op te spoor, insluitende die fase en frekwensie. Wiskundige eienskappe van die differensiaalvergelykings wat die voorgestelde filter beheer is ondersoek. Die werksverrigting van die voorgestelde filter in die veld van kragstelsels is gedemonstreer met die hulp van rekenaarsimulasies asook praktiese eksperimente. Die filter is toegepas tot opgewekte, sinkrone eksitasie-beheer, spanningsverlaging versagting, asook die ware tyd estimasie van simmetriese komponente. Die parameter verstellings van die filter is getoets en geoptimeer vir elk van die toepassings. Hierdie verhandeling demonstreer die simulering en eksperimentele resultate van die filter wat aangewend is vir verskeie kragstelseltoepassings. Copyright / Dissertation (MSc)--University of Pretoria, 2010. / Electrical, Electronic and Computer Engineering / unrestricted
|
454 |
Utveckling av intelligens för en robotplattform AIDA / Developing intelligence for a robot platform AIDATran, Danny, Norgren, Bo Valdemar, Winbladh, Hugo, Tsai, Emily, Magnusson, Jim, Kallström, Ebba, Tegnell, Fredrik January 2022 (has links)
Rapporten beskriver utvecklingsarbetet och resultatet från utvecklingen av en robotplattform vid namn AIDA (AI Design Assistant), som utvecklades åt Institutionen för datavetenskap vid Linköpings universitet. Plattformen består av en robotarm som utgörs av sex stycken servomotorer, som är anslutna till en enkortsdator. En Android-surfplatta sitter integrerad på robotarmen och har en applikation installerad som utgör användargränssnittet. Tre huvudsakliga funktioner för plattformen utvecklades. Dessa funktioner är objektigenkänning, objektspårning och taligenkänning. Objektigenkänningen kan klassificera fyra olika fruktsorter, objektspårningen kan spåra objekt och följa dem med robotarmen genom inverskinematik, och taligenkänningen kan transkribera tal till text och svara på kommandon. Utifrån resultatet och diskussionen härleds slutsatser över fyra frågeställningar relaterade till utvecklingsarbetet. Projektet utfördes som en del av kursen TDDD96 Kandidatprojekt i programvaruutveckling, och varje projektmedlem har även skrivit ett individuellt bidrag till rapporten som behandlar områden kopplade till projektarbetet. / This report describes the development process and the resulting product from the development of a robot platform named AIDA (AI Design Assistant), that was developed on a request from the Department of Computer and Information Science at Linköping University. The platform consists of a robot arm that is made up by six servo motors connected to a single-board computer. An Android tablet is attached to the robot arm and has an application installed which constitutes the user interface. Three main functions were developed for the platform. These functions constitute object recognition, object tracking, and speech recognition. The object recognition module can classify four different types of fruit, the object tracking module can track objects and follow them by moving the robot arm using inverse kinematics, and the speech recognition module can transcribe speech to text and respond to audible commands. Conclusions over four questions related to the development of the product are derived from the results and discussion chapters of the report. The project was conducted as a part of the course TDDD96 Software Engineering – Bachelor Project, and each project member has produced an individual contribution to the report which covers subjects related to the project.
|
455 |
The economic and environmental impacts of transportation decisions : A multi-objective optimization / De ekonomiska och miljömässiga effekterna av transportbeslut : En multi-objektiv optimeringEliasson, Joel, Segevall, Arvid January 2022 (has links)
Getinge AB is a global medical technology company. This master’s thesis is based on the outflow of capital equipments from Getinge’s factory in Växjö to four different sales and service units. The purpose of this thesis is to give Getinge a deeper insight of why the customers and the own organization do not know when they can expect their products. This makes most requests urgent and thus prohibits them from using the best environmental and cost efficient modes of transportation. Two sub-problems have been created in order to investigate this. Sub-problem 1 originates from an organizational perspective. The aim of this problem is to examine the possibilities to achieve less urgent transportations by improving the communication between sales and service units, factories and logistics services. This is evaluated based on semi-structured interviews containing both qualitative and quantitative questions with employees rep- resenting the different functions at the company. It appeared that different phrases, explaining the same thing, were used internally leading to confu- sion. Further, the different functions have harmonized follow-up sessions but do not share the information between each other. The resulting information vacuum creates trust issues and unnecessary time margins and buffers. Sub-problem 2 concerns the trade-off between the economic and environmen- tal impacts in relation to the Greenhouse Gas Protocol Scope 3. This trade- off is evaluated by a multi-objective optimization model, where emissions are priced based on the EU ETS market valuation. Current research argues that the choice of transportation mode is the simplest emissions abatement option in terms of implementation. This study indicates that it is possible for Getinge, in the short-term, to decrease costs and emissions by just chang- ing between current transportation modes. However, a long-term strategy should include evaluation of consolidations, alternative fuels and electrified vehicles since the cost of decreasing one kilogram of emissions by changing between current transportation modes will increase. Finally, increased transparency and communication between sales and ser- vice units, factory and logistics services could be achieved via a one point of contact solution. This could avoid unnecessary time margins and buffers and hence open up the possibility of better over all lead time utilization. This could make it easier to use more environmental friendly transportation modes and thus lower emissions and costs, while still satisfying the customers.
|
456 |
Algorithm Construction for Efficient Scheduling of Advanced Health Care at HomeAfroze, Tonima, Rosén Gardell, Moa January 2015 (has links)
Providing advanced health care at home rather than in a hospital creates a greater quality of life for patients and their families. It also lowers the risk of hospital-acquired infections and accelerates recovery. The overall cost of care per patient is decreased. Manual scheduling of patient visits by health care professionals (HCPs) has become a bottleneck for increased patient capacity at SABH, a ward providing advanced pediatric health care at home (“Sjukhusansluten Avancerad Barnsjukvård i Hemmet” in Swedish), since many parameters need to be taken into account during scheduling. This thesis aims to increase the efficiency of SABH’s daily scheduling of personnel and resources by designing an automated scheduler that constructs a daily schedule and incorporates changes in it when needed in order to remove scheduling as a limitation for increased patient capacity. Requirements on a feasible schedule are identified in cooperation with SABH and literature is investigated about similar areas where the scheduling process has been automated. The scheduling is formulated as a computerized problem and investigated from the perspective of theoretical computer science. We show that the scheduling problem is NP-hard and can therefore not be expected to be solved optimally. The algorithm for scheduling the visits minimizes violations of time windows and travel times, and maximizes person continuity and workload balancing. The algorithm constructs an initial solution that fulfills time constraints using a greedy approach and then uses local search, simulated annealing, and tabu search to iteratively improve the solution. We present an exact rescheduling algorithm that incorporates additional visits after the original schedule has been set. The scheduling algorithm was implemented and tested on real data from SABH. Although we found the algorithm to be efficient, automatic transfer of data from the patient journal system is an imperative for the scheduler to be adopted. / Barn som får avancerad sjukvård hemma istället för på sjukhus tillfrisknar ofta snabbare och risken för vårdrelaterade infektioner minskar. Barnen och deras familjer blir mer välmående av att få vistas i sin hemmiljö. På Astrid Lingrens barnsjukhus i Stockholm erbjuds avancerad hemsjukvård av avdelningen Sjukhusansluten Avancerad Barnsjukvård i Hemmet (SABH). För att schemalägga när patienterna ska besökas av sjukvårdspersonalen behöver många olika faktorer beaktas, detta sker idag helt manuellt. Den manuella schemaläggningen utgör en naturlig begränsning av SABHs patientkapacitet. Denna uppsats syftar till att effektivisera schemaläggningsprocessen hos SABH genom att föreslå en automatiserad lösning som hanterar koordinering av personal och resurser och dem förändringar som behöver göras i schemat under dagen, för att få bort schemaläggningsprocessen som ett hinder mot ökad patientkapacitet. Krav på schemaläggningen identifieras i diskussion med SABH och genom att studera litteratur kring liknande områden där schemaläggning lösts automatiserat. Vi formulerar schemaläggningen som ett datologiskt problem och analyserar det med utgångspunkt i teoretisk datalogi. Vi visar att problemet är NP-svårt och därför inte kan förväntas lösas optimalt inom rimlig tid. Vår lösning approximerar istället fram ett rimligt svar, där fokus hos algoritmen är att patienterna ska besökas de tider de behöver, personalens restider ska vara så korta som möjligt samtidigt som arbetsbördan hos personalen ska vara så lika fördelad som möjligt och patienterna ska, i den mån det är möjligt, få vård av samma personal. Med en girig algoritm konstrueras ett initialt schema som uppfyller de grundläggande kraven, detta schema förbättras med lokalsökning, simulated annealing och tabusökning. En exakt lösning framställs för uppdatering av schemat. Algoritmen för att lägga ett dagligt schema (utan uppdateringar) implementerades och testades med riktigt data från SABH. Vår algoritm visade sig vara effektiv, men för att kunna göra hela schemaläggningsprocessen effektiv behöver den integreras med journalsystemet.
|
457 |
Multi-objective optimization and performance evaluation of active, semi-active and passive suspensions for forestry machines / Flermålsoptimering och utvärdering av prestandan hos aktiva, semi-aktiva och passiva fjädringssystem för skogsmaskinerBaez, Federico January 2014 (has links)
The development of forestry machines is currently heading towards new solutions that reduce their impact on the environment and in particular on the soft forest soil in which the machines operate. The terrain conditions that forestry machines encounter in their regular duties can be very rough, and if the vehicle-ground interaction is not properly controlled cumulative damage can progressively aggravate these conditions and potentially render a route or a zone impracticable, apart from causing a detrimental effect in the forest environment. In addition, new machine solutions must be considerably less damaging, both physically and mentally, to operators. There are certain imposed limits to the whole body vibrations to which industrial workers are exposed daily, which are very hard to fulfil in the context of wood harvesting operations with the current technological state of the machines. Chassis-suspended solutions in the market of forestry vehicles are practically inexistent. Multiple wheeled tracks and/or bogies are current solutions that improve dynamic performance and ground contact area of forestry vehicles, but they do not include suspension elements. Cab and seat suspensions are also used to reduce whole body vibrations, but they are only effective up to a certain degree, due to their relatively short stroke length and directional limitations. The implementation of chassis suspensions in forestry machines is therefore a very interesting open area of research in forestry technology. In this context the XT28, a forwarder prototype with active pendulum arm suspension, is currently being developed by Extractor AB in collaboration with Skogforsk; the Forestry Research Institute of Sweden. The present project focuses in analysis and comparison of the performance that active, semi-active and passive suspension systems with pendulum arm architecture would present, by studying their application in the XT28 machine. These systems have the potential to significantly improve forestry vehicle performance in terms of terrain friendliness and whole body vibrations over an unsuspended system. The task is carried out with the help of Multi-Body Dynamics simulation software along with other simulation and computational tools. Additionally, a general method to optimize and analyse forestry vehicle suspension performance is proposed and applied to the case of the XT28, which provides a fair and standardized way to compare the performance of the different suspensions. Keywords: Forestry machine, suspension, multi-objective optimization, forwarder, pendulum arm, active, semi-active, passive, XT28, Multibody Dynamics, soil-friendly, off-road. / Utvecklingen av skogsmaskiner är för närvarande på väg mot nya lösningar som minskar deras påverkan på miljön och i synnerhet på mjuk skogsmark. Skogsmaskinerna verkar ofta i mycket oländig och ojämn terräng, och om interaktionen mellan fordon och mark är alltför okontrollerad, så kan interaktionen ge upphov till kumulativa markskador som gradvis förvärras efter flera passager och eventuellt göra en rutt eller en zon oframkomlig, bortsett från att de orsaka skador på skogsmiljön. Dessutom måste nya maskinlösningar vara skonsammare, både fysiskt och mentalt, för förarna. Det finns nya gränser för maximala helkroppsvibrationer och maximala dagliga vibrationsdoser, som är mycket svåra att uppfylla vid skogsavverkning med dagens skogsmaskinsteknik. Chassidämpade lösningar är praktiskt taget obefintliga på dagens skogsmaskiner. Band och/eller boggier är aktuella lösningar som i viss mån förbättrar maskinernas dynamisk interaktion med marken, men de innehåller inga dämpelement, utan det är enbart däckens flexibilitet som ger maskinen en dämpfunktion. Hytt-och stolsdämpning används också för att minska helkroppsvibrationer, men de är endast effektiva till en viss grad, på grund av deras relativt korta slaglängd och riktningsbegränsningar. Införande av chassidämpning för skogsmaskiner är därför ett mycket intressant skogstekniskt forskningsområde. För närvarande utvecklas en skotare med aktivt dämpade pendelarmar av Extractor AB i samarbete med Skogforsk. Maskinen går under beteckningen XT28. Detta projekt fokuserar på att analysera och jämföra prestandan hos aktivt, semi-aktivt och passivt dämpade pendelarmlösningar, genom att implementera dessa i XT28-maskinen. Dessa system har potential att avsevärt förbättra skogsmaskinernas framkomlighet i oländig terräng och att minska helkroppsvibrationerna, jämfört med ofjädrade system. Uppgiften genomförs med hjälp av dynamiksimuleringsprogram i kombination med andra simulerings- och beräkningsverktyg. Dessutom föreslås en generell metodik för att optimera och analysera prestandan hos chassidämpningslösningar för skogsmaskiner. Metodiken tillämpas sedan på en XT28, som då, i detta fall, får fungera som en demonstrator för att jämföra prestandan hos olika chassidämplösningar. Nyckelord: Skogsmaskin, fjädring, optimering, skotare, pendelarm, aktiv, semi-aktiv, passiv, XT28, flerkroppsdynamik, markvänlig, off-road.
|
458 |
Personalizing the post-purchase experience in online sales using machine learning. / Personalisering av efterköpsupplevelsen inom onlineförsäljning med hjälp av maskininlärning.Kamau, Nganga, Dehoky, Dylan January 2021 (has links)
Advances in machine learning, together with an abundance of available data has lead to an explosion in personalized offerings and being able to predict what consumers want, and need without them having to ask for it. During the last decade, it has become a multi billion dollar industry, and a capability upon many of the leading tech companies rely on in their business model. Indeed, in today's business world, it is not only a capability for competitive advantage, but in many cases a matter of survival. This thesis aims to create a machine learning model able to predict customers interested in an upselling opportunity of changing their payment method after completing a purchase with the Swedish payment solutions company, Klarna Bank. Hence, the overall aim is to personalize the customer experience on the confirmation page. Two gradient boosting methods and one deep learning method were trained, evaluated and compared for this task. A logistic regression model was also trained and used as a baseline model. The results showed that all models performed better than the baseline model, with the gradient boosting methods showing the best performance. All of the models were also able to outperform the current solution with no personalization, with the best model reducing the amount of false positives by 50%. / Tillgång till stora datamängder har tillsammans med framsteg inom maskininlärning resulterat i en explotionsartad ökning i personifierade erbjudanden och möjligheter att förutspå kunders behov. Det har under det senaste decenniet utvecklats till en multimiljardindustri och en förmåga som många av de ledande techbolagen i världen förlitar sig på i sina verksamheter. I många fall är det till och med en förutsättning för att överleva i dagens industrilandskap. Det här examensarbetet ämnar att skapa en maskininlärningsmodell som är kapabel till att förutspå kunders intresse för att "uppgradera" sin betalmetod efter ett slutfört köp med den svenska betallösningsföretaget Klarna Bank. Konceptet att erbjuda en kund att uppgradera en redan vald produkt eller tjänst är på engelska känt som upselling. Det övergripande syftet för detta projekt är därför att skapa en personifierad kundupplevelse på Klarnas bekräftelsesida. Följaktligen implementerades och utvärderades två så kallade gradient boosting - metoder samt en djupinlärningsmetod. Vidare implementerades även en logistisk regressionsmodell som basmodell för att jämföra de övriga modeller med. Resultaten visar hur alla modeller överträffade den tillämpade basmodellen, där gradient boosting-metoderna påvisade bättre resultat än djupinlärningsmetoden. Därtill visar alla modeller en förbättring i jämförelse med dagens lösning på Klarnas bekräftelssesida, utan personifiering, där den bästa modellen förbättrade utfallet med 50%.
|
459 |
Artificial Intelligence for Data Center Power Consumption Optimisation / Artificiell Intelligens för Energikonsumtionsoptimering i DatacenterLundin, Lowe January 2021 (has links)
The aim of the project was to implement a machine learning model to optimise the power consumption of Ericsson’s Kista data center. The approach taken was to use a Reinforcement Learning agent trained in a simulation environment based on data specific to the data center. In this manner, the machine learning model could find interactions between parameters, both general and site specific in ways that a sophisticated algorithm designed by a human never could. In this work it was found that a neural network can effectively mimic a real data center and that the Reinforcement Learning policy "TD3" could, within the simulated environment, consistently and convincingly outperform the control policy currently in use at Ericsson’s Kista data center.
|
460 |
S-MARL: An Algorithm for Single-To-Multi-Agent Reinforcement Learning : Case Study: Formula 1 Race StrategiesDavide, Marinaro January 2023 (has links)
A Multi-Agent System is a group of autonomous, intelligent, interacting agents sharing an environment that they observe through sensors, and upon which they act with actuators. The behaviors of these agents can be either defined upfront by programmers or learned by trial-and-error resorting to Reinforcement Learning. In this last context, the approaches proposed by literature can be categorized either as Single-Agent or Multi-Agent. The former approaches experience more stable training at the cost of defining upfront the policies of all the agents that are not learning, with the risk of limiting the performances of the learned policy. The latter approaches do not have such a limitation but experience higher training instability. Therefore, we propose a new approach based on the transition from Single-Agent to Multi-Agent Reinforcement Learning that exploits the benefits of both approaches: higher stability at the beginning of the training to learn the environment’s dynamics, and unconstrained agents in the latest phases. To conduct this study, we chose Formula 1 as the Multi-Agent System, a complex environment with more than two interacting agents. In doing so, we designed a realistic racing simulation environment, framed as a Markov Decision Process, able to reproduce the core dynamics of races. After that, we trained three agents based on Semi-Gradient Q-Learning with different frameworks: pure Single-Agent, pure Multi-Agent, and Single-to-Multi-Agent. The results established that, given the same initial conditions and training episodes, our approach outperforms both the Single-Agent and Multi-Agent frameworks, obtaining higher scores in the proposed benchmarks. / Ett system med flera agenter är en grupp autonoma, intelligenta, interagerande agenter som delar en miljö som de observerar med hjälp av sensorer och som de agerar på med hjälp av agenter. Beteendena hos dessa agenter kan antingen definieras i förväg av programmerare eller läras in genom försök och misstag med hjälp av förstärkningsinlärning. I det sistnämnda sammanhanget kan de metoder som föreslagits i litteraturen kategoriseras som antingen en eller flera agenter. De förstnämnda tillvägagångssätten ger en stabilare utbildning till priset av att man i förväg måste definiera politiken för alla de agenter som inte lär sig, vilket innebär en risk för att den inlärda politikens prestanda begränsas. De senare metoderna har inte en sådan begränsning men upplever en högre instabilitet i utbildningen. Därför föreslår vi en ny metod som bygger på övergången från förstärkningsinlärning med en agent till förstärkningsinlärning med flera agenter och som utnyttjar fördelarna med båda metoderna: högre stabilitet i början av utbildningen för att lära sig miljöns dynamik och agenter utan begränsningar i de senaste faserna. För att genomföra den här studien valde vi Formel 1 som ett system med flera agenter, en komplex miljö med mer än två interagerande agenter. Vi utformade därför en realistisk simulering av tävlingar som är utformad som en Markov-beslutsprocess och som kan återge den centrala dynamiken i tävlingar. Därefter tränade vi tre agenter baserat på Semi-Gradient Q-Learning med olika ramar: ren Single-Agent, ren Multi-Agent och Single-to-Multi-Agent. Resultaten visade att vår metod, med samma startvillkor och träningsepisoder, överträffar både Single-Agent- och Multi-Agent-ramarna och får högre poäng i de föreslagna riktmärkena.
|
Page generated in 0.1088 seconds