We present an autonomous driving agent on a simulated highway driving scenario with vehicles such as cars and trucks moving with stochastically variable velocity profiles. The focus of the simulated environment is to test tactical decision making in highway driving scenarios. When an agent (vehicle) maintains an optimal range of velocity it is beneficial both in terms of energy efficiency and greener environment. In order to maintain an optimal range of velocity, in this thesis work I proposed two novel reward structures: (a) gaussian reward structure and (b) exponential rise and fall reward structure. I trained respectively two deep reinforcement learning agents to study their differences and evaluate their performance based on a set of parameters that are most relevant in highway driving scenarios. The algorithm implemented in this thesis work is double-dueling deep-Q-network with prioritized experience replay buffer. Experiments were performed by adding noise to the inputs, simulating Partially Observable Markov Decision Process in order to obtain reliability comparison between different reward structures. Velocity occupancy grid was found to be better than binary occupancy grid as input for the algorithm. Furthermore, methodology for generating fuel efficient policies has been discussed and demonstrated with an example. / Vi presenterar ett autonomt körföretag på ett simulerat motorvägsscenario med fordon som bilar och lastbilar som rör sig med stokastiskt variabla hastighetsprofiler. Fokus för den simulerade miljön är att testa taktiskt beslutsfattande i motorvägsscenarier. När en agent (fordon) upprätthåller ett optimalt hastighetsområde är det fördelaktigt både när det gäller energieffektivitet och grönare miljö. För att upprätthålla ett optimalt hastighetsområde föreslog jag i detta avhandlingsarbete två nya belöningsstrukturer: (a) gaussisk belöningsstruktur och (b) exponentiell uppgång och nedgång belöningsstruktur. Jag utbildade respektive två djupförstärkande inlärningsagenter för att studera deras skillnader och utvärdera deras prestanda baserat på en uppsättning parametrar som är mest relevanta i motorvägsscenarier. Algoritmen som implementeras i detta avhandlingsarbete är dubbel-duell djupt Q- nätverk med prioriterad återuppspelningsbuffert. Experiment utfördes genom att lägga till brus i ingångarna, simulera delvis observerbar Markov-beslutsprocess för att erhålla tillförlitlighetsjämförelse mellan olika belöningsstrukturer. Hastighetsbeläggningsgaller visade sig vara bättre än binärt beläggningsgaller som inmatning för algoritmen. Dessutom har metodik för att generera bränsleeffektiv politik diskuterats och demonstrerats med ett exempel.

Tesis por compendio / [ES] Los sistemas tradicionales de planificación y control de la producción (PPC) se centran en producir lo que demanda el mercado, con la calidad, el calendario y los volúmenes previstos al mínimo coste, ajustándose al mismo tiempo a las disrupciones de la cadena de suministro. La exploración e implementación de nuevos avances tecnológicos en el marco de la industria 4.0 (I4.0), como sistemas ciberfísicos (CPS), fabricación en la nube (CMfg), fabricación aditiva (AM), big data, inteligencia artificial y la Internet de las cosas (IoT), podrían cambiar aspectos organizativos tales como las responsabilidades de PPC. En este contexto, no se identificaron estudios sobre un sistema para la toma de decisiones, arquitecturas y marcos conceptuales para los nuevos sistemas inteligentes de PPC e I4.0. En este contexto de nuevos cambios tecnológicos y organizativos a los que tienen que hacer frente las pequeñas y medianas empresas (PYMEs), surge el problema de diseñar herramientas de PPC que permitan la integración y colaboración de las operaciones de producción. Así, basándose en las nuevas tecnologías de producción digital y en las herramientas organizativas que darán soporte a las fábricas inteligentes conectadas del futuro, se identificó la falta de un sistema integrado de PPC e I4.0. Esta tesis doctoral es un compendio de artículos que abordan una amplia revisión bibliográfica sobre la PPC en un entorno de I4.0. También, se propone un marco conceptual y el diseño de modelos y algoritmos para la toma de decisiones y dar soporte a las funciones de PPC en un contexto digital I4.0 basado en las nuevas tecnologías de producción digital y herramientas organizativas que darán soporte a las fábricas inteligentes colaborativas y conectadas del futuro. Los modelos matemáticos y algoritmos propuestos se centran en resolver el problema del diseño y planificación de una cadena de suministro sostenible y resiliente en la que las decisiones estratégicas y tácticas se toman de forma integrada. Los modelos, algoritmos y método de resolución se han programado en Python. Los modelos han sido validados mediante un software que genera instancias de datos sintéticos y permite evaluar la complejidad computacional de los mismos. El desarrollo de este tipo de modelos y algoritmos supone una contribución al ámbito académico e investigador y, concretamente, en el área de PPC. / [CA] En l'actualitat, els sistemes tradicionals de planificació i control de la producció (PPC) se centren en produir el que demanda el mercat, amb la qualitat, el calendari i els volums previstos al mínim cost, ajustant-se al mateix temps a les pertorbacions. L'exploració i implementació de nous avanços tecnològics, com CPS, fabricació en el núvol (CMfg), fabricació additiva (AM), big data, intelligència artificial i el IoT, podrien canviar aspectes organitzatius, com les responsabilitats de PPC. En aquest context, no es van identificar estudis sobre un sistema per a la presa de decisions, arquitectures i marcs conceptuals per als nous sistemes intelligents de PPC i I4.0. En aquest context de nous canvis tecnològics i organitzatius als quals han de fer front les petites i mitjanes empreses (PIME), sorgeix el problema de dissenyar eines de PPC que permeten la integració i collaboració de les operacions de producció. Així, basant-se en les noves tecnologies de producció digital i en les eines organitzatives que donaran suport a les fàbriques intelligents connectades del futur, es va identificar la falta d'un sistema integrat de la PPC i I4.0. Aquesta investigació és un compendi d'articles que aborden una àmplia revisió bibliogràfica sobre la PPC en un entorn I4.0. També proposa un marc conceptual i el disseny de models i algorismes per a la presa de decisions i per a donar suport a les funcions de PPC en un context digital I4.0 basat en les noves tecnologies de producció digital i eines organitzatives que donaran suport a les fàbriques intelligents col·laboratives i connectades del futur. Els models matemàtics i algorismes proposats se centren en resoldre el problema del disseny d'una cadena de subministrament sostenible i resistent en la qual les decisions estratègiques i tàctiques es prenen de forma integrada. Els models, algorismes i mètode de resolució s'han programat en Python. Els models han sigut validats mitjançant un programari que genera instàncies de dades sintètiques i permet avaluar la complexitat computacional dels models. El desenvolupament d'aquesta mena de models i algorismes suposa una important contribució a l'àmbit acadèmic. / [EN] Currently, traditional production planning and control (PPC) systems focus on producing what the market demands with the expected quality, schedule and volumes at a minimum cost, while adjusting for disruption. The exploration and implementation of new technological advances, such as CPS, cloud manufacturing (CMfg), additive manufacturing (AM), big data, artificial intelligence and the Internet of Things (IoT), could change organisational aspects like PPC responsibilities. In this context, no studies on a system for decision making, architectures and conceptual frameworks for the new intelligent systems of PPC and industry 4.0 (I4.0) have been identified. In this context of new technological and organisational changes that small-and medium-sized enterprises (SMEs) have to face, the problem of designing PPC tools that enable the integration and collaboration of production operations arises. Thus, based on the new digital production technologies and organisational tools that will support the connected smart factories of the future, lack of an integrated PPC and I4.0 system was identified. The present doctoral thesis is a compendium of articles addressing a comprehensive literature review on PPC in an I4.0 environment. It also proposes a conceptual framework and the design of models and algorithms for decision making and to support PPC functions in a digital I4.0 context based on the new digital production technologies and organisational tools that will support the collaborative and connected smart factories of the future. The proposed mathematical models and algorithms focus on solving the problem of designing a sustainable and resilient supply chain where strategic and tactical decisions are made in an integrated way. The models, algorithms and resolution method have been programmed in Python. The models have been validated by means of software that generates synthetic data instances and allows the models' computational complexity to be evaluated. The development of this type of models and algorithms is a significant contribution to the academic field. / I would like to thank the following projects and universities for having financed the publications included in this doctoral thesis: • European Commission Horizon 2020 project entitled "Crop diversification and low-input farming cross Europe: From practitioners' engagement and ecosystems services to increased revenues and value chain organisation' (Diverfarming), grant agreement 728003. • Spanish Ministry of Science, Innovation and Universities project entitled 'Optimization of zero-defect production technologies enabling supply chains 4.0 (CADS4.0)' (RTI2018-101344-B-I00). • European Union H2020 program with grant agreement no. 958205 "Industrial Data Services for Quality Control in Smart Manufacturing (i4Q)". • European Union H2020 Program with grant agreement nº 825631 "Zero- Defect Manufacturing Platform (ZDMP)". / Cañas Sánchez, HE. (2023). Models, Algorithms and Digital Technologies for the Automation and Collaboration of Connected Smart Factories in an Industry 4.0 Environment [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/202312 / Compendio