[ES] Uno de los desafı́os de la robótica es desarrollar sistemas de control capaces de obtener rápidamente respuestas adecuadas e inteligentes para los cambios constantes que tienen lugar en entornos dinámicos. Esta respuesta debe ofrecerse almomento con el objetivo de reanudar la ejecución del plan siempre que se produzca un fallo en el mismo.El término planificación reactiva aborda todos los mecanismos que, directa o indirectamente, promueven la resolución de fallos durante la ejecución del plan. Los sistemas de planificación reactiva funcionan bajo un enfoque de planificación y ejecución continua, es decir, se intercala planificación y ejecución en entornos dinámicos. Muchas de las investigaciones actuales se centran en desarrollar planificadores reactivos que trabajan en escenarios de un único agente para recuperarse rápidamente de los fallos producidos durante la ejecución del plan, pero, si esto no es posible, pueden requerirse arquitecturas de múltiples agentes y métodos de recuperación más complejos donde varios agentes puedan participar para solucionar el fallo. Por lo tanto, los sistemas de planificación y ejecución continua generalmente generan soluciones para un solo agente. La complejidad de establecer comunicaciones entre los agentes en entornos dinámicos y con restricciones de tiempo ha desanimado a los investigadores a implementar soluciones reactivas donde colaboren varios agentes. En línea con esta investigación, la presente tesis doctoral intenta superar esta brecha y presenta un modelo de ejecución y planificación reactiva multiagente que realiza un seguimiento de la ejecución de un agente para reparar los fallos con ayuda de otros agentes. En primer lugar, proponemos una arquitectura que comprende un modelo general reactivo de planificación y ejecución que otorga a un agente capacidades de monitorización y ejecución. El modelo también incorpora un planificador reactivo que proporciona al agente respuestas rápidas para recuperarse de los fallos que se pueden producir durante la ejecución del plan. Por lo tanto, la misión de un agente de ejecución es monitorizar, ejecutar y reparar un plan, si ocurre un fallo durante su ejecución. El planificador reactivo está construido sobre un proceso de busqueda limitada en el tiempo que busca soluciones de recuperación para posibles fallos que pueden ocurrir. El agente genera los espacios de búsqueda en tiempo de ejecución con una construcción iterativa limitada en el tiempo que garantiza que el modelo siempre tendrá un espacio de búsqueda disponible para atender un fallo inmediato del plan. Por lo tanto, la única operación que debe hacerse es buscar en el espacio de búsqueda hasta que se encuentre una solución de recuperación. Evaluamos el rendimiento y la reactividad de nuestro planificador reactivo mediante la realización de dos experimentos. Evaluamos la reactividad del planificador para construir espacios de búsqueda dentro de un tiempo disponible dado, asi como támbien, evaluamos el rendimiento y calidad de encontrar soluciones con otros dos métodos deliberativos de planificación. Luego de las investigaciones de un solo agente, propusimos extender el modelo a un contexto de múltiples agentes para la reparación colaborativa donde al menos dos agentes participan en la solución final. El objetivo era idear un modelo de ejecución y planificación reactiva multiagente que garantice el flujo continuo e ininterrumpido de los agentes de ejecución. El modelo reactivo multiagente proporciona un mecanismo de colaboración para reparar una tarea cuando un agente no puede reparar la falla por sí mismo. Para evaluar nuestro sistema, diseñamos diferentes situaciones en tres dominios de planificación del mundo real. Finalmente, el documento presenta algunas conclusiones y también propone futuras lı́neas de investigación posibles. / [CAT] Un dels desafiaments de la robòtica és desenvolupar sistemes de control capaços d'obtindre ràpidament respostes adequades i intel·ligents per als canvis constants que tenen lloc en entorns dinàmics. Aquesta resposta ha d'oferir-se al moment amb l'objectiu de reprendre l'execució del pla sempre que es produı̈sca una fallada en aquest. El terme planificació reactiva aborda tots els mecanismes que, directa o indirectament, promouen la resolució de fallades durant l'execució del pla. Els sistemes de planificació reactiva funcionen sota un enfocament de planificació i execució contı́nua, és a dir, s'intercala planificació i execució en entorns dinàmics. Moltes de les investigacions actuals se centren en desenvolupar planificadors reactius que treballen en escenaris d'un únic agent per a recuperar-se ràpidament de les fallades produı̈des durant l'execució del pla, però, si això no és possible, poden requerir-se arquitectures de múltiples agents i mètodes de recuperació més complexos on diversos agents puguen participar per a solucionar la fallada. Per tant, els sistemes de planificació i execució contı́nua generalment generen solucions per a un sol agent. La complexitat d'establir comunicacions entre els agents en entorns dinàmics i amb restriccions de temps ha desanimat als investigadors a implementar solucions reactives on col·laboren diversos agents. En lı́nia amb aquesta investigació, la present tesi doctoral intenta superar aquesta bretxa i presenta un model d'execució i planificació reactiva multiagent que realitza un seguiment de l'execució d'un agent per a reparar les fallades amb ajuda d'altres agents. En primer lloc, proposem una arquitectura que comprén un model general reactiu de planificació i execució que atorga a un agent capacitats de monitoratge i execució. El model també incorpora un planificador reactiu que proporciona a l'agent respostes ràpides per a recuperar-se de les fallades que es poden produir durant l'execució del pla. Per tant, la missió d'un agent d'execució és monitorar, executar i reparar un pla, si ocorre una fallada durant la seua execució. El planificador reactiu està construı̈t sobre un procés de cerca limitada en el temps que busca solucions de recuperació per a possibles fallades que poden ocórrer. L'agent genera els espais de cerca en temps d'execució amb una construcció iterativa limitada en el temps que garanteix que el model sempre tindrà un espai de cerca disponible per a atendre una fallada immediata del pla. Per tant, l'única operació que ha de fer-se és buscar en l'espai de cerca fins que es trobe una solució de recuperació. Avaluem el rendiment i la reactivitat del nostre planificador reactiu mitjançant la realització de dos experiments. Avaluem la reactivitat del planificador per a construir espais de cerca dins d'un temps disponible donat, aixı́ com també, avaluem el rendiment i qualitat de trobar solucions amb altres dos mètodes deliberatius de planificació. Després de les investigacions d'un sol agent, vam proposar estendre el model a un context de múltiples agents per a la reparació col·laborativa on almenys dos agents participen en la solució final. L'objectiu era idear un model d'execució i planificació reactiva multiagent que garantisca el flux continu i ininterromput dels agents d'execució. El model reactiu multiagent proporciona un mecanisme de col·laboració per a reparar una tasca quan un agent no pot reparar la falla per si mateix. Explota les capacitats de planificació reactiva dels agents en temps d'execució per a trobar una solució en la qual dos agents participen junts, evitant aixı́ que els agents hagen de recórrer a mecanismes deliberatius. Per a avaluar el nostre sistema, dissenyem diferents situacions en tres dominis de planificació del món real. Finalment, el document presenta algunes conclusions i tam / [EN] One of the challenges of robotics is to develop control systems capable of quickly obtaining intelligent, suitable responses for the regularly changing that take place in dynamic environments. This response should be offered at runtime with the aim of resume the plan execution whenever a failure occurs. The term reactive planning addresses all the mechanisms that, directly or indirectly, promote the resolution of failures during the plan execution. Reactive planning systems work under a continual planning and execution approach, i.e., interleaving planning and execution in dynamic environments. Most of the current research puts the focus on developing reactive planning system that works on single-agent scenarios to recover quickly plan failures, but, if this is not possible, we may require more complex multi-agent architectures where several agents may participate to solve the failures. Therefore, continual planning and execution systems have usually conceived solutions for individual agents. The complexity of establishing agent communications in dynamic and time-restricted environments has discouraged researchers from implementing multi-agent collaborative reactive solutions. In line with this research, this Ph.D. dissertation attempts to overcome this gap and presents a multi-agent reactive planning and execution model that keeps track of the execution of an agent to recover from incoming failures. Firstly, we propose an architecture that comprises a general reactive planning and execution model that endows a single-agent with monitoring and execution capabilities. The model also comprises a reactive planner module that provides the agent with fast responsiveness to recover from plan failures. Thus, the mission of an execution agent is to monitor, execute and repair a plan, if a failure occurs during the plan execution. The reactive planner builds on a time-bounded search process that seeks a recovery plan in a solution space that encodes potential fixes for a failure. The agent generates the search space at runtime with an iterative time-bounded construction that guarantees that a solution space will always be available for attending an immediate plan failure. Thus, the only operation that needs to be done when a failure occurs is to search over the solution space until a recovery path is found. We evaluated theperformance and reactiveness of our single-agent reactive planner by conducting two experiments. We have evaluated the reactiveness of the single-agent reactive planner when building solution spaces within a given time limit as well as the performance and quality of the found solutions when compared with two deliberative planning methods. Following the investigations for the single-agent scenario, our proposal is to extend the single model to a multi-agent context for collaborative repair where at least two agents participate in the final solution. The aim is to come up with a multi-agent reactive planning and execution model that ensures the continuous and uninterruptedly flow of the execution agents. The multi-agent reactive model provides a collaborative mechanism for repairing a task when an agent is not able to repair the failure by itself. It exploits the reactive planning capabilities of the agents at runtime to come up with a solution in which two agents participate together, thus preventing agents from having to resort to a deliberative solution. Throughout the thesis document, we motivate the application of the proposed model to the control of autonomous space vehicles in a Planetary Mars scenario. To evaluate our system, we designed different problem situations from three real-world planning domains. Finally, the document presents some conclusions and also outlines future research directions. / Gúzman Álvarez, CA. (2019). Reactive plan execution in multi-agent environments [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/120457 / TESIS

Genomförandeavtal är ett civilrättsligt avtal med offentligrättslig grund. Ingen lag behandlar upprättandet av genomförandeavtal, däremot har kommunen och exploatören stöd från bland annat plan- och bygglagen (PBL) och lagen om offentlig upphandling (LOU) vid upprättande av avtal. I tidigare studier har problematiken angående bristande lagstiftning gällande upprättandet av genomförandeavtal diskuterats. Det primära syftet är att analysera sex genomförandeavtal i Västra Götalands län. Granskningen bygger på en textanalys, det vill säga en kvalitativ metod för att få en djupare förståelse i hur avtalen skrivs. En sammanställning görs för att få en bra överblick över de olika bestämmelserna i avtalen. De tre frågeställningar som besvaras i studien avser vad kommunen och exploatören reglerar i avtalen, vad som eventuellt saknar lagstöd samt om planen genomförs. Resultatet i studien visar att två av de sex avtal som har ingått i studien är mindre detaljerade medan de andra fyra är utförligare. Efter granskning av avtal i studien kan en slutsats dras att grundläggande information om exempelvis parter, exploateringsområde och köpeskilling finns med i alla avtalen. Gemensamt för avtalen är också att vissa formuleringar är opreciserade och därför svåra att tolka samt att alla avtalen saknar bestämmelser angående vilka konsekvenser som blir om delar av avtalen inte genomförs. Avtalen innehåller även villkor som eventuellt saknar lagstöd. Det visade sig också att områdena i princip utformades enligt detaljplanerna. / Implementation Agreement is a civil contract with public legal basis. No law deals with establishing the implementing agreement, however, the municipality and the developer support from, among other things, the Planning and Building Act (PBA) and the Public Procurement Act (LOU) on the formation of contracts. In previous studies, the problem regarding the lack of legislation regulating the establishment of implementation agreements has been discussed. The primary purpose is to analyze six executive agreements in California. The review is based on a text analysis, i.e. a qualitative method to gain a deeper understanding of how contracts are written. A compilation is done to get a good overview of the various provisions of the agreements. The three questions answered in this study refers to what the municipality and the developer regulate in the agreements, what possibly has no legal basis and also if the plan is implemented. The results of the study show that two of the six contracts that have been included in the study are less detailed, while the other four are more detailed. After reviewing the agreement in the study, a conclusion is drawn that basic information such as parties, exploitation area and the purchase price is included in all contracts. In common for the agreements are also that some formulations are imprecise and therefore difficult to interpret. The agreements also contain conditions that may lack legal support. It was also found that the area were basically designed according to detailed plans.

Autonomous mobile robots are being developed with the aim of accomplishing complex tasks in different environments, including human habitats as well as less friendly places, such as distant planets and underwater regions. A major challenge faced by such robots is to make sure that their actions are executed correctly and reliably, despite the dynamics and the uncertainty inherent in their working space. This thesis is concerned with the ability of a mobile robot to reliably monitor the execution of its plans and detect failures. Existing approaches for monitoring the execution of plans rely mainly on checking the explicit effects of plan actions, i.e., effects encoded in the action model. This supposedly means that the effects to monitor are directly observable, but that is not always the case in a real-world environment. In this thesis, we propose to use semantic domain-knowledge to derive and monitor implicit expectations about the effects of actions. For instance, a robot entering a room asserted to be an office should expect to see at least a desk, a chair, and possibly a PC. These expectations are derived from knowledge about the type of the room the robot is entering. If the robot enters a kitchen instead, then it should expect to see an oven, a sink, etc. The major contributions of this thesis are as follows. • We define the notion of Semantic Knowledge-based Execution Monitoring SKEMon, and we propose a general algorithm for it based on the use of description logics for representing knowledge. • We develop a probabilistic approach of semantic Knowledge-based execution monitoring to take into account uncertainty in both acting and sensing. Specifically, we allow for sensing to be unreliable and for action models to have more than one possible outcome. We also take into consideration uncertainty about the state of the world. This development is essential to the applicability of our technique, since uncertainty is a pervasive feature in robotics. • We present a general schema to deal with situations where perceptual information relevant to SKEMon is missing. The schema includes steps for modeling and generating a course of action to actively collect such information. We describe approaches based on planning and greedy action selection to generate the information-gathering solutions. The thesis also shows how such a schema can be applied to respond to failures occurring before or while an action is executed. The failures we address are ambiguous situations that arise when the robot attempts to anchor symbolic descriptions (relevant to a plan action) in perceptual information. The work reported in this thesis has been tested and verified using a mobile robot navigating in an indoor environment. In addition, simulation experiments were conducted to evaluate the performance of SKEMon using known metrics. The results show that using semantic knowledge can lead to high performance in monitoring the execution of robot plans.

[ES] La monitorización de la ejecución de un plan es crucial para un agente autónomo que realiza su labor en un entorno dinámico, pues influye en su capacidad de reaccionar ante los cambios. Mientras ejecuta su plan puede sufrir un fallo y, en su esfuerzo por solucionarlo, puede interferir sin saberlo con otros agentes que operan en su mismo entorno. Por otra parte, para actuar racionalmente es necesario que el agente sea consciente del contexto y pueda recopilar y ampliar su información a partir de lo que percibe para poder compensar su conocimiento previo parcial o incorrecto del problema y lograr el mejor resultado posible ante las nuevas situaciones que aparecen. El trabajo realizado en esta tesis permite a los agentes autónomos ejecutar sus planes en un entorno dinámico y adaptarse a eventos inesperados y circunstancias desconocidas. Pueden utilizar su percepción del contexto para proporcionar respuestas deliberativas conscientes y ser capaces así de aprovechar las oportunidades que surgen o reparar los fallos sin perturbar a otros agentes. Este trabajo se centra en el desarrollo de una arquitectura independiente del dominio capaz de manejar las necesidades de agentes con este tipo de comportamiento autónomo. Los tres pilares de la arquitectura propuesta los forman el sistema inteligente para la simulación de la ejecución en entornos dinámicos, la adquisición de conocimiento consciente del contexto para ampliar la base de datos del agente y la reparación de planes ante fallos u oportunidades tratando de interferir lo mínimo con los planes de otros agentes. El sistema inteligente de simulación de la ejecución permite al agente representar el plan en una línea de tiempo, actualizar periódicamente su estado interno con información del mundo real y disparar nuevos eventos en momentos concretos. Los eventos se procesan en el contexto del plan; si se detecta un error, el simulador reformula el problema de planificación, invoca de nuevo al planificador y reanuda la ejecución. El simulador es una aplicación de consola y ofrece una interfaz gráfica diseñada específicamente para una aplicación inteligente de turismo. El módulo de adquisición de conocimiento sensible al contexto utiliza operaciones semánticas para aumentar dinámicamente la lista predefinida de tipos de objetos de la tarea de planificación con nuevos tipos relevantes. Esto permite que el agente sea consciente de su entorno, enriquezca el modelo de su tarea y pueda razonar a partir de un conocimiento incompleto. Con todo esto se consigue potenciar la autonomía del sistema y la conciencia del contexto. La novedosa estrategia de reparación de planes le permite a un agente reparar su plan al detectar un fallo de manera responsable con el resto de agentes que comparten su mismo entorno de ejecución. El agente utiliza una nueva métrica, el compromiso del plan, como función heurística para guiar la búsqueda hacia un plan solución comprometido con el plan original, en el sentido de que se trata de respetar los compromisos adquiridos con otros agentes al mismo tiempo que se alcanzan los objetivos originales. En consecuencia, la comunidad de agentes sufrirá menos fallos por cambios bruscos en el entorno o requerirá menos tiempo para ejecutar las acciones correctoras si el fallo es inevitable. Estos tres módulos han sido desarrollados y evaluados en varias aplicaciones como un asistente turístico, una agencia de reparación de electrodomésticos y un asistente del hogar. / [CA] El monitoratge de l'execució d'un pla és crucial per a un agent autònom que realitza la seua labor en un entorn dinàmic, perquè influeix en la seua capacitat de reaccionar davant els canvis. Mentre executa el seu pla pot patir una fallada i, en el seu esforç per solucionar-lo, pot interferir sense saber-ho amb altres agents que operen en el seu mateix entorn. D'altra banda, per a actuar racionalment és necessari que l'agent siga conscient del context i puga recopilar i ampliar la seua informació a partir del que percep per a poder compensar el seu coneixement previ parcial o incorrecte del problema i aconseguir el millor resultat possible davant les noves situacions que apareixen. El treball realitzat en aquesta tesi permet als agents autònoms executar els seus plans en un entorn dinàmic i adaptar-se a esdeveniments inesperats i circumstàncies desconegudes. Poden utilitzar la seua percepció del context per a proporcionar respostes deliberatives conscients i ser capaces així d'aprofitar les oportunitats que sorgeixen o reparar les fallades sense pertorbar a altres agents. Aquest treball se centra en el desenvolupament d'una arquitectura independent del domini capaç de manejar les necessitats d'agents amb aquesta mena de comportament autònom. Els tres pilars de l'arquitectura proposada els formen el sistema intel·ligent per a la simulació de l'execució en entorns dinàmics, l'adquisició de coneixement conscient del context per a ampliar la base de dades de l'agent i la reparació de plans davant fallades o oportunitats tractant d'interferir el mínim amb els plans d'altres agents. El sistema intel·ligent de simulació de l'execució permet a l'agent representar el pla en una línia de temps, actualitzar periòdicament el seu estat intern amb informació del món real i disparar nous esdeveniments en moments concrets. Els esdeveniments es processen en el context del pla; si es detecta un error, el simulador reformula el problema de planificació, invoca de nou al planificador i reprén l'execució. El simulador és una aplicació de consola i ofereix una interfície gràfica dissenyada específicament per a una aplicació intel·ligent de turisme. El mòdul d'adquisició de coneixement sensible al context utilitza operacions semàntiques per a augmentar dinàmicament la llista predefinida de tipus d'objectes de la tasca de planificació amb nous tipus rellevants. Això permet que l'agent siga conscient del seu entorn, enriquisca el model de la seua tasca i puga raonar a partir d'un coneixement incomplet. Amb tot això s'aconsegueix potenciar l'autonomia del sistema i la consciència del context. La nova estratègia de reparació de plans li permet a un agent reparar el seu pla en detectar una fallada de manera responsable amb la resta d'agents que comparteixen el seu mateix entorn d'execució. L'agent utilitza una nova mètrica, el compromís del pla, com a funció heurística per a guiar la cerca cap a un pla solució compromés amb el pla original, en el sentit que es tracta de respectar els compromisos adquirits amb altres agents al mateix temps que s'aconsegueixen els objectius originals. En conseqüència, la comunitat d'agents patirà menys fallades per canvis bruscos en l'entorn o requerirà menys temps per a executar les accions correctores si la fallada és inevitable. Aquests tres mòduls han sigut desenvolupats i avaluats en diverses aplicacions com un assistent turístic, una agència de reparació d'electrodomèstics i un assistent de la llar. / [EN] Execution Monitoring is crucial for the success of an autonomous agent executing a plan in a dynamic environment as it influences its ability to react to changes. While executing its plan in a dynamic world, it may suffer a failure and, in its endeavour to fix the problem, it may unknowingly disrupt other agents operating in the same environment. Additionally, being rational requires the agent to be context-aware, gather information and extend what is known from what is perceived to compensate for partial or incorrect prior knowledge and achieve the best possible outcome in various novel situations. The work carried out in this PhD thesis allows the autonomous agents executing a plan in a dynamic environment to adapt to unexpected events and unfamiliar circumstances, utilise their perception of context and provide context-aware deliberative responses for seizing an opportunity or repairing a failure without disrupting other agents. This work is focused on developing a domain-independent architecture capable of handling the requirements of such autonomous behaviour. The architecture pillars are the intelligent system for execution simulation in a dynamic environment, the context-aware knowledge acquisition for planning applications and the plan commitment repair. The intelligent system for execution simulation in a dynamic environment allows the agent to transform the plan into a timeline, periodically update its internal state with real-world information and create timed events. Events are processed in the context of the plan; if a failure occurs, the simulator reformulates the planning problem, reinvokes a planner and resumes the execution. The simulator is a console application and has a GUI designed specifically for smart tourism. The context-aware knowledge acquisition module utilises semantic operations to dynamically augment the predefined list of object types of the planning task with relevant new object types. This allows the agent to be context-aware of the environment and the task and reason with incomplete knowledge, boosting the system's autonomy and context-awareness. The novel plan commitment repair strategy among multiple agents sharing the same execution environment allows the agent to repair its plan responsibly when a failure is detected. The agent utilises a new metric, plan commitment, as a heuristic to guide the search for the most committed repair plan to the original plan from the perspective of commitments made to other agents whilst achieving the original goals. Consequently, the community of agents will suffer fewer failures due to the sudden changes or will have less lost time if the failure is inevitable. All these developed modules were investigated and evaluated in several applications, such as a tourist assistant, a kitchen appliance repair agency and a living home assistant. / Babli, M. (2023). Context-aware Plan Repair in Environments shared by Multiple Agents [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/198683