The monitoring and control of low voltage distribution grids has historically been disregarded due to the unidirectional flow of power. However, nowadays the massive integration of distributed energy resources into distribution grids, such as solar photovoltaics, distributed storage, electric vehicles and demand response programs, presents some challenges. For instance, the unidirectional top-down power flow is being replaced by power flows in any direction: top-down and bottom-up. This paradigm shift adds extra regulatory, economic, and technical complexity for the Distribution System Operators (DSO). Thus to overcome the possible operational constraints, thermal limits, or voltage problems in the grid, an update of the existing electricity infrastructures is required. In response to this new situation, this thesis investigates the cost-effective communication and control architectures that are required for active low voltage grid monitoring and control applications, considering the regulatory constraints and the efficient utilization of the assets from a DSO’s perspective. The solutions include: i) optimal sensor placement configuration to perform low voltage state estimation, ii) optimal metering infrastructure designs for active low voltage monitoring applications, iii) coordinated control strategies to allow the integration of microgrid-like structures into the distribution grids, iv) optimal placement of actuators for operating the control strategies, v) a multiagent-based control solution for self-healing and feeder reconfiguration applications, and vi) a framework model and simulations to assess the reliability of the ICT infrastructure that enables the monitoring and control applications. As concluding remark, since the deployment of technology at low voltage grids is restricted to assets owned by the DSO, the operability of the grid is limited. This condition makes it so that the required communication and control enhancement solutions shall prioritize cost-effectiveness over comprehensiveness and complexity. Thus, the results from the presented studies show that it is essential to perform thorough cost-benefit analyses of the potential improvement solutions for each grid, because this will allow deploying the right technology only at the necessary locations. / <p>QC 20171106</p><p></p>

Currently discussed trends and new technologies regarding cloud or edge computing imply that even most recent designs and functionalities of digital on-board-control electronics may be outdated and eventually will totally disappear. Additionally, those new technologies attract potential users by promises like new use cases e.g. predictive maintenance or a simplified architecture and reduced installation efforts. On the other hand, automation levels and subsequent requirements are often mixed up or discussed too generally. Nevertheless, what is the rue situation today and in the upcoming years? This paper elaborates the potentials of both approaches – state of the art on-board-control electronics and potentially disruptive control architectures for hydraulic valves in order to take the right decision and reflect the pros and cons for each topology by: a) Architecture of automation: In Terms of strongly hierarchical or multidimensional connected systems. b) Requirement of installation: By reflecting the dedicated ecosystems, on levels like plant, machine, subsystems. c) Maturity of technology: Looking on the user’s perspective. d) Safety and security: From legal and conformity aspects. e) Performance needs by specific task: In comparing standard to demanding real life applications.

Dans cette thèse, nous proposons d'intégrer la notion d'habitude comportementale au sein d'une architecture de contrôle robotique, et d'étudier son interaction avec les mécanismes générant le comportement planifié. Les architectures de contrôle robotiques permettent à ce dernier d'être utilisé efficacement dans le monde réel et au robot de rester réactif aux changements dans son environnement, tout en étant capable de prendre des décisions pour accomplir des buts à long terme (Kortenkamp et Simmons, 2008). Or, ces architectures sont rarement dotées de capacités d'apprentissage leur permettant d'intégrer les expériences précédentes du robot. En neurosciences et en psychologie, l'étude des différents types d'apprentissage montre pour que ces derniers sont une capacité essentielle pour adapter le comportement des mammifères à des contextes changeants, mais également pour exploiter au mieux les contextes stables (Dickinson, 1985). Ces apprentissages sont modélisés par des algorithmes d'apprentissage par renforcement direct et indirect (Sutton et Barto, 1998), combinés pour exploiter leurs propriétés au mieux en fonction du contexte (Daw et al., 2005). Nous montrons que l'architecture proposée, qui s'inspire de ces modèles du comportement, améliore la robustesse de la performance lors d'un changement de contexte dans une tâche simulée. Si aucune des méthodes de combinaison évaluées ne se démarque des autres, elles permettent d'identifier les contraintes sur le processus de planification. Enfin, l'extension de l'étude de notre architecture à deux tâches (dont l'une sur robot réel) confirme que la combinaison permet l'amélioration de l'apprentissage du robot. / In this work, we study how the notion of behavioral habit, inspired from the study of biology, can benefit to robots. Robot control architectures allow the robot to be able to plan to reach long term goals while staying reactive to events happening in the environment (Kortenkamp et Simmons, 2008). However, these architectures are rarely provided with learning capabilities that would allow them to acquire knowledge from experience. On the other hand, learning has been shown as an essential abiilty for behavioral adaptation in mammals. It permits flexible adaptation to new contexts but also efficient behavior in known contexts (Dickinson, 1985). The learning mechanisms are modeled as model-based (planning) and model-free (habitual) reinforcement learning algorithms (Sutton et Barto, 1998) which are combined into a global model of behavior (Daw et al., 2005). We proposed a robotic control architecture that take inspiration from this model of behavior and embed the two kinds of algorithms, and studied its performance in a robotic simulated task. None of the several methods for combining the algorithm we studied gave satisfying results, however, it allowed to identify some properties required for the planning process in a robotic task. We extended our study to two other tasks (one being on a real robot) and confirmed that combining the algorithms improves learning of the robot's behavior.

Aquesta tesi proposa l'ús d'un seguit de tècniques pel control a alt nivell d'un robot autònom i també per l'aprenentatge automàtic de comportaments. L'objectiu principal de la tesis fou el de dotar d'intel·ligència als robots autònoms que han d'acomplir unes missions determinades en entorns desconeguts i no estructurats. Una de les premisses tingudes en compte en tots els passos d'aquesta tesis va ser la selecció d'aquelles tècniques que poguessin ésser aplicades en temps real, i demostrar-ne el seu funcionament amb experiments reals. El camp d'aplicació de tots els experiments es la robòtica submarina.En una primera part, la tesis es centra en el disseny d'una arquitectura de control que ha de permetre l'assoliment d'una missió prèviament definida. En particular, la tesis proposa l'ús de les arquitectures de control basades en comportaments per a l'assoliment de cada una de les tasques que composen la totalitat de la missió. Una arquitectura d'aquest tipus està formada per un conjunt independent de comportaments, els quals representen diferents intencions del robot (ex.: "anar a una posició", "evitar obstacles",...). Es presenta una recerca bibliogràfica sobre aquest camp i alhora es mostren els resultats d'aplicar quatre de les arquitectures basades en comportaments més representatives a una tasca concreta. De l'anàlisi dels resultats se'n deriva que un dels factors que més influeixen en el rendiment d'aquestes arquitectures, és la metodologia emprada per coordinar les respostes dels comportaments. Per una banda, la coordinació competitiva és aquella en que només un dels comportaments controla el robot. Per altra banda, en la coordinació cooperativa el control del robot és realitza a partir d'una fusió de totes les respostes dels comportaments actius. La tesis, proposa un esquema híbrid d'arquitectura capaç de beneficiar-se dels principals avantatges d'ambdues metodologies.En una segona part, la tesis proposa la utilització de l'aprenentatge per reforç per aprendre l'estructura interna dels comportaments. Aquest tipus d'aprenentatge és adequat per entorns desconeguts i el procés d'aprenentatge es realitza al mateix temps que el robot està explorant l'entorn. La tesis presenta també un estat de l'art d'aquest camp, en el que es detallen els principals problemes que apareixen en utilitzar els algoritmes d'aprenentatge per reforç en aplicacions reals, com la robòtica. El problema de la generalització és un dels que més influeix i consisteix en permetre l'ús de variables continues sense augmentar substancialment el temps de convergència. Després de descriure breument les principals metodologies per generalitzar, la tesis proposa l'ús d'una xarxa neural combinada amb l'algoritme d'aprenentatge per reforç Q_learning. Aquesta combinació proporciona una gran capacitat de generalització i una molt bona disposició per aprendre en tasques de robòtica amb exigències de temps real. No obstant, les xarxes neurals són aproximadors de funcions no-locals, el que significa que en treballar amb un conjunt de dades no homogeni es produeix una interferència: aprendre en un subconjunt de l'espai significa desaprendre en la resta de l'espai. El problema de la interferència afecta de manera directa en robòtica, ja que l'exploració de l'espai es realitza sempre localment. L'algoritme proposat en la tesi té en compte aquest problema i manté una base de dades representativa de totes les zones explorades. Així doncs, totes les mostres de la base de dades s'utilitzen per actualitzar la xarxa neural, i per tant, l'aprenentatge és homogeni.Finalment, la tesi presenta els resultats obtinguts amb la arquitectura de control basada en comportaments i l'algoritme d'aprenentatge per reforç. Els experiments es realitzen amb el robot URIS, desenvolupat a la Universitat de Girona, i el comportament après és el seguiment d'un objecte mitjançant visió per computador. La tesi detalla tots els dispositius desenvolupats pels experiments així com les característiques del propi robot submarí. Els resultats obtinguts demostren la idoneïtat de les propostes en permetre l'aprenentatge del comportament en temps real. En un segon apartat de resultats es demostra la capacitat de generalització de l'algoritme d'aprenentatge mitjançant el "benchmark" del "cotxe i la muntanya". Els resultats obtinguts en aquest problema milloren els resultats d'altres metodologies, demostrant la millor capacitat de generalització de les xarxes neurals.

Plusieurs laboratoires de robotique à travers le monde travaillent sur le développement de stratégies innovantes pour la navigation autonome de véhicules élémentaires ou en convoi. Dans ce contexte, nos travaux de thèse s’inscrivent principalement dans le cadre de la navigation en formation d’un groupe de véhicules dans des environnements structurés. La complexité de ces systèmes multi-robots ne permet pas l’utilisation directe de techniques classiques de perception et/ou de contrôle/commande. Nos travaux ont consisté à décomposer le contrôle global, dédié à la réalisation de la tâche complexe, en un ensemble de comportements/contrôleurs élémentaires précis et fiables (e.g., évitement d’obstacles, suivi de trajectoire, attraction vers une cible, navigation en formation, etc.). Ces comportements lient les différentes informations fournies par les capteurs aux actions des véhicules. Pour garantir les critères de performances imposés à notre architecture de contrôle/commande (e.g., stabilité, robustesse et/ou borner les erreurs maximales), les potentialités des systèmes hybrides ont été considérées. Cette architecture de contrôle a été validée, dans un premier temps, sur des véhicules pris individuellement, en utilisant notamment une stratégie de navigation sûre et flexible utilisant des points de passage. Cette navigation permet au véhicule d’effectuer différentes manœuvres entre ces points de passage (pour éviter par exemple des obstacles dans l’environnement) et ce sans avoir à planifier/re-planifier des trajectoires globales dans l’environnement. Une loi de commande spécifique, permettant une attraction stable (au sens de Lyapunov) et précise vers des cibles statiques ou dynamiques a été par ailleurs développée. Cette loi de commande garantit la convergence du véhicule vers chaque point de passage tout en garantissant des trajectoires sûres. Par ailleurs, un algorithme nommé OMWS (pour Optimal Multi-criteria Waypoint Selection) a été proposé pour sélectionner les configurations optimales des points de passage dans l’environnement. Cet algorithme permet de garantir des mouvements sûrs et fiables du véhicules en tenant compte des contraintes et incertitudes liées à la navigation du véhicule. Par la suite, l’architecture de contrôle/commande proposée a été étendue aux systèmes multi-robots en utilisant la combinaison d’une approche leader-suiveur et comportementale. Un important aspect de la navigation multi-robots est la reconfiguration dynamique de la formation en fonction du contexte de la navigation (e.g., passer d’une configuration triangle vers ligne si la largeur de la voie de navigation ne suffisait pas). Ainsi, des stratégies de reconfiguration dynamique ont été proposées, permettant de garantir la sureté de la formation même au moment des transitions entre configurations. Il est à noter par ailleurs que des métriques spécifiques ont été proposées pour quantifier la fiabilité et la robustesse des stratégies multi-robots proposées. Plusieurs simulations et expérimentations avec des véhicules urbains (VIPALABs) nous ont permis de confirmer la viabilité et efficacité des architectures de contrôle/commande proposées pour la navigation en formation d’un groupe de VIPALABs. / Beyond the interest of robotics laboratories for the development of dedicated strategies for single vehicle navigation, several laboratories around the world are more and more involved in the general challenging field of cooperative multi-robot navigation. In this context, this work deals with the navigation in formation of a group of Unmanned Ground Vehicles (UGVs) dedicated to structured environments. The complexity of this Multi-Robot System (MRS) does not permit the direct use of neither classical perception nor control techniques. To overcome this problem, this work proposes to break up the overall control dedicated to the achievement of the complex task into a group of accurate and reliable elementary behaviors/controllers (e.g., obstacles avoidance, trajectory tracking, target reaching, navigation in formation, formation reconfiguration, etc.). These behaviors are linked to different information given by the sensors to the actions of vehicles. To guarantee the performances criteria (e.g., stability, convergence, state errors) aimed by the control architecture, the potentialities of hybrid controllers (which controlling continuous systems in the presence of discrete events) are considered. This control architecture is validated for a single vehicle to perform safe and flexible autonomous navigation using an appropriate strategy of navigation through suitable set of waypoints. This flexible navigation allows different vehicle maneuvers between waypoints (e.g., target reaching or obstacle avoidance) without using any trajectory planning nor replanning. The designed control law based on Lyapunov synthesis guarantees the convergence to assigned waypoint while performing safe trajectories. Furthermore, an algorithm to select suitable waypoints’ positions, named Optimal Multi-criteria Waypoint Selection (OMWS), in structured environments while taking into account the safe and reliable vehicle movements, and vehicle constraints and uncertainties is proposed. Subsequently, the control architecture is extended to Multi-Robot Formation (MRF) using a combination of Leader-Follower and behavior-based approaches. An important cooperative MRS issues in this thesis is the dynamic reconfiguration of the formation according to the context of navigation (e.g., to pass from a triangle configuration towards a line if the width of the navigation way is not sufficient). The proposed Strategy for Formation Reconfiguration (SFR) guarantees the stability and the safety of the MRS at the time of the transitions between configuration (e.g., line towards square, triangle towards line, etc.). Therefore, a safe, reactive and dynamic MRF is obtained. Moreover, the degrees of multi-robot safety, stability and reliability of the system are quantified via suitable metrics. Simulations and experiments using urban vehicles (VIPALABs) of the Institut Pascal laboratory allow to perform exhaustive experiments of the proposed control architecture for the navigation in formation of a group of UGVs.