Submitted by Johnny Rodrigues (johnnyrodrigues@ufcg.edu.br) on 2018-08-17T13:42:57Z No. of bitstreams: 1 CLÁUDIO SABASTIÃO VASCONCELOS DA CUNHA CAVALCANTI - DISSERTAÇÃO PPGCC 2007..pdf: 19270985 bytes, checksum: b54c266f6cdb98e2cbbf305285b6ffdf (MD5) / Made available in DSpace on 2018-08-17T13:42:57Z (GMT). No. of bitstreams: 1 CLÁUDIO SABASTIÃO VASCONCELOS DA CUNHA CAVALCANTI - DISSERTAÇÃO PPGCC 2007..pdf: 19270985 bytes, checksum: b54c266f6cdb98e2cbbf305285b6ffdf (MD5) Previous issue date: 2007-07-30 / Além de ser uma das mais populares formas de arte, a fotografia também é uma forma de lazer e ferramenta de trabalho. Com a redução dos preços e a conseqüente popularização dos equipamentos e acessórios necessários à fotografia, especialmente o preço das câmeras digitais, é crescente o interesse por novos algoritmos e ferramentas que favoreçam a captura de imagens com maior qualidade. Diante do exposto, a presente dissertação objetivou a proposição e desenvolvimento de algoritmos capazes de detectar e corrigir falhas na composição fotográfica. As regras de composição fotográfica, em geral, são heurísticas utilizadas por fotógrafos que se difundiram a ponto de serem denominadas de “regras”. Mesmo não sendo consenso entre os fotógrafos, é possível que a implementação destas regras possa levar um fotógrafo amador, sem conhecimento prévio de fotografia, a produzir fotografias de alta qualidade e teor profissional. Neste trabalho são propostas duas alternativas para a correção da composição: um método para correção on-line, no qual a foto final só é obtida após satisfeitas algumas condições de qualidade, e outro para a correção off-line, o qual classifica (ou modifica) a imagem a posteriori. Para tanto, são utilizados algoritmos destinados à detecção e correção de problemas no posicionamento do tema. Os resultados foram avaliados em dois experimentos. No primeiro experimento, os usuários concordaram em até 65% com os resultados obtidos pelo sistema, através de uma análise subjetiva. No segundo experimento,foi mostrado como é possível, utilizando-se apenas uma câmera Pan-Tilt-Zoom (câmera dotada de três graus de liberdade sendo dois de rotação e um do campo de visão),localizar e fotografar pessoas em um determinado ambiente a partir das regras de composição desenvolvidas. / Besides being one of the most popular forms of art, photography is often used for a wide variety of purposes, including professional and entertainment ones. Nowadays, since cameras (specially digital ones) are less expensive and more popular, there is an increasing need for tools to help photographers (both amateurs and professionals) to obtain photographs of better quality. Within this context, algorithms for detection and correction of errors on the composition of a photograph are proposed in this work. Photographic composition rules are heuristics used by photographers, which became so wides pread that they are now also known as“rules”. Photographers, however, are not unanimous about the use of some of those rules. Despite of that it is possible that the use of photographic composition rules can improve the quality of amateur photographs, leveling them to a professional standard. In this dissertation, two approaches are proposed to automate composition rules: an on-line method, in which a picture is only taken when a number of conditions is satisfied; and an off-line method,which classifiers or corrects the image after it has been acquired. Hence, algorithms for detecting and correcting problems on subject positioning are used. Two experiments were used to evaluate the performance of the system. The first one shows that users agree with the correction performed on 65% of the photographs, through a subjective analysis. By using only a Pan-Tilt-Zoom camera and the composition rules implemented in this work, the second experiment shows howto locate and photograph human subjects ina given environment.

Dans l’évolution actuelle de mini-drones à décollage et atterrissage vertical, configurations convertibles de type “tilt-rotors” et “tilt-body” sont de plus en plus souvent utilisées. Ces configurations se sont avérées être très sensibles à l’effet du vent latéral quand ils sont en vol de transition ou tout simplement en vol à basse vitesse. Pour cette raison, une bonne compréhension du comportement d’un proprotor et de l’interaction proprotor-voilure à incidence est nécessaire pour la conception de ce type de drones. Un modèle à l’échelle du mini-drone MiniREC a été testée à la soufflerie S4 de type Eiffel de l’ISAE pour comprendre le comportement de la charge aérodynamique du proprotor au cours de la transition du vol vertical au vol horizontal. Aussi, pour observer l’effet d’échelle et étudier le type de proprotor utilisé normalement par les MAV, une deuxième expérience pour proprotors à incidence a été réalisée à la soufflerie SaBRE. Un anémomètre à film chaud a été utilisé pour caractériser le sillage de l’hélice. Les résultats expérimentaux ont montré la grande incidence de ces forces sur la stabilité longitudinale du drone à des angles d’incidence élevés. Il a également été montré que l’écoulement généré par un proprotor au incidence est de nature très instable, cequi rend sa modélisation complexe. D’un point de vue numérique, l’étude de l’hélice à l’incidence a été faite en utilisant l’hypothèse de Glauert pour un disque actuateur au incidence. Les résultats analytiques sont comparés avec les résultats expérimentaux obtenus à partir des mesures à film chauden 2D et une simulation CFD d’un disque actuateur au incidence chargé avec une charge moyenne équivalente aux valeurs de poussée expérimentales SaBRE et une simulation URANS CFD de l’hélice complète. En outre, les résultats de l’expérience S4 ont été comparés au modèle de Ribner pour les hélices en lacet et le modèle de Young qui est une modification statistique de l’analyse Ribner. La modification proposée du modèle de Ribner donne de bons résultats pour les rotors seul, même à des angles d’attaque élevés. Toutefois, il a été clairement démontré que son amélioration ou un nouveau modèle sont nécessaires afin de prévoir correctement la poussée et les forces produites par proprotors simples et co-axiaux. Pour cela un méthode quasi-stationnaire du premier ordre basée sur la théorie de la dynamique des éléments pales a été développée. Enfin, un prototype aérodynamique avec une sensibilité réduite au vent latéral a été conçu, construit et testé dans la soufflerie S4. Le test a montré que la première conclusion à propos de la contribution du proprotor à la sensibilité longitudinaletotale des mini-drones était justifiée et que la nouvelle configuration fait un candidat idéal pour lesconceptions futures de mini-drones basculant à décollage et atterrissage vertical. / In the current development of VTOL mini-UAS and MAVs, configurations like tilt proprotors and tilt-body are being applied more and more often. These types of configurations have shown to be very sensitive to the effect of the lateral wind when they are in transition flight or simply in low speed flight. For this reason a correct understanding of the behavior of a proprotor and the proprotor-wing interaction at incidence is necessary for the design and conception of this type ofUAS. A scaled model of the MiniREC mini-UAS was tested at the ISAE S4 Eiffel type wind tunnel to understand the aerodynamic load behavior of the proprotor during the transition from vertical flight to horizontal flight. Also, to observe the effect of the scale and study the type of proprotor usednormally by MAVs, a second experiment for proprotors at incidence was conducted at the SaBRE wind tunnel. A hot film anemometer was used to characterize the propeller wake. The experimental results showed the great impact of these loads over the longitudinal stability of the drone at highangles of incidence. It was also shown that the nature of the flow for a proprotor at incidence ishighly unsteady which makes its modeling a complex process. From a numerical point of view the study of the propeller at incidence was done using the Glauert’s hypothesis for an actuator disk at incidence. The analytic results are compared with experimental results obtained from the 2D hot film measurements and a CFD simulation of an actuator disk at incidence loaded with a mean load equivalent to experimental SaBRE thrust values and URANS CFD simulation of the full propeller. The results of the S4 experiment were also compared to Ribner’s model for propellers in yaw and the Young’s model which is a statistical modification of Ribner’s analysis. The present modification of Ribner’s model gives good results for single rotors even at high angles of attack. However it wasclearly shown that some improvement or a new model were needed to correctly predict the thrustand the off-axis loads produced by single and coaxial proprotors. For this a first order quasi-steady method based on blade element momentum theory was developed. Finally an aerodynamic prototype(with reduced sensitivity to the lateral wind) was designed on these bases, built and tested in theS4 wind-tunnel. The test showed that the initial conclusion about the contribution of the proprotorto the total longitudinal sensitivity of the mini-UAS were justified and that the new configuration showed a reduced sensitivity to the lateral wind which makes it a perfect candidate for future designs of tilt-body VTOL mini-UAS .

Cette thèse étudie certains problèmes plus importants dans le sens de guidage, navigation et contrôle présentés dans une catégorie particulière de mini véhicules aériens (MVA) : le MVA convertible avec des ailes fixes et disques pendulaires. Cet aéronef est capable de changer sa configuration de vol, du vol stationnaire au vol palier et vice versa, au moyen d’une manœuvre de transition. Motivé par des applications civiles, on étudie théoriquement et expérimentalement les principes de contrôle en fonction de Lyapunov pour les dynamiques présentées dans le MVA convertible. Des résultats de convergence asymptotique sont obtenus sur l’enveloppe de vol complet du véhicule : d’un vol vertical à basse vitesse à un vol vers l’avant à grande vitesse. Cette thèse est divisée en quatre parties principales : l’étude de 1) les aéronefs à voilure fixe ; 2) le quadrirotor (avion équipe de quatre moteurs) ; 3) l’aéronef convertible ; 4) les applications de vision en utilisant l’aéronef convertible. Dans la première partie, un principe de contrôle en fonction de Lyapunov est développé pour diriger un mini véhicule aérien à voilure fixe tout au long d’un chemin d’accès souhaité. En outre, un générateur de chemin d’accès est proposé. Le résultant de la stratégie du contrôle donne une convergence globale du chemin actuel du MVA au chemin d’accès souhaité. Dans la deuxième partie, un contrôle en fonction de Lyapunov à l’aide de la théorie de la perturbation du singulier est proposé et appliqué sur la dynamique du MVA. En effet, dans cette partie on a abordé le problème diagnostic et la détection de pannes fault detection and diagnosis (FDD) pour un quadrirotor. Dans la troisième partie une nouvelle stratégie de contrôle pour effectuer la transition d’un avion convertible entre le mode avion et le mode hélicoptère, et vice versa, est présenté. L’analyse est effectuée pour le modèle longitudinal du PVHAT (Planar Vertical Helicopter-Airplane Transition) aéronef, lequel est un avion ayant disques pendulaires afin de réaliser la manœuvre de transition. L’algorithme de contrôle de boucle fermée qui en résulte, est prouvé être globalement asymptotiquement stable. Finalement, dans la quatrième partie de cette thèse, le problème de l’estimation et suivi d’un chemin à l’aide de vision système embarqué dans l’avion PVHAT est résolu. La stabilité globale exponentielle de la position sous-système ainsi que le contrôleur de commutation est démontrée. Des simulations illustratives et résultats expérimentaux sont obtenus sur plusieurs plateformes expérimentales développées dans cette thèse, pour évaluer l’applicabilité des principes contrôle proposés et mettre en valeur les mérites de l’approche. / This thesis studies some of the most relevant problems in the sense of guidance,navigation and control presented in a particular class of mini aerial vehicles (MAV) : the convertible MAV with fixed wings and tilting rotors. This aircraft is able to change its flight configuration from hover to level flight and vice-versaby means of a transition maneuver. Motivated by civilian applications, we theoretically and experimentally study Lyapunov-based control laws for dynamics presented in the convertible MAV. Results of asymptotic convergence are obtained over the complete flight envelope of the vehicle : from low-speed vertical flight through high-speed forward flight. We have divided this thesis in four main parts : the study of 1) the fixed-wingaircraft; 2) the quadrotor; 3) the convertible aircraft and 4) vision applications by using the convertible aircraft. In a first part, a Lyapunov-based controllaw is developed to steer a fixed wing mini aerial vehicle along a desired path. Furthermore a path generator is proposed. The resulting control strategy yields global convergence of the current path of the MAV to the desired path. In a second part, a Lyapunov-based control using singular perturbation theory is proposed and applied on dynamics of the MAV. Furthermore, in this part we address the problem of fault detection and diagnosis (FDD) for a quad-rotor. In the third part a new control strategy for the transition between airplane and helicopter mode, and vice versa, in convertible planes is presented. The analysis is carried out for the longitudinal model of the PVHAT (Planar VerticalHelicopter-Airplane Transition) aircraft, which is an airplane having tilting rotors in order to achieve the transition maneuver. The resulting closed loop control algorithm is proved to be globally asymptotically stable. Finally in thefourth part of this thesis the problem of estimation and tracking of a road using avision embedded system in the PVHAT aircraft is solved. The global exponential stability of the position subsystem together with the switching controller is demonstrated. Illustrative simulations and experimental results obtained on several experimental platforms developed in this thesis, assess the implementability of the proposed control laws and highlight the merits of the approach.

The paper introduces briefly topics of retinal detachment, vitrectomy and applicable postoperative care. A system for increasing patient comfort is described, which continuously records and signalizes head tilt. The software part of aforementioned system is implemented, using C++ Builder programming environment and helper libraries supplied by system's hardware component vendors. This software application allows user to analyze recorded data and manage the system. Application's user interface and usage is described in detail, as well as implementation details concerning internal functions and organization.

Work tackles the general design systems of automatic control of engine power and braking effects so that avoid any unnecessary dangerous situations and to improve the driving characteristics and suppression causes of accident due to bad decisions of driver. Is required to propose a general system based on the draft sensors and control circuits, their relationships, design control processor, which will be without the knowledge of the driver intervene in driving motorcycle.

This diploma thesis deals with an optimization of hydrostatic slide of the large-portal gantry machine FRU (TOS Kuřim). First part of the thesis concerns with an analysis of the current practice in hydrostatic guides in the field of heavy gantry machines, an usage of alternative materials for a construction of carrying parts of machines, and possibilities of current simulation methods. Aim of the second part of this thesis is a brief clarification of the principle of mathematical optimization, and creation of general methodology of construction optimization by means of system analysis. Optimization calculations were processed by ANSYS Workbench 11.0. There is achieved adjusted and optimized design of the hydrostatic slide as the result of the thesis. Moreover, the comparison of key deformations was added. Created methodology is applicable in both an area of construction of gantry machines, and a wide spectrum of construction fields.

This thesis deals with problematics of PTZ-camera re-calibration during movement. The objective of this work is to keep the camera in calibration mode from default status when the known positions of Vanishing Points are in the image. With their use during movement, which is changing with motion of the camera, their positions are kept with help of two implemented methods. The first method is based on the principle of homography, the second on the principle of cross ratio. The results show that both of these methods work especially for keeping the positions of First Vanishing Points. In the case of the Second Vanishing Points there appear various problems and the results are often quite inaccurate.

Für den Zylinderkopf ist das Schwerkraftgießen ein etabliertes Gießverfahren. Jedoch gehen die Gießereien in der Ausführung des Schwerkraftgusses unterschiedlich vor. Durch die mannigfaltigen Anschnittsysteme und die sich dadurch ergebenden Vor- bzw. Nachteile bei der Herstellung entstehen Unterschiede bei Qualität und Kosten. Ziel dieser Arbeit ist es, Standards und Vereinheitlichungen während der Produktentstehung eines Zylinderkopfes zu etablieren, um eine gleichbleibende Qualität der Zylinderköpfe in den Gießereien zu gewährleisten. Dazu sind vielfältige Ansatzpunkte zu verfolgen. Eine Möglichkeit ist die geometrische Beurteilung des Zylinderkopfs, wie z.B. Wandstärken, Speisungswege und die Außengeometrien. Die nach Lastenheftvorgaben zu erfüllenden Eigenschaften spielen gleichermaßen eine Rolle und haben Einfluss auf die Wahl des Gießverfahrens. Mit Hilfe von speziellen Entscheidungsmethoden ist eine Vorauswahl für ein Gießverfahren möglich. Des Weiteren werden mittels experimentellen Untersuchungen die Entscheidungen gestützt. Die Gießsimulation ist als zusätzliches Auslegungswerkzeug einzusetzen. Hierbei sind Gussfehler im Bauteil zu lokalisieren und zu vermeiden. Unzureichende Speisungswege oder zu geringe Wandstärken durch komplizierte Kerngeometrien sind zu ermitteln. Des Weiteren sind Vorhersagen zu Dendritenarmabständen und Materialausnutzung (Speiserdimensionierung) möglich, die direkt mit der Wahl des Gießverfahrens zusammenhängen. Die Verzahnung von Geometrie- und Metallurgiefaktoren führt idealerweise zur Definition von Standardisierungsaspekten zur Auswahl der Gießtechnologie bei der Zylinderkopfentwicklung. Durch eine parallele Produkt- und Prozessentwicklung ist eine Verkürzung des Produktentstehungsprozesses erreichbar.

Trotz aller technischen Weiterentwicklungen in der Vergangenheit unterscheiden sich moderne elektronische Tachymeter in ihrer Grundkonstruktion nicht wesentlich von ihren analogen Vorgängern. Ihnen allen ist gemeinsam, dass eine Visur um den Nadir nicht möglich ist. Dies bedeutet, dass Punkte, welche sich in einem Zenitwinkelbereich zwischen ca. 170 und 230 gon befinden, nicht direkt gemessen werden können. Gegenstand der vorliegenden Arbeit war daher die Entwicklung eines Systems, mit welchem tachymetrische Messungen auch in einem Zenitwinkelbereich zwischen 170 und 230 gon möglich sind. Das Konzept basiert auf dem aus dem Markscheidewesen bekannten Hängetheodolit. Um Messungen im Bereich des Nadirs durchführen zu können, wird ein Tachymeter ähnlich einem Hängetheodolit in hängender Position montiert. In dieser Position ist der zur Horizontierung dienende interne elektronische Neigungskompensator jedoch nicht funktionsfähig. Die Horizontierung wird daher extern überwacht. Zu diesem Zweck wird das Tachymeter über eine geeignete Aufhängevorrichtung mit einem Neigungssensor verbunden. Die Kombination aus in hängender Position montiertem Tachymeter und externem Neigungssensor wird als Hängetachymeter bezeichnet. Bei der Kombination des Systems mit einem externen Neigungssensor kann eine geringe Abweichung zwischen der Stehachse des Tachymeters und der Lotachse des Neigungssensors fertigungsbedingt nicht vermieden werden. Zur Bestimmung dieser Abweichung wurden geeignete Verfahren entwickelt und auf ihre Genauigkeit untersucht. Die mit dem Tachymeter ermittelten Messwerte werden durch Instrumentenabweichungen beeinflusst und müssen um diese korrigiert werden. Auch sind die Messwerte um die mit dem externen Neigungssensor ermittelte Stehachsenneigung zu korrigieren. Die Achsenabweichungen des Tachymeters müssen in hängender Position bestimmt werden. Es kann nicht generell vorausgesetzt werden, dass diese mit den in aufrechter Position bestimmten Werten übereinstimmen. Zur Steuerung des Hängetachymeters wurde eine Software entwickelt, in welche die Kalibrierung der Sensoren, die Auswertung und Korrektur der Messwerte, deren Speicherung und Weiterverarbeitung sowie der Datenexport integriert wurden. Eine Kombination des Hängetachymeters mit einer Okularkamera ermöglicht die automatische Zielerkennung und -verfolgung nichtsignalisierter Punkte auch bei Messungen nahe dem Nadir. Zur Realisierung eines Autofokus wurde das Hängetachymeter mit einem Schrittmotor kombiniert, welcher über den Fokussierring des Tachymeters die Fokussierlinse bewegt. Eine Autofokusfunktion wurde auf Grundlage des Bildkontrastes entwickelt. Die Kalibrierung der Okularkamera basiert auf einer Modellierung des Abbildungsprozesses durch lineare Funktionen. Hierbei wurde die Abhängigkeit der Kalibrierwerte von der Position der Fokussierlinse (Position des Schrittmotors) aufgezeigt. Die zur optischen Zielerkennung eingesetzten Bildverarbeitungsalgorithmen gliedern sich in eine manuelle Punktanzielung im Bild, die Messung punktförmiger Muster durch Kantendetektion und Ellipsenanpassung und Bildzuordnungsverfahren nach der Methode der kleinsten Quadrate. Um die Leistungsfähigkeit des Hängetachymeters zu bestimmen, aber auch um die Güte der Kalibrierung zu testen, wurden mehrere Genauigkeitsuntersuchungen durchgeführt. Abschließend wurde das Hängetachymeter auch erfolgreich in der Industrievermessung eingesetzt und eine automatische Kalibrierroutine ohne Interaktion des Benutzers entwickelt. Die erreichten Genauigkeiten des Systems liegen im Bereich der Genauigkeiten des eingesetzten Tachymeters. / Despite all technical enhancements in the past modern electronic tacheometers do not differ significantly to their analogue predecessors. All have in common that aiming around the nadir is not possible. This means that points situated in the zenith angle region between ca. 170 to 230 gon cannot be measured directly. Therefore the subject of the present work was the development of a system that makes measurements in the zenith angle region between 170 and 230 gon possible. The concept is based upon the suspended theodolite which is known in mine-surveying. To carry out measurements in the region of the nadir a total station is mounted in a hanging position similar to a suspended theodolite. However the function of the tilt compensator which is used for levelling of the instrument is not supported in this position. Hence inclination is monitored externally. For this purpose the tacheometer is connected to a clinometer by an appropriate suspension arrangement. The combination of a tacheometer mounted in a suspended position and an external clinometer is called suspended tacheometer. Combining the system with an external clinometer a marginal variation occurs between the vertical axis of the tacheometer and the plummet axis of the clinometer due to production conditions. To quantify this variation an appropriate method was developed and its accuracy tested. Measurements conducted by the tacheometer are influenced by the variations of the instrument and must therefore be adjusted. Moreover these measurements must be adjusted by the inclination detected by the external clinometer. The axis variations of the tacheometer must be determined in suspended position. It cannot be generally presumed that these measurements comply with the ones determined in upright position. To actuate the suspended tacheometer a software was developed. This software also offers integrated functions for calibration of the sensors, analysis and adjustment of the measurements and their storage and processing as well as export of data. A combination of the suspended tacheometer with an ocular camera makes automatic target detection and tracking of non-cooperative signals possible also when measuring near the region of the nadir. To realize an autofocus the suspended tacheometer was combined with a stepper motor which moves the focus lens. Based on the image contrast an autofocus function was developed. The calibration of the ocular camera is based on modelling the mapping process by linear functions. Here the dependency of calibration values on the position of the focus lens (position of the stepping motor) was demonstrated. Image processing algorithms used for optical target detection can be divided into manual target detection in the image, measurement of point-shaped patterns by edge detection and ellipse adjustment and image allocation operations (Least squares matching). To determine the efficiency of the suspended tacheometer as well as to test the performance of the calibration several accuracy tests were performed. Also the suspended tacheometer was successfully deployed in industrial surveying. An automatic calibration routine without participation of a user was developed. The achieved accuracies of the system correspond with the accuracies of the inserted tacheometer.

Reinforcement learning is a powerful tool which enables an agent to learn how to control complex systems. However, during the early phases of training, the performance is often poor. Increasing sample efficiency means that fewer interactions with the environment are necessary before achieving good performance, minimizing risk and cost in real world deployment or saving simulation time. We present a novel reinforcement learning method, which we call Model-based Residual Policy Learning, that learns a residual to an existing expert policy using a model-based approach for maximum sample efficiency. We compared its sample efficiency to several methods, including a state-of-the-art model-free method. The comparisons were done on two tasks: coverage and capacity optimization via antenna tilt control for telecommunication networks, as well as a common robotics benchmark task. Performance was measured as the mean episodic reward collected during training. In the coverage and capacity optimization task, the reward signal was a sum of the log reference signal received power, throughput, and signal to interference plus noise ratio averaged across users in the cells. Our method was more sample efficient than the baselines across the board. The sample efficiency was especially good for the coverage and capacity optimization task. We also found that using an expert policy helped to maintain a good initial performance. In the ablation studies of the two components of our method, the complete method achieved the highest sample efficiency in the majority of the experiments. / Förstärkande inlärning är ett kraftfullt verktyg för att lära en agent att kontrollera komplexa system. Dock så är prestandan oftast dålig i början av träningen. Med att öka dataeffektiviteten menar vi att färre interaktioner med omgivningen är nödvändiga innan en bra prestanda uppnås, vilket minimerar risk och kostnad vid användning i verkligheten, eller minskar simuleringstiden. Vi presenterar en ny metod för förstärkande inlärning vilken vi kallar Modell-baserad residual-policyinlärning, som tränar en korrektionsterm till en expert-policy med hjälp av ett modell-baserat tillvägagångssätt för maximal dataeffektivitet. Vi jämförde dess dataeffektivitet med ett flertal metoder, bland annat en av de främsta modell-fria metoderna. Jämförelsen gjordes på två problem; optimering av täckning och kapacitet för telekommunikationsnätverk via styrning av antennernas nedåtlutning, samt ett vanligt förekommande testproblem inom robotik. Prestandan mättes med den genomsnittliga belöningen per episod insamlad av agenten under träningsprocessen. I täckning och kapacitet optimeringsproblemet så definierade vi belöningssignalen som summan av medelvärdet av logaritmen av den mottagna referenssignalens styrka (RSRP), dataöverföringshastigheten (throughput) och kvoten mellan signal och interferens plus brus (SINR) över antalet användare i cellerna. Vår metod var mer dataeffektiv än de som vi jämförde med i samtliga experiment. Dataeffektiviteten var särskilt hög för optimering av täckning och kapacitet. Vi fann även att användningen av en expert-policy hjälpte till att bibehålla en bra tidig prestanda. En ablationsstudie av vår metods två komponenter visade att den fullständiga metoden hade bäst dataeffektivitet i majoriteten av experimenten.