[pt] Esta dissertação apresenta uma abordagem para a coordenação de enxames de Veículos Aéreos Não Tripulados (VANT), baseada na comunicação via Internet provida pelas redes de telefonia móvel. Um grande número de atividades pode ser coberto com uma missão conjunta de VANTs voando em formação, como a vigilância e monitoramento de grandes eventos, tarefas de busca e salvamento, controle de pestes agrárias, fiscalização e conservação florestal, inspeção de oleodutos e redes de distribuição elétrica ou mesmo em missões militares de ataque e reconhecimento. A coordenação de enxame de VANTs pode ser fatorada na comunicação entre os membros do enxame e o algoritmo de controle e interrelacionamento entre os membros. A solução proposta consiste no uso de smartphones acoplados a VANTs capazes de prover o nível necessário de comunicação confiável sobre a Internet móvel, e processar o algoritmo proposto para a coordenação dos enxames de VANTs. Experimentos foram feitos através da emulação de VANTs e redes de dados de telefonia que demostraram a eficácia do algoritmo proposto e analisam o impacto da latência de rede e da velocidade dos VANTs sobre a precisão da coordenação de movimento de enxames. / [en] This work presents an approach to coordinate swarms of Unmanned Aerial Vehicles (UAV) based on Internet communication provided by mobile phone networks. Several activities can be done by several UAVs flying in formation, such as surveillance and monitoring of mass events, search and rescue tasks, control of agricultural pests, monitoring and forest conservation, inspection of pipelines and electricity distribution networks or even military attack and recognition missions. Coordination of UAVs swarm can be branch in two sub-problems: communication between members of the swarm and the algorithm that controls members behaviors regarding their movements. The proposed solution assumes the use of a smartphone coupled with each UAV of the swarm, in order to provide the required level of reliable communication on the mobile Internet and run the proposed algorithm for the coordination of swarms of UAVs. Experiments were performed with emulated UAVs and WAN mobile networks. The results have demonstrated the effectiveness of the proposed algorithm, and have shown the influence of the network latency and the UAV speeds on the accuracy of the movement coordination in the swarms.

[pt] Com recentes avanços em poder computacional, o uso de novos modelos de controle complexos se tornou viável para realizar o controle de quadrotores. Um destes métodos é o aprendizado por reforço profundo (do inglês, Deep Reinforcement Learning, DRL), que pode produzir uma política de controle que atende melhor as não-linearidades presentes no modelo do quadrotor que um método de controle tradicional. Umas das não-linearidades importantes presentes em veículos aéreos transportadores de carga são as propriedades variantes no tempo, como tamanho e massa, causadas pela adição e remoção de carga. A abordagem geral e domínio-agnóstica de um controlador por DRL também o permite lidar com navegação visual, na qual a estimação de dados de posição é incerta. Neste trabalho, aplicamos um algorítmo de Soft Actor- Critic com o objeivo de projetar controladores para um quadrotor a fim de realizar tarefas que reproduzem os desafios citados em um ambiente virtual. Primeiramente, desenvolvemos dois controladores de condução por waypoint: um controlador de baixo nível que atua diretamente em comandos para o motor e um controlador de alto nível que interage em cascata com um controlador de velocidade PID. Os controladores são então avaliados quanto à tarefa proposta de coleta e alijamento de carga, que, dessa forma, introduz uma variável variante no tempo. Os controladores concebidos são capazes de superar o controlador clássico de posição PID com ganhos otimizados no curso proposto, enquanto permanece agnóstico em relação a um conjunto de parâmetros de simulação. Finalmente, aplicamos o mesmo algorítmo de DRL para desenvolver um controlador que se utiliza de dados visuais para completar um curso de corrida em uma simulação. Com este controlador, o quadrotor é capaz de localizar portões utilizando uma câmera RGB-D e encontrar uma trajetória que o conduz a atravessar o máximo possível de portões presentes no percurso. / [en] With recent advances in computational power, the use of novel, complex control models has become viable for controlling quadrotors. One such method is Deep Reinforcement Learning (DRL), which can devise a control policy that better addresses non-linearities in the quadrotor model than traditional control methods. An important non-linearity present in payload carrying air vehicles are the inherent time-varying properties, such as size and mass, caused by the addition and removal of cargo. The general, domain-agnostic approach of the DRL controller also allows it to handle visual navigation, in which position estimation data is unreliable. In this work, we employ a Soft Actor-Critic algorithm to design controllers for a quadrotor to carry out tasks reproducing the mentioned challenges in a virtual environment. First, we develop two waypoint guidance controllers: a low-level controller that acts directly on motor commands and a high-level controller that interacts in cascade with a velocity PID controller. The controllers are then evaluated on the proposed payload pickup and drop task, thereby introducing a timevarying variable. The controllers conceived are able to outperform a traditional positional PID controller with optimized gains in the proposed course, while remaining agnostic to a set of simulation parameters. Finally, we employ the same DRL algorithm to develop a controller that can leverage visual data to complete a racing course in simulation. With this controller, the quadrotor is able to localize gates using an RGB-D camera and devise a trajectory that drives it to traverse as many gates in the racing course as possible.

[pt] Redes de sensores sem fio (WSN) são uma importante alternativa na coleta de dados em diversas situações, tais como no monitoramento de grandes áreas ou áreas que apresentem perigo. A recuperação de dados de WSNs é uma importante atividade que pode obter melhores resultados com o uso de veículos aéreos não tripulados (UAV) como, por exemplo, em relação ao aumento da quantidade de dados coletados e diminuição do tempo entre a coleta dos dados e seu uso. Em particular, áreas tomadas por desastres podem ficar sem recursos de comunicação e com grande risco residual para humanos, momento no qual uma WSN pode ser rapidamente lançada por via aérea e atuar na coleta de dados relevantes até que medidas pertinentes e dedicadas possam ser colocadas em ação. Estudos apresentam abordagens no uso de UAVs para coleta dos dados de WSN, focando principalmente na otimização do caminho a ser percorrido por um único UAV e se baseando em uma comunicação de longo alcance sempre disponível, não explorando a possibilidade da utilização de diversos UAVs ou à limitação do alcance da comunicação. Neste trabalho apresentamos o DADCA, uma abordagem distribuída escalável capaz de coordenadar grupos de UAVs na coleta de dados de WSN sob restrições de alcance de comunicação, sem fazer uso de técnicas de otimização. Resultados indicam que a quantidade de dados coletados pelo DADCA é semelhante ou superior, em até 1 porcento, a abordagens de otimização de caminhos percorridos por UAVs. O atraso no recebimento de mensagens de sensores é até 46 porcento menor do que outras abordagens e o processamento necessário a bordo de UAVs é no mínimo menor do que 75 porcento do que aqueles que utilizam algoritmos baseados em otimização. Os resultados apresentados indicam que o DADCA é capaz de igualar e até superar outras abordagens apresentadas, agregando vantagens de uma abordagem distribuída. / [en] Wireless sensor networks (WSNs) are an important means of collecting data in a variety of situations, such as monitoring large or hazardous areas. The retrieval of WSN data can yield better results with the use of unmanned aerial vehicles (UAVs), for example, concerning the increase in the amount of collected data and decrease in the time between the collection and use of the data. In particular, disaster areas may be left without communication resources and with great residual risk to humans, at which point a WSN can be quickly launched by air to collect relevant data until other measures can be put in place. Some studies present approaches to the use of UAVs for the collection of WSN data, focusing mainly on optimizing the path to be covered by a single UAV and relying on long-range communication that is always available; these studies do not explore the possibility of using several UAVs or the limitations on the range of communication. This work describes DADCA, a distributed scalable approach capable of coordinating groups of UAVs in WSN data collection with restricted communication range and without the use of optimization techniques. The results show that the amount of data collected by DADCA is similar or superior, by up to 1 percent, to path optimization approaches. In the proposed approach, the delay in receiving sensor messages is up to 46 percent shorter than in other approaches, and the required processing onboard UAVs can reach less than 75 percent of those using optimization-based algorithms. The results indicate that the DADCA can match and even surpass other approaches presented, while also adding the advantages of a distributed approach.