Submitted by Automa??o e Estat?stica (sst@bczm.ufrn.br) on 2016-04-08T23:04:23Z No. of bitstreams: 1 NathaleeCavalcanteDeAlmeida_TESE.pdf: 4977201 bytes, checksum: df7d2782334c22ea8da632616ca9ce27 (MD5) / Approved for entry into archive by Arlan Eloi Leite Silva (eloihistoriador@yahoo.com.br) on 2016-04-11T22:52:17Z (GMT) No. of bitstreams: 1 NathaleeCavalcanteDeAlmeida_TESE.pdf: 4977201 bytes, checksum: df7d2782334c22ea8da632616ca9ce27 (MD5) / Made available in DSpace on 2016-04-11T22:52:17Z (GMT). No. of bitstreams: 1 NathaleeCavalcanteDeAlmeida_TESE.pdf: 4977201 bytes, checksum: df7d2782334c22ea8da632616ca9ce27 (MD5) Previous issue date: 2015-06-19 / Conselho Nacional de Desenvolvimento Cient?fico e Tecnol?gico - CNPq / A conforma??o de feixe, tamb?m conhecida como beamforming, ? uma t?cnica bastante utilizada em diversas ?reas. Com o aux?lio de um arranjo de antenas, a conforma??o de feixe tem como objetivo minimizar sinais interferentes de dire??es desconhecidas e capturar um sinal desejado de uma dire??o espec?fica. Nesta tese s?o propostas t?cnicas de conforma??o de feixe utilizando Aprendizagem por Refor?o (AR) atrav?s do algoritmo Q-Learning, em arranjo de antenas. Uma das propostas ? utilizar AR para encontrar a pol?tica ?tima de sele??o entre a conforma??o de feixe (CF) e o controle de pot?ncia (CP) a fim de aproveitar melhor as caracter?sticas individuais de cada uma delas para um determinado valor de Rela??o Sinal-Ru?do Interferente (SINR). Outra proposta ? utilizar AR na determina??o da pol?tica ?tima para comuta??o dos algoritmos de conforma??o cega de feixes, Algoritmo do M?dulo Constante (CMA) e o algoritmo de Decis?o Direta (DD) em ambientes com multipercurso. Atrav?s de simula??es destas propostas foi poss?vel concluir que a AR pode ser eficaz para implementar uma pol?tica de comuta??o entre diferentes t?cnicas buscando aproveitar caracter?sticas positivas de cada uma delas. / Beamforming is a technique widely used in various fields. With the aid of an antenna array, the beamforming aims to minimize the contribution of unknown interferents directions, while capturing the desired signal in a given direction. In this thesis are proposed beamforming techniques using Reinforcement Learning (RL) through the Q-Learning algorithm in antennas array. One proposal is to use RL to find the optimal policy selection between the beamforming (BF) and power control (PC) in order to better leverage the individual characteristics of each of them for a certain amount of Signal to Interference plus noise Ration (SINR). Another proposal is to use RL to determine the optimal policy between blind beamforming algorithm of CMA (Constant Modulus Algorithm) and DD (Decision Direct) in multipath environments. Results from simulations showed that the RL technique could be effective in achieving na optimal of switching between different techniques.