[pt] A previsão de perfis de carga elétrica (i.e., das séries de cargas a cada hora de um dia) tem sido freqüentemente tentada por meio de modelos baseados em redes neurais. Os resultados conseguidos por estes modelos, contudo, ainda não são considerados inteiramente convincentes. Há duas razões para ceticismo: em primeiro lugar, os modelos sugeridos geralmente se baseiam em redes que parecem ser complexas demais em relação aos dados que pretendem modelar (isto é, estes modelos parecem estar superparametrizados); em segundo lugar, estes modelos geralmente não são bem validados, pois os artigos que os propõem não comparam o desempenho das redes ao de modelos de referência. Nesta tese, examinamos estes dois pontos por meio de revisões críticas da literatura e de simulações, a fim de verificar se é realmente viável a aplicação de redes neurais à previsão de perfis de carga. Nas simulações, construímos modelos bastante complexos de redes e verificamos empiricamente sua validade, pela comparação de seu desempenho preditivo fora da amostra de treino ao desempenho de vários outros modelos de previsão. Os resultados mostram que as redes, mesmo quando muito complexas, conseguem previsões de perfis mais acuradas do que os modelos tradicionais, o que sugere que elas poderão trazer uma grande contribuição para a solução do problema de previsão de cargas. / [en] Load profile forecasting (i.e., the forecasting of series of hourly loads) has been often attempted by means of models based on neural networks. However, the papers that propose such models are not considered entirely convincing, for at least two reasons. First, the models they propose are usually based on neural networks that seem to be too large in relation to the sample they intend to model (that is, the networks seem to overfit their data). Secondly, most of the models are not properly validated, since the papers do not compare their performances to that of any standard forecasting method. In this thesis, we examine these two points, by means of literature reviews and of simulations, in order to investigate the feasibility of the application of neural networks to the problem of profile forecasting. We build some very complex models based on neural networks, and validate them empirically by comparing their predictive performance out-of-sample, over actual data, to the performance of several other forecasting methods. The results show that neural networks, even when very complex, are able to forecast profiles more accurately than the traditional models, which suggests that they may yet bring large contributions to the solution of the load forecasting problem. / [es] La previsión de los perfiles de carga elétrica (i.e., series de cargas medidas a cada hora de un día) ha sido abordada con frecuencia a través de modelos basados en redes neurales. Los resultados obtenidos por estos modelos, todavía no son considerados enteramente convincentes. Existen dos razones para este escepticismo: en primer lugar, los modelos sugeridos generalmente se basan en redes que parecen ser demasiado complejas en relación a los datos que pretenden modelar (quiere decir, estos modelos parecen estar superparametrizados); en segundo lugar, estos modelos generalmente no son bien evaluados, pués los artículos que los proponen no comparan el desempeño de las redes al de los modelos de referencia. En esta tesis, examinamos estos dos puntos por medio de revisiones críticas de la literatura y de simulaciones, con el objetivo de verificar si es realmente viable la aplicación de redes neurales a la previsión de perfiles de carga. En las simulaciones, construímos modelos de redes bastante complejos y verificamos empíricamente su validez, comparando su desempeño predictivo fuera de la muestra de entrenamiento con el desempeño de varios otros modelos de previsión. Los resultados muestran que las redes, incluso cuando muy complejas, consiguen previsiones de perfiles más precisas que los modelos tradicionales, lo que sugiere que ellas poderián traer una gran contribución para la solución del problema de previsión de cargas.

[pt] Esta dissertação investigou a criação de comitês de classificadores baseados em Redes Neurais Multilayer Perceptron (Redes MLP, abreviadamente). Isso foi feito em dois passos: primeiro, aplicando-se procedimentos para criação de redes complementares, i.e, redes individualmente eficazes mas que cometem erros distintos; segundo, testando- se sobre essas redes alguns dos principais métodos de combinação disponíveis. Dentre os procedimentos para criação de redes complementares, foi dado enfoque para os baseados em alteração do conjunto de treinamento. Os métodos Bootstrap e Arc-x4 foram escolhidos para serem utilizados no estudo de casos, juntamente com o método RDP (Replicação Dirigida de Padrões). No que diz respeito aos métodos de combinação disponíveis, foi dada particular atenção ao método de combinação por integrais nebulosas. Além deste método, implementou-se combinação por média, votação por pluralidade e Borda count. As aplicações escolhidas para teste envolveram duas vertentes importantes na área de visão computacional - Classificação de Coberturas de Solo por Imagens de Satélite e Reconhecimento de Expressões Faciais. Embora ambas pertençam à mesma área de conhecimento, foram escolhidas de modo a representar níveis de dificuldade diferentes como tarefas de classificação - enquanto a primeira contou com um grande número de padrões disponíveis, a segunda foi comparativamente limitada nesse sentido. Como resultado final, comprovou-se a viabilidade da utilização de comitês em problemas de classificação, mesmo com as possíveis variações de desempenho relacionadas com a complexidade desses problemas. O método de combinação baseado em integrais nebulosas mostrou-se particularmente eficiente quando associado ao procedimento RDP para formação das redes comissionadas, mas nem sempre foi satisfatório. Considerado individualmente, o RDP tem a limitação de criar, no máximo, tantas redes quanto forem as classes consideradas em um problema; porém, quando este número de redes foi considerado como base de comparação, o RDP se mostrou, na média de todos os métodos de combinação testados, mais eficaz que os procedimentos Bootstrap e Arc-x4. Por outro lado, tanto o Bootstrap quanto o Arc-x4 têm a importante vantagem de permitirem a formação de um número crescente de membros, o que quase sempre acarretou em melhorias de desempenho global em relação ao RDP. / [en] The present dissertation investigated the creation of classifier committees based on Multilayer Perceptron Neural Networks (MLP Networks, for short). This was done in two parts: first, by applying procedures for creating complementary networks, i.e., networks that are individually accurate but cause distinct misclassifications; second, by assessing different combining methods to these network`s outputs. Among the procedures for creating committees members, the main focus was set to the ones based on changes to the training set . Bootstrap and Arc-x4 were chosen to be used at the experiments, along with the RDP procedure (translated as Driven Pattern Replication). With respect to the available combining methods, special attention was paid to fuzzy integrals combination. Average combination, plurality voting and Borda count were also implemented. The chosen experimental applications included interesting branches from computer vision: Land Cover Classification from Satellite Images and Facial Expression Recognition. These applications were specially interesting, in the sense they represent two different levels of difficulty as classification tasks - while the first had a great number of available patterns, the second was comparatively limited in this way. This work proved the viability of using committees in classification problems, despite the small performance fluctuations related to these problems complexity. The fuzzy integrals method has shown to be particularly interesting when coupled with the RDP procedure for committee creation, but was not always satisfactory. Taken alone, the RDP has the limitation of creating, at most, as many networks as there are classes to be considered at the problem at hand; however, when this number of networks was considered as the basis for comparison, this procedure outperformed, taking into account average combining results, both Bootstrap and Arc- x4. On the other hand, these later procedures have the important advantage of allowing the creation of an increasing number of committee members, what almost always increased global performance in comparison to RDP. / [es] Esta disertación investigó la creación de comités de clasificadores basados en Redes Neurales Multilayer Perceptron (Redes MLP, abreviadamente). Esto fue ejecutado en dos pasos: primeiro, aplicando procedimentos para la creación de redes complementares, esto es, redes que individualmente son eficaces pero que cometen erros diferentes; segundo, probando sobre esas redes, algunos de los principales métodos de combinación disponibles. Dentro de los procedimentos para la creación de redes complementares, se eligieron los basados en alteración del conjunto de entrenamiento. Los métodos Bootstrap y Arc-x4 fueron seleccionados para utilizarlos em el estudio de casos, conjuntamente con el método RDP (Replicación Dirigida de Padrones). Con respecto a los métodos de combinación disponibles, se le dió particular atención al método de combinación por integrales nebulosas. Además de este método, se implementaron: combinación por media, votación por pluralidad y Borda cont. Las aplicaciones seleccionadas para pruebas consideran dos vertientes importantes en la área de visión computacional - Clasificación de Coberturas de Suelo por Imágenes de Shastalite y Reconocimiento de Expresiones Faciales. Aunque ambas pertencen a la misma área de conocimento, fueron seleccionadas de modo con diferentes níveles de dificuldad como tareas de clasificación - Mientras la primera contó con un gran número de padrones disponibles, la segunda fue comparativamente limitada em ese sentido. Como resultado final, se comprobó la viabilidad de la utilización de comités en problemas de clasificación, incluso con las posibles variaciones de desempeño relacionadas con la complejidad de esos problemas. El método de combinación basado en integrales nebulosas se mostró particularmente eficiente asociado al procedimiento RDP para formación de las redes comisionadas, pero no siempre fue satisfactorio. Considerado individualmente, el RDP tiene la limitación de crear, como máximo, tantas redes como clases consideradas en un problema; sin embargo, cuando el número de redes fue considerado como base de comparación, el RDP se mostró más eficaz, en la media de todos los métodos de combinación, que los procedimentos Bootstrap y Arc-x4. Por otro lado, tanto el Bootstrap como el Arc-x4 tiene la importante ventaja de permitir la formación de un número cresciente de miembros, lo que generalmente mejora el desempeño global en relación al RDP.

[pt] As cargas concentradas em vigas de aço são freqüentemente encontradas na prática da engenharia civil. Nas situações onde o local de aplicação da carga é fixo, enrijecedores transversais de alma podem ser usados para aumentar a resistência, mas devem ser evitados sempre que possível por razões econômicas. Para cargas móveis, é fundamental conhecer a resistência última das almas não enrijecidas. Diversas teorias foram desenvolvidas para uma melhor formulação deste problema mas, ainda assim, o erro das fórmulas de previsão é superior a 20%. Duas são as causas desta dificuldade de se encontrar uma equação mais precisa: o grande número de parâmetros que influenciam o comportamento de uma viga sujeita a cargas concentradas, e o número insuficiente de dados experimentais presentes na literatura para o desenvolvimento de uma análise paramétrica completa. Se por um lado a criação de novos resultados experimentais é um processo que envolve tempo e dinheiro, os métodos numéricos utilizados para gerar novos dados ainda apresentam diferenças significativas. As redes neurais foram inspiradas na estrutura do cérebro, a fim de apresentarem características humanas como o aprendizado por experiência e a generalização de novos exemplos a partir dos apresentados. Estas características mostram a possibilidade da utilização das redes neurais no estudo de problemas complexos, de difícil resolução por programas convencionais, como a previsão da carga última de vigas de aço sujeitas a cargas concentradas. Este trabalho tem o objetivo de avaliar e investigar o comportamento estrutural de cargas concentradas, através de uma análise paramétrica que permita identificar a influência dos diversos parâmetros que controlam o problema. Para viabilizar esta análise, torna-se necessária a geração de novos dados. Desta forma, será investigada a possibilidade da aplicação das redes neurais na previsão da carga crítica de vigas sujeitas a cargas concentradas, a partir de um treinamento destas redes utilizando os resultados experimentais existentes na literatura. Uma revisão bibliográfica do problema foi feita, bem como uma avaliação criteriosa dos resultados a serem utilizados no treinamento das redes. Para a avaliação e/ou novo treinamento do modelo de redes neurais, também foi estudada a utilização de resultados numéricos gerados através do método de elementos finitos. Estas simulações numéricas foram executadas utilizando um sistema de interface desenvolvido neste trabalho para integrar programas de pré-processamento, análise e pós- processamento. As simulações numéricas encontradas na literatura também foram analisadas para avaliar sua incorporação ao conjunto de dados de treinamento de redes neurais. A partir da validação do modelo de redes neurais adotado, através de uma comparação dos resultados fornecidos pelas redes com os valores fornecidos pelas fórmulas de previsão existentes, uma análise paramétrica poderá ser executada dentro dos limites do treinamento das redes neurais. Estas redes poderão então ser utilizadas como uma nova ferramenta na previsão da carga crítica de vigas de aço submetidas a cargas concentradas. Os resultados obtidos neste trabalho poderão permitir, no futuro, o desenvolvimento de uma fórmula de projeto mais precisa. De posse desta nova fórmula, uma sugestão para sua incorporação em normas de projeto de estruturas de aço poderá ser feita, garantindo desta forma um dimensionamento mais seguro e econômico. / [en] Concentrated loads on steel beams are frequently found in structural engineering practice. In situations where the location of the load is fixed, traverse web stiffeners can be used to provide an adequate increased resistance, but for economic reasons should be avoided whenever possible. For moving loads, the knowledge of the unstiffened web resistance becomes imperative. Many theories were developed for a better understanding of the problem, however, a 20% error is still present in the current design formulas. A more accurate design formula for this structural problem is very difficult to be obtained, due to the influence of several interdependent parameters. On the other hand, creating new experimental results is very expensive and time consuming. As an alternative, numerical methods were used to generate new data but they still present significant differences. The neural networks were inspired in brain structure, to present human characteristics such as: learning from experience; and generalization of new data from a current set of standards. These characteristics demonstrate the possibility of using the neural networks to investigate complex problems which could not be solved by conventional programs, such as the forecasting of the ultimate strength of steel beams subjected to concentrated loads. The main objective of this work is to investigate the structural behavior of concentrated loads, by means of a parametrical analysis. This analysis can surely help to identify the influence of the several interdependent parameters. Thus, the possibility of using neural networks to generate new data is investigated. A literature survey of the problem is presented, as well as a critical evaluation of the experimental results to be used as the training data set of the neural networks. In order to evaluate or train the neural networks, the use of finite element simulations will be analyzed. These numerical simulations will be performed using a finite element method interface system which was developed to integrate the preprocessing, analysis and post-processing programs. The use of numerical results present in the literature is also analyzed and discussed. In order to validate the neural networks model, the results are compared with existing design formulas enabling the parametrical analysis to be executed. The neural networks model can also be used as a new tool to forecast the ultimate load of steel beams subjected to concentrated loads. / [es] Las cargas concentradas en vigas de acero son frecuentemente encontradas en la práctica de la ingeniería civil. En las situaciones donde el local de aplicación de la carga es fijo, enrijecedores transversales de alma pueden ser usados para aumentar la resistencia, mas deben ser evitados siempre que sea posible por razones económicas. Para cargas móviles, es fundamental conocer la resistencia de las almas no enrijecidas. Aunque diversas teorías han sido desarrolladas para obtener una mejor formulación de este problema, todavía el error de las fórmulas de previsión es superior al 20%. La dificuldad de encontrar una ecuación más precisa tiene dos causas: el gran número de parámetros que influyen en el comportamiento de una viga sujeta a cargas concentradas, y el número insuficiente de datos experimentales presentes en la literatura para el desarrollo de un análisis paramétrico completo. Si por un lado la creación de nuevos resultados experimentales es un proceso que lleva tiempo y dinero, los métodos numéricos utilizados para generar nuevos datos presentan diferencias significativas. Las redes neurales fueron inspiradas en la extructura del cerebro, con el objetivo de representar características humanas como el aprendizaje por experiencia y la generalización de nuevos ejemplos a partir de los presentados. Estas características indican la posibilidad de utilizar las redes neurales en el estudio de problemas complejos, de difícil resolución por programas convencionales, como la previsión de la carga de vigas de acero sujetas a cargas concentradas. Este trabajo tiene como objetivo evaluar e investigar el comportamiento extructural de cargas concentradas, a través de un análisis paramétrico que permita identificar la influencia de los diversos parámetros que controlan el problema. Para realizar este análisis, se hace necesario generar nuevos datos. De esta forma, se investigará la posibilidad de aplicar redes neurales en la previsión de la carga crítica de vigas sujetas a cargas concentradas, utilizando los resultados experimentales existentes en la literatura como conjunto de entrenamiento. Fue realizada una revisión bibliográfica del problema, así como una evaluación de los resultados a utilizar en el entrenamiento de las redes. Para la evaluación y/o nuevo entrenamiento del modelo de redes neurales, se estudió la utilización de resultados numéricos generados a través del método de elementos finitos. Estas simulaciones numéricas se ejecutaron utilizando un sistema de interface desarrollado en este trabajo para integrar programas de preprocesamiento, análisis y posprocesamiento. Las simulaciones numéricas encontradas en la literatura también fueron analizadas para evaluar su incorporación al conjunto de datos de entrenamiento de la red neural. A partir de la evaluación del modelo de redes neurales adoptado, se comparan los resultados obtenidos a través de la red neural con los resultados que arrojan las fórmulas de previsión existentes. Estas redes podrán ser utilizadas como una nueva herramienta en la previsión de la carga crítica de vigas de acero sometidas a cargas concentradas. Los resultados obtenidos en este trabajo podrán permitir, en el futuro, el desarrollo de una fórmula de proyecto más precisa. Ya con esta nueva fórmula, se podrá sugerir su incorporación en normas de proyecto de extructurasde acero, garantizando de esta forma un dimensionamento más seguro y económico.

[pt] Esta dissertação investiga a aplicação dos métodos de Reinforcement Learning na descoberta de rotas ótimas em uma rede de comunicação. Uma rede de comunicação real possui um comportamento dinâmico, mudando seu estado com o tempo. Os algoritmos de roteamento devem, portanto, oferecer rapidez na resposta às mudanças do estado da rede. O objetivo do trabalho é avaliar a aplicação de técnicas de Reinforcement Learning (RL) como base de algoritmos adaptativos de roteamento de pacotes. O problema de roteamento de pacotes sob a visão de RL consiste na definição de cada nó na rede como um agente RL, sendo que este agente deve definir ações de forma a minimizar uma função objetivo que pode ser o tempo de roteamento dos pacotes. Um dos objetivos do RL é precisamente aprender a tomar as ações que minimizem uma função. O trabalho consistiu de 4 etapas principais: um estudo sobre a área de Reinforcement Learning (RL); um estudo sobre a área de redes de comunicação e roteamento de pacotes; a modelagem do problema de roteamento como um sistema RL e implementação de diferentes métodos de RL para obter algoritmos de roteamento; e o estudo de casos. O estudo na área de Reinforcement Learning abrangeu desde as definições mais fundamentais: suas características, os elementos de um sistema RL e modelagem do ambiente como um Processo de Decisão de Markov, até os métodos básicos de solução: Programação Dinâmica, método de Monte Carlo, e o método de Diferenças Temporais. Neste último método, foram considerados dois algoritmos específicos: TD e Q-Learning. Em seguida, foi avaliado o parâmetro Eligibility Traces como uma alternativa para apressar o processo de aprendizado, obtendo o TD(lambda) e o Q(lambda) respectivamente. O estudo sobre Redes de Comunicação e Roteamento de pacotes envolveu os conceitos básicos de redes de comunicações, comutação por pacotes, a questão do roteamento de pacotes e os algoritmos existentes adaptativos e não adaptativos, que são utilizados na atualidade. Nas redes de comunicação, definidas como um conjunto de nós ligados através de enlaces de comunicação, para se enviar uma mensagem de um nó a outro, geralmente, a mensagem é quebrada em pedaços, chamados pacotes, e enviados através de outros nós, até chegar ao destino. Deste modo surge o problema de escolher os nós que levem o pacote o mais rápido possível até o nó destino. Os algoritmos analisados foram: Shortest Path Routing que procura os caminhos com menor número de nós intermediários, não sendo sensível às mudanças na carga nem na topologia da rede; Weighted Shortest Path Routing, que oferece um melhor desempenho a partir de uma visão global do estado da rede, que nem sempre é fácil de obter em redes reais e o algoritmo de Bellman-Ford, baseado em decisões de roteamento locais e atualizações periódicas, com algumas limitações para obter políticas em altas cargas. Este último é um dos algoritmos mais utilizados na atualidade, sendo base de muitos protocolos de roteamento existentes. A modelagem do problema de roteamento como um sistema RL foi inspirada por uma característica na definição de um sistema RL: um agente que interage com o ambiente e aprende a atingir um objetivo. Assim, a modelagem dos algoritmos tem como objetivo aprender a descobrir as rotas que minimizem o tempo de roteamento de pacotes desde uma origem até um dado destino. A avaliação de uma rota escolhida não pode ser obtida antes que o pacote alcance o seu destino final. Este fato faz com que os processos de aprendizado supervisionado tenham dificuldade de se aplicar a esse problema. Por outro lado, o Reinforcement Learning não necessita de um par entrada-resposta para fazer o aprendizado, permitindo-lhe abordar o problema com relativa facilidade. Na modelagem efetuada, cada nó na rede se comporta como um agente de RL que age na própria rede, a qual é o ambiente. A informação das rotas é armazenada nas funções de valor existentes em todos os nós da rede para / [en] This dissertation investigates the application of Reinforcement Learning methods to the discovery of optimal routes in communication networks. Any current communication network displays dynamic behavior, changing its states over time. Therefore, the routing algorithms must react swiftly to changes in the network status. The objective of this work is to evaluate the application of some Reinforcement Learning techniques to define adaptive packet routing algorithms. The packet routing problem under the RL vision consists in the definition of each node on network as an RL agent. Thus, each agent must take actions in order to minimize an objective function such as end to end packet routing delay. One main objective of the RL is precisely learning to take the actions that minimize a given function. This thesis is consists of 4 main parts: first, a study of Reinforcement Learning (RL); a study of the communication networks and packet routing; the routing problem model as a RL system and the implementation of several RL methods in order to obtain some routing algorithms; e finally, the case study. The study of Reinforcement Learning extends from the more basic definitions, Reinforcement Learning features, elements of a RL system and environment modeling as a Markovian Decision Process, to the basic methods of solution: Dynamic Programming, Monte Carlo methods and Temporal Differences methods. In this last case, two specific algorithms have been considered: TD and Q-Learning, and, finally, the Eligibility Traces are evaluated as a useful tool that permits us to accelerate the learning process leading to the TD(lambda) and the Q(lambda) routing algorithms. The study on communication networks and packet routing involves the foundations of communication networks, packet switching, the packet routing problem, and adaptive and non- adaptive routing algorithms used at the present time. Communication networks are defined as a set of nodes connected through communication links. In order to send a message from a source node to a destination node usually the message is broken into segments called packets, and these are sent through other nodes until arriving at the destination. In this way the problem appears to choose the path which takes the shortest possible time for the packet to reach the destination node. The following algorithms have been analyzed: Shortest Path Routing that looks for paths with minimal hop number, not being sensible to the changes of load level and network topology; Weighted Shortest Path Routing that offers better performance from a global vision of the state of the network, which is not always easy to get in real networks; on the other hand, the Bellman- Ford routing algorithm was studied, this is based on local routing decisions and periodic updates, with some limitations to obtain policies in high load conditions. Bellman-Ford is one of the algorithms most used at the present time, being the basis for many existing routing protocols. The modeling of the routing problem as a RL system was inspired by one of the main features of the definition of an RL system: an agent who interacts with the environment and learns to reach an objective; therefore, the modeling of the routing algorithms has as its objective to learn to discover the paths that minimize packet routing time from an origin to an destination. The evaluation of a chosen route cannot be completed before the package reaches its final destination. This fact implies that supervised learning cannot be applied to the routing problem. On the other hand, Reinforcement Learning does not need a input-output pair for the learning process, allowing it to approach the problem with relative ease. In the modeling, each network node is viewed as a RL agent that acts in the same network; the network is the environment. The routing information is stored in the existing value functions in all nodes in the network, for each node and all another destination node / [es] Esta disertación investiga la aplicación de los métodos de Reinforcement Learning en la determinación de rutas óptimas en una red de comunicación. Una red de comunicación real posee un comportamiento dinámico, donde su estado varia en el tiempo. Los algoritmos de ruta óptima deben, por lo tanto, ofrecer rapidez en la respuesta a las variaciones del estado de la red. El objetivo de este trabajo es evaluar la aplicación de técnicas de Reinforcement Learning (RL) como base de algoritmos adaptativos de problemas de ruteamiento en redes. Este problema consiste en la definición de cada nodo de la red como un agente RL. Este agente debe definir acciones de modo a minimizar una función objetivo que puede ser el tiempo de ruteamiento. El trabajo consta de 4 etapas principais: un estudio sobre el área de Reinforcement Learning (RL); un estudio sobre redes de comunicación y problema de ruteamiento; el modelo de ruta óptima como un sistema RL y la implementación de diferentes métodos de RL para obtener algoritmos de ruta óptima; y un estudio de casos. El estudio en el área de Reinforcement Learning va desde las definiciones fundamentales: características, elementos de un sistema RL y modelaje del ambiente como un Proceso de Decisión de Markov, hasta los métodos básicos de solución: Programación Dinámica, método de Monte Carlo, y método de Diferencias Temporales. En este último método, fueron considerados dos algoritmos específicos: TD e Q-Learning. A seguir, fue evaluado el parámetro Eligibility Traces como una alternativa para agilizar el proceso de aprendizaje, obteniendo el TD(lambda) y el Q(lambda) respectivamente. El estudio sobre Redes de Comunicación y Problema de Transporte incluye los conceptos básicos de redes de comunicaciones, la cuestión de la ruta óptima y los algoritmos adaptativos y no adaptativos existentes, que se utilizan actualmente. Los algoritmos analizados fueron: Shortest Path Routing, que busca los caminos con menor número de nodos intermedios, no siendo sensible a variaciones en la carga ni en la topología de la red; Weighted Shortest Path Routing, que ofrece un mejor desempeño a partir de una visión global del estado de la red, que no siempre es fácil de obtener en redes reales; y el algoritmo de Bellman-Ford, que tiene como base decisiones de rutas locales y actualizaciones periódicas, con algunas limitaciones para obtener políticas en altas cargas. Este último es uno de los algoritmos más utilizados en la actualidad, siendo base de muchos protocolos de trazado de ruta existentes. La solución para modelar el problema de ruteamiento como un sistema RL fue inspirada por una característica en la definición de un sistema RL: un agente que interactúa con el ambiente y aprende a alcanzar un objetivo. Así, el modelo tiene como objetivo aprender a determinar las rutas que minimizen el timpo desde el origen hasta un destino dado. La evaluación de uma ruta seleccionada no puede ser obtenida antes que el paquete alcance su destino final. Esto hace que los procesos de aprendizaje supervisionado tengan dificultades para ser aplicados a este problema. Por otro lado, Reinforcement Learning no necesita de un par entrada-salida para el aprendizaje, permitiendo así, abordar el problema con relativa facilidad. En el modelo establecido, cada nodo en la red se comporta como un agente de RL que actúa en la propria red. La información de las rutas se almacena en las funciones de valor existentes en todos los nodos de la red para cada nodo destino diferente. Esta información contiene un valor estimado del tiempo requerido para un paquete para llegar hasta el nodo destino. La actualización de esos valores se realiza durante la transición del paquete hasta el vecino seleccionado. En este trabajo se implementaron varios algoritmos de ruta óptima. Cada uno de los algoritmos aplica características de las técnicas en Reinforcement Learning: o Q(lambda)-Routing, y el TD-Routing. En el estudio d

[pt] Devido à quantidade cada vez maior de dados armazenada pelas instituições, a área de mineração de dados tem se tornado cada vez mais relevante e vários métodos e métodos têm sido propostos de maneira a aumentar sua aplicabilidade e desempenho. Esta dissertação investiga o uso de diversos métodos e técnicas de mineração de dados na modelagem e solução de problemas de Marketing. O objetivo do trabalho foi fazer um levantamento de alguns métodos e técnicas de mineração, avaliar seus desempenhos e procurar integrá-los na solução de problemas de marketing que envolvessem tarefas de agrupamento ou classificação. O trabalho consistiu de quatro etapas principais: estudo sobre o processo de descoberta de conhecimento em bancos de dados (KDD - Knowledge Discovery in Databases); estudo sobre Marketing e alguns problemas de Marketing de Banco de Dados (DBM - Database Marketing) que envolvessem tarefas de agrupamento e classificação; levantamento e estudo de métodos e técnicas de Inteligência Computacional e Estatística que pudessem ser empregados na solução de alguns desses problemas; e estudos de caso. A primeira etapa do trabalho envolveu um estudo detalhado das diversas fases do processo de KDD: limpeza dos dados; seleção; codificação e transformação; redução de dimensionalidade; mineração; e pós-processamento. Na segunda etapa foram estudados os principais conceitos de Marketing e de DBM e a relação entre eles e o processo de KDD. Pesquisaram-se alguns dos tipos de problemas comuns na área e escolheram- se para análise dois que fossem suficientemente complexos e tivessem a possibilidade de se ter acesso a alguma empresa que fornecesse os dados e validasse a solução posteriormente. Os casos selecionados foram um de marketing direto e outro de segmentação de mercado. Na terceira etapa, foram estudados os métodos de Inteligência Computacional e Estatística usualmente empregados em tarefas de agrupamento e classificação de dados. Foram estudados: Redes Perceptron Multi-Camadas, Mapas Auto- Organizáveis, Fuzzy C-Means, K-means, sistemas Neuro-Fuzzy, Árvores de Decisão, métodos Hierárquicos de agrupamento, Regressão Logística, Fuções Discriminantes de Fisher, entre outros. Por fim, na última etapa, procurou-se integrar todos os métodos e técnicas estudados na solução de dois estudos de caso, propostos inicialmente na segunda etapa do trabalho. Uma vez proposta a solução para os estudos de caso, elas foram levadas aos especialistas em Marketing das empresas para serem validadas no âmbito do negócio. Os estudos de caso mostraram a grande utilidade e aplicabilidade dos métodos e técnicas estudadas em problemas de marketing direto e segmentação de mercado. Sem o emprego dos mesmos, a solução para muitos desses problemas tornar-se-ia extremamente imprecisa ou até mesmo inviável. Mostraram também a grande importância das fases iniciais de pré-processamento dos dados no processo de KDD. Muitos desafios persistem ainda na área de mineração de dados, como a dificuldade de modelar dados não lineares e de manipular quantidades muito grande de dados, o que garante um vasto campo para pesquisa nos próximos anos. / [en] The Data Mining field has received great attention lately, due to the increasing amount of data stored by companies and institutions. A great number of Data Mining methods have been proposed so far, which is good but sometimes leads to confusion. This dissertation investigates the performance of many different methods and techniques of Data Mining used to model and solve Marketing problems. The goal of this research was to look for and study some data mining methods, compare them, and try to integrate them to solve Marketing problems involving clustering and classification tasks. This research can be divided in four stages: a study of the process of Knowledge Discovery in Databases (KDD); a study about Marketing problems involving clustering and classification; a study of some methods and techniques of Statistics and Computational Intelligence that could be used to solve some of those problems; and case studies. On the first stage of the research, the different tasks (clustering, classification, modeling, etc) and phases (data cleansing, data selection, data transformation, Data Mining, etc) of a KDD process were studied in detail. The second stage involved a study of the main concepts of Marketing and Database Marketing and their relation to the KDD process. The most common types of problems in the field were studied and, among them, two were selected to be furthered analyzed as case studies. One case was related to Direct Marketing and the other to Market Segmentation. These two cases were chosen because they were complex enough and it was possible to find a company to provide data to the problem and access to their marketing department. On the third stage, many different methods for clustering and classification were studied and compared. Among those methods, there were: Multilayer Perceptrons, Self Organizing Maps, Fuzzy C-Means, K-Means, Neuro-Fuzzy systems, Decision Trees, Hierarquical Clustering Methods, Logistic Regression, Fisher`s Linear Discriminants, etc Finally, on the last stage, all the methods and techniques studied were put together to solve the two case studies proposed earlier. Once they were solved, their solutions were submitted to the Marketing Department of the company who provided the data, so that they could validate the results in the context of their business. The case studies were able to show the large potential of applicability of the methods and techniques studied on problems of Market Segmentation and Direct Marketing. Without employing those methods, it would be very hard or even impossible to solve those problems. The case studies also helped verify the very important role of the data pre-processing phase on the KDD process. Many challenges persist in the data mining field. One could mention, for example, the difficulty to model non-linear data and to manipulate larges amounts of data. These and many other challenges provide a vast field of research to be done in the next years. / [es] Debido a la cantidad cada vez mayor de datos almacenados por las instituiciones, el área de mineración de datos há ganado relevancia y varios métodos han sido propuestos para aumentar su aplicabilidad y desempeño. Esta disertación investiga el uso de diversos métodos y técnicas de mineración de datos en la modelación y solución de problemas de Marketing. EL objetivo del trabajo fue hacer un levantamiento de algunos métodos y técnicas de mineración, evaluar su desempeño e integrarlos en la solución de problemas de marketing que involucran tareas de agrupamiento y clasificación. EL trabajo consta de cuatro etapas principales: estudio sobre el proceso de descubrimiento de conocimientos en bancos de datos (KDD - Knowledge Discovery in Databases); estudio sobre Marketing y algunos problemas de Marketing de Banco de Datos (DBM - Database Marketing) que incluyen tareas de agrupamientoy clasificación; levantamiento y estudio de métodos y técnicas de Inteligencia Computacional y Estadística que pueden ser empleados en la solución de algunos problemas; y por último, estudios de casos. La primera etapa del trabajo contiene un estudio detallado de las diversas fases del proceso de KDD: limpeza de datos; selección; codificación y transformación; reducción de dimensionalidad; mineración; y posprocesamento. En la segunda etapa fueron estudados los principales conceptos de Marketing y de DBM y la relación entre ellos y el proceso de KDD. Algunos de los tipos de problemas comunes en la área fueron investigados, seleccionando dos de ellos, por ser suficientemente complejos y tener posibilidad de acceso a alguna empresa que suministrase los datos y evaluase posteriormente la solución. Los casos selecionados fueron uno de marketing directo y otro de segmentación de mercado. En la tercera etapa, se estudiaron los métodos de Inteligencia Computacional y Estadística que son empleados usualmente en tareas de agrupamiento y clasificación de datos. Éstos fueron: Redes Perceptron Multicamada, Mapas Autoorganizables, Fuzzy C-Means, K-means, sistemas Neuro- Fuzzy, Árboles de Decisión, métodos Jerárquicos de agrupamiento, Regresión Logística, Fuciones Discriminantes de Fisher, entre otros. En la última etapa, se integraron todos los métodos y técnicas estudiados en la solución de dos estudios de casos, propuestos inicialmente en la segunda etapa del trabajo. Una vez proposta la solución para el estudios de casos, éstas fueron evaluadas por los especialistas en Marketing de las empresas. Los estudios de casos mostraron la grande utilidad y aplicabilidad de los métodos y técnicas estudiadas en problemas de marketing directo y segmentación de mercado. Sin el empleo de dichos métodos, la solución para muchos de esos problemas sería extremadamente imprecisa o hasta incluso inviáble. Se comprobó también la gran importancia de las fases iniciales de preprocesamiento de datos en el proceso de KDD. Existen todavía muchos desafíos en el área de mineración de datos, como la dificuldad de modelar datos no lineales y de manipular cantidades muy grandes de datos, lo que garantiza un vasto campo de investigación

[pt] Tendo como objetivo a construção de uma metodologia para a estimação do agregado do Consumo Pessoal para as Contas Nacionais do Brasil, o presente trabalho contém a definição de uma modificação sobre o Estimador de Regressão de Nadaraya-Watson (NWRE), que objetiva o uso de uma rede neural tipo RBF sobre dados provenientes de duas pesquisas dotadas de planos amostrais amplamente diferenciados, quais sejam: POF e PNAD. A partir da aplicação de tal modelo, são obtidos dados e calculados erros estimados, além de outras estatísticas que se mostram úteis na validação das estimativas. / [en] It is the objective of this dissertation to produce a methodological framework to the estimation of the Family Comsumption agregate in the brasilian National Accounts. In order to perform this task, a modification in the Nadaraya-Watson Regression Estimator (NWRE) has been developed, intended to allow the use of an RBF neural network in the context of data originated in two surveys which significantly differ in sample design, which are POF and PNAD. From the application of the developed methodology, groups of data are presented, providing results, estimated errors and other statistics useful for the comprehension and validation of the model. / [es] El objetivo de este trabajo es establecer una metodologia para la estimación del agregado del Consumo familiar para las Cuentas Nacionales del Brasil. Para ello, se define una modificación sobre el Estimador de Regresión de Nadaraya- Watson (NWRE), que tiene como objetivo el uso de una red neural tipo RBF sobre datos provenientes de dos investigaciones dotadas de planos muestrales ampliamente diferenciados: POF y PNAD. A partir de la aplicación de tal modelo, se obtienen los datos y se calculan los erros estimados, además de otras estadísticas útiles en la evaluación de las estimativas.