O objetivo geral deste trabalho foi explorar a versatilidade de filmes multicamadas de polieletrólitos (PEM) e suas aplicações em sistemas de entrega de drogas e como filmes funcionais para aplicações biomédicas. Filmes PEM montados pela técnica de camada por camada (layer­-by­-layer, LbL), foram explorados em três aplicações principais. Na primeira, foi explorado o desenvolvimento de um protocolo de funcionalização em filmes de poli(alilamina)/poli (estireno sulfonato), PAH/SPS. Os parâmetros de construção do filme para biotinilação dos grupamentos amina do PAH foram otimizados e aplicados na captura e detecção do antígeno específico da próstata (PSA), na concentração de 100 a 0,1 ng/mL, usando pontos quânticos (Qdots). Em comparação com outros trabalhos, este sistema apresentou uma boa sensibilidade na detecção de PSA, dentro do limite de detecção clínica de 0,4 a 0,1 ng/mL. A segunda aplicação envolveu o desenvolvimento de filmes de sacrifício baseados nas interações naturais da mucina submandibular bovina e da lectina, jacalina (BSM/JAC). Filmes de BSM/JAC apresentaram estabilidade quando submetidos a uma ampla faixa de pH (pH 3-­-9) e em solução de alta força iônica (5 M NaCl). A dissolução dos filmes BSM/JAC pôde ser seletivamente desencadeada mediante à incubação em solução de melibiose, 37 °C, pH 7,4, sem apresentar citotoxicidade às células. Na última parte deste trabalho, a incorporação de lipossomos ecogênicos (ELIP) em mochilas celulares foi investigada. Mochilas celulares são \"patches\" de 7­-10 µm de diâmetro que podem ser fabricados por meio de deposição alternada de polímeros utilizando-­-se a técnica de LbL, sobre uma matriz pré­-moldada obtida por fotolitografia, a fim de criar um sistema composto por três multicamadas estratificadas: uma região de liberação, para promover o destacamento do substrato, uma região de carga de droga, e uma região adesiva às células. O uso de ELIP permitiu incorporação de até 9x mais doxorrubicina (DOX) se comparado com o fármaco livre em solução absorvido pelos dos filmes. A liberação de DOX pelos filmes foi monitorado por 25 dias. Mochilas contendo ELIP-­DOX foram então aderidos a monócitos, e sua viabilidade monitorados por 72h. Mochilas vazias mostraram diminuir a proliferação de monócitos ao longo das 72 horas, enquanto mochilas carregadas com ELIP-­DOX mostraram uma diminuição dramática na população celular, apontando uma potencialização dos efeitos da droga pela sua proximidade com as células. / The overall goal of this thesis was to exploit the versatility of polyelectrolite multilayers (PEM) to be applied in drug delivery systems and biofunctionalizable films for biomedical applications. PEM films assembled by the layer-by­-layer technique were explored in three main applications. In the first part of this work, the development of a functionalization protocol of poly(allylamine)/poly(styrene sulfonate), PAH/SPS was explored. The optimal film parameters to the use of biotinylated multilayers were applied for the capture and detection of prostate specific antigen (PSA) protein in the range of 100 to 0.1 ng/mL, by using quantum dots. Compared to previous work, this system presented a good sensitivity for PSA detection that is within the clinical limit range of 0.4 to 0.1 ng/mL. The second application involved the creation of a novel sacrificial multilayer film. Films based in natural interactions of bovine submaxillary mucin and the lectin jacalin, BSM/JAC were assembled. BSM/JAC films showed stability when underwent a wide rage of pH (pH 3 to 9) and high ionic strength (5 M NaCl) solutions. BSM/JAC dissolution could be triggered released by incubation in melibiose at 37 °C in pH 7.4 buffer, without cytotoxicity. In the last part of this work the incorporation of echogenic liposomes (ELIP) into cell backpacks was investigated. Cell backpacks are 7-10 µm diameter patches that can be fabricated through LbL polymer deposition onto a photopatterned array to create a stacked composite of three stratified multilayer systems: a releasable region for easy detachment from the substrate, a drug payload region, and a cell adhesive region. The use of ELIP allowed up to 9x more doxorubicin (DOX) loading when compared to free drug in solution adsorbed through the films. DOX release from films was monitored for over 25 days. ELIP­-DOX backpacks were then attached to mouse monocytes and their viability monitored by 72h. Empty backpacks showed to decrease monocytes proliferation over the course of 72h, while ELIP­-DOX backpacks showed a dramatic decrease in cell population, showing that DOX effects were enhancement in drug potency by its proximity.

Essa dissertação apresenta o desenvolvimento métodos para caracterização da conectividade entre séries temporais neurofisiológicas. Utilizam-se metodologias provenientes da Teoria da Informação Entropias Aproximada e Amostral para representar a complexidade da série no tempo, o que permite inferir como sua variabilidade se transfere a outras sequências, através do uso da coerência parcial direcionada. Para cada sistema analisado: (1) Faz-se uma transformação em outro, relacionando-o às medidas de entropia, (2) Estima-se a conectividade pela coerência parcial direcionada e (3) Avalia-se a robustez do procedimento via simulações de Monte Carlo e análise de sensibilidade. Para os exemplos simulados, a técnica proposta é capaz de oferecer resultados plausíveis, através da correta inferência da direção de conectividade em casos de acoplamento não-linear (quadrático), com número reduzido de amostras temporais dos sinais, em que outras abordagens falham. Embora de simples implementação, conclui-se que o processo mostra-se como uma extensão da causalidade de Granger para o caso não-linear. / The purpose of this work is to present the development of methods for characterizing the connectivity between nonlinear neurophysiological time series. Methodologies from Information Theory Approximate and Sample Entropies are used to represent the complexity of the series in a period of time, which allows inferring on how its variability is transferred to other sequences, using partial directed coherence. Methods: For each system under consideration, (1) It is done a transformation in another, relating it to measures of entropy, (2) The connectivity is estimated by the use of partial directed coherence and (3) The robustness of the procedure is analyzed via Monte Carlo simulations and sensitivity analysis. Results: For the simulated examples, the proposed technique is able to offer plausible results, through the correct inference of the connectivity direction, in cases of nonlinear coupling (quadratic), with a reduced number of signals samples, where other approaches fail. Conclusion: The process proves to be an extension of the Granger causality to the nonlinear case.

Essa dissertação apresenta o desenvolvimento métodos para caracterização da conectividade entre séries temporais neurofisiológicas. Utilizam-se metodologias provenientes da Teoria da Informação Entropias Aproximada e Amostral para representar a complexidade da série no tempo, o que permite inferir como sua variabilidade se transfere a outras sequências, através do uso da coerência parcial direcionada. Para cada sistema analisado: (1) Faz-se uma transformação em outro, relacionando-o às medidas de entropia, (2) Estima-se a conectividade pela coerência parcial direcionada e (3) Avalia-se a robustez do procedimento via simulações de Monte Carlo e análise de sensibilidade. Para os exemplos simulados, a técnica proposta é capaz de oferecer resultados plausíveis, através da correta inferência da direção de conectividade em casos de acoplamento não-linear (quadrático), com número reduzido de amostras temporais dos sinais, em que outras abordagens falham. Embora de simples implementação, conclui-se que o processo mostra-se como uma extensão da causalidade de Granger para o caso não-linear. / The purpose of this work is to present the development of methods for characterizing the connectivity between nonlinear neurophysiological time series. Methodologies from Information Theory Approximate and Sample Entropies are used to represent the complexity of the series in a period of time, which allows inferring on how its variability is transferred to other sequences, using partial directed coherence. Methods: For each system under consideration, (1) It is done a transformation in another, relating it to measures of entropy, (2) The connectivity is estimated by the use of partial directed coherence and (3) The robustness of the procedure is analyzed via Monte Carlo simulations and sensitivity analysis. Results: For the simulated examples, the proposed technique is able to offer plausible results, through the correct inference of the connectivity direction, in cases of nonlinear coupling (quadratic), with a reduced number of signals samples, where other approaches fail. Conclusion: The process proves to be an extension of the Granger causality to the nonlinear case.

Made available in DSpace on 2016-06-02T19:06:01Z (GMT). No. of bitstreams: 1 4845.pdf: 2916613 bytes, checksum: aa64366fdbe9befa8f14547fa4545763 (MD5) Previous issue date: 2012-08-18 / Multi-Electrode Array, MEA, was developed more than thirty years ago. This planar device of multiple microelectrodes has been used to detect local electric potential variations created by the ion movement through the protein channels that traverses the cell membranes in the near neighborhood. MEA offers the possibility of non invasive registering of the cell and their network s activities, allowing to know how the neurons start to connect through the synapses forming a network and generating spontaneous electrophysiological activities. In order to understand the neural network dynamics in face of the spontaneous activities and its evolution in dissociated hippocampal cell cultures, important properties in the synaptic plasticity, in this work it is proposed the analysis of the evolution and modeling of the hippocampal cell cultures in MEA using the theory of Partial Directed Coherence and Complex Networks. There were used the electrophysiological records obtained using MEA60 System, of the dissociated neurons of 18 days old Wistar rat embyo, in an experiment denoted as 371, realized at the University of Genoa, Italy. As the results obtained using the Partial Directed Coherence approach, it was verified that the method is capable to detect neuronal connectivity in the neuron cultures using MEA, even with the noisy signals. It was also verified that different time delays between signals during application of the PDC method do not affect directly on the results of the causality. PDC allowed to show that in MEA the amount of direct connections resulted is less than the amount of indirect connections, through the microelectrodes. This can indicate that the neurons prefer to communicate through existing connections than creating new connections. It was also observed that it is easier to lose direct connections than indirect connections between microelectrodes through the time. Through the experiments it can be observed that the culture in 25 DIV (Days In Vitro) developed more amount of connections between neighboring electrodes, with less overall connections than the culture in 46 DIV, that had more overall connections with less neighborhood connections. Since one of the PDC features is the directionality detection between connections, it was observed direction changes through the connections through the time, even though we do not know the physiological meaning of these changes in the cognitive process. It was also observed that the established connections do not follow random patterns, showing an indicative of a free scale network, although we used small statistical measures to characterize the networks. / Há mais de 30 anos a Matriz de microeletrodos (Multi-Electrode Array,MEA) foi desenvolvida. Este dispositivo planar de múltiplos microeletrodos tem permitido detectar as variações do potencial elétrico local que são criadas pelo movimento de íons através dos canais de proteínas que atravessam as membranas das células neuronais em sua vizinhança imediata. A MEA oferece a possibilidade de gravação não-invasiva da atividade das células e de redes de células, permitindo-nos conhecer como os neurônios se comunicam através de sinapses formando uma rede e disparando atividades eletrofisiológicas espontâneas evocadas. No sentido de poder entender melhor a dinâmica das redes neurais em termos de atividades espontâneas e sua evolução em culturas de células hipocampais dissociadas, que são as propriedades mais importantes na plasticidade sináptica, neste trabalho é proposta a análise da evolução e o modelamento de culturas de células hipocampais na MEA usando a teoria de Coerência Parcial Direcionada (PDC) e de Redes Complexas. Foram usados os registros eletrofisiológicos obtidos usando o sistema MEA60, de neurônios dissociados de embrião de rato Wistar, de 18 dias de vida em um experimento denotado como 371, realizado na Universidade de Gênova, Itália. Como resultados obtidos ao utilizar o método de Coerência Parcial Direcionada, verificou-se que o método é capaz de detectar conectividade neuronal nas culturas de neurônios da MEA, mesmo com sinais com presença de ruído. Também verificou-se que tempos de atraso diferentes na aplicação do PDC não tem uma influência direta nos resultados de causalidade. O PDC permitiu mostrar que na MEA a quantidade de conexões diretas estabelecidas foram sempre em menor quantidade do que as conexões indiretas, através de caminhos. Isso pode ser um indicativo de que os neurônios preferem estabelecer comunicações usando caminhos ja existentes do que criando novas conexões. Também observou-se que com o passar do tempo é mais fácil se perderem conexões diretas do que conexões intermediárias entre neurônios. Através dos experimentos realizados pode se obervar que a cultura no 25 DIV (dias in vitro) desenvolveu maior quantidade de conexões com nós vizinhos, possuindo menos conexões em total, do que a rede no 46 DIV que teve maior quantidade de conexões total mas menor quantidade de conexões com nós vizinhos. Como uma das características do PDC é a deteção da direcionalidade nas conexões, observouse mudanças no sentido das conexões ao longo do registro, embora não saibamos ainda o significado fisiológico dessas mudanças em processos cognoscitivos. Também observou-se que as conexões estabelecidas não seguiam um padrão aleatório, encontrando-se um indicativo de um comportamento de redes livres de escala, embora não possamos afirmar isso por ter utilizado poucas medidas estatísticas para caracterizar as redes.

Submitted by Fabio Sobreira Campos da Costa (fabio.sobreira@ufpe.br) on 2017-03-09T12:11:00Z No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Dissertacao_LeonardoDallaPorta.pdf: 4244662 bytes, checksum: 214ab17f2ee3583441af553e0a0a7931 (MD5) / Made available in DSpace on 2017-03-09T12:11:00Z (GMT). No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Dissertacao_LeonardoDallaPorta.pdf: 4244662 bytes, checksum: 214ab17f2ee3583441af553e0a0a7931 (MD5) Previous issue date: 2016-08-26 / FACEPE / Avalanches neuronais, assim como oscilações e sincronização, são padrõesde atividade espontânea observados em redes neuronais. O conceito de avalanches neuronais foi concebido na última década.EssepadrãodeatividadetemdistribuiçõesdetamanhosP(s)eduraçõesP(d)invariantes por escala, i.e., obedecem relações do tipo lei de potênciaP(s)∼s−τ, com expoenteτ≃3/2, e P(d)∼d−τt, com expoenteτt ≃2, respectivamente. Essas propriedades são compatíveis com a ideia de que o cérebro opera em um regime crítico. A partir dessas constatações, muitos estudos teóricos e experimentais reportaram os potenciais benefícios de um cérebro operando na criticalidade, como por exemplo a máxima sensibilidade aos estímulos sensoriais, máxima capacidade de informação e transmissão e uma ótima capacidade computacional. Modelos da classe de universalidade de percolação direcionada (DP) têm sido amplamente utilizados para explicar a estatística invariante por escala das avalanches neuronais. Porém estes modelos não levam em consideração a dinâmica dos neurônios inibitórios e, além disso, como apresentam uma transição de fase entre um estado absorvente e uma fase ativa, torna-se difícil conciliar o modelo com correlações temporais de longo alcance que são observadas experimentalmente em diferentes escalas espaciais. Neste contexto, um novo modelo computacional (CROs, do original em inglês Critical Oscillations) surgiu na literatura (Poil et al., J. Neurosci.,32 9817, 2012), incluindo neurônios inibitórios e buscando conciliar correlações temporais com avalanches neuronais. Neste modelo não há uma fase absorvente, e uma suposta transição de fases ocorre entre uma fase ativa e outra com oscilações coletivas. Devido à ausência de uma fase absorvente, avalanchesneuronaissãodefinidascomparando-seaatividadeinstantâneadaredecomumlimiar que depende da mediana da atividade total. Justamente na linha crítica do espaço de parâmetros, quandoháumabalançoentreexcitaçãoeinibiçãoneuronal,avalanchesneuronaisinvariantespor escala são observadas juntamente com correlações temporais de longo alcance (ruído 1/f). No presente trabalho, um estudo mais profundo a respeito dos resultados reportados para o modelo CROs foi realizado. As oscilações neuronais mostraram-se robustas para diferentes tamanhos de rede, e observamos que a dinâmica local reflete a dinâmica oscilatória global da rede. Correlações temporais de longo alcance foram observadas (num intervalo de escalas temporais) através da técnica deDetrendedFluctuationAnalysis, sendo robustas perante modificações no tamanho da rede. O resultado foi confirmado pela análise direta do espectro, que apresentou decaimento do tipo 1/f numa determinada faixa de frequências. O diagrama de fases do modelo mostrou-se robusto em relação ao tamanho da rede, mantendo-se o alcance das interações locais. Entretanto,osresultadosmostraram-sefortementedependentesdolimiarutilizadoparadetecção dasavalanchesneuronais.Porfim,mostramosquedistribuiçõesdeduraçõesdeavalanchessãodo tipo lei de potência, com expoenteτt ≃2. Este resultado é inédito e o valor encontrado coincide com o expoente crítico da classe de universalidade de DP na dimensão crítica superior. Em conjunto, nossos resultados fornecem mais evidências de que o modelo CROs de fato apresenta uma transição de fases. / Neuronal avalanches, as well as waves and synchronization, are types of spontaneous activity experimentally observed in neuronal networks. The concept of neuronal avalanches was conceivedinthepastdecade.ThispatternofactivityhasdistributionsofsizeP(s)anddurationP(d) which are scale invariant, i.e., follow power-law relationsP(s)∼s−τ, with exponentτ≃3/2, and P(d)∼ d−τd, with exponentτt ≃ 2, respectively. These properties are compatible with the idea that the brain operates in a critical regime. From these findings, many theoretical and experimental studies have reported the potential benefits of a brain operating at criticality, such as maximum sensitivity to sensory stimuli, maximum information capacity and transmission and an optimal computational capabilities. Models belonging to the directed percolation universality class (DP) have been widely used to explain the scale invariant statistic of neuronal avalanches. However,these modelsdo not take into account the dynamics ofinhibitory neuronsand, since as they present a phase transition between an absorbing state and an active phase, it is difficult to reconcile the model with long-range temporal correlations that are observed experimentally at different spatial scales. In this context, a new computational model (CROs, Critical Oscillations) appeared in the literature (Poil et al., J. Neurosci.,32 9817, 2012), including inhibitory neurons and seeking to reconcile temporal correlations with neuronal avalanches. In this model there is no absorbing phase, and a supposed phase transition occurs between an active phase and another with collective oscillations. Due to the lack of an absorbing phase, neuronal avalanches are defined comparing by the instant network activity with a threshold that depends of the total activity median. Precisely at the critical line in parameter space, when a balance between neuronal excitation and inhibition occurs, scale invariant neuronal avalanches are observed with long-range temporal correlations (1/f-like noise). In the present work, a deeper study about the resultsreportedfortheCROsmodelwasperformed.Neuronaloscillationshavebeenshowntobe robust to increasing network sizes, and it was observed that local dynamic reflects the oscillatory global dynamic of the network. Long-range temporal correlations were observed (in a range of time scales) via Detrended Fluctuation Analysis, being robust against changes in network size. The result was confirmed by direct analysis of the spectrum, which showed a decay like 1/f in a given frequency band. The phase diagram of the model was robust with respect to the network size, as long as the range of local interactions was kept. However, the results were dependent of the thresholdused to detect neuronal avalanches.Finally,we have shown thatthe distributions of avalanches duration follows a power-law with exponentτt ≃2. This result is unprecedented and the value obtainedcoincides with the criticalexponent of the DP universality class in the upper criticaldimension.Together,ourresultsprovidefurtherevidencethatinfacttheCROsmodel presents aphasetransition.

O objetivo geral deste trabalho foi explorar a versatilidade de filmes multicamadas de polieletrólitos (PEM) e suas aplicações em sistemas de entrega de drogas e como filmes funcionais para aplicações biomédicas. Filmes PEM montados pela técnica de camada por camada (layer­-by­-layer, LbL), foram explorados em três aplicações principais. Na primeira, foi explorado o desenvolvimento de um protocolo de funcionalização em filmes de poli(alilamina)/poli (estireno sulfonato), PAH/SPS. Os parâmetros de construção do filme para biotinilação dos grupamentos amina do PAH foram otimizados e aplicados na captura e detecção do antígeno específico da próstata (PSA), na concentração de 100 a 0,1 ng/mL, usando pontos quânticos (Qdots). Em comparação com outros trabalhos, este sistema apresentou uma boa sensibilidade na detecção de PSA, dentro do limite de detecção clínica de 0,4 a 0,1 ng/mL. A segunda aplicação envolveu o desenvolvimento de filmes de sacrifício baseados nas interações naturais da mucina submandibular bovina e da lectina, jacalina (BSM/JAC). Filmes de BSM/JAC apresentaram estabilidade quando submetidos a uma ampla faixa de pH (pH 3-­-9) e em solução de alta força iônica (5 M NaCl). A dissolução dos filmes BSM/JAC pôde ser seletivamente desencadeada mediante à incubação em solução de melibiose, 37 °C, pH 7,4, sem apresentar citotoxicidade às células. Na última parte deste trabalho, a incorporação de lipossomos ecogênicos (ELIP) em mochilas celulares foi investigada. Mochilas celulares são \"patches\" de 7­-10 µm de diâmetro que podem ser fabricados por meio de deposição alternada de polímeros utilizando-­-se a técnica de LbL, sobre uma matriz pré­-moldada obtida por fotolitografia, a fim de criar um sistema composto por três multicamadas estratificadas: uma região de liberação, para promover o destacamento do substrato, uma região de carga de droga, e uma região adesiva às células. O uso de ELIP permitiu incorporação de até 9x mais doxorrubicina (DOX) se comparado com o fármaco livre em solução absorvido pelos dos filmes. A liberação de DOX pelos filmes foi monitorado por 25 dias. Mochilas contendo ELIP-­DOX foram então aderidos a monócitos, e sua viabilidade monitorados por 72h. Mochilas vazias mostraram diminuir a proliferação de monócitos ao longo das 72 horas, enquanto mochilas carregadas com ELIP-­DOX mostraram uma diminuição dramática na população celular, apontando uma potencialização dos efeitos da droga pela sua proximidade com as células. / The overall goal of this thesis was to exploit the versatility of polyelectrolite multilayers (PEM) to be applied in drug delivery systems and biofunctionalizable films for biomedical applications. PEM films assembled by the layer-by­-layer technique were explored in three main applications. In the first part of this work, the development of a functionalization protocol of poly(allylamine)/poly(styrene sulfonate), PAH/SPS was explored. The optimal film parameters to the use of biotinylated multilayers were applied for the capture and detection of prostate specific antigen (PSA) protein in the range of 100 to 0.1 ng/mL, by using quantum dots. Compared to previous work, this system presented a good sensitivity for PSA detection that is within the clinical limit range of 0.4 to 0.1 ng/mL. The second application involved the creation of a novel sacrificial multilayer film. Films based in natural interactions of bovine submaxillary mucin and the lectin jacalin, BSM/JAC were assembled. BSM/JAC films showed stability when underwent a wide rage of pH (pH 3 to 9) and high ionic strength (5 M NaCl) solutions. BSM/JAC dissolution could be triggered released by incubation in melibiose at 37 °C in pH 7.4 buffer, without cytotoxicity. In the last part of this work the incorporation of echogenic liposomes (ELIP) into cell backpacks was investigated. Cell backpacks are 7-10 µm diameter patches that can be fabricated through LbL polymer deposition onto a photopatterned array to create a stacked composite of three stratified multilayer systems: a releasable region for easy detachment from the substrate, a drug payload region, and a cell adhesive region. The use of ELIP allowed up to 9x more doxorubicin (DOX) loading when compared to free drug in solution adsorbed through the films. DOX release from films was monitored for over 25 days. ELIP­-DOX backpacks were then attached to mouse monocytes and their viability monitored by 72h. Empty backpacks showed to decrease monocytes proliferation over the course of 72h, while ELIP­-DOX backpacks showed a dramatic decrease in cell population, showing that DOX effects were enhancement in drug potency by its proximity.

Uma meta procurada em inteligência artificial (IA) é o desenvolvimento de mecanismos inteligentes capazes de cumprir com objetivos preestabelecidos, de forma totalmente independente, em ambientes dinâmicos e complexos. Uma recente vertente das pesquisas em IA, os agentes autônomos, vem conseguindo resultados cada vez mais promissores para o cumprimento desta meta. A motivação deste trabalho é a proposição e implementação de um agente que aprenda a executar tarefas, sem a interferência de um tutor, em um ambiente não estruturado. A tarefa prática proposta para testar o agente é a navegação de um robô móvel em ambientes com diferentes configurações, e cujas estruturas são inicialmente desconhecidas pelo agente. O paradigma de aprendizagem por reforço, através de variações dos métodos de diferença temporal, foi utilizado para implementar o agente descrito nesta pesquisa. O resultado final obtido foi um agente autônomo que utiliza um algoritmo simples para desempenhar propriedades como: aprendizagem a partir de tabula rasa, aprendizagem incremental, planejamento deliberativo, comportamento reativo, capacidade de melhoria do desempenho e habilidade para gerenciar múltiplos objetivos. O agente proposto também apresenta um desempenho promissor em ambientes cuja estrutura se altera com o tempo, porém diante de certas situações seus comportamentos em tais ambientes tendem a se tornar inconsistentes. / One of the current goals of research in Artificial Intelligence is the proposition of intelligent entities that are able to reach a particular target in a dynamic and complex environment without help of a tutor. This objective has been becoming reality through the propositions of the autonomous agents. Thus, the main motivation of this work is to propose and implement an autonomous agent that can match the mentioned goals. This agent, a mobile robot, has to navigate in environments which are initially unknown and may have different structures. The agent learns through one of the main reinforcement learning strategies: temporal difference. The proposed autonomous employs a simple learning mechanisms with the following features: learns incrementally from tabula rasa, executes deliberative and reactive planning, improves its performance through interactions with the environment, and manages multiple objectives. The agent presented promising results when moving in a dynamic environment. However, there are situations in which the agent do not follow this last property.

Uma meta procurada em inteligência artificial (IA) é o desenvolvimento de mecanismos inteligentes capazes de cumprir com objetivos preestabelecidos, de forma totalmente independente, em ambientes dinâmicos e complexos. Uma recente vertente das pesquisas em IA, os agentes autônomos, vem conseguindo resultados cada vez mais promissores para o cumprimento desta meta. A motivação deste trabalho é a proposição e implementação de um agente que aprenda a executar tarefas, sem a interferência de um tutor, em um ambiente não estruturado. A tarefa prática proposta para testar o agente é a navegação de um robô móvel em ambientes com diferentes configurações, e cujas estruturas são inicialmente desconhecidas pelo agente. O paradigma de aprendizagem por reforço, através de variações dos métodos de diferença temporal, foi utilizado para implementar o agente descrito nesta pesquisa. O resultado final obtido foi um agente autônomo que utiliza um algoritmo simples para desempenhar propriedades como: aprendizagem a partir de tabula rasa, aprendizagem incremental, planejamento deliberativo, comportamento reativo, capacidade de melhoria do desempenho e habilidade para gerenciar múltiplos objetivos. O agente proposto também apresenta um desempenho promissor em ambientes cuja estrutura se altera com o tempo, porém diante de certas situações seus comportamentos em tais ambientes tendem a se tornar inconsistentes. / One of the current goals of research in Artificial Intelligence is the proposition of intelligent entities that are able to reach a particular target in a dynamic and complex environment without help of a tutor. This objective has been becoming reality through the propositions of the autonomous agents. Thus, the main motivation of this work is to propose and implement an autonomous agent that can match the mentioned goals. This agent, a mobile robot, has to navigate in environments which are initially unknown and may have different structures. The agent learns through one of the main reinforcement learning strategies: temporal difference. The proposed autonomous employs a simple learning mechanisms with the following features: learns incrementally from tabula rasa, executes deliberative and reactive planning, improves its performance through interactions with the environment, and manages multiple objectives. The agent presented promising results when moving in a dynamic environment. However, there are situations in which the agent do not follow this last property.