Submitted by Cláudia Bueno (claudiamoura18@gmail.com) on 2016-03-09T18:17:57Z No. of bitstreams: 2 Dissertação - Anderson Souza Rocha - 2015.pdf: 7517938 bytes, checksum: 82b541aff42a5ea10a296bdc2f6c4074 (MD5) license_rdf: 23148 bytes, checksum: 9da0b6dfac957114c6a7714714b86306 (MD5) / Approved for entry into archive by Luciana Ferreira (lucgeral@gmail.com) on 2016-03-10T12:04:55Z (GMT) No. of bitstreams: 2 Dissertação - Anderson Souza Rocha - 2015.pdf: 7517938 bytes, checksum: 82b541aff42a5ea10a296bdc2f6c4074 (MD5) license_rdf: 23148 bytes, checksum: 9da0b6dfac957114c6a7714714b86306 (MD5) / Made available in DSpace on 2016-03-10T12:04:55Z (GMT). No. of bitstreams: 2 Dissertação - Anderson Souza Rocha - 2015.pdf: 7517938 bytes, checksum: 82b541aff42a5ea10a296bdc2f6c4074 (MD5) license_rdf: 23148 bytes, checksum: 9da0b6dfac957114c6a7714714b86306 (MD5) Previous issue date: 2015-11-27 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES / The proposed research is based on the study of reinforcement columms in reinforced concrete, with the use of anchor bolts and fill with self-compacting concrete, by jacketing. In addition to the experimental studies, numerical simulation was performed using a computer program based on the finite element method, took into account the breaking loads, displacements and deformations which allows a careful study of reinforced columms. The experimental part of this work was based on the test five columms of reinforced concrete, submitted to straight flexion-compression, in order to assess the bond interface between the concrete substrate and reinforcement of concrete and confirm the efficiency of this technique commonly used for reinforcement. Two columms were used as reference, one with the original abutment dimensions (Reference Columm, cross section: 120 x 250 mm) and the other monolithic concreted with the section of enhanced piece (Monolithic Columm, cross section: 155 x 250 mm). The others received a layer of 35 mm thick concrete in the compressed self-compacting face. The preparation of the interface between the two materials, it will be carried with the scarification boreholes along this surface, which anchors were inserted responsible for reinforcement of concrete bond with the substrate. It can be concluded on the work developed that not only the quantity but especially the location of the connectors used for the connection between the two materials, are essential for a good result of resistance and failure mode. Despite the studs do not present break, there was the peeling of the reinforcement layer. The results obtained indicate the possibility of using this method in the structural reinforcement columms rehabilitation, as it showed an increase in bearing capacity of about four times compared to the column of reference. The results of numerical simulation were very satisfactory, because the behavior of the columms in relation to tensile strength, displacements and deformations, approached the experimental results, with minor differences. / A pesquisa proposta se baseia no estudo do reforço de pilares em concreto armado, com emprego de chumbadores e preenchimento com concreto auto adensável, por encamisamento. Além do estudos experimentais, foi feita uma simulação numérica, utilizando um programa computacional baseado no Método dos Elementos Finitos, levou-se em consideração as cargas de ruptura, deslocamentos e deformações o que possibilita um estudo criterioso dos pilares reforçados. A etapa experimental deste trabalho foi embasada no ensaio de cinco pilares de concreto armado, submetidos à flexo-compressão reta, com intuito de avaliar a interface de ligação entre o concreto do substrato e concreto do reforço e confirmar a eficiência desta técnica usualmente utilizada para reforço. Dois pilares foram usados como referência, sendo um com as dimensões originais do pilar (Pilar de Referência, seção transversal: 120 x 250 mm) e o outro monolítico concretado com a seção de uma peça reforçada (Pilar Monolítico, seção transversal: 155 x 250 mm). Os demais receberam uma camada de 35 mm de espessura de concreto auto-adensável na face comprimida. O preparo da interface entre os dois materiais, proceder-se-á com a escarificação e realização de furos ao longo desta superfície, onde foram inseridos chumbadores responsáveis pela ligação do concreto do reforço com o substrato. Pode-se concluir em trabalhos desenvolvidos que não só a quantidade, mas principalmente, a localização dos conectores utilizados na ligação entre os dois materiais, são imprescindíveis para um bom resultado de resistência e modo de ruptura. Apesar dos chumbadores não apresentarem ruptura, houve o desplacamento da camada do reforço. Os resultados obtidos confirmam a possibilidade da utilização deste método de reforço na reabilitação estrutural de pilares, pois apresentou um aumento da capacidade portante em aproximadamente quatro vezes em relação ao pilar de referência. Os resultados da simulação numérica foram muito satisfatórios, pois o comportamento dos pilares, em relação a carga de ruptura, deslocamentos e deformações, aproximaram dos resultados experimentais, com pequenas diferenças.

Equipamentos utilizados em pesquisas em Análise Experimental do Comportamento com sujeitos não humanos tiveram uma trajetória intrincada ao próprio estudo do comportamento. Um tipo de equipamento importante nessas pesquisas é a câmara de condicionamento operante. Diversos incrementos foram feitos nessas câmaras, com estes focados no aumento do controle de variáveis independentes e no registro mais preciso de variáveis dependentes. Uma característica de equipamentos atualmente disponíveis no mercado é o seu alto custo de aquisição e a necessidade do uso de software fechado utilizado pelos mesmos. Diante disso, apresenta-se a construção e avaliação de equipamentos não comerciais de baixo custo para pesquisas operantes. Foram construídas duas câmaras de condicionamento, uma para pombos e outra para ratos. Com o objetivo de avaliar o equipamento construído, submeteram-se dois pombos e dois ratos a esquemas de reforço de razão fixa (FR) e razão variável (VR), e dois pombos e dois ratos a esquemas de reforço de intervalo fixo (FI) e intervalo variável (VI). Replicou-se a maior parte dos aspectos da literatura de esquemas de reforço simples com o equipamento apresentado, o que indica sua adequação ao uso em pesquisas de condicionamento operante como uma alternativa viável de baixo custo / Apparatuses used non-human research in experimental analysis of behavior have had a parallel trajectory to the study of behavior itself. A type of apparatus used in behavioral studies is the operant conditioning chamber. Several improvements have been done to these chambers, focusing in the control of independent variables and more precise registry of dependent variables. A feature of apparatuses available in the market is their high acquisition costs and the need of usage of closed software. In light of this, it is shown the construction and evaluation of alternative low cost apparatuses for behavioral research. Two operant conditioning chambers were built, one for usage with pigeons and the other for the usage with rats. In order to evaluate the apparatus, two pigeons and two rats were submitted to fixed ratio (FR) and variable ratio (VR) schedules of reinforcement, while another two pigeons and two rats were submitted to fixed interval (FI) and variable interval (VI) schedules of reinforcement. The majority of features related to the responding under simple schedules of reinforcement were replicated using the presented apparatus, which indicates its adequacy for the usage in behavioral research as a low cost alternative

Este trabalho propõe uma nova classe de algoritmos que permite o uso de heurísticas para aceleração do aprendizado por reforço. Esta classe de algoritmos, denominada \"Aprendizado Acelerado por Heurísticas\" (\"Heuristically Accelerated Learning\" - HAL), é formalizada por Processos Markovianos de Decisão, introduzindo uma função heurística H para influenciar o agente na escolha de suas ações, durante o aprendizado. A heurística é usada somente para a escolha da ação a ser tomada, não modificando o funcionamento do algoritmo de aprendizado por reforço e preservando muitas de suas propriedades. As heurísticas utilizadas nos HALs podem ser definidas a partir de conhecimento prévio sobre o domínio ou extraídas, em tempo de execução, de indícios que existem no próprio processo de aprendizagem. No primeiro caso, a heurística é definida a partir de casos previamente aprendidos ou definida ad hoc. No segundo caso são utilizados métodos automáticos de extração da função heurística H chamados \"Heurística a partir de X\" (\"Heuristic from X\"). Para validar este trabalho são propostos diversos algoritmos, entre os quais, o \"Q-Learning Acelerado por Heurísticas\" (Heuristically Accelerated Q-Learning - HAQL), que implementa um HAL estendendo o conhecido algoritmo Q-Learning, e métodos de extração da função heurística que podem ser usados por ele. São apresentados experimentos utilizando os algoritmos acelerados por heurísticas para solucionar problemas em diversos domínios - sendo o mais importante o de navegação robótica - e as heurísticas (pré-definidas ou extraídas) que foram usadas. Os resultados experimentais permitem concluir que mesmo uma heurística muito simples resulta em um aumento significativo do desempenho do algoritmo de aprendizado de reforço utilizado. / This work presents a new class of algorithms that allows the use of heuristics to speed up Reinforcement Learning (RL) algorithms. This class of algorithms, called \"Heuristically Accelerated Learning\" (HAL) is modeled using a convenient mathematical formalism known as Markov Decision Processes. To model the HALs a heuristic function that influences the choice of the actions by the agent during its learning is defined. As the heuristic is used only when choosing the action to be taken, the RL algorithm operation is not modified and many proprieties of the RL algorithms are preserved. The heuristic used in the HALs can be defined from previous knowledge about the domain or be extracted from clues that exist in the learning process itself. In the first case, the heuristic is defined from previously learned cases or is defined ad hoc. In the second case, automatic methods for the extraction of the heuristic function H called \"Heuristic from X\" are used. A new algorithm called Heuristically Accelerated Q-Learning is proposed, among others, to validate this work. It implements a HAL by extending the well-known RL algorithm Q-Learning. Experiments that use the heuristically accelerated algorithms to solve problems in a number of domains - including robotic navigation - are presented. The experimental results allow to conclude that even a very simple heuristic results in a significant performance increase in the used reinforcement learning algorithm.

Submitted by Maria Aparecida (cidazen@gmail.com) on 2017-09-04T13:10:41Z No. of bitstreams: 1 Marcio Eduardo.pdf: 7939176 bytes, checksum: 3b90c4b32aeabafd3b87e4f3c36d2ed6 (MD5) / Made available in DSpace on 2017-09-04T13:10:41Z (GMT). No. of bitstreams: 1 Marcio Eduardo.pdf: 7939176 bytes, checksum: 3b90c4b32aeabafd3b87e4f3c36d2ed6 (MD5) Previous issue date: 2014-08-21 / The technique of linear control based on the minimization of a quadratic performance index using the second method of Lyapunov to guarantee the stability of the system, if this is controllable and observable. however, this technique is inevitably necessary to find the solution of the HJB or Riccati equation. The control system design online need, real time, to adjust your feedback gain to maintain a certain dynamic, it requires the calculation of the Riccati equation solution in each sampling generating a large computational load that can derail its implementation. This work shows an intelligent control system design that meets the optimal or suboptimal control action from the sensory data of process states and the instantaneous cost observed after each state transition. To find this optimal control action or policy, the approximate dynamic programming and adaptive critics are used, based on the parameterizations given by the problem of linear quadratic regulator (LQR), but without explicitly solving the associated Riccati equation. More specifically, the LQR problem is solved by four different methods which are the Dynamic Programming Heuristic, the Dual Heuristic Dynamic Programming, Action Dependent Dynamic Programming Heuristic and Action Dependent Dual Heuristic Dynamic Programming algorithms. However, these algorithms depend on knowledge of the value functions to derive the optimal control actions. These value functions with known structures have their parameters estimated using the least mean square family and Recursive Least Squares algorithms. Two processes that have the Markov property were used in the computational validation of the algorithms adaptive critics implemented, one corresponds to the longitudinal dynamics of an aircraft and the other to an electrical circuit. / A técnica de controle linear baseado na minimização de um índices de desempenho quadrático utilizando o segundo método de Liapunov garante a estabilidade do sistema, se este for controlável e observável. Por outro lado, nessa técnica inexoravelmente é necessário encontrar a solução da Equação Hamilton-Jacobi-Bellman (HJB) ou Riccati. Em projeto de sistema de controle online que necessita, em tempo real, alterar seus ganhos de retroação para manter uma certa dinâmica, impõe o cálculo da solução da equação de Riccati em cada instante de amostragem gerando uma grande carga computacional que pode inviabilizar sua implementação. Neste trabalho, mostra-se o projeto de um sistema de controle inteligente que encontra a ação de controle ótima ou subótima a partir de dados sensoriais dos estados do processo e do custo instantâneo observados após cada transição de estado. Para encontrar essa ação de controle ou política ótima, a programação dinâmica aproximada ou críticos adaptativos são utilizados, tendo como base as parametrizações dado pelo problema do regulador linear quadrático (LQR), mas sem resolver explicitamente a equação de Riccati associada. Mais especificamente, o problema do LQR é resolvido por quatro métodos distintos que são os algoritmos de Programação Dinâmica Heurística, a Programação Dinâmica Heurística Dual, a Programação Dinâmica Heurística Dependente de Ação e a Programação Dinâmica Heurística Dual Dependente de Ação. Entretanto, esses algoritmos dependem do conhecimento das funções valor para, assim, derivar as ações de controle ótimas. Essas funções valor com estruturas conhecidas tem seus parâmetros estimados utilizando os algoritmos da família dos mínimos quadrados médios e o algoritmo de Mínimos Quadrados Recursivo. Dois processos que obedecem à propriedade de Markov foram empregados na validação computacional dos algoritmos críticos adaptativos, um corresponde à dinâmica longitudinal de uma aeronave e o outro à de um circuito elétrico.

A avaliação estrutural é muito importante para os sistemas de gerência de pavimentos, principalmente, para as análises em nível de projeto. Os métodos de dimensionamento de reforço em uso no Brasil, baseado apenas na deflexão recuperável máxima, não exploram todas as potencialidades das avaliações estruturais não destrutivas, pois utilizam expressões empíricas, não associadas diretamente ao comportamento mecanístico do pavimento. Este trabalho tem por objetivo analisar os métodos existentes no Brasil para o dimensionamento de reforço de pavimento flexíveis e compará-los com o dimensionamento mecanístico, baseado nas propriedades mecânicas das camadas do pavimento existente, obtidas mediante retroanálise de avaliações estruturais não destrutivas. Também são analisados fatores que influenciam interpretação dos dados obtidos pelas avaliações estruturais e o processo de retroanálise, como os efeitos da temperatura, as correlações de valores de deflexões obtidas com FDW em valores de deflexões obtidas com Viga Benkelman e as correlações entre os módulos de resiliência das camadas com índices obtidos a partir das deflexões medidas a diferentes distâncias do ponto de aplicação de carga. / Pavement management systems, particularly at project level, are very dependent upon structural evaluation. The pavement rehabilitation design methods used in Brazil are based only on the maximum deflection. They do not explore all the capabilities of non-destructive structural evaluations since they use empirical equations not directly associated to the mechanistic behavior of pavements. This work aims to analyze the Brazilian methods for overlay design and compare them to a mechanistic approach, based on fundamental properties of an elastic-layer system. It is also analyzed factors associated to the interpretation of field data and to the process of back calculation of in situ moduli, such as the effects of pavement temperature during the test, the conversion of deflection values obtained with F.W.D. to deflections values obtained with Benkelman Beam, and the correlations between resilient moduli and indices obtained from deflection values at different distances from the load application point.

A Resolução nº 258/99 do Conselho Nacional do Meio Ambiente - CONAMA, em vigor desde janeiro de 2002, obriga a destinação ambientalmente correta de pneumáticos inservíveis. Os pneus são considerados inservíveis devido ao desgaste e quando não há possibilidade de reaproveitamento para uso veicular e nem para processos de reforma. Entretanto, preservam propriedades físicas com potencial de aproveitamento na engenharia civil. Nos últimos anos surgiram várias iniciativas no Brasil, desde pesquisas acadêmicas à execução de obras, para a utilização de pneus, sobretudo em pavimentação asfáltica e aterros reforçados. Este trabalho analisa outras alternativas de aplicação de pneus inservíveis em obras geotécnicas e rodoviárias. Apresenta a caracterização dos pneus, suas propriedades físicas, parâmetros geotécnicos e geomecânicos e são realizadas análises paramétricas para cada tipo de aplicação estudada, isto é, muros de gravidade, reforço do subleito de pavimentos e aterros leves. / The Resolution nº 258/99 of the Brazilian Council for the Environment - CONAMA, in vigour since January of 2002, compels the environmentaly correct destination of scrap tires. The tires are considered used when there is no possibility of vehicle utilization or renew process. However, they preserve physical properties with potential of utilization in civil engineering. In the last years, for instance, several options were considered in Brazil, from academic researches to the execution of works, particularly in the asphalt paving industry and in reinforced embankments. This work analyzes anothers alternatives for scrap tires in geotechnical and transportation applications. It presents the characterization of tires, their physical properties and geotechnical and geomechanics parameters. It also presents parametric analyses carried out for each type of studied application, that is, gravity walls, reinforcement of road subgrades and lightweigth fill for road embankment.

Submitted by admin tede (tede@pucgoias.edu.br) on 2018-04-20T17:07:26Z No. of bitstreams: 1 Gleidson Gabriel da Cruz.pdf: 1860995 bytes, checksum: 98f07f18dc37491c5f84df19580d783b (MD5) / Made available in DSpace on 2018-04-20T17:07:27Z (GMT). No. of bitstreams: 1 Gleidson Gabriel da Cruz.pdf: 1860995 bytes, checksum: 98f07f18dc37491c5f84df19580d783b (MD5) Previous issue date: 2015-08-01 / An important discussion in the Behavior Analysis refers to the use of positive reinforcement and aversive control in learning vvith matching to sample tasks. The purpose of this study vvas to verify the effect of negative and positive reinforcement in learning. Twenty-three children between the ages of six and eight participated in this research experiment. Three conditions vvere established to bring consequence from the participants in the activities: positive reinforcement (SR+), negative reinforcement (SR- ), and both arrangement (SR+SR-), based on the consequences for the correct response in the training conditions, but punishment and extinction vvere also programmed for the incorrect responses. Videos vvere used as a reinforce during the study. In the tasks vvith positive reinforcement, the videos’ focus and volume vvere improved every time the participant selected the correct stimulus. In the tasks vvith negative reinforcement, every time the participant selected the correct stimulus, it avoided the deprivation of focus and volume in the video for the subsequent response. In the experimental activities that vvere taught vvith positive and negative reinforcement, the tvvo contingencies operated. The experimental task vvas based on matching to sample, vvith the objective of teaching the relations Chinese Symbol (A), written vvord (B), and image (C) and testing (symmetry, transitivity, and equivalence relations. The stimuli set (animais, number, and States) vvere used to teach relations (AB-AC, BA-CA, BC-CB). The participants vvere submitted to all experimental conditions. The experimental stages vvere pre-training, pre-test, training, post-test, and follow-up sixty days after the tests. The results shovved that the condition vvith SR- achieved the learning criteria vvith the fevvest number of trials, follovved by conditioning vvith SR+SR-, and SR+. In general terms, the results allovv for nevv inquiries both for positive reinforcement and aversive control. / Uma discussão importante na Análise do Comportamento refere-se aos efeitos do uso de reforço positivo e do controle aversivo na aprendizagem. O objetivo deste estudo foi verificar o efeito do reforço negativo e positivo no aprendizado de relações arbitrárias em tarefa de escolha de acordo com o modelo. Participaram da pesquisa 23 crianças com idades entre seis e oito anos. Três condições foram delineadas para consequenciar as respostas dos participantes nos treinos: reforço positivo (SR +), reforço negativo (SR -), ou combinação de ambos (SR + SR - ) tendo como base as consequências apresentadas para as respostas corretas nos treinos, além de outras consequências de punição ou extinção programadas respostas incorretas. Foi feita uma avaliação de reforçadores em escolha forçada. Nas tarefas que foram ensinadas com reforço positivo, os vídeos melhoravam o foco e volume sempre que o participante selecionava o estímulo correto. Para as atividades com reforço negativo, sempre que o participante selecionava o estimulo correto, evitava com que o vídeo perdesse foco e volume para a resposta subsequente. Nas atividades experimentais que foram ensinadas com reforço positivo e negativo, as duas contingências estavam em vigor. Utilizou-se de tarefas experimentais de escolha de acordo com o modelo, com o objetivo de ensinar as relações entre Simbolo chinês ( A) e palavra escrita (B) e entre o simbolo e uma imagem (C) e testar relações de simetria, transitividade e equivalência. Três conjuntos de estímulos (animais, números e estados) foram utilizados no ensino das relações (AB-AC, BA-CA, BC-CB). Os participantes passaram por todas as condições experimentais. As fases experimentais foram, pré-treino, pré-teste, treino, pós-teste e follow-up com 60 dias. Os resultados demonstram que a condição com S-, os participantes atingiram o critério de aprendizagem mais rápido e com menor número de tentativas, seguida pela condição SR+SR-, e SR+. De maneira geral, os resultados possibilitam que novos procedimentos de investigação, possam ser delineados, tanto para a condição de reforço, tanto para condição de controle aversivo P+, P- SR-.

Este trabalho apresenta o desenvolvimento de uma técnica de incremento da resistência e da rigidez à flexão de ligações de elementos de concreto pré-moldado, com aplicação de laminados de polímero reforçado com fibra de carbono (PRFC). O procedimento adotado consiste na colagem dos laminados de PRFC em entalhes no concreto de cobrimento, de acordo com a técnica conhecida como \"near-surface mounted\" (NSM), de modo a incorporar à ligação novos elementos resistentes à tração. Para solidarizar a ligação e possibilitar a transferência de esforços de compressão entre os elementos de concreto existentes, preenchem-se os espaços vazios (grauteamento) com argamassa fluida à base de cimento Portland. Foram desenvolvidos modelos em escala reduzida, com o intuito de representar os mecanismos resistentes de uma ligação viga-pilar composta por encaixe de dente Gerber e consolo, com uso de chumbador, almofada de apoio e graute. Esse tipo de ligação é muito utilizado na construção de galpões e tem, na sua concepção original, comportamento essencialmente de articulação. Em uma etapa preliminar, realizaram-se ensaios para a caracterização da aderência segundo a configuração de reforço proposta. Os resultados dessa análise subsidiaram a fixação do comprimento de laminado a ancorar e a escolha do tipo de resina a empregar para colagem do reforço. Os modelos representativos da técnica de reforço proposta foram preparados, cada um deles, pela montagem de um elemento de pilar-consolo com elementos de viga nos respectivos chumbadores e almofadas. Foram também preparados modelos de referência para o estudo da influência da almofada de apoio e do grauteamento no comportamento resistente e da deformabilidade da ligação. Nesses modelos, as juntas eram perfeitamente conjugadas, isto é, os trechos de viga foram concretados com um elemento pré-moldado de pilar-consolo posicionado dentro da fôrma, sem disposição de almofadas. Todos os modelos de ligação foram reforçados e submetidos a ensaios estáticos. Esses ensaios consistiram na aplicação de carregamento cíclico alternado de curta duração, solicitando-se os modelos a momento fletor positivo ou negativo. Este trabalho também apresenta procedimento executivo de ensaios dinâmicos para avaliação da rigidez dos modelos de ligação em três condições: modelo íntegro reforçado, modelo reforçado fissurado (após aplicação de carregamento de aproximadamente 30% do carregamento de ruptura da ligação, em ensaio estático) e modelo reforçado rompido. Com o reforço, a ligação apresentou comportamento semi-rígido e adquiriu resistência à flexão compatível à de estrutura monolítica armada com barras de PRF. / This work presents the development of a technique for flexural strengthening and stiffness increasing of precast beam-to-column connections by the embedding of FRP strips into grooves made on the concrete cover. According to this technique, the tension in the connection is transferred by the Near-Surface Mounted (NSM) FRP strips. To allow the transference of compression efforts among the concrete elements, the empty spaces are filled out with grout. Small-scale specimens were developed to represent the resistant mechanisms of pined beam-to-column connection composed by elastomeric cushion and dowels. Preliminary experimental tests on bond behavior of NSM strips were carried out. The results analysis conducted the decision about the adhesive type and bond length to be employed in the beam-to-column connection specimens. Each specimen was made of the assembly of a column section connected to beam sections through their respective dowels and cushions. The connection specimens were reinforced by embedding CFRP strips in the lateral concrete cover and filling out the spaces between beams and column. In addition, control specimens were prepared to study the influence of the cushion and grout in the connection performance. In those models, the joints were conjugated perfectly, which means that the beam sections were laid inside the wooden forms and cast together with a precast column section with no cushions between them. Experimental static and dynamic tests were done. The tests results show that strengthened connection exhibits semi-rigid behavior and acquires flexural strength compatible to monolithic structure reinforced with FRP bars.

A metacognição é processo conceituado como o julgamento que um organismo (humano ou não humano) faz sobre seu próprio saber ou não saber. Há relatos de pesquisas sobre esse processo com seres humanos e diversas espécies de não humanos. Poucos estudos, porém, discutem a ocorrência de metacognição em ratos, e os resultados são controversos, em função de questionamentos sobre os procedimentos experimentais empregados. Este estudo teve o objetivo de investigar o efeito da manipulação de diferentes proporções de reforço produzidas em duas alternativas, sendo uma probabilística e outra com reforçamento contínuo, sobre o desempenho de ratos em uma tarefa de discriminação de diferentes durações de estímulos sonoros. O procedimento empregado é uma adaptação do utilizado por Foote e Crystal (2007), que investigou a ocorrência de metacognição em ratos. Foram utilizados cinco ratos machos, da linhagem Wistar (Rattus norvegicus) mantidos a 80% de seu peso ad libitum. O aparato utilizado foi um labirinto em Ey. O procedimento consistiu de quatro fases: 1) Treino exploratório no braço em Y, no qual o animal foi exposto a alternativas que continham seis pelotas de ração; 2) Treino de discriminação de estímulos sonoros, no qual foram treinadas duas discriminações condicionais com duas durações de estímulo sonoro, uma curta (2s), e uma longa (8s), cada uma correlacionada com a escolha de uma das portas do braço em Y; 3) Treino exploratório no braço em I, no qual os animais foram expostos a uma alternativa livre, que continha três pelotas de ração; e 4) Fase de Teste, na qual foram apresentadas diferentes durações de som (2.00, 2.44, 2.97, 3.62, 4.42, 5.38, 6.56 e 8.00s), a partir das quais o animal poderia escolher entre o braço em Y (fazer o teste), e receber seis pelotas de ração caso escolhesse a porta correta (correlacionada à duração curta ou longa), ou escolher a alternativa de recusa do teste, produzindo, com certeza, a quantidade de ração estabelecida pela condição em vigor. Foi analisada a porcentagem de escolhas realizadas pelos animais nos braços Y e I em cada condição, assim como a relação entre a porcentagem de acertos e erros nos testes e recusa, para cada duração de som. Todos os sujeitos atingiram o critério de aprendizagem estabelecido na fase de treino. Na fase de testes, observou-se que o som deixou de exercer controle sobre a resposta de escolha de todos os animais. À medida que a proporção de reforço variou na alternativa de recusa, os animais alteraram o padrão de escolha, de propensão para aversão ao risco, de acordo com a condição em vigor. A escolha por uma alternativa não se mostrou sob controle da acurácia dos animais em discriminar as durações dos estímulos apresentados, mas sim da proporção e probabilidade do reforço em cada alternativa. Discute-se a necessidade de se recorrer ao conceito de metacognição para descrever o desempenho dos animais em tarefas como a empregada no presente estudo. / The metacognition process is known as the judgment that an organism (human or nonhuman) makes of its own knowing or not knowing. There are research reports on this process in humans and several nonhuman species. Few discuss the occurrence of metacognition in rats, though, and the results are controversial due to the questionings about the experimental procedures applied. The aim of this study was to investigate the effects in handling different reinforcement proportions in two alternatives, one being probabilistic and the other with continuous reinforcement, on the performance of rats in a task of discrimination of different sound stimuli duration. The applied procedure was adapted from that used by Foote and Crystal (2007), which investigated the occurrence of metacognition in rats. Five male Wistar rats (Rattus norvegicus) were used and maintained at 80% of their weight ad libitum. The apparatus used was an Ey-shaped maze. The procedure consisted of four phases: 1) exploratory training on the Y arm, in which the animal was exposed to alternatives containing six pellets of food; 2) training on sound stimuli discrimination, in which were trained two conditional discriminations with two different sound stimuli durations one short (2s) and one long (8s) each linked to the choice of one door from the Y arm; 3) exploratory training on the I arm, in which the animals were exposed to a free-choice alternative containing three pellets; and 4) test phase, in which were used different sound durations (2.00, 2.44, 2.97, 3.62, 4.42, 5.38, 6.56 and 8.00s), giving the animal the option of choosing between the Y arm (doing the test) and get six pellets of food if it chooses the correct door (according to the short or long duration), and the refusal of the test, producing, that way, an amount of food established by the current condition. The percentage of choices made by the animals on the Y and I arms in each condition was analyzed, as well as the relation between the percentage of successes and errors in tests and refusals for each sound duration. All the subjects achieved the learning criterion stated in the training phase. During the test phase it was noted that the sound ceased in exerting control over all the animals responses. As the reinforcement proportions varied in the refusal alternatives the animals altered the pattern of choice from risk-proneness to risk-aversion, according to the current condition. The choice for an alternative didnt show to be controlled by the animals accuracy in discriminating the stimuli durations presented, but by the proportion and probability of the reinforcement in each alternative. Its been discussed the need to resort to the concept of metacognition to describe the animals performance in tasks such as the one applied in the present study.

With the rise of Deep Learning the field of Artificial Intelligence (AI) Research has entered a new era. Together with an increasing amount of data and vastly improved computing capabilities, Machine Learning builds the backbone of AI, providing many of the tools and algorithms that drive development and applications. While we have already achieved many successes in the fields of image recognition, language processing, recommendation engines, robotics, or autonomous systems, most progress was achieved when the algorithms were focused on learning only a single task with little regard to effort and reusability. Since learning a new task from scratch often involves an expensive learning process, in this work, we are considering the use of previously acquired knowledge to speed up the learning of a new task. For that, we investigated the application of Transfer Learning methods for Deep Reinforcement Learning (DRL) agents and propose a novel framework for knowledge preservation and reuse. We show, that the knowledge transfer can make a big difference if the source knowledge is chosen carefully in a systematic approach. To get to this point, we provide an overview of existing literature of methods that realize knowledge transfer for DRL, a field which has been starting to appear frequently in the relevant literature only in the last two years. We then formulate the Case-based Reasoning methodology, which describes a framework for knowledge reuse in general terms, in Reinforcement Learning terminology to facilitate the adaption and communication between the respective communities. Building on this framework, we propose Deep Case-based Policy Inference (DECAF) and demonstrate in an experimental evaluation the usefulness of our approach for sequential task learning with knowledge preservation and reuse. Our results highlight the benefits of knowledge transfer while also making aware of the challenges that come with it. We consider the work in this area as an important step towards more stable general learning agents that are capable of dealing with the most complex tasks, which would be a key achievement towards Artificial General Intelligence. / Com a evolução da Aprendizagem Profunda (Deep Learning), o campo da Inteligência Artificial (IA) entrou em uma nova era. Juntamente com uma quantidade crescente de dados e recursos computacionais cada vez mais aprimorados, o Aprendizado de Máquina estabelece a base para a IA moderna, fornecendo muitas das ferramentas e algoritmos que impulsionam seu desenvolvimento e aplicações. Apesar dos muitos sucessos nas áreas de reconhecimento de imagem, processamento de linguagem natural, sistemas de recomendação, robótica e sistemas autônomos, a maioria dos avanços foram feitos focando no aprendizado de apenas uma única tarefa, sem muita atenção aos esforços dispendidos e reusabilidade da solução. Como o aprendizado de uma nova tarefa geralmente envolve um processo de aprendizado despendioso, neste trabalho, estamos considerando o reúso de conhecimento para acelerar o aprendizado de uma nova tarefa. Para tanto, investigamos a aplicação dos métodos de Transferência de Aprendizado (Transfer Learning) para agentes de Aprendizado por Reforço profundo (Deep Reinforcement Learning - DRL) e propomos um novo arcabouço para preservação e reutilização de conhecimento. Mostramos que a transferência de conhecimento pode fazer uma grande diferença no aprendizado se a origem do conhecimento for escolhida cuidadosa e sistematicamente. Para chegar a este ponto, nós fornecemos uma visão geral da literatura existente de métodos que realizam a transferência de conhecimento para DRL, um campo que tem despontado com frequência na literatura relevante apenas nos últimos dois anos. Em seguida, formulamos a metodologia Raciocínio baseado em Casos (Case-based Reasoning), que descreve uma estrutura para reutilização do conhecimento em termos gerais, na terminologia de Aprendizado por Reforço, para facilitar a adaptação e a comunicação entre as respectivas comunidades. Com base nessa metodologia, propomos Deep Casebased Policy Inference (DECAF) e demonstramos, em uma avaliação experimental, a utilidade de nossa proposta para a aprendizagem sequencial de tarefas, com preservação e reutilização do conhecimento. Nossos resultados destacam os benefícios da transferência de conhecimento e, ao mesmo tempo, conscientizam os desafios que a acompanham. Consideramos o trabalho nesta área como um passo importante para agentes de aprendizagem mais estáveis, capazes de lidar com as tarefas mais complexas, o que seria um passo fundamental para a Inteligência Geral Artificial.