As técnicas de Aprendizado por Reforço permitem a solução de um problema através da escolha de ações que maximizem valores de recompensas recebidas que refletem a qualidade das ações tomadas pelo agente em um processo de tentativa e erro. Em problemas com estrutura hierárquica, a solução final depende do encadeamento de soluções para subproblemas aí presentes, sendo frequente a repetição de subproblemas nesse encadeamento. Nesses casos, a utilização de políticas parciais permite o aprendizado e armazenamento das soluções individuais para cada subproblema, que podem então ser utilizadas múltiplas vezes na composição de uma solução completa para o problema final, acelerando o aprendizado. Apesar de vantajosa, a utilização de políticas parciais necessita de definições por parte do projetista, o que representa uma sobrecarga. Para contornar esse problema, foram propostas técnicas de descoberta automática de políticas parciais, dentre as quais a utilização de motivação intrínseca se destaca por permitir ao agente aprender soluções de subproblemas úteis na solução do problema final sem a necessidade de se definir manualmente novas recompensas para esses subproblemas individualmente. Apesar de promissora, essa proposta utiliza um conjunto de componentes de aprendizado que ainda carece de investigação aprofundada acerca dos impactos individual e coletivo de cada componente, notadamente a aplicação das políticas parciais durante o aprendizado. Nesta dissertação são propostas duas abordagens para a aplicação de políticas parciais no Aprendizado por Reforço com Motivação Intrínseca: (i) armazenamento das políticas parciais em aplicação pelo agente e (ii) exploração interna à aplicação das políticas parciais. O impacto das propostas no desempenho de aprendizado é avaliado experimentalmente em um domínio com forte caracterização hierárquica. / Reinforcement Learning techniques allow an agent to learn the solution to a problem by interacting with the environment and executing actions, thus receiving rewards that reflect the value of the actions taken, on a process of trial and error. When a problem has a hierarchical structure, its final solution depends on several solutions to the subproblems it contains, and it is rather common the repetition of subproblems. On these cases, by using options it is possible to learn the solution to each subproblem individually, keeping and then using them multiple times to compose the complete solution to the problem, thus accelerating the learning process. But, despite this advantage, the use of options create the need for some definitions, what can represent a burden to the designer. To circumvent this problem, automatic option discovery techniques were proposed, among which the use of intrinsic motivation deserves special attention for allowing the agent to learn the solution of the subproblems, which are useful to compose the final solution, without the need to manually define new rewards to these subproblems individually. Despite being promising, this technique is built upon a set of several learning components that need a more deep investigation on the individual and collective impacts of each component, mostly the options application strategies during the learning process. On this work two modifications are proposed concerning the application process of options on the Intrinsically Motivated Reinforcement Learning: (i) storage of the history of the options applied by the agent and (ii) allow the agent to explore, even when following an option. These modifications were implemented on an algorithm present on the literature and evaluated on a domain with strong hierarchical characteristics.

O câncer cervical afeta milhões de mulheres em todo o mundo a cada ano. A maioria dos casos de câncer cervical é causada pelo vírus do papiloma humano (HPV) que é sexualmente transmissível. Cerca de 40 tipos de HPV infectam o colo do útero e estes são designados como sendo de alto ou de baixo risco com base no seu potencial para provocar lesões de alto grau e câncer. A oncoproteína E7 do HPV está diretamente envolvida no aparecimento de câncer de colo do útero. Esta se associada com a proteína pRb e outros alvos celulares que promovem a imortalização celular e carcinogênese. Apesar de muito progresso nos estudos sobre os HPVs de alto risco, ainda não existe uma terapêutica adequada para o tratamento das lesões e câncer causados por este vírus. Este trabalho teve como objetivo entender as diferenças estruturais entre E7 de alto e baixo risco e sugerir, através de análises de bioinformática, possíveis sítios de ligação e inibidores para a E7. Esta é a primeira descrição da modelagem e análise de dinâmica molecular de quatro estruturas tridimensionais completas da E7 dos tipos de alto risco (HPV tipos 16 e 18), de baixo risco (HPV tipo 11) e não relacionadas ao câncer cervical (HPV tipo 1A). Os modelos foram construídos por uma abordagem híbrida usando modelagem por homologia e ab initio. Os modelos foram usados em simulações de dinâmica molecular por 50 ns, sob condições normais de temperatura e pressão. A desordem intrínseca da sequência da proteína E7 foi avaliada com o uso de ferramentas in silico. Os domínios N-terminal de todas as E7 estudadas, mesmo as de alto risco, exibiram estruturas secundárias depois da modelagem. Nas análises da trajetória da dinâmica molecular, as E7s dos HPVs dos tipos 16 e 18 apresentaram maior instabilidade nos seus domínios N-terminais em relação aos do HPV dos tipos 11 e 01. No entanto, esta variação não afetou a conformação das estruturas secundárias durante a simulação. A análise com ANCHOR indicou que as regiões CR1 e CR2 regiões dos tipos de HPV 16 e 18 contêm possíveis alvos para a descoberta da droga. Já a região CR3 do domínio C-terminal indicou estabilidade nas análises in silico e, por isso, foi usada como alvo de busca de modelos farmacofóricos e docking macromolecular. A proteína usada como modelo foi a E7 do HPV tipo 45 resultante de análises de ressonância magnética nuclear (RMN) e depositada no banco de dados de proteína (ID: 2F8B). Foram selecionados por análises sequenciais de busca farmacofórica, docking e re-docking, 19 compostos (extraídos de amplas bibliotecas de pequenos ligantes) com potencial para candidatos a inibidores da E7. Eles foram avaliados quanto a sua função de pontuação, mapas de interação receptor-ligante e toxicidade e os melhores foram indicados para estudos futuros. / Cervical cancer affects millions of women around the world each year. Most cases of cervical cancer are caused by human papilloma virus (HPV) which is sexually transmitted. About 40 types of HPV infect the cervix and these are designated as being at high or low risk based on their potential to cause high-grade lesions and cancer. The E7 oncoprotein from HPV is directly involved in the onset of cervical cancer. It associates with the pRb protein and other cellular targets that promote cell immortalization and carcinogenesis. Although the progress in studies with high-risk HPVs there is still no adequate therapy for the treatment of lesions and cancers caused by this virus. This study aimed to understand the structural differences between E7 of high and low risk and suggest, with the aid of bioinformatics analyzes, possible binding sites and inhibitors for the E7. This is the first description of the modeling and molecular dynamics analysis of four complete three-dimensional structures of E7 from high-risk types (HPV types 16 and 18), low risk (HPV type 11) and that not related to cervical cancer (HPV 01). The models were constructed by a hybrid approach using homology modeling and ab initio. The models were used in molecular dynamics simulations for 50 ns, under normal temperature and pressure. The intrinsic disorder of the E7 protein sequence was assessed using in silico tools. The N-terminal domains of all E7s, even the high-risks, showed secondary structures after modeling. In the trajectory analyzes of molecular dynamics, the E7s of HPV types 16 and 18 showed high instability in their N-terminal domains than those of HPV types 11 and 01, however, this variation did not affect the conformation of secondary structures during the simulation. The analysis with ANCHOR indicated that regions CR1 and CR2 regions of types of HPV 16 and 18 contain possible targets for drug discovery. The CR3 region of the C-terminal domain indicated stability by in silico analyzes and was therefore used as target to search for pharmacophoric models and \"docking\". The protein used as a model was the E7, from HPV type 45, constructed by analysis of nuclear magnetic resonance (NMR) and deposited in the protein data bank (ID: 2F8B). It was selected 19 compounds as potential candidates for E7 inhibitors (extracted from large libraries of small ligands) using sequential pharmacophore search, docking and re-docking analyzes. They were evaluated for their scoring function, maps of receptor-ligand interactions and toxicity and the best suited were indicated for future studies.

Aspectos como motivação, atendimento das expectativas e satisfação dos alunos no ambiente de ensino-aprendizagem têm sido alvo de diversos estudos naquilo que diz respeito à influência destes fatores no Ensino. Investigar a percepção dos estudantes e suas experiências em todos os níveis de escolaridade oferece dados que possibilitam a melhora de programas e dos serviços de suporte. Assim, este trabalho teve por objetivo analisar a motivação, o atendimento das expectativas e a satisfação dos pós-graduandos do Departamento de Bioquímica da Universidade de São Paulo, tanto pelo olhar dos alunos quanto dos docentes. A coleta de dados foi feita por meio da aplicação de dois questionários: um aos discentes e outro aos docentes. Ambos os questionários foram divididos em três seções (motivação, atendimento das expectativas e satisfação) e validados pelo Coeficiente Alfa de Cronbach e pelos Itens de Correlação Item-Total. Pode-se verificar que para alunos e docentes, a motivação intrínseca é o principal fator que leva ao ingresso no programa, seguido pela motivação influenciada pelo ambiente e pela motivação extrínseca. Tanto alunos quanto docentes têm suas expectativas atendidas pelo programa, tendo como reflexo a satisfação de ambos. Foi possível constatar uma insatisfação dos pós-graduandos e dos docentes com a bolsa e uma divisão entre os alunos com relação à carga horária e à formação, sendo que a maioria percebe que trabalha demais, discordando dos docentes, e por um melhor preparo pedagógico. Espera-se com este trabalho oferecer uma dupla contribuição: à literatura, pois explora um aspecto ainda pouco estudado e oferece um arcabouço metodológico validado; ao departamento de Bioquímica, pois se verifica a qualidade do programa por outra via, interna ao programa; tal verificação possibilita a orientação de políticas institucionais adequadas. / Aspects such as motivation, expectation attainment and satisfaction of students in the teaching-learning environment have been the target of several studies regarding the influence of these factors in teaching. Investigating students\' perceptions and experiences at all levels of schooling provides data that enables the improvement of programs and support services. The aim of this study was to analyze the motivation, expectations attainment and satisfaction of the graduate students of the Department of Biochemistry of the University of São Paulo, both for their students\' and teachers\' view. The data collection was done through the application of two questionnaires: one to the students and another to the teachers. Both questionnaires were divided into three sections (motivation, expectations attainment and satisfaction) and validated by Cronbach\'s Alpha Coefficient and Item-Total Correlation Items. It can be verified that for students and teachers, intrinsic motivation is the main factor that leads to joining the program, followed by motivation influenced by the environment and extrinsic motivation. Both students and teachers have their expectations met by the program, reflecting the satisfaction of both. It was possible to observe a dissatisfaction among graduate students and teachers with the scholarship and a division among the students in relation to the workload and training, and most of them perceive that they work too much, disagreeing with the teachers, and for a better pedagogical preparation. It is expected with this work to offer a double contribution: to literature, because it explores an aspect that has not yet been studied and offers a validated methodological framework; to the Department of Biochemistry, because the quality of the program is verified by another route, internal to the program. Such verification enables the orientation of appropriate institutional policies.

Faculdade de Educação da Universidade de São Paulo. Entre os experimentos utilizados em centros e museus de Ciências sempre existem alguns que se destacam, por chamar e prender mais atenção dos visitantes que frequentam estes lugares, extremamente importantes para a promoção e o aumento dos níveis de alfabetização e de cultura científica. As características destes experimentos os transformam em vedetes dos locais destinados à educação não formal, por emitirem sons, luzes, cores ou causarem qualquer tipo de surpresa ou susto quando os visitantes interagem com os equipamentos citados. Dentro de projetos de divulgação científica itinerantes estes objetos também estão presentes, executando diversas funções nas exposições, que se dividem na maioria das vezes em mesas, montadas em locais que geralmente não têm acesso aos locais fixos de divulgação científica, localizados muitas vezes em grandes cidades. A estes equipamentos chamamos nesta pesquisa de experimentos surpreendentes por causarem sensações diversas nos visitantes. Esta pesquisa identificou estes tipos de experimentos e estudou a influência das suas características para a promoção da motivação, importante na mudança comportamental dos visitantes presentes nos centros e museus de Ciência e nas ações itinerantes de divulgação científica. Como resultados desta pesquisa pudemos observar que não apenas as características dos experimentos surpreendentes, mas também de outra categoria de experimentos, os desafiadores, teve grande influência na promoção e no aumento dos níveis de motivação intrínseca dos visitantes, mudando o comportamento perante os elementos da exposição, melhorando a qualidade da interação e estimulando o interesse e a curiosidade dos visitantes. / Among the experiments used in Science centers and Science museums always exist a few that stand out, for calling and holding more attention of visitors who frequent these places, extremely important to promote and increase the levels of scientific literacy and scientific culture. The characteristics of these experiments turn them into local starlets intended for non-formal education, to emit sounds, lights, colors or causing any kind of surprise or scare when visitors interact with the devices mentioned. Within projects itinerant of scientific communications these objects are also present, performing various functions in the exhibition, which fall mostly on tables, mounted in places that generally do not have access to fixed places of scientific communication, often located in large cities. To these equipment we call \"amazing experiments\" in this study to cause many sensations in visitors. This research identified these types of experiments and studied the influence of their characteristics to promote motivation, behavioral change important in visitors present in these centers and museums of science and in the actions of itinerant science. As a result of this research we found that not only some characteristics of the amazing experiments, but also some characteristics of another category of experiments, the challengers, had great influence in promoting and increasing levels of intrinsic motivation of visitors, changing behavior among the elements of exposure increasing the quality of interaction and stimulating interest and curiosity of visitors.

As metaloproteinases têm sido implicadas no desenvolvimento de hiperplasias intimais em diferentes situações. O objetivo do presente trabalho foi avaliar a participação das metaloproteinases 2 e 9 no desenvolvimento da hiperplasia intimal decorrente de modelo experimental de estenose intrínseca da aorta. Este modelo consiste na inserção de um pino acrílico na aorta de ratos. Foram utilizados 288 ratos Wistar machos, com peso médio de 250 g, os quais foram separados em quatro grupos: (1) controle sham-operado, (2) controle sham-operado tratado com doxiciclina, (3) estenosado e (4) estenosado tratado com doxiciclina. Estes animais foram tratados com doxiciclina (inibidor não-seletivo de metaloproteinases) 30 mg/Kg/dia e sacrificados nos períodos de 1, 7, e 15 dias após a cirurgia. O segmento da aorta envolvendo o pino foi retirado e estudado com diferentes protocolos para: microscopia óptica de alta resolução e convencional, imunoistoquímica, Western blot para eNOS e iNOS, zimografia convencional e in situ. Um trombo se formou ao redor do pino 24 horas após a cirurgia, mostrando sinais de organização com 7 dias. Com 15 dias, uma hiperplasia intimal adjacente à base do pino foi visualizada. Este espessamento foi caracterizado principalmente por células musculares lisas provenientes da camada muscular média. Apesar das metaloproteinases 2 e 9 estarem inibidas pela doxiciclina (comprovado pela imunoistoquímica, zimografia convencional e in situ), não observamos alterações importantes na composição e desenvolvimento da hiperplasia intimal decorrente deste modelo experimental de estenose intrínseca da aorta / Metaloproteinases has been implied in the development of intimal hyperplasia in different situations. We have used an experimental model of aorta stenosis, with a mushroom plug that promotes local turbulence and thrombosis. Methods: 288 Wistar male rats, weighing an average of 250g, were allocated into four groups: control groups, sham-operated and sham-operated treated with doxycycline, and experimental groups, operated and operates treated with doxycycline. The animals were killed on days 1, 7, and 15 after surgery. The fragments of aorta implicating the plug were harvested and studied using high resolution light microcopy, immunohistochemistry, Western Blot to eNOS and iNOS, conventional and in situ zymography. With animal survival of more than 24 h, we followed the partial fibrinolysis of the thrombus as well as its posterior organization and incorporation to the arterial wall as a neointima for up to 15 days. The intimal thickening detected was mainly composed of smooth muscle cells migrated from the medial layer of the aorta intermixed with extracellular matrix. Although, the MMP-2 and 9 were inhibiting, the intimal hyperplasia did not show difference in your composition and development.

O objetivo do presente trabalho foi avaliar o impacto de diferentes variáveis no ensaio de dissolução intrínseca de metronidazol. Inicialmente, as amostras, com diferentes graus de micronização, foram submetidas à caracterização físico-química, sendo realizados ensaios de solubilidade, tamanho de partícula, análise térmica (DSC/ TG), infravermelho por transformada de Fourier (FTIR), difratometria de raios X (DRX), análise de área superficial pelo método BET, microscopia óptica, densidade verdadeira e densidade compactada. Na sequência, foram realizados os ensaios de dissolução intrínseca segundo um planejamento experimental do tipo fatorial fracionado, sendo cada fator avaliado em três níveis. Para o delineamento, utilizou-se o programa Statistica 8.0. e os fatores estudados foram: velocidade de rotação, pressão utilizada na formação do compactado do fármaco, meio de dissolução e grau de micronização. Os resultados mostraram alteração nas propriedades reológicas do material conforme o aumento do grau de micronização, enquanto as demais propriedades não foram afetadas. Entre os fatores estudados no delineamento, a velocidade de rotação e o meio de dissolução, foram aqueles que exerceram influência significativa na dissolução intrínseca do metronidazol. Embora a solubilidade do fármaco não sofra influência do tamanho de partícula, valores superiores foram observados em HCl 0,1 M, meio em que também foram obtidas as mais elevadas velocidades de dissolução intrínseca (VDIs). / The purpose of this study is to evaluate the impact of different variables in the intrinsic dissolution test of metronidazol. Initially, the samples, with different levels of micronization, underwent physicochemical characterization, whereby they were tested for solubility, particle size, thermal analysis (DSC/TG), Fourier transform infrared (FTIR) spectroscopy, X-ray diffractometry (DRX), surface area analysis by the BET method, optical microscopy, true density and tapped density. Then, intrinsic dissolution tests were carried out according to fractional factorial experimental planning, with each factor being evaluated on three levels. The Statistica 8.0 software program was used for design, and the factors studied were: rotational velocity, pressure used in the formation of the compressed drug, dissolution medium and level of micronization. The results indicated alterations in the rheological properties of the material, as the level of micronization increased, while the remaining properties were unaffected. Among the factors studied in the design, the rotation speed and the dissolution medium were the factors that exercised the most significant influence on the intrinsic dissolution of metronidazol. Although the solubility of the drug is not influenced by particle size, higher values were observed in HCl 0.1 M, the medium in which the highest intrinsic dissolution rates (IDRs) were also obtained.

As metaloproteinases têm sido implicadas no desenvolvimento de hiperplasias intimais em diferentes situações. O objetivo do presente trabalho foi avaliar a participação das metaloproteinases 2 e 9 no desenvolvimento da hiperplasia intimal decorrente de modelo experimental de estenose intrínseca da aorta. Este modelo consiste na inserção de um pino acrílico na aorta de ratos. Foram utilizados 288 ratos Wistar machos, com peso médio de 250 g, os quais foram separados em quatro grupos: (1) controle sham-operado, (2) controle sham-operado tratado com doxiciclina, (3) estenosado e (4) estenosado tratado com doxiciclina. Estes animais foram tratados com doxiciclina (inibidor não-seletivo de metaloproteinases) 30 mg/Kg/dia e sacrificados nos períodos de 1, 7, e 15 dias após a cirurgia. O segmento da aorta envolvendo o pino foi retirado e estudado com diferentes protocolos para: microscopia óptica de alta resolução e convencional, imunoistoquímica, Western blot para eNOS e iNOS, zimografia convencional e in situ. Um trombo se formou ao redor do pino 24 horas após a cirurgia, mostrando sinais de organização com 7 dias. Com 15 dias, uma hiperplasia intimal adjacente à base do pino foi visualizada. Este espessamento foi caracterizado principalmente por células musculares lisas provenientes da camada muscular média. Apesar das metaloproteinases 2 e 9 estarem inibidas pela doxiciclina (comprovado pela imunoistoquímica, zimografia convencional e in situ), não observamos alterações importantes na composição e desenvolvimento da hiperplasia intimal decorrente deste modelo experimental de estenose intrínseca da aorta / Metaloproteinases has been implied in the development of intimal hyperplasia in different situations. We have used an experimental model of aorta stenosis, with a mushroom plug that promotes local turbulence and thrombosis. Methods: 288 Wistar male rats, weighing an average of 250g, were allocated into four groups: control groups, sham-operated and sham-operated treated with doxycycline, and experimental groups, operated and operates treated with doxycycline. The animals were killed on days 1, 7, and 15 after surgery. The fragments of aorta implicating the plug were harvested and studied using high resolution light microcopy, immunohistochemistry, Western Blot to eNOS and iNOS, conventional and in situ zymography. With animal survival of more than 24 h, we followed the partial fibrinolysis of the thrombus as well as its posterior organization and incorporation to the arterial wall as a neointima for up to 15 days. The intimal thickening detected was mainly composed of smooth muscle cells migrated from the medial layer of the aorta intermixed with extracellular matrix. Although, the MMP-2 and 9 were inhibiting, the intimal hyperplasia did not show difference in your composition and development.

A desregulação da apoptose, principalmente da via mitocondrial, exerce papel na progressão tumoral, resistência à quimioterapia, além de favorecer a formação de metástases por permitir a sobrevivência de células tumorais na circulação e outros microambientes teciduais. No presente estudo, foram avaliados 58 mastocitomas cutâneos caninos, provenientes de 50 animais submetidos à cirurgia excisional como única forma de tratamento. Os tumores foram graduados de acordo com o sistemas de estabelecidos por Patnaik, Ehler e MacEwen (1984) e Kiupel et al. (2011). As expressões das proteínas relacionadas à via intrínseca da apoptose, BCL2, BAX, APAF1, Caspase 9 e Caspase 3, foram caracterizadas por meio de imuno-histoquímica. Os resultados obtidos das imunomarcações foram comparados às graduações histopatológicas, bem como à mortalidade em função do tumor e ao tempo de sobrevida pós-cirúrgico. Observamos maior expressão de BAX em mastocitomas de grau III, bem como menor expressão de BCL2 em tumores de alto grau. A detecção imuno-histoquímica de BAX foi considerada um indicador prognóstico para sobrevida e mortalidade em função da doença, enquanto que as de APAF1 e BCL2 adicionaram valor prognóstico às graduações histopatológicas melhorando a previsão da sobrevida pós-cirurgia / Deregulation of apoptosis, especially in the mitochondrial pathway, plays a role in tumor progression, resistance to chemotherapy, and favor the formation of metastases by allowing the survival of tumor cells in the blood stream and other tissue microenvironments. In the present study, we evaluated 58 canine cutaneous mast cell tumors, from 50 dogs, which were submitted to excisional surgery alone. The tumors were graded according to the systems proposed by Patnaik, Ehler and MacEwen (1984) and Kiupel et al. (2011). The expression of the apoptosis-related proteins BCL2, BAX, APAF1, caspase 9 and caspase 3 was characterized by immunohistochemistry. Immunohistochemical results were compared with the histopathological grades, mortality due to the tumor and post-surgical survival time. We observed increased expression of BAX in grade III mast cell tumors and lower expression of BCL2 in high-grade tumors. Immunohistochemical detection of BAX was considered an independent indicator of prognosis for survival and mortality due to the disease, whereas APAF1 and BCL2 added prognostic value to the histopathological grading systems improving the prediction of survival post surgery

As técnicas de Aprendizado por Reforço permitem a solução de um problema através da escolha de ações que maximizem valores de recompensas recebidas que refletem a qualidade das ações tomadas pelo agente em um processo de tentativa e erro. Em problemas com estrutura hierárquica, a solução final depende do encadeamento de soluções para subproblemas aí presentes, sendo frequente a repetição de subproblemas nesse encadeamento. Nesses casos, a utilização de políticas parciais permite o aprendizado e armazenamento das soluções individuais para cada subproblema, que podem então ser utilizadas múltiplas vezes na composição de uma solução completa para o problema final, acelerando o aprendizado. Apesar de vantajosa, a utilização de políticas parciais necessita de definições por parte do projetista, o que representa uma sobrecarga. Para contornar esse problema, foram propostas técnicas de descoberta automática de políticas parciais, dentre as quais a utilização de motivação intrínseca se destaca por permitir ao agente aprender soluções de subproblemas úteis na solução do problema final sem a necessidade de se definir manualmente novas recompensas para esses subproblemas individualmente. Apesar de promissora, essa proposta utiliza um conjunto de componentes de aprendizado que ainda carece de investigação aprofundada acerca dos impactos individual e coletivo de cada componente, notadamente a aplicação das políticas parciais durante o aprendizado. Nesta dissertação são propostas duas abordagens para a aplicação de políticas parciais no Aprendizado por Reforço com Motivação Intrínseca: (i) armazenamento das políticas parciais em aplicação pelo agente e (ii) exploração interna à aplicação das políticas parciais. O impacto das propostas no desempenho de aprendizado é avaliado experimentalmente em um domínio com forte caracterização hierárquica. / Reinforcement Learning techniques allow an agent to learn the solution to a problem by interacting with the environment and executing actions, thus receiving rewards that reflect the value of the actions taken, on a process of trial and error. When a problem has a hierarchical structure, its final solution depends on several solutions to the subproblems it contains, and it is rather common the repetition of subproblems. On these cases, by using options it is possible to learn the solution to each subproblem individually, keeping and then using them multiple times to compose the complete solution to the problem, thus accelerating the learning process. But, despite this advantage, the use of options create the need for some definitions, what can represent a burden to the designer. To circumvent this problem, automatic option discovery techniques were proposed, among which the use of intrinsic motivation deserves special attention for allowing the agent to learn the solution of the subproblems, which are useful to compose the final solution, without the need to manually define new rewards to these subproblems individually. Despite being promising, this technique is built upon a set of several learning components that need a more deep investigation on the individual and collective impacts of each component, mostly the options application strategies during the learning process. On this work two modifications are proposed concerning the application process of options on the Intrinsically Motivated Reinforcement Learning: (i) storage of the history of the options applied by the agent and (ii) allow the agent to explore, even when following an option. These modifications were implemented on an algorithm present on the literature and evaluated on a domain with strong hierarchical characteristics.

Submitted by admin tede (tede@pucgoias.edu.br) on 2018-12-05T19:03:24Z No. of bitstreams: 1 VALCEMIA GONÇALVES DE SOUSA NOVAES.pdf: 2047673 bytes, checksum: 36e661bc2881aedd186098597ca81f32 (MD5) / Made available in DSpace on 2018-12-05T19:03:24Z (GMT). No. of bitstreams: 1 VALCEMIA GONÇALVES DE SOUSA NOVAES.pdf: 2047673 bytes, checksum: 36e661bc2881aedd186098597ca81f32 (MD5) Previous issue date: 2018-04-06 / The constant changes of the contemporary society demand creative people for the resolution of adverse situations. Theys demands creativity, understood here as a human characteristic that can be developed base on the influencesenvironmental context and personal resources. This study propose to use Amabile, Sternberg, and Csikszentmihalyi´s theses to verify if the environmental conditions experienced by the State University of Goiás’s to the students in the course of their academic experience and personal resources allow them to feel confident in their ability to be creative at the end of their courses. Five studies were developed to meet this objective. The first presents a conceptual and historical survey of creativity. For the remaining studies, data were collected through a survey in 2017. A sample of 664 students, with na average age of 25 years (SD = 7.2), ansswered a questionaire ans cheked scales. In the second study, considering the inexpressiveness of studies on Creative Self-Efficacy in Brazil, the objective was to adapt and gather initial evidence of the validity of the Creative Self-Efficacy Scale, initially proposed by Yu (2013). The results of the adapted Scale confirmatory factor analysis demonstrated initial evidence of validity with a unifatorial structure (X2 / gl = 1.88; CFI = .99; GFI = .97; RMSEA = .05), diverging from the original two factor scale. In the third study, proposed a new type of instrumenti to be valited in Brazil. The third research had the objective of structuring and gathering initial evidence of the validity of the Creative Performance Scale. The results of the confirmatory factorial analysis of the Scale demonstrated initial evidence of validity in a unifatorial structure (X2 / gl = 3.37; CFI = .97; GFI = .88; RMSEA = .08). The fourth study we sought to ascertain the relationship between teaching practice / incentive to new ideas, as an institutional resource, and the creative selfefficacy of the student as a personal resource, as well as to verify the mediating role of student engagement. The hypothesized relationships between the proposed variables were corroborated with significant levels, and also confirmed confirmed the role of mediation of student engagement among the proposed variables. The test of the proposed model explained 41% of the explained variance (R2 = 0.41, F (5, 658) = 94.84, p ≤ .000). The fifth study e tested the effects of teaching / encouraging new ideas about the student's creative performance and creative self-efficacy. The mediating role of the creative self-efficacy of the student in this relation was also analyzed, as well as the moderational power of the intrinsic motivation in the relation between teaching practice and the creative self-efficacy of the student. The hypothesized relationships between the proposed variables were corroborated with significant levels, as well as the mediational power of creative self-efficacy (F (5, 658) = 78.14, p <0.001) and the moderating power of the student's intrinsic motivation (F (4, 659) = 100.85, p ≤ .000), among the variables proposed for the study. Theses studies allowed the confirmaiona of the role of enveromental influencaes ans personal resources in the developmnet of creative performance. Limitations of the study, implications of results and suggestions of future agenda of research on creative performance in Brazilian samples are presented. / As constantes mudanças da sociedade contemporânea demandam indivíduos criativos para a resolução de situações adversas. Demanda, também, criatividade, aqui compreendida como uma característica humana que pode ser desenvolvida a partir de influências do contexto ambiental e dos recursos pessoais. Assim, com base nas concepções teóricas sistêmicas de criatividade, propostas por Amabile, Sternberg, Csikszentmihalyi, esta tese objetiva verificar se as condições ambientais vivenciadas e ou oferecidas pela Universidade Estadual de Goiás (UEG) aos estudantes, no decorrer de sua experiência acadêmica, e os seus recursos pessoais permitem aos estudantes sentirem-se confiantes na sua capacidade de serem criativos. Para atender este objetivo, desenvolveu-se cinco estudos. O primeiro apresenta um levantamento conceitual e histórico da criatividade. Os demais apresentam dados que foram coletados junto a estudantes da UEG em 2017, totalizando uma amostra de 664 estudantes respondentes dos instrumentos de pesquisa, com média de idade de 25 anos (DP=7,2). No segundo estudo, considerando-se a inexpressividade de estudos sobre autoeficácia criativa no Brasil, objetivou-se adaptar e reunir evidências iniciais de validade da Escala de Autoeficácia Criativa, proposta inicialmente por Yu (2013). Os resultados da análise fatorial confirmatória da escala adaptada demonstraram evidências iniciais de regularidade com estrutura unifatorial (X2/gl = 1.88; CFI = .99; GFI = .97; RMSEA = .05), divergindo da escala original bifatorial. O terceiro estudo, tendo em vista a inexistência de instrumentos validados no Brasil, como proposto, teve como objetivo estruturar e reunir evidências iniciais de validade da Escala de Autopercepção de Desempenho Criativo. Os resultados da análise fatorial confirmatória da escala demonstraram evidências iniciais de validade em uma estrutura unifatorial (X2/gl = 3.37; CFI = .97; GFI = .88; RMSEA = .08). No quarto estudo, buscou-se averiguar as relações da prática docente/incentivo às novas ideias, como recurso institucional, e a autoeficácia criativa do estudante, enquanto recurso pessoal, bem como verificar o papel mediador do engajamento do estudante. As relações hipotetizadas entre as variáveis propostas foram corroboradas com níveis significativos, confirmando-se o papel de mediação do engajamento do estudante entre as variáveis propostas. O teste do modelo sugerido explicou 41% da variância explicada (R2= 0,41; F(5,658)= 94,84, p ≤ .000). No quinto e último estudo, testou-se os efeitos da prática docente/incentivo a novas ideias sobre o desempenho criativo e a autoeficácia criativa do estudante. Analisou-se, ainda, o papel mediador da autoeficácia criativa do estudante nesta relação, bem como o poder moderacional da motivação intrínseca na relação entre prática docente e autoeficácia criativa do estudante. As relações hipotetizadas entre as variáveis propostas foram corroboradas com níveis significativos, bem como confirmou-se o poder mediacional da autoeficácia criativa (F (5, 658) = 78.14, p <0,001) e o poder moderacional da motivação intrínseca do estudante (F(4, 659)= 100,85, p ≤ .000), entre as variáveis indicadas para o estudo. Limitações, implicações dos resultados e sugestões de agenda futura de pesquisas sobre desempenho criativo e demais variáveis em amostras brasileiras foram apresentadas.