Submitted by Marta Toyoda (1144061@mackenzie.br) on 2018-10-29T17:09:12Z No. of bitstreams: 2 VALTER PEREIRA DE CARVALHO.pdf: 1797453 bytes, checksum: 0371ebaa50b7784190cf403272d8e502 (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Approved for entry into archive by Paola Damato (repositorio@mackenzie.br) on 2018-10-31T14:51:00Z (GMT) No. of bitstreams: 2 VALTER PEREIRA DE CARVALHO.pdf: 1797453 bytes, checksum: 0371ebaa50b7784190cf403272d8e502 (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) / Made available in DSpace on 2018-10-31T14:51:00Z (GMT). No. of bitstreams: 2 VALTER PEREIRA DE CARVALHO.pdf: 1797453 bytes, checksum: 0371ebaa50b7784190cf403272d8e502 (MD5) license_rdf: 0 bytes, checksum: d41d8cd98f00b204e9800998ecf8427e (MD5) Previous issue date: 2018-08-03 / This work proposes a study of the forecast of time series with the use of data obtained from BOVESPA the basis of the values of the shares at the closing of the trading session. For the forecast, an arti_cial neural network (RNA) with MLP (MultiLayer Perceptron) architecture will be used. It will be shown through this prediction study of the financial market how the neural network behaves and how it can be of great value for forecasts with time series data. The analysis comprises the comparison between the forecast and the efective closing price within established periods. The paper compares the MLP network with the Random Walk Hypothesis. At the end of the study it is concluded that the artificial neural network used for stock market forecasting is able to show results very close to reality, and that this methodology can be used by individual and collective investors to understand the behavior of the actions and to orient themselves on the possible investment hypotheses. / Este trabalho propõe um estudo de previsão de séries temporais com o uso dos dados obtidos da BOVESPA (Bolsa de Valores de São Paulo) tomando-se por base os valores das ações no fechamento do pregão. Para a previsão será utilizada uma rede neural artificial (RNA) com arquitetura MLP (MultiLayer Perceptron). Será mostrado através desse estudo de previsão do mercado financeiro como a rede neural se comporta e como ela pode ser de grande valia para previsões com séries de dados temporais. A análise compreende a comparação entre a previsão e o preço de fechamento efetivo dentro de períodos estabelecidos. O trabalho faz um comparativo entre a rede MLP e a Hipótese de Random Walk. Ao final do trabalho conclui-se que a rede neural artificial utilizada para previsão de mercado acionário é capaz de mostrar resultados muito próximos da realidade, e que essa metodologia pode ser utilizada por investidores individuais e coletivos para compreenderem o comportamento das ações e se orientarem sobre as possíveis hipóteses de investimentos.

Neste trabalho apresentamos um assunto que tem contribuído em diversas áreas, o conhecido Problemas de Lurie. Para exemplificar sua aplicabilidade estudamos a Rede Neural de Hopfield e a relacionamos com o problema. Alguns teoremas são apresentados e um dos resultados do Problema de Lurie é aplicado ao modelo de Hopfield. / In the present work we show some properties of the so called Luries type equation. We treat particularly the stability conditions problem, and show how this theory is applied in a Hopfield neural network.

Submitted by Patrícia Cerveira (pcerveira1@gmail.com) on 2017-06-07T18:57:51Z No. of bitstreams: 1 Fernando Otávio Gomes da Fonseca_Dissertação.pdf: 3191276 bytes, checksum: f567916527bd35630c5b6be3fb1b0c6e (MD5) / Approved for entry into archive by Biblioteca da Escola de Engenharia (bee@ndc.uff.br) on 2017-06-29T16:27:45Z (GMT) No. of bitstreams: 1 Fernando Otávio Gomes da Fonseca_Dissertação.pdf: 3191276 bytes, checksum: f567916527bd35630c5b6be3fb1b0c6e (MD5) / Made available in DSpace on 2017-06-29T16:27:45Z (GMT). No. of bitstreams: 1 Fernando Otávio Gomes da Fonseca_Dissertação.pdf: 3191276 bytes, checksum: f567916527bd35630c5b6be3fb1b0c6e (MD5) / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / O presente trabalho visa estudar e comparar 2 métodos de detecção de faces em imagens, a fim de averiguar a eficiência e eficácia dos mesmos, propondo melhorias nos processos avaliados. O método de detecção de caraterísticas em imagens proposto por Viola e Jones é ainda uma referência na detecção de faces. Neste trabalho serão avaliadas propostas de melhorias nesse processo e comparados resultados quando utilizadas redes neurais mais modernas para o treinamento da base de dados. Realizamos simulações computacionais desenvolvidas em Matlab para obtenção dos resultados do comportamento dos sistemas e ao final do trabalho apresentamos as conclusões e sugestões de projetos futuros. / This work aims to study and compare two methods of face detection in images, in order to verify theirefficiency and effectiveness, proposing improvements in such processes. The feature detection method in images proposed by Viola and Jones is also a reference in detecting faces. In this work improvement proposals will be evaluated in thatprocess and compared results when used more modern neural networks for the training database. We performed computer simulations developed in Matlab to obtain theresults onsystems behavior. At the endof the work,we present the conclusions and suggestions for future projects.

[pt] Lidar com processos não estacionários requer adaptação rápida e, simultaneamente, evitar esquecimento catastrófico de um comportamento passado. Duas técnicas de treinamento em redes neurais que satisfazem este requerimento são propostas, uma no âmbito de aprendizado com supervisão e outra relacionada à classe de redes não supervisionadas. Um novo algoritmo de treinamento supervisionada em redes multi camadas para modelagem de sistemas num contexto não estacionário é proposto. O ajuste de pesos na rede é determinado pela solução de problema de compromisso entre manter a performance para os dados antigos de treinamento e se ajustar para um novo comportamento representado nos dados mais recentes. Esta abordagem tem por base a formalização do problema como a minimização do erro de saída da rede sobre os padrões entrada-saída passados, sujeita a restrição de codificação do novo padrão dentro da tolerância estabelecida. Técnicas de programação não linear são utilizadas para resolver o problema de otimização gerado e calcular o novo conjunto de pesos. Alguns experimentos numéricos que comparam a performance do algoritmo proposto a de uma rede backpropagation são oferecidos. Um modelo de redes Fuzzy ART modulares para formação de categorias com hierarquia é também proposto, de tal forma que cada módulo agrupa os protótipos das categorias desenvolvidas na camada anterior. Dessa forma, os níveis hierárquicos sucessivamente mais altos captam uma visualização mais geral dos padrões de entrada enquanto os níveis inferiores aprendem categorias mais especificas. Propriedades interessantes da rede Fuzzy são herdadas pelo modelo proposto. Resultados teóricos relacionados às propriedades desta nova abordagem são apresentados, bem como experimentos numéricos que comprovam e ilustram as mesmas. / [en] The main issue when dealing with non-stationary processes is related to the requirement of fast adaptation while simultaneously preventing catastrophic damage to previously learned behavior. In this thesis, two on-line learning techniques, one for supervised and the other for unsupervised artificial neural networks, are proposed. A new supervised procedure to continuously adjust weights in a multi layered perceptrons neural networks is proposed. This methodology is tailored to be used in time varying (or non-stationary) models, eliminating the necessity of retraining. The main objective is to keep the error related to the latest income data within a pre established tolerance, while maximizing the information incorporated up to that point. By choosing a balance parameter, the designer is able to decide on the relevance that should be attributed to the new data. Non-linear programming techniques are used in order to properly solve this trade off optimization problem and on-line calculate the new weight set. Numerical results for real and non- real data are presented, illustrating the potentiality and properties of the proposed approach. A modular Fuzzy ART model for hierarchical categorization of data is proposed in such a manner that each module groups the prototypes of the categories developed in the previous module or layer. In this way, the hierarchical levels of successively higher layers learn a more general pattern from the input data while the lower layers learn more specific categories. Interesting properties of the component Fuzzy ART network also apply to this new hierarchical network model like, fast and stable learning of arbitrary sequences of analogical or binary input patterns and the dynamic creation of categories for new input patterns presentation. Some theoretical results related to properties of this new approach for clustering applications are presented, as well as some illustrative numerical results.

Os métodos existentes para a previsão da posição de átomos de hidrogênio em proteínas são todos baseados na simulação computacional de modelos construídos a partir de características físicas e (ou) químicas das moléculas. A abordagem proposta neste trabalho faz uso de técnicas inteligentes para a predição da posição de átomos de hidrogênio contidos em grupos hidroxilas (OH) pertencentes à cadeias laterais dos aminoácidos serina, treonina e tirosina. Estas técnicas inteligentes são utilizadas em duas fases para a solução do problema proposto: o preprocessamento dos dados e a predição da posição do átomo de hidrogênio. Na fase de preprocessamento, informações sobre os padrões de ligações hidrogênio existentes em moléculas de proteínas são extraídas da base PDB (Protein Data Bank) e reunidas em agrupamentos. A base de dados PDB é a principal base internacional que disponibiliza publicamente a estrutura espacial de biomoléculas, principalmente proteínas e ácidos nucléicos, cujas estruturas espacias foram determinadas através de métodos experimentais. Os padrões de ligações hidrogênio obtidos da base de dados são agrupados por similaridade através de um novo algoritimo proposto, o algoritmo de agrupamento por fusão. Este novo algoritmo de agrupamento foi criado com o propósito de tratar dados com distribuição não uniforme, isolando padrões de entrada muito diferentes da média em agrupamento separados. Após o agrupamento, os padrões de ligações hidrogênio contidos em um grupo têm suas estruturas espaciais superpostas (alinhamento das geometrias dos padrões) através de operações espaciais de translação e rotações, coordenadas pelo uso de um algoritmo genético. Na fase de predição, os padrões já superpostos contidos em cada agrupamento gerado, são utilizados para o treinamento de uma rede neural de arquitetura MLP (multi layer perceptron) para a predição da posição do átomo de hidrogênio contido no padrão. Uma parte dos padrões contidos no agrupamento não são usados para o treinamento da rede e reservados para o teste da capacidade da rede neural inferir a posição do hidrogênio após o treinamento. Para cada agrupamento é treinada uma rede individual, de forma que os parâmetros livres da rede neural sejam calibrados para os dados específicos do agrupamento para o qual a rede neural foi treinada. Após diversas alterações de metodogia ao longo dos experimentos computacionais realizados, a nova abordagem proposta mostrouse eficaz, com um bom índice de acerto na predição da posição do hidrogênio após o treino da rede neural, para padrões de ligações hidrogênio previamente superpostos em agrupamentos / The existing methods for the prediction of the position of hydrogen atoms in proteins are all based on computer simulation models constructed from physical and(or) chemical properties of molecules. The approach proposed in this paper makes use of intelligent techniques for clustering the patterns of hydrogen bonds by similarity, these patterns extracted from the spatial structure of protein molecules, recorded in the files of the PDB (Protein Data Bank). A new algorithm, which allows clustering of data with nonuniform distribution was developed for this purpose. To align spatialy these patterns already grouped in a cluster is used a genetic algorithm that rotates the patterns each other in a way to obtain the aligment of them. The prediction of the position of atoms of hydrogen is done by the training of a MLP (multi layer perceptron) neural network that uses as input the data of the patterns of hydrogen bond contained in a given cluster, previously aligned. The new approach proved to be effective, with a good rate of success in the prediction of the position of hydrogen atoms contained in a cluster after training the neural network

[pt] Esta dissertação investigou a criação de comitês de classificadores baseados em Redes Neurais Multilayer Perceptron (Redes MLP, abreviadamente). Isso foi feito em dois passos: primeiro, aplicando-se procedimentos para criação de redes complementares, i.e, redes individualmente eficazes mas que cometem erros distintos; segundo, testando- se sobre essas redes alguns dos principais métodos de combinação disponíveis. Dentre os procedimentos para criação de redes complementares, foi dado enfoque para os baseados em alteração do conjunto de treinamento. Os métodos Bootstrap e Arc-x4 foram escolhidos para serem utilizados no estudo de casos, juntamente com o método RDP (Replicação Dirigida de Padrões). No que diz respeito aos métodos de combinação disponíveis, foi dada particular atenção ao método de combinação por integrais nebulosas. Além deste método, implementou-se combinação por média, votação por pluralidade e Borda count. As aplicações escolhidas para teste envolveram duas vertentes importantes na área de visão computacional - Classificação de Coberturas de Solo por Imagens de Satélite e Reconhecimento de Expressões Faciais. Embora ambas pertençam à mesma área de conhecimento, foram escolhidas de modo a representar níveis de dificuldade diferentes como tarefas de classificação - enquanto a primeira contou com um grande número de padrões disponíveis, a segunda foi comparativamente limitada nesse sentido. Como resultado final, comprovou-se a viabilidade da utilização de comitês em problemas de classificação, mesmo com as possíveis variações de desempenho relacionadas com a complexidade desses problemas. O método de combinação baseado em integrais nebulosas mostrou-se particularmente eficiente quando associado ao procedimento RDP para formação das redes comissionadas, mas nem sempre foi satisfatório. Considerado individualmente, o RDP tem a limitação de criar, no máximo, tantas redes quanto forem as classes consideradas em um problema; porém, quando este número de redes foi considerado como base de comparação, o RDP se mostrou, na média de todos os métodos de combinação testados, mais eficaz que os procedimentos Bootstrap e Arc-x4. Por outro lado, tanto o Bootstrap quanto o Arc-x4 têm a importante vantagem de permitirem a formação de um número crescente de membros, o que quase sempre acarretou em melhorias de desempenho global em relação ao RDP. / [en] The present dissertation investigated the creation of classifier committees based on Multilayer Perceptron Neural Networks (MLP Networks, for short). This was done in two parts: first, by applying procedures for creating complementary networks, i.e., networks that are individually accurate but cause distinct misclassifications; second, by assessing different combining methods to these network`s outputs. Among the procedures for creating committees members, the main focus was set to the ones based on changes to the training set . Bootstrap and Arc-x4 were chosen to be used at the experiments, along with the RDP procedure (translated as Driven Pattern Replication). With respect to the available combining methods, special attention was paid to fuzzy integrals combination. Average combination, plurality voting and Borda count were also implemented. The chosen experimental applications included interesting branches from computer vision: Land Cover Classification from Satellite Images and Facial Expression Recognition. These applications were specially interesting, in the sense they represent two different levels of difficulty as classification tasks - while the first had a great number of available patterns, the second was comparatively limited in this way. This work proved the viability of using committees in classification problems, despite the small performance fluctuations related to these problems complexity. The fuzzy integrals method has shown to be particularly interesting when coupled with the RDP procedure for committee creation, but was not always satisfactory. Taken alone, the RDP has the limitation of creating, at most, as many networks as there are classes to be considered at the problem at hand; however, when this number of networks was considered as the basis for comparison, this procedure outperformed, taking into account average combining results, both Bootstrap and Arc- x4. On the other hand, these later procedures have the important advantage of allowing the creation of an increasing number of committee members, what almost always increased global performance in comparison to RDP. / [es] Esta disertación investigó la creación de comités de clasificadores basados en Redes Neurales Multilayer Perceptron (Redes MLP, abreviadamente). Esto fue ejecutado en dos pasos: primeiro, aplicando procedimentos para la creación de redes complementares, esto es, redes que individualmente son eficaces pero que cometen erros diferentes; segundo, probando sobre esas redes, algunos de los principales métodos de combinación disponibles. Dentro de los procedimentos para la creación de redes complementares, se eligieron los basados en alteración del conjunto de entrenamiento. Los métodos Bootstrap y Arc-x4 fueron seleccionados para utilizarlos em el estudio de casos, conjuntamente con el método RDP (Replicación Dirigida de Padrones). Con respecto a los métodos de combinación disponibles, se le dió particular atención al método de combinación por integrales nebulosas. Además de este método, se implementaron: combinación por media, votación por pluralidad y Borda cont. Las aplicaciones seleccionadas para pruebas consideran dos vertientes importantes en la área de visión computacional - Clasificación de Coberturas de Suelo por Imágenes de Shastalite y Reconocimiento de Expresiones Faciales. Aunque ambas pertencen a la misma área de conocimento, fueron seleccionadas de modo con diferentes níveles de dificuldad como tareas de clasificación - Mientras la primera contó con un gran número de padrones disponibles, la segunda fue comparativamente limitada em ese sentido. Como resultado final, se comprobó la viabilidad de la utilización de comités en problemas de clasificación, incluso con las posibles variaciones de desempeño relacionadas con la complejidad de esos problemas. El método de combinación basado en integrales nebulosas se mostró particularmente eficiente asociado al procedimiento RDP para formación de las redes comisionadas, pero no siempre fue satisfactorio. Considerado individualmente, el RDP tiene la limitación de crear, como máximo, tantas redes como clases consideradas en un problema; sin embargo, cuando el número de redes fue considerado como base de comparación, el RDP se mostró más eficaz, en la media de todos los métodos de combinación, que los procedimentos Bootstrap y Arc-x4. Por otro lado, tanto el Bootstrap como el Arc-x4 tiene la importante ventaja de permitir la formación de un número cresciente de miembros, lo que generalmente mejora el desempeño global en relación al RDP.

[pt] Nesta dissertação é desenvolvido um modelo para previsão de curto prazo da demanda mensal de gasolina automotiva no Brasil. A metodologia usada consiste em, a partir de uma análise exploratória dos dados, procurar construir um modelo usando uma estratégia bottom-up, ou seja, parte-se de um modelo simples e processa-se seu refinamento até encontrar um modelo apropriado que mais se adequa à realidade. Partiu-se então de um modelo autoprojetivo indo até uma formulação de Redes Neurais passando por um modelo de regressão dinâmica. Os modelos são então comparados segundo alguns critérios, basicamente no que tange à sua eficiência preditiva. Conclui-se ao final sobre a eficiência de se conjugar modelos estatísticos clássicos (como Box & Jenkins e Regressão Dinâmica) com as chamadas Redes Neurais que, por sua vez, propiciaram resultados muito bons em relação à otimização das previsões. Isto é altamente desejável na modelagem de séries temporais e, em particular, neste trabalho, na previsão de curto prazo de gasolina automotiva. / [en] In this dissertation a short term model to forecast automotive gasoline demand in Brazil is proposed. From the methodology point of view, data is analyzed and a model using a bottom-up strategy is developed. In other words, a simple model is improved step by step until a proper model that sits well the reality is found. Departuring from a univariate model it ends up in a neural network formulation, passing through dynamic regression models. The models obtained in this scheme are compared according to some criterion, mainly forecast accuracy. We conclude, that the efficiency of putting together classical statistics models (such as Box & Jenkins and dynamic regression) and neural networks improve the forecasting results. This results is highly desirable in modeling time series and, particularly, to the short term forecast of automotive gasoline, object of this dissertation.

[pt] Esta dissertação apresenta uma nova proposta de sistemas (modelos) neuro-fuzzy que possuem, além do tradicional aprendizado dos parâmetros, comuns às redes neurais e aos sistemas nero-fuzzy, as seguintes características: aprendizado de estrutura, a partir do uso de particionamentos recursisvos; número maior de entradas que o comumente encontrado nos sistemas neuro-fuzzy; e regras com hierarquia. A definição da estrutura é uma necessidade que surge quando da implementação de um determinado modelo. Pode-se citar o caso das redes neurais, em que se deve determinar (ou arbitrar) a priori sua estrutura (número de camadas e quantidade de neurônios por camadas) antes de qualquer teste. Um método automático de aprendizado da estrutura é, portanto, uma característica importante em qualquer modelo. Um sistema que também permita o uso de um número maior de entradas é interessante para se abranger um maior número de aplicações. As regras com hierarquia são um subproduto do método de aprendizado de estrutura desenvolvido nestes novos modelos. O trabalho envolveu três partes principais: um levantamento sobre os sistemas neuro-fuzzy existentes e sobre os métodos mais comuns de ajuste de parâmetros; a definição e implementação de dois modelos neuro-fuzzy hierárquicos; e o estudo de casos. No estudo sobre os sistemas neuro-fuzzy(SNF) fez-se um levantamento na bibliografia da área sobre as características principais desses sistemas, incluindo suas virtudes e deficiências. Este estudo gerou a proposta de uma taxonomia para os SNF, em função das características fuzzy neurais. Em virtude deste estudo constataram-se limitações quanto à capacidade de criação de sua própria estrutura e quanto ao número reduzido de entradas possíveis. No que se refere aos métodos de ajuste dos parâmetros abordou-se os métodos mais comuns utilizados nos SNF, a saber: o método dos mínimos quadrados com sua solução através de métodos numéricos iterativos; e o método gradient descent e seus derivados como o BackPropagation e o RProp(Resilient BackPropagation). A definição dos dois novos modelos neuro-fuzzy foi feita a partir do estudo das características desejáveis e das limitações dos SNF até então desenvolvidos. Observou-se que a base de regras dos SNF juntamente com os seus formatos de particionamento dos espaços de entrada e saída têm grande influência sobre o desempenho e as limitações destes modelos. Assim sendo, decidiu-se utilizar uma nova forma de particionamento que eliminasse ou reduzisse as limitações existentes- os particionamentos recursivos. Optou-se pelo uso dos particionamentos Quadtree e BSP, gerando os dois modelos NFHQ (Neuro-Fuzzy Hierárquico Quadree) e NFHB (Neiro-Fuzzy Hierárquico BSP). Com o uso de particionamentos obteve-se um nova classe de SNF que permitiu além do aprendizado dos parâmetros, também o aprendizado dos parâmetros. Isto representa um grande diferencial em relação aos SNF tradicionais, além do fato de se conseguir extender o limite do número de entradas possíveis para estes sistemas. No estudo de casos, os dois modelos neurofuzzy hierárquicos foram testados 16 casos diferentes, entre as aplicações benchmarks mais tradicionais da área e problemas com maior número de entradas. Entre os casos estudados estão: o conjunto de dados IRIS; o problema das duas espirais; a previsão da série caótica de Mackey- Glass; alguns sistemas de diagnóstico e classificação gerados a partir de conjuntos de dados comumente utilizados em artigos de machine learning e uma aplicação de previsão de carga elétrica. A implementação dos dois novos modelos neuro-fuzzy foi efetuada em linguagem pascal e com o uso de um compilador de 32 bits para micros da linha PC (Pentium) com sistema operacional DOS 32 bits, Windows, ou Linux. Os testes efetuados demostraram que: esses novos modelos se ajustam bem a qualquer conjunto de dados; geram sua própria estrutura; ajustam seus parâmetros com boa generalização e extraem / [en] This dissertation presents a new proposal of neurofuzzy systems (models), which present, in addition to the learning capacity (which are common to the neural networks and neurofuzzy systems) the following features: learning of the structure; the use of recursive partitioning; a greater number of inputs than usually allowed in neurofuzzy systems; and hierarchical rules. The structure´s definition is needed when implementing a certain model. In the neural network case, for example, one must, first of all, estabilish its structure (number of layers and number of neurons per layers) before any test is performed. So, an important feature for any model is the existence of an automatic learning method for creating its structure. A system that allows a larger number of inputs is also important, in order to extend the range of possible applications. The hierarchical rules feature results from the structure learning method developed for these two models. The work has involved three main parts: study of the existing neurofuzzy systems and of the most commom methods to adjust its parameters; definition and implementation of two hierarchical neurofuzzy models; and case studies. The study of neurofuzzy systems (NFS) was accomplished by creating a survey on this area, including advantages, drawbacks and the main features of NFS. A taxonomy about NFS was then proposed, taking into account the neural and fuzzy features of the existing systems. This study pointed out the limitations of neurofuzzy systems, mainly their poor capability of creating its own structure and the reduced number of allowed inputs. The study of the methods for parameter adjustment has focused on the following algorithms: Least Square estimator (LSE) and its solutions by numerical iterative methods; and the basic gradient descent method and its offsprings such as Backpropagation and Rprop (Resilient Backpropagation). The definition of two new neurofuzzy models was accomplished by considering desirable features and limitations of the existing NFS. It was observed that the partitioning formats and rule basis of the NFS have great influence on its performance and limitations. Thus, the decision to use a new partitioning method to remove or reduce the existing limitations - the recursive partitioning. The Quadtree and BSP partitioning were then adopted, generating the so called Quadree Hierarchical Neurofuzzy model (NFHQ) and the BSP hierarchical Neurofuzzy model (NFHB). By using these kind os partitioning a new class of NFS was obtained allowing the learning of the structure in addition to parameter learning. This Feature represents a great differential in relation to the traditional NFS, besides overcoming the limitation in the number of allowed inputs. In the case studies, the two neurofuzzy models were tested in 16 differents cases, such as traditional benchmarks and problems with a greater number of inputs. Among the cases studied are: the IRIS DATA set; the two spirals problem; the forecasting of Mackey-Glass chaotic time series; some diagnosis and classifications problems, found in papers about machine learning; and a real application involving load forecasting. The implementation of the two new neurofuzzy models was carried out using a 32 bit Pascal compiler for PC microcomputers using DOS or Linux operating system. The tests have shown that: these new models are able to adjust well any data sets; they create its own struture; they adjust its parameters, presenting a good generalization performance; and automatically extract the fuzzy rules. Beyond that, applications with a greater number of inputs for these neurofuzzy models. In short two neurofuzzy models were developed with the capability of structure learning, in addition to parameter learning. Moreover, these new models have good interpretability through hierarchical fuzzy rules. They are not black coxes as the neural networks.

[pt] Este trabalho consiste de quatro artigos e esta dividida em duas partes distintas. A primeira esta relacionado a modelos de estrutura a termo estimados para países cujos títulos soberanos sao considerados sujeitos a default. A segunda parte é sobre crescimento e convergencia. No primeiro artigo da primeira parte, usamos um modelo de estrutura a termo afim sem arbitragem e escolhemos tres países da zona euro para esta analise: Espanha, Grécia e Itália. Notamos que a dívida do proprio país tem desempenhado um papel importante na ampliac¸ao recente dos spreads, sobretudo para a Grecia e Itália. Para a Espanha, o recente aumento dos spreads está sendo impulsionado principalmente pelas variaveis relacionadas com a Alemanha (entre as quais a dívida alemã e a mais importante entre eles), e estresse do mercado (representada por um índice alto rendimento). No segundo artigo da primeira parte, usamos um modelo de sem arbitragem para investigar os determinantes da estrutura a termo dos spreads soberanos brasileiros e as expectativas da taxa de cambio no Brasil. Nossos exercícios indicam que fatores ligados a economia brasileira tiveram uma contribuic¸ao positiva para os spreads 1999-2006 e, na maior parte deste período, os fatores ligados a economia dos EUA tiveram uma contribuição negativa. Desde o final de 2007, esse cenario inverteu. Além disso, apresentam-se evidências de que a melhoria na nossa indicador de solvência externa, juntamente com a melhoria no cenario de inflação, e o principal responsável pela redução de spreads a partir do meio de 2007. O primeiro artigo da segunda parte propoe uma abordagem semi-parametrica para controlar a heterogeneidade não observada em modelos de regressao linear. Utilizamos estimadores extremos de redes neuras e o modelo e ilustrado em uma aplicação para a convergência de renda per capita entre os municípios brasileiros. Finalmente, no segundo artigo da segunda parte, vamos explorar os desenvolvimentos recentes sobre a convergencia para a produtividade industrial. Encontramos que o crescimento da produtividade esta negativamente relacionado com a produtividade inicial, mas que países com instituições piores têm um nível de equilíbrio de produtividade mais baixo. A taxa de crescimento da produtividade tambem tem uma relação não monotonica com a abertura comercial e educação, sendo mais rápida nos extremos. / [en] This work consists of four chapters and is divided into two distinct parts. The first is related to models of the term structure estimated for countries whose sovereign bonds are considered defaultable. The second part is about growth and convergence. In the first article of the first part, we used a no- arbitrage term structure model and chose three eurozone countries for this analysis: Spain, Greece and Italy. We noted that the country s debt has played an important role in the recent expansion of spreads, especially for Greece and Italy. For Spain, the recent increase in spreads has been driven primarily by variables related to Germany (Germany s debt is the most important among them), and market stress (represented by a highyield index). In the second article of the first part, we use a no-arbitrage model to investigate the determinants of the term structure of sovereign spreads and the expectations of the exchange rate in Brazil. Our exercises suggest that factors related to the Brazilian economy had a positive contribution to the 1999-2006 spreads and, in most of the period, factors related to the U.S. economy had a negative contribution. Since late 2007, this scenario has inverted. Furthermore, we present evidence that the improvement in our external solvency indicator along with the improved inflation scenario are the main responsible for the reduction of spreads from the middle of 2007 on. The first article of the second part proposes a semi-parametric approach to control unobserved heterogeneity in linear regression models. We use extreme neurotic networks estimators and the model is illustrated in an application to the convergence of per capita income across Brazilian municipalities. Finally, in the second article of the second part, we explore recent developments on industrial productivity convergence. We find that productivity growth is negatively related to initial productivity, but that countries with worse institutions have lower level of productivity in equilibrium. The rate of productivity growth also has a nonmonotonic relationship with trade openness and education, being faster at the extremes.

[pt] Apesar dos recentes avanços tecnológicos e do surgimento de computadores extremamente rápidos, a simulação numérica direta de escoamentos turbulentos ainda é proibitivamente cara para a maioria das aplicações de engenharia e até mesmo para algumas aplicações de pesquisa. As simulações utilizadas são, no geral, baseadas em grandezas médias e altamente dependentes de modelos de turbulência. Apesar de amplamente utilizados, tais modelos não conseguem prever adequadamente o escoamento médio em muitas aplicações, como o escoamento em um duto quadrado. Com o reflorescimento do Aprendizado de Máquina nos últimos anos, muita atenção está sendo dada ao uso de tais técnicas para substituir os modelos tradicionais de turbulência. Este trabalho estudou o uso de Redes Neurais como alternativa para aprimorar a simulação de escoamentos turbulentos. Para isso, a técnica PIV-Estereoscópico foi aplicada ao escoamento em um duto quadrado para obter dados experimentais de estatísticas do escoamento e campos médios de velocidade de 10 casos com diferentes números de Reynolds. Um total de 10 metodologias foram avaliadas para entender quais grandezas devem ser previstas por um algoritmo de aprendizado de máquina para obter simulações aprimoradas. A partir das metodologias selecionadas, excelentes resultados foram obtidos com uma Rede Neural treinada a partir dos dados experimentais para prever o termo perpendicular do Tensor de Reynolds e a viscosidade turbulenta. As simulações turbulentas auxiliadas pela Rede Neural retornaram campos de velocidade com menos de 4 por cento de erro, em comparação os dados medidos. / [en] Although the technological advances that led to the development of fast computers, the direct numerical simulation of turbulent flows is still prohibitively expensive to most engineering and even some research applications. The CFD simulations used worldwide are, therefore, based on averaged quantities and heavily dependent on mathematical turbulence models. Despite widely used, such models fail to proper predict the averaged flow in many practical situations, such as the simple flow in a square duct. With the re-blossoming of machine learning methods in the past years, much attention is being given to the use of such techniques as a replacement to the traditional turbulence models. The present work evaluated the use of Neural Networks as an alternative to enhance the simulation of turbulent flows. To this end, the Stereoscopic-PIV technique was used to obtain well-converged flow statistics and velocity fields for the flow in a square duct for 10 values of Reynolds number. A total of 10 methodologies were evaluated in a data-driven approach to understand what quantities should be predicted by a Machine Learning technique that would result in enhanced simulations. From the selected methodologies, accurate results could be obtained with a Neural Network trained from the experimental data to predict the nonlinear part of the Reynolds Stress Tensor and the turbulent eddy viscosity. The turbulent simulations assisted by the Neural Network returned velocity fields with less than 4 percent in error, in comparison with those previously measured.