MATTOS, C. L. C. Recurrent gaussian processes and robust dynamical modeling. 2017. 189 f. Tese (Doutorado em Engenharia de Teleinformática)–Centro de Tecnologia, Universidade Federal do Ceará, Fortaleza, 2017. / Submitted by Renato Vasconcelos (ppgeti@ufc.br) on 2017-09-09T02:26:38Z No. of bitstreams: 1 2017_tes_clcmattos.pdf: 5961013 bytes, checksum: fc44d8b852e28fa0e1ebe0c87389c0da (MD5) / Rejected by Marlene Sousa (mmarlene@ufc.br), reason: Prezado César; Prezado Pedro: Existe uma orientação para que normalizemos as dissertações e teses da UFC, em suas paginas pré-textuais e lista de referencias, pelas regras da ABNT. Por esse motivo, sugerimos consultar o modelo de template, para ajudá-lo nesta tarefa, disponível em: http://www.biblioteca.ufc.br/educacao-de-usuarios/templates/ Vamos agora as correções sempre de acordo com o template: 1. A partir da folha de aprovação as informações devem ser em língua inglesa. 2. A dedicatória deve ter a distancia até o final da folha observado. Veja no guia www.bibliotecas.ufc.br 3. A epígrafe deve ter a distancia até o final da folha observado. Veja no guia www.bibliotecas.ufc.br 4. As palavras List of Figures, LIST OF ALGORITHMS, List of Tables, Não devem ter caixa delimitando e nem ser na cor vermelha. 5. O sumário Não deve ter caixa delimitando e nem ser na cor vermelha. Nas seções terciárias, os dígitos também ficam em itálico. Os Apêndices e seus títulos, devem ficar na mesma margem da Palavra Referencias e devem iniciar com APENDICE A - Seguido do titulo. Após essas correções, enviaremos o nada consta por e-mail. Att. Marlene Rocha mmarlene@ufc.br on 2017-09-11T13:44:25Z (GMT) / Submitted by Renato Vasconcelos (ppgeti@ufc.br) on 2017-09-11T20:04:00Z No. of bitstreams: 1 2017_tes_clcmattos.pdf: 6102703 bytes, checksum: 34d9e125c70f66ca9c095e1bc6bfb7e7 (MD5) / Rejected by Marlene Sousa (mmarlene@ufc.br), reason: Lincoln, Falta apenas vc colocar no texto em português a palavra RESUMO (nesse caso não é traduzido pois se refere ao resumo em língua portuguesa) pois vc colocou ABSTRACT duas vezes para o texto em português e inglês. on 2017-09-12T11:06:29Z (GMT) / Submitted by Renato Vasconcelos (ppgeti@ufc.br) on 2017-09-12T14:05:11Z No. of bitstreams: 1 2017_tes_clcmattos.pdf: 6102699 bytes, checksum: 0a85b8841d77f0685b1153ee8ede0d85 (MD5) / Approved for entry into archive by Marlene Sousa (mmarlene@ufc.br) on 2017-09-12T16:29:17Z (GMT) No. of bitstreams: 1 2017_tes_clcmattos.pdf: 6102699 bytes, checksum: 0a85b8841d77f0685b1153ee8ede0d85 (MD5) / Made available in DSpace on 2017-09-12T16:29:18Z (GMT). No. of bitstreams: 1 2017_tes_clcmattos.pdf: 6102699 bytes, checksum: 0a85b8841d77f0685b1153ee8ede0d85 (MD5) Previous issue date: 2017-08-25 / The study of dynamical systems is widespread across several areas of knowledge. Sequential data is generated constantly by different phenomena, most of them we cannot explain by equations derived from known physical laws and structures. In such context, this thesis aims to tackle the task of nonlinear system identification, which builds models directly from sequential measurements. More specifically, we approach challenging scenarios, such as learning temporal relations from noisy data, data containing discrepant values (outliers) and large datasets. In the interface between statistics, computer science, data analysis and engineering lies the machine learning community, which brings powerful tools to find patterns from data and make predictions. In that sense, we follow methods based on Gaussian Processes (GP), a principled, practical, probabilistic approach to learning in kernel machines. We aim to exploit recent advances in general GP modeling to bring new contributions to the dynamical modeling exercise. Thus, we propose the novel family of Recurrent Gaussian Processes (RGPs) models and extend their concept to handle outlier-robust requirements and scalable stochastic learning. The hierarchical latent (non-observed) structure of those models impose intractabilities in the form of non-analytical expressions, which are handled with the derivation of new variational algorithms to perform approximate deterministic inference as an optimization problem. The presented solutions enable uncertainty propagation on both training and testing, with focus on free simulation. We comprehensively evaluate the proposed methods with both artificial and real system identification benchmarks, as well as other related dynamical settings. The obtained results indicate that the proposed approaches are competitive when compared to the state of the art in the aforementioned complicated setups and that GP-based dynamical modeling is a promising area of research. / O estudo dos sistemas dinâmicos encontra-se disseminado em várias áreas do conhecimento. Dados sequenciais são gerados constantemente por diversos fenômenos, a maioria deles não passíveis de serem explicados por equações derivadas de leis físicas e estruturas conhecidas. Nesse contexto, esta tese tem como objetivo abordar a tarefa de identificação de sistemas não lineares, por meio da qual são obtidos modelos diretamente a partir de observações sequenciais. Mais especificamente, nós abordamos cenários desafiadores, tais como o aprendizado de relações temporais a partir de dados ruidosos, dados contendo valores discrepantes (outliers) e grandes conjuntos de dados. Na interface entre estatísticas, ciência da computação, análise de dados e engenharia encontra-se a comunidade de aprendizagem de máquina, que fornece ferramentas poderosas para encontrar padrões a partir de dados e fazer previsões. Nesse sentido, seguimos métodos baseados em Processos Gaussianos (PGs), uma abordagem probabilística prática para a aprendizagem de máquinas de kernel. A partir de avanços recentes em modelagem geral baseada em PGs, introduzimos novas contribuições para o exercício de modelagem dinâmica. Desse modo, propomos a nova família de modelos de Processos Gaussianos Recorrentes (RGPs, da sigla em inglês) e estendemos seu conceito para lidar com requisitos de robustez a outliers e aprendizagem estocástica escalável. A estrutura hierárquica e latente (não-observada) desses modelos impõe expressões não- analíticas, que são resolvidas com a derivação de novos algoritmos variacionais para realizar inferência determinista aproximada como um problema de otimização. As soluções apresentadas permitem a propagação da incerteza tanto no treinamento quanto no teste, com foco em realizar simulação livre. Nós avaliamos em detalhe os métodos propostos com benchmarks artificiais e reais da área de identificação de sistemas, assim como outras tarefas envolvendo dados dinâmicos. Os resultados obtidos indicam que nossas propostas são competitivas quando comparadas ao estado da arte, mesmo nos cenários que apresentam as complicações supracitadas, e que a modelagem dinâmica baseada em PGs é uma área de pesquisa promissora.