[pt] O Processamento de Linguagem natural é uma área de pesquisa que explora como computadores podem entender e manipular textos em linguagem natural. Dentre as tarefas mais conhecidas em PLN está a de rotular sequências de texto. O problema de segmentação de texto em sintagmas é um dos problemas que pode ser abordado como rotulagem de sequências. Para isto, classificamos quais palavras pertencem a um sintagma, onde cada sintagma representa um grupo disjunto de palavras sintaticamente correlacionadas. Este tipo de segmentação possui importantes aplicações em tarefas mais complexas de processamento de linguagem natural, como análise de dependências, tradução automática, anotação de papéis semânticos, identificação de orações e outras. O objetivo deste trabalho é apresentar uma arquitetura de rede neural profunda para o problema de segmentação textual em sintagmas para a língua portuguesa. O corpus usado nos experimentos é o Bosque, do projeto Floresta Sintá(c)tica. Baseado em trabalhos recentes na área, nossa abordagem supera o estado-da-arte para o português ao alcançar um F(beta)=1 de 90,51, que corresponde a um aumento de 2,56 em comparação com o trabalho anterior. Além disso, como forma de comprovar a qualidade do segmentador, usamos os rótulos obtidos pelo nosso sistema como um dos atributos de entrada para a tarefa de análise de dependências. Esses atributos melhoraram a acurácia do analisador em 0,87. / [en] Natural Language Processing is a research field that explores how computers can understand and manipulate natural language texts. Sequence tagging is amongst the most well-known tasks in NLP. Text Chunking is one of the problems that can be approached as a sequence tagging problem. Thus, we classify which words belong to a chunk, where each chunk represents a disjoint group of syntactically correlated words. This type of chunking has important applications in more complex tasks of natural language processing, such as dependency parsing, machine translation, semantic role labeling, clause identification and much more. The goal of this work is to present a deep neural network archtecture for the Portuguese text chunking problem. The corpus used in the experiments is the Bosque, from the Floresta Sintá(c)tica project. Based on recent work in the field, our approach surpass the state-of-the-art for Portuguese by achieving a F(beta)=1 of 90.51, which corresponds to an increase of 2.56 in comparison with the previous work. In addition, in order to attest the chunker effectiveness we use the tags obtained by our system as feature for the depedency parsing task. These features improved the accuracy of the parser by 0.87.

[pt] Propagação de conhecimento é um dos pilares da evolução humana. Nossas descobertas são baseadas em conhecimentos já existentes, construídas em cima deles e então se tornam a fundação para a próxima geração de aprendizado. No ramo de Inteligência Artificial, existe o interesse em replicar esse aspecto da natureza humana em máquinas. Criando um primeiro modelo e treinando ele nos dados originais, outro modelo pode ser criado e aprender a partir dele ao invés de ter que começar todo o processo do zero. Se for comprovado que esse método é confiável, ele vai permitir várias mudanças na forma que nós abordamos machine learning, em que cada inteligência não será um microcosmo independente. Essa relação entre modelos é batizada de relação Professor-Aluno. Esse trabalho descreve o desenvolvimento de dois modelos distintos e suas capacidades de aprender usando a informação dada em um ao outro. Os experimentos apresentados aqui mostram os resultados desse treino e as diferentes metodologias usadas em busca do cenário ótimo em que esse processo de aprendizado é viável para replicação futura. / [en] Propagation of knowledge is one of the pillars of human evolution. Our discoveries are all based on preexisting knowledge, built upon them and then become the foundation for the next generation of learning. In the field of artificial intelligence, there s an interest in replicating this aspect of human nature on machines. By creating a first model and training it on the original data, another model can be created and learn from it instead of having to learn everything from scratch. If this method is proven to be reliable, it will allow many changes in the way that we approach machine learning, specially allowing different models to work together. This relation between models is nicknamed the Teacher-Student relation. This work describes the development of two separate models and their ability to learn using incomplete data and each other. The experiments presented here show the results of this training and the different methods used in the pursuit of an optimal scenario where such learning process is viable for future use.

[pt] Esta tese é composta de três artigos em que a ligação entre eles são modelos estatísticos com parametros variantes no tempo. Todos os artigos adotam um arcabouço que utiliza um mecanismo guiado pelos dados para a atualização dos parâmetros dos modelos. O primeiro explora a aplicação de uma nova classe de modelos de séries temporais não Gaussianas denominada modelos Generalized Autegressive Scores (GAS). Nessa classe de modelos, os parâmetros são atualizados utilizando o score da densidade preditiva. Motivamos o uso de modelos GAS simulando cenários conjuntos de fator de capacidade eólico. Nos últimos dois artigos, o gradiente descentente estocástico (SGD) é adotado para atualizar os parâmetros que variam no tempo. Tal metodologia utiliza a derivada de uma função custo especificada pelo usuário para guiar a otimização. A estrutura desenvolvida foi projetada para ser aplicada em um contexto de fluxo de dados contínuo, portanto, técnicas de filtragem adaptativa são exploradas para levar em consideração o concept-drift. Exploramos esse arcabouço com aplicações em segurança cibernética e infra-estrutura instrumentada. / [en] This thesis is composed of three papers in which the common ground among them is statistical models with time-varying parameters. All of them adopt a framework that uses a data-driven mechanism to update its coefficients. The first paper explores the application of a new class of non-Gaussian time series framework named Generalized Autoregressive Scores (GAS) models. In this class of models the parameters are updated using the score of the predictive density. We motivate the use of GAS models by simulating joint scenarios of wind power generation. In the last two papers, Stochastic Gradient Descent (SGD) is adopted to update time-varying parameters. This methodology uses the derivative of a user specified cost function to drive the optimization. The developed framework is designed to be applied in a streaming data context, therefore adaptive filtering techniques are explored to account for concept-drift.We explore this framework on cyber-security and instrumented infrastructure applications.

[pt] A otimização de binível é uma ferramenta extremamente poderosa para modelar problemas realistas em várias áreas. Por outro lado, sabe-se que a otimização de dois níveis frequentemente leva a problemas complexos ou intratáveis. Nesta tese, apresentamos três trabalhos que expandem o estado da arte da otimização de dois níveis e sua interseção com sistemas de potência. Primeiro, apresentamos BilevelJuMP, um novo pacote de código aberto para otimização de dois níveis na linguagem Julia. O pacote é uma extensão da linguagem de modelagem de programação matemática JuMP, é muito geral, completo e apresenta funcionalidades únicas, como a modelagem de programas cônicos no nível inferior. O software permite aos usuários modelar diversos problemas de dois níveis e resolvê-los com técnicas avançadas. Como consequência, torna a otimização de dois níveis amplamente acessível a um público muito mais amplo. Nos dois trabalhos seguintes, desenvolvemos métodos especializados para lidar com modelos complexos e programas de dois níveis de grande escala decorrentes de aplicações de sistemas de potência. Em segundo lugar, usamos a programação de dois níveis como base para desenvolver o Aprendizado Dirigido pela Aplicação, uma nova estrutura de ciclo fechado na qual os processos de previsão e tomada de decisão são mesclados e co-otimizados. Descrevemos o modelo matematicamente como um programa de dois níveis, provamos resultados de convergência e descrevemos métodos de solução heurísticos e exatos para lidar com sistemas de grande escala. O método é aplicado para previsão de demanda e alocação de reservas na operação de sistemas de potência. Estudos de caso mostram resultados muito promissores com soluções de boa qualidade em sistemas realistas com milhares de barras. Em terceiro lugar, propomos um simulador para modelar mercados de energia hidrotérmica de longo prazo baseados em ofertas. Um problema de otimização estocástica multi-estágio é formulado para acomodar a dinâmica inerente aos sistemas hidrelétricos. No entanto, os subproblemas de cada etapa são programas de dois níveis para modelar agentes estratégicos. O simulador é escalável em termos de dados do sistema, agentes, cenários e estágios considerados. Concluímos o terceiro trabalho com simulações em grande porte com dados realistas do sistema elétrico brasileiro com 3 agentes formadores de preço, 1000 cenários e 60 estágios mensais. Esses três trabalhos mostram que, embora a otimização de dois níveis seja uma classe extremamente desafiadora de problemas NP-difíceis, é possível desenvolver algoritmos eficazes que levam a soluções de boa qualidade. / [en] Bilevel Optimization is an extremely powerful tool for modeling realistic problems in multiple areas. On the other hand, Bilevel Optimization is known to frequently lead to complex or intractable problems. In this thesis, we present three works expanding the state of the art of bilevel optimization and its intersection with power systems. First, we present BilevelJuMP, a novel open-source package for bilevel optimization in the Julia language. The package is an extension of the JuMP mathematical programming modeling language, is very general, feature-complete, and presents unique functionality, such as the modeling of lower-level cone programs. The software enables users to model a variety of bilevel problems and solve them with advanced techniques. As a consequence, it makes bilevel optimization widely accessible to a much broader public. In the following two works, we develop specialized methods to handle much model complex and very large-scale bilevel programs arising from power systems applications. Second, we use bilevel programming as the foundation to develop Application-Driven Learning, a new closed-loop framework in which the processes of forecasting and decision-making are merged and co-optimized. We describe the model mathematically as a bilevel program, prove convergence results and describe exact and tailor-made heuristic solution methods to handle very large-scale systems. The method is applied to demand forecast and reserve allocation in power systems operation. Case studies show very promising results with good quality solutions on realistic systems with thousands of buses. Third, we propose a simulator to model long-term bid-based hydro-thermal power markets. A multi-stage stochastic program is formulated to accommodate the dynamics inherent to hydropower systems. However, the subproblems of each stage are bilevel programs in order to model strategic agents. The simulator is scalable in terms of system data, agents, scenarios, and stages being considered. We conclude the third work with large-scale simulations with realistic data from the Brazilian power system with 3 price maker agents, 1000 scenarios, and 60 monthly stages. These three works show that although bilevel optimization is an extremely challenging class of NP-hard problems, it is possible to develop effective algorithms that lead to good-quality solutions.

[pt] A Extração e Atribuição de Citações é a tarefa de identificar citações de um texto e associá-las a seus autores. Neste trabalho, apresentamos um sistema de Extração e Atribuição de Citações para a língua portuguesa. A tarefa de Extração e Atribuição de Citações foi abordada anteriormente utilizando diversas técnicas e para uma variedade de linguagens e datasets. Os modelos tradicionais para a tarefa consistem em extrair manualmente um rico conjunto de atributos e usá-los para alimentar um classificador raso. Neste trabalho, ao contrário da abordagem tradicional, evitamos usar atributos projetados à mão, usando técnicas de aprendizagem não supervisionadas e redes neurais profundas para automaticamente aprender atributos relevantes para resolver a tarefa. Ao evitar a criação manual de atributos, nosso modelo de aprendizagem de máquina tornou-se facilmente adaptável a outros domínios e linguagens. Nosso modelo foi treinado e avaliado no corpus GloboQuotes e sua métrica de desempenho F1 é igual a 89.43 por cento. / [en] Quotation Extraction and Attribution is the task of identifying quotations from a given text and associating them to their authors. In this work, we present a Quotation Extraction and Attribution system for the Portuguese language. The Quotation Extraction and Attribution task has been previously approached using various techniques and for a variety of languages and datasets. Traditional models to this task consist of extracting a rich set of hand-designed features and using them to feed a shallow classifier. In this work, unlike the traditional approach, we avoid using hand-designed features using unsupervised learning techniques and deep neural networks to automatically learn relevant features to solve the task. By avoiding design features by hand, our machine learning model became easily adaptable to other languages and domains. Our model is trained and evaluated at the GloboQuotes corpus, and its F1 performance metric is equal to 89.43 percent.

[pt] Vivemos em um mundo complexo, no qual incontáveis fatores aparentemente desconexos – tais como a lei de Moore que dita um aumento exponencial da capacidade de processamento em um chip de silício, a queda do custo de espaço de armazenamento e a adoção em massa de smartphones colaboram para a formação de uma sociedade progressivamente interdependente. Todos os dias são criados 2,5 quintilhões de bytes de dados, de fato 90 por cento dos dados no mundo foram criados nos últimos dois anos. Domar os padrões salientes aos dados separando informação do caos torna-se uma necessidade iminente para a tomada de decisão dos indivíduos e para sobrevivência de organizações. Nesse cenário a melhor resposta dos pesquisadores de Processamento de Linguagem Natural encontra-se na tarefa de Anotação de Papéis Semânticos. APS é a tarefa que tem o audacioso objetivo de compreender eventos, buscando determinar Quem fez o que e aonde, Quais foram os beneficiados? ou Qual o meio utilizado para atingir os fins. APS serve como tarefa intermediária para várias aplicações de alto nível e.g information extraction, question and answering e agentes conversacionais. Tradicionalmente, resultados satisfatórios eram obtidos apenas com alta dependência de conhecimento específico de domínio. Para o português, através desta abordagem, o sistema estado da arte da tarefa para é de 79,6 por cento de pontuação F1. Sistemas mais recentes dependem de uma série de subtarefas, obtém 58 por cento de pontuação F1. Nessa dissertação, exploramos um novo paradigma utilizando redes neurais recorrentes, para o idioma do português do Brasil, e sem subtarefas intermediárias obtendo uma pontuação de 66,23. / [en] We live in a complex world in which a myriad of seemingly unrelated factors – such as Moore s law which states that the processing capacity on a silicon wafer should increase exponentially, the fall of storage costs and mass adoption of smart-phones contribute to the formation of an increasingly inter-dependent society: 2.5 quintillion bytes of data are generated every day, in fact ninety percent of the world s data were created in the last few years. Harnessing the emerging patterns within the data, effectively separating information from chaos is crucial for both individual decision making as well as for the survival of organizations. In this scenario the best answer from Natural Language Processing researchers is the task of Semantic Role Labeling. SRL is the task the concerns itself with the audacious goal of event understanding, which means determining Who did what to whom, Who was the beneficiary? or What were the means to achieve some goal. APS is also an intermediary task to high level applications such as information extraction, question and answering and chatbots. Traditionally, satisfactory results were obtained only by the introduction of highly specific domain knowledge. For Portuguese, this approach is able to yields a F1 score of 79.6 percent. Recent systems, rely on a pipeline of sub-tasks, yielding a F1 score of 58 percent. In this dissertation, we adopt a new paradigm using recurrent neural networks for the Brazilian Portuguese, that does not rely on a pipeline, our system obtains a score of 66.23 percent.

[pt] Part-of-speech (POS) tagging é o processo de categorizar cada palavra de uma sentença com sua devida classe morfossintática (verbo, substantivo, adjetivo e etc). POS tagging é considerada uma atividade fundamental no processo de construção de aplicações de processamento de linguagem natural (PLN), muitas dessas aplicações, em algum ponto, demandam esse tipo de informação. Nesse trabalho, construímos um POS tagger para o Português Contemporâneo e o Português Histórico, baseado em uma arquitetura de rede neural recorrente. Tradicionalmente a construção dessas ferramentas requer muitas features específicas do domínio da linguagem e dados externos ao conjunto de treino, mas nosso POS tagger não usa esses requisitos. Treinamos uma rede Bidirectional Long short-term memory (BLSTM), que se beneficia das representações de word embeddings e character embeddings das palavras, para atividade de classificação morfossintática. Testamos nosso POS tagger em três corpora diferentes: a versão original do corpus MacMorpho, a versão revisada do corpus Mac-Morpho e no corpus Tycho Brahe. Nós obtemos um desempenho ligeiramente melhor que os sistemas estado da arte nos três corpora: 97.83 por cento de acurácia para o Mac-Morpho original, 97.65 por cento de acurácia para o Mac-Morpho revisado e 97.35 por cento de acurácia para Tycho Brahe. Conseguimos, também, uma melhora nos três corpora para a medida de acurácia fora do vocabulário, uma acurácia especial calculada somente sobre as palavras desconhecidas do conjunto de treino. Realizamos ainda um estudo comparativo para verificar qual dentre os mais populares algoritmos de criação de word embedding (Word2Vec, FastText, Wang2Vec e Glove), é mais adequado para a atividade POS tagging em Português. O modelo de Wang2Vec mostrou um desempenho superior. / [en] Part-of-speech (POS) tagging is a process of labeling each word in a sentence with a morphosyntactic class (verb, noun, adjective and etc). POS tagging is a fundamental part of the linguistic pipeline, most natural language processing (NLP) applications demand, at some step, part-of-speech information. In this work, we constructed a POS tagger for Contemporary Portuguese and Historical Portuguese, using a recurrent neural network architecture. Traditionally the development of these tools requires many handcraft features and external data, our POS tagger does not use these elements. We trained a Bidirectional Long short-term memory (BLSTM) network that benefits from the word embeddings and character embeddings representations of the words, for morphosyntactic classification. We tested our POS tagger on three different corpora: the original version of the Mac-Morpho corpus, the revised version of the Mac-Morpho corpus, and the Tycho Brahe corpus. We produce state-of-the-art POS taggers for the three corpora: 97.83 percent accuracy on the original Mac-Morpho corpus, 97.65 percent accuracy on the revised Mac-Morpho and 97.35 percent accuracy on the Tycho Brahe corpus. We also achieved an improvement in the three corpora in out-of-vocabulary accuracy, that is the accuracy on words not seen in training sentences. We also performed a comparative study to test which different types of word embeddings (Word2Vec, FastText, Wang2Vec, and Glove) is more suitable for Portuguese POS tagging. The Wang2Vec model showed higher performance.

[pt] A ciência de dados precisa de uma grande quantidade de dados para testar e melhorar soluções. Jogos são largamente usados para abstrair situações da vida real. Rodadas de pôquer são um bom exemplo pois, por não saber as cartas dos oponentes, o jogador analisa um cenário de informação incompleta numa competição de agentes que envolve conhecimento probabilístico, análise de risco e brefe. Isso o diferencia de xadrez, damas e jogos de conhecimento perfeito e algoritmos de busca em forca bruta sobre o espaço de soluções. Usar o pôquer como um caso de teste possibilita a análise de diferentes abordagens usadas na vida real, porém num cenário mais controlado. Esta dissertação propõe um arcabouço de funcionalidades para criar e testar diferentes algorítimos de Deep Learning, que podem jogar pôquer entre sí, aprender com o histórico e maximizar suas recompensas. / [en] Data science research needs real examples to test and improve solutions. Games are widely used to mimic those real-world examples. Poker rounds are a good example of imperfect information state with competing agents dealing with probabilistic knowledge, risk assessment, and possible deception, unlike chess, checkers and perfect information brute-force search style of games. By using poker as a test-bed we can analyze different approaches used in real-world examples, in a more controlled environment, which should give great insights on how to tackle those real-world scenarios. We propose a framework to build and test different neural networks that can play against each other, learn from a supervised experience and maximize its rewards.

[pt] Modelos baseados em redes neurais profundas como as Redes Neurais Convolucionais proporcionaram avanços significativos em diversas áreas da computação. No entanto, essa tecnologia é ainda pouco aplicada à predição de qualidade sísmica, que é uma atividade relevante para exploração de hidrocarbonetos. Ser capaz de, rapidamente, classificar o ruído presente em aquisições de dados sísmicos permite aceitar ou rejeitar essas aquisições de forma eficiente, o que além de economizar recursos também melhora a interpretabilidade dos dados. Neste trabalho apresenta-se um dataset criado a partir de 6.918 aquisições manualmente classificadas pela percepção de especialistas e pesquisadores, que serviu de base para o treinamento, validação e testes de um classificador, também proposto neste trabalho, baseado em uma rede neural convolucional. Em resultados empíricos, observou-se-se um F1 Score de 95,58 porcento em uma validação cruzada de 10 folds e 93,56 porcento em um conjunto de holdout de teste. / [en] Deep Learning based models, such as Convolutional Neural Networks (CNNs), have led to significant advances in several areas of computing applications. Nevertheless, this technology is still rarely applied to seismic quality prediction, which is a relevant task in hydrocarbon exploration. Being able to promptly classify noise in common shot gather(CSG) acquisitions of seismic data allows the acceptance or rejection of those aquisitions, not only saving resources but also increasing the interpretability of data. In this work, we introduce a real-world classification dataset based on 6.918 common shot gather, manually labeled by perception of specialists and researches. We use it to train a CNN classification model for seismic shot-gathers quality prediction. In our empirical evaluation, we observed an F1 Score of 95,58 percent in 10 fold cross-validation and 93,56 percent in a Holdout Test.

[pt] Em aproximadamente um terço dos pacientes com epilepsia, a cirurgia é única forma de intervenção para diminuição dos impactos ou término das crises. Em pacientes sem um foco lesional na imagem por ressonância magnética, essa intervenção depende de outros métodos investigativos, que nem sempre estão prontamente disponíveis. Nesses casos, métodos avançados de pós-processamento e de sequências de imagens podem ajudar a detectar lesões. O objetivo dessa revisão sistemática foi resumir a disponibilidade e taxas de sucesso dessas técnicas. De acordo com as diretrizes PRISMA, usando as bases de dados PubMED, Web of Science, PsycNET e CENTRAL, uma busca por artigos foi conduzida até o dia 12 de janeiro de 2021. No total, a busca retornou 4.024 artigos, com 49 permanecendo após a revisão. Vinte e cinco artigos usaram alguma forma de voxel-based morphometry, 14 usaram machine learning e 10 usaram técnicas avançadas de MRI. Apenas um artigo descreveu um estudo prospectivo. A taxa de detecção de lesões variou bastante entre estudos, com técnicas de machine learning demonstrando taxas mais consistentes, todas acima de 50 por cento em grupos de pacientes com imagem negativa. Isso pode ser útil em centros onde outros métodos investigativos, como PET, SPECT, MEG ou sEEG não estão prontamente acessíveis. / [en] In approximately one third of patients with epilepsy, surgery is the only form of intervention to diminish seizure burden or achieve seizure freedom. In patients without a lesional focus on MRI, surgical intervention depends on other investigative methods, not always readily accessible. Advanced MRI postprocessing and acquisition methods may help with lesion localization in those cases. The aim of this systematic review was to summarize the availability and success rate of such MRI techniques. In accordance with the PRISMA guidelines, using PubMED, Web of Science, PsycNET, and CENTRAL, a search for papers was performed until the 12th of January of 2021. In total, the search returned 4,024 papers, of which 49 remained after revision. Twenty-five used a form of voxelbased morphometry, 14 used machine learning techniques, and 10 used advanced MRI sequences not commonly part of the standard MRI-protocol. Only one paper described a prospective study. The lesion detection rate greatly varied between studies, with machine learning techniques showing a more consistent rate, all above 50 percent in MRI-negative groups. This could be particularly helpful in center where other investigative methods, including PET, SPECT, MEG and stereo EEG are not readily available.