[pt] A indução de atributos não lineares a partir de atributos básicos é um modo de obter modelos preditivos mais precisos para problemas de classificação. Entretanto, a indução pode causar o rápido crescimento do número de atributos, resultando usualmente em overfitting e em modelos com baixo poder de generalização. Para evitar esta consequência indesejada, técnicas de regularização são aplicadas, para criar um compromisso entre um reduzido conjunto de atributos representativo do domínio e a capacidade de generalização Neste trabalho, descrevemos uma abordagem de aprendizado de máquina supervisionado com indução e seleção incrementais de atributos. Esta abordagem integra árvores de decisão, support vector machines e seleção de atributos utilizando perceptrons esparsos em um framework de aprendizado que chamamos IFIS – Incremental Feature Induction and Selection. Usando o IFIS, somos capazes de criar modelos regularizados não lineares de alto desempenho utilizando um algoritmo com modelo linear. Avaliamos o nosso sistema em duas tarefas de processamento de linguagem natural em dois idiomas. Na primeira tarefa, anotação morfossintática, usamos dois corpora, o corpus WSJ em língua inglesa e o Mac-Morpho em Português. Em ambos, alcançamos resultados competitivos com o estado da arte reportado na literatura, alcançando as acurácias de 97,14 por cento e 97,13 por cento, respectivamente. Na segunda tarefa, análise de dependência, utilizamos o corpus da CoNLL 2006 Shared Task em português, ultrapassando os resultados reportados durante aquela competição e alcançando resultados competitivos com o estado da arte para esta tarefa, com a métrica UAS igual a 92,01 por cento. Com a regularização usando um perceptron esparso, geramos modelos SVM que são até 10 vezes menores, preservando sua acurácia. A redução dos modelos é obtida através da regularização dos domínios dos atributos, que atinge percentuais de até 99 por cento. Com a regularização dos modelos, alcançamos uma redução de até 82 por cento no tamanho físico dos modelos. O tempo de predição do modelo compacto é reduzido em até 84 por cento. A redução dos domínios e modelos permite também melhorar a engenharia de atributos, através da análise dos domínios compactos e da introdução incremental de novos atributos. / [en] Non linear feature induction from basic features is a method of generating predictive models with higher precision for classification problems. However, feature induction may rapidly lead to a huge number of features, causing overfitting and models with low predictive power. To prevent this side effect, regularization techniques are employed to obtain a trade-off between a reduced feature set representative of the domain and generalization power. In this work, we describe a supervised machine learning approach that incrementally inducts and selects feature conjunctions derived from base features. This approach integrates decision trees, support vector machines and feature selection using sparse perceptrons in a machine learning framework named IFIS – Incremental Feature Induction and Selection. Using IFIS, we generate regularized non-linear models with high performance using a linear algorithm. We evaluate our system in two natural language processing tasks in two different languages. For the first task, POS tagging, we use two corpora, WSJ corpus for English, and Mac-Morpho for Portuguese. Our results are competitive with the state-of-the-art performance in both, achieving accuracies of 97.14 per cent and 97.13 per cent, respectively. In the second task, Dependency Parsing, we use the CoNLL 2006 Shared Task Portuguese corpus, achieving better results than those reported during that competition and competitive with the state-of-the-art for this task, with UAS score of 92.01 per cent. Applying model regularization using a sparse perceptron, we obtain SVM models 10 times smaller, while maintaining their accuracies. We achieve model reduction by regularization of feature domains, which can reach 99 per cent. Using the regularized model we achieve model physical size shrinking of up to 82 per cent. The prediction time is cut by up to 84 per cent. Domains and models downsizing also allows enhancing feature engineering, through compact domain analysis and incremental inclusion of new features.

[pt] Este estudo aborda um tipo de conflito contemporâneo muito comum na cidade do Rio de Janeiro e no Brasil: as moradias informais. O problema será tratado a partir do conflito em torno das moradias informais no Jardim Botânico do Rio de Janeiro, objeto de estudo da dissertação. O caso envolve um conjunto complexo de atores: o Estado, moradores informais, proprietários e uma grande corporação do setor de comunicação. Com o estudo do problema das moradias informais no Jardim Botânico, observou-se a falta de cuidado do poder público em não permitir que invasões ocorram, depredando assim um bem público como o JBRJ e o Horto Florestal no que tange aos seus talhões e reservas ambientais. Mas o conflito guarda também uma peculiaridade: uma autorização do gestor da instituição para a construção de imóveis de seus funcionários. Como a pesquisa demonstra, o conflito em torno da moradia é construído em torno de duas lógicas distintas: ancestralidade e propriedade. Com o tempo e sem mais nenhum vínculo empregatício junto a instituição em questão, emergiram conflitos acerca da legitimidade para a cessão do direito real de uso do imóvel ou sobre quais benfeitorias poderiam ser indenizáveis, sobre quais os parâmetros desta indenização ou ainda sobre qual seria o local digno para reassentamento desta comunidade. Finalmente, o estudo permitiu compreender os limites do direito para a resolução desse tipo de conflito e a necessidade de um processo de mediação que reconheça a legitimidade das posições presentes no conflito e consiga produzir uma solução inclusiva e efetiva. / [en] This study addresses a type of contemporary conflict that is very common in the city of Rio de Janeiro and in Brazil: informal housing. The problem will be addressed from the conflict surrounding informal housing in the Botanical Garden of Rio de Janeiro, the object of study of the dissertation. The case involves a complex set of actors: the State, informal residents, property owners, and a large communication corporation. By studying the problem of informal housing in the Botanical Garden, it was possible to observe the lack of preoccupation by the public authorities in not allowing invasions to occur, thus depredating a public asset such as the Botanical Garden and the Horto Florestal in regards to its plots and environmental reserves. But the conflict also has a peculiarity: an authorization by the institution s manager for the construction of real estate for his employees. As the research shows, the conflict over housing is built around two distinct logics: ancestry and property. With time and without any further employment ties with the institution in question, conflicts have emerged over the legitimacy of the assignment of the right of use of the property, or over which improvements could be compensated, over the parameters of this compensation, or even over what would be a decent place for resettlement for this community. Finally, the study allowed us to understand the limits of the law in resolving this type of conflict and theneed for a mediation process that recognizes the legitimacy of the positions present in the conflict and manages to produce an inclusive and effective solution.

[pt] A população moradora das favelas cria estratégias para sua manutenção nesses locais. Longe de afirmar que a informalidade seria uma solução para todos os problemas da favela, a presente dissertação compreende esta prática como funcional. Contrapondo a isto, a Regularização Fundiária é entendida como a legalização das propriedades das áreas informais. Entretanto, o que se vê, na maioria das favelas cariocas que receberam estes projetos, é a entrega de um título fragilizado, que não garante a permanência da população, isto quando há efetivamente a entrega do título. O tema proposto por esta dissertação é a Regularização Fundiária em contraste com a informalidade urbana encontrada nas favelas cariocas. Analisamos a informalidade urbana como um ordenamento diferenciado no meio urbano, portanto, ela não deve ser encarada como um problema que pode ser solucionado pela Regularização Fundiária. Para compreender a inserção da Regularização Fundiária como Programa governamental nas favelas cariocas, destacamos três favelas como campo de pesquisa: Rocinha, Cantagalo e Acari (Vila Rica e Vila Esperança), todas com inserção governamental e desfechos distintos. Assim, para alcançar o objetivo central desta dissertação, buscamos o aprofundamento nos temas principais por meio da pesquisa bibliográfica, do levantamento documental sobre os programas de regularização fundiária e a realização de entrevistas com lideranças comunitárias, gestores dos programas locais de regularização fundiária e agentes governamentais. Buscamos aprofundar a temática da Regularização Fundiária e as suas variadas vertentes, observando os desafios enfrentados para garantir à população moradora das favelas o direito à cidade. / [en] The slum leaving population create strategies for their maintenance in these environments. Far from stating that informality would be a solution to all slum problems, the present dissertation understands it as a functional practice. Contrary to it, land regularization is understood as of the properties legalization from informal areas. However, what is seen in most slums in Rio de Janeiro that received these projects, is a fragile deed delivered that does not guarantee the population permanence, when, in fact, there is an actual delivery. The theme proposed by this dissertation is Land Regularization in contrast to the urban informality found in the Rio de Janeiro slums. It has been analyzed urban informality as a differentiated urban planning, therefore, it should not be seen as a problem that can be solved by land regularization. In order to understand the inclusion of land regularization as a government program in Rio de Janeiro slums, three slums were studied as field of research: Rocinha, Cantagalo and Acari (Vila Rica and Vila Esperança), all with governmental insertion and different outcomes. Thus, in order to reach the main objective, we seek to deepen the main themes through bibliographical research, documentary survey of land regularization programs and interviews with community leaders, managers of local land regularization programs and government agents. We aim to deepen the theme of land regularization and its various aspects, observing the challenges faced to guarantee the population living in the slums the right to the city.

[pt] A análise de agrupamento não supervisionado, o processo que consistem em agrupar conjuntos de pontos de acordo com um ou mais critérios de similaridade, tem desempenhado um papel essencial em vários campos. O dois algoritmos mais populares para esse processão são o k-means e o Gaussian Mixture Models (GMM). O primeiro atribui cada ponto a um único cluster e usa a distância Euclidiana como similaridade. O último determina uma matriz de probabilidade de pontos pertencentes a clusters, e usa distância de Mahalanobis como similaridade. Além da diferença no método de atribuição - a chamada atribuição hard para o primeiro e a atribuição soft para o último - os algoritmos também diferem em relação à estrutura do cluster, ou forma: o k-means considera estruturas esféricas no dados; enquanto o GMM considera elipsoidais através da estimação de matrizes de covariância. Neste trabalho, um problema de otimização matemática que combina a atribuição hard com a estrutura do cluster elipsoidal é detalhado e formulado. Uma vez que a estimativa da covariância desempenha um papel importante no comportamento de estruturas agrupamentos elipsoidais, técnicas de regularizações são exploradas. Neste contexto, dois métodos de meta-heurística, uma perturbação Random Swap e um algoritmo híbrido genético, são adaptados, e seu impacto na melhoria do desempenho dos métodos é estudado. O objetivo central dividido em três: compreender as condições em que as estruturas de agrupamento elipsoidais são mais benéficas que as esféricas; determinar o impacto da estimativa de covariância com os métodos de regularização; e analisar o efeito das meta-heurísticas de otimização global na análise de agrupamento não supervisionado. Finalmente, a fim de fornecer bases para a comparação das presentes descobertas com futuros trabalhos relacionados, foi gerada uma base de dados com um extenso benchmark contendo análise das variações de diferentes tamanhos, formas, número de grupos e separabilidade, e seu impacto nos resultados de diferentes algoritmos de agrupamento. Além disso, pacotes escritos na linguagem Julia foram disponibilizados com os algoritmos estudados ao longo deste trabalho. / [en] Unsupervised cluster analysis, the process of grouping sets of points according to one or more similarity criteria, plays an essential role in various fields. The two most popular algorithms for this process are the k-means and the Gaussian Mixture Models (GMM). The former assigns each point to a single cluster and uses Euclidean distance as similarity. The latter determines a probability matrix of points to belong to clusters, and the Mahalanobis distance is the underlying similarity. Apart from the difference in the assignment method - the so-called hard assignment for the former and soft assignment for the latter - the algorithms also differ concerning the cluster structure, or shape: the k-means considers spherical structures in the data; while the GMM considers ellipsoidal ones through the estimation of covariance matrices. In this work, a mathematical optimization problem that combines the hard assignment with the ellipsoidal cluster structure is detailed and formulated. Since the estimation of the covariance plays a major role in the behavior of ellipsoidal cluster structures, regularization techniques are explored. In this context, two meta-heuristic methods, a Random Swap perturbation and a hybrid genetic algorithm, are adapted, and their impact on the improvement of the performance of the methods is studied. The central objective is three-fold: to gain an understanding of the conditions in which ellipsoidal clustering structures are more beneficial than spherical ones; to determine the impact of covariance estimation with regularization methods; and to analyze the effect of global optimization meta-heuristics on unsupervised cluster analysis. Finally, in order to provide grounds for comparison of the present findings to future related works, a database was generated together with an extensive benchmark containing an analysis of the variations of different sizes, shapes, number of clusters, and separability and their impact on the results of different clustering algorithms. Furthermore, packages written in the Julia language have been made available with the algorithms studied throughout this work.

[pt] Rotular as classes gramaticais ao longo de uma sentença - part-ofspeech tagging - é uma das primeiras tarefas de processamento de linguagem natural, fornecendo atributos importantes para realizar tarefas de alta complexidade. A representação de texto a nível de palavra tem sido amplamente adotada, tanto através de uma codificação esparsa convencional, e.g. bagofwords; quanto por uma representação distribuída, como os sofisticados modelos de word-embedding usados para descrever informações sintáticas e semânticas. Um problema importante desse tipo de codificação é a carência de aspectos morfológicos. Além disso, os sistemas atuais apresentam uma precisão por token em torno de 97 por cento. Contudo, quando avaliados por sentença, apresentam um resultado mais modesto com uma taxa de acerto em torno de 55−57 por cento. Neste trabalho, nós demonstramos como utilizar n-grams para derivar automaticamente atributos esparsos e morfológicos para processamento de texto. Essa representação permite que redes neurais realizem a tarefa de POS-Tagging a partir de uma representação a nível de caractere. Além disso, introduzimos uma estratégia de regularização capaz de selecionar atributos específicos para cada neurônio. A utilização de regularização embutida em nossos modelos produz duas variantes. A primeira compartilha os n-grams selecionados globalmente entre todos os neurônios de uma camada; enquanto que a segunda opera uma seleção individual para cada neurônio, de forma que cada neurônio é sensível apenas aos n-grams que mais o estimulam. Utilizando a abordagem apresentada, nós geramos uma alta quantidade de características que representam afeições morfossintáticas relevantes baseadas a nível de caractere. Nosso POS tagger atinge a acurácia de 96, 67 por cento no corpus Mac-Morpho para o Português. / [en] Part-of-speech tagging is one of the primary stages in natural language processing, providing useful features for performing higher complexity tasks. Word level representations have been largely adopted, either through a conventional sparse codification, such as bag-of-words, or through a distributed representation, like the sophisticated word embedded models used to describe syntactic and semantic information. A central issue on these codifications is the lack of morphological aspects. In addition, recent taggers present per-token accuracies around 97 percent. However, when using a persentence metric, the good taggers show modest accuracies, scoring around 55-57 percent. In this work, we demonstrate how to use n-grams to automatically derive morphological sparse features for text processing. This representation allows neural networks to perform POS tagging from a character-level input. Additionally, we introduce a regularization strategy capable of selecting specific features for each layer unit. As a result, regarding n-grams selection, using the embedded regularization in our models produces two variants. The first one shares globally selected features among all layer units, whereas the second operates individual selections for each layer unit, so that each unit is sensible only to the n-grams that better stimulate it. Using the proposed approach, we generate a high number of features which represent relevant morphosyntactic affection based on a character-level input. Our POS tagger achieves the accuracy of 96.67 percent in the Mac-Morpho corpus for Portuguese.

[pt] Motivados pela posição de destaque do real brasileiro entre uma das moedas mais depreciadas em relação aos seus pares emergentes em meados de 2020, potencialmente fomentada pela expressiva evasão de capitais observada no decorrer da pandemia COVID-19 que culminou com um déficit no mercado cambial, realizamos previsões um trimestre a frente para os fluxos de capitais líquidos para o Brasil através de técnicas de machine learning, utilizando modelos de regularização para seleção das variáveis importantes. Os fluxos são obtidos a partir de dados trimestrais do balanço de pagamentos, englobando 2004:T1 a 2021:T1. Os modelos propostos, tanto LASSO quanto adaLASSO + OLS, foram capazes de gerar previsões fora da amostra melhores que o modelo de benchmark, AR. Apesar disso, quando comparados entre si, não podemos rejeitar a hipótese nula de que os modelos propostos possuem a mesma precisão de previsão. / [en] Motivated by the prominent position of the Brazilian real among the most depreciated currencies in comparison with its emerging peers in mid-2020, potentially fueled by the significant capital outflow observed during the COVID19 pandemic that resulted in a deficit in the foreign exchange market, we make one quarter-ahead forecast for net capital flows to Brazil through machine learning techniques, using shrinkage methods to select important variables. These flows are computed from quarterly balance of payments data from 2004:Q1 to 2021:Q1. The proposed models, both LASSO and adaLASSO + OLS, were able to generate better out-of-sample forecasts than the benchmark model, AR. Nevertheless, when compared to each other, we cannot reject the null hypothesis that the proposed models have the same forecast accuracy.

[pt] A anotação de papeis semânticos (APS) é uma importante tarefa do processamento de linguagem natural (PLN), que possibilita estabelecer uma relação de significado entre os eventos descritos em uma sentença e seus participantes. Dessa forma, tem o potencial de melhorar o desempenho de inúmeros outros sistemas, tais como: tradução automática, correção ortográfica, extração e recuperação de informações e sistemas de perguntas e respostas, uma vez que reduz as ambiguidades existentes no texto de entrada. A grande maioria dos sistemas de APS publicados no mundo realiza a tarefa empregando técnicas de aprendizado supervisionado e, para obter melhores resultados, usam corpora manualmente revisados de tamanho considerável. No caso do Brasil, o recurso lexical que possui anotações semânticas (Propbank.br) é muito menor. Por isso, nos últimos anos, foram feitas tentativas de melhorar esse resultado utilizando técnicas de aprendizado semisupervisionado ou não-supervisionado. Embora esses trabalhos tenham contribuido direta e indiretamente para a área de PLN, não foram capazes de superar o desempenho dos sistemas puramente supervisionados. Este trabalho apresenta uma abordagem ao problema de anotação de papéis semânticos no idioma português. Utilizamos aprendizado supervisionado sobre um conjunto de 114 atributos categóricos e empregando duas técnicas de regularização de domínio, combinadas para reduzir o número de atributos binários em 96 por cento. O modelo gerado usa uma support vector machine com solver L2-loss dual support vector classification e é testado na base PropBank.br, apresentando desempenho ligeiramente superior ao estado-da-arte. O sistema é avaliado empiricamente pelo script oficial da CoNLL 2005 Shared Task, obtendo 82,17 por cento de precisão, 82,88 por cento de cobertura e 82,52 por cento de F1 ao passo que o estado-da-arte anterior atinge 83,0 por cento de precisão, 81,7 por cento de cobertura e 82,3 por cento de F1. / [en] Semantic role-labeling (SRL) is an important task of natural language processing (NLP) which allows establishing meaningful relationships between events described in a given sentence and its participants. Therefore, it can potentially improve performance on a large number of NLP systems such as automatic translation, spell correction, information extraction and retrieval and question answering, as it decreases ambiguity in the input text. The vast majority of SRL systems reported so far employed supervised learning techniques to perform the task. For better results, large sized manually reviewed corpora are used. The Brazilian semantic role labeled lexical resource (Propbank.br) is much smaller. Hence, in recent years, attempts have been made to improve performance using semi supervised and unsupervised learning. Even making several direct and indirect contributions to NLP, those studies were not able to outperform exclusively supervised systems. This paper presents an approach to the SRL task in Portuguese language using supervised learning over a set of 114 categorical features. Over those, we apply a combination of two domain regularization methods to cut binary features down to 96 percent. We test a SVM model (L2-loss dual support vector classification) on PropBank.Br dataset achieving results slightly better than state-of-the-art. We empirically evaluate the system using official CoNLL 2005 Shared Task script pulling 82.17 percent precision, 82.88 percent coverage and 82.52 percent F1. The previous state-of-the-art Portuguese SRL system scores 83.0 percent precision, 81.7 percent coverage and 82.3 percent F1.

[pt] Esta dissertação de mestrado analisa os efeitos de previsão de séries temporais com redes neurais em conjunto com a técnica de poda, denominada de Regularização Bayesiana. Utilizam-se diversas séries simuladas cujo processo gerador é de fato linear para comparar as previsões feitas por meio de modelos auto-regressivos lineares e redes neurais. Apresenta-se,ao final, uma comparação entre os modelos citados acima, segundo à eficiência preditiva de cada um. / [en] This paper studies the performance of neural networks estimated with Bayesian regularization to model and forecast time series where the data generations process is in fact linear. A simulation experiment is carried out to compare the forecast made by linear autoregressive models and neural networks.

[pt] Motivado pelos desafios de processar a grande quantidade de dados disponíveis, pesquisas recentes em estatística tem sugerido novas técnicas de modelagem e inferência. Paralelamente, outros campos como processamento de sinais e otimização também estão produzindo métodos para lidar problemas em larga escala. Em particular, este trabalho é focado nas teorias e métodos baseados na regularização l1. Após uma revisão compreensiva da norma l1 como uma ferramenta para definir soluções esparsas, estudaremos mais a fundo o método LASSO. Para exemplificar como o LASSO possui uma ampla gama de aplicações, exibimos um estudo de caso em processamento de sinal esparso. Baseado nesta idea, apresentamos o l1 level-slope filter. Resultados experimentais são apresentados para uma aplicação em transmissão de dados via fibra óptica. Para a parte final da dissertação, um novo método de estimação é proposto para modelos em alta dimensão com variância periódica. A principal ideia desta nova metodologia é combinar esparsidade, induzida pela regularização l1, com o método de máxima verossimilhança. Adicionalmente, esta metodologia é utilizada para estimar os parâmetros de um modelo mensal estocástico de geração de energia eólica e hídrica. Simulações e resultados de previsão são apresentados para um estudo real envolvendo cinquenta geradores de energia renovável do sistema Brasileiro. / [en] Motivated by the challenges of processing the vast amount of available data, recent research on the ourishing field of high-dimensional statistics is bringing new techniques for modeling and drawing inferences over large amounts of data. Simultaneously, other fields like signal processing and optimization are also producing new methods to deal with large scale problems. More particularly, this work is focused on the theories and methods based on l1-regularization. After a comprehensive review of the l1-norm as tool for finding sparse solutions, we study more deeply the LASSO shrinkage method. In order to show how the LASSO can be used for a wide range of applications, we exhibit a case study on sparse signal processing. Based on this idea, we present the l1 level-slope filter. Experimental results are given for an application on the field of fiber optics communication. For the final part of the thesis, a new estimation method is proposed for high-dimensional models with periodic variance. The main idea of this novel methodology is to combine sparsity, induced by the l1-regularization, with the maximum likelihood criteria. Additionally, this novel methodology is used for building a monthly stochastic model for wind and hydro inow. Simulations and forecasting results for a real case study involving fifty Brazilian renewable power plants are presented.