[pt] O surgimento da World Wide Web representou uma nova oportunidade de publicidade, disponível para qualquer empresa: A possibilidade de exposição global para uma grande audiência a um custo extremamente pequeno. Como conseqüência disso, surgiu toda uma nova indústria oferecendo serviços relacionados à publicidade de busca, na qual uma empresa anunciante paga por uma posição de destaque em listas de anúncios. A fim de manter a credibilidade e a participação de mercado do serviço que os veicula - por exemplo, uma máquina de busca - os anúncios devem ser exibidos apenas para os usuários que se interessem por eles, no que se chama de Publicidade Direcionada. Em virtude disso, surge a necessidade de se utilizar um sistema de recomendação que seja capaz de escolher que anúncios exibir para quais usuários. Nos sistemas de recomendação baseados em filtragem colaborativa, as preferências de outros usuários são utilizadas como atributos para um sistema de aprendizado, pois estas podem ser bastante detalhadas, gerando recomendações não só para os itens mais populares como também para nichos de itens. Neste trabalho, é desenvolvido um sistema de recomendação de anúncios que aplica Filtragem Colaborativa baseada em fatoração de matrizes ao problema de predição do Click- Through Rate, uma métrica em Publicidade Direcionada que expressa a relevância de um anúncio para os usuários que buscam por uma determinada palavra- chave. A fim de validar o método proposto de predição do Click-Through Rate, realizamos vários experimentos em um conjunto de dados sintéticos. Adicionalmente, o trabalho contribui para o projeto do LearnAds, um framework de recomendação de anúncios baseado em Aprendizado de Máquina. / [en] The emergence of the World Wide Web represented a new advertising opportunity available to any company: The possibility of global exposure to a large audience at a very small cost. As a result, a whole new industry has emerged by offering services related to search advertising, in which an advertiser pays for a prominent position in lists of ads. In order to maintain the credibility and market share of the service that conveys them - for example, a search engine - such ads must be displayed only to users who are interested in them, on what is called Targeted Advertising. Therefore, those services need to use a recommendation system that can choose which ads show to which users. Recommendation systems based on collaborative filtering use the preferences of other users as features to a learning system, since such preferences can be quite detailed, generating recommendations not only for the most popular items but also to item niches. In this work, we develop an ads recommendation system that applies Collaborative Filtering based on matrix factorization to the problem of predicting the Click-Through Rate, a Targeted Advertising metric that expresses the relevance of a particular ad for the users searching for a specific keyword. In order to validate the proposed method of Click-Through Rate prediction, we carry out several experiments on a synthetic data set. Additionally, the work contributes to the design of LearnAds, a framework for ads recommendation systems based on Machine Learning.

[pt] Com a quantidade de informação e sua disponibilidade facilitada pelo uso da Internet, diversas opções são oferecidas às pessoas e estas, normalmente, possuem pouca ou quase nenhuma experiência para decidir dentre as alternativas existentes. Neste âmbito, os Sistemas de Recomendação surgem para organizar e recomendar automaticamente, através de Aprendizado de Máquina, itens interessantes aos usuários. Um dos grandes desafios deste tipo de sistema é realizar o casamento correto entre o que está sendo recomendado e aqueles que estão recebendo a recomendação. Este trabalho aborda um Sistema de Recomendação baseado em Filtragem Colaborativa, técnica cuja essência está na troca de experiências entre usuários com interesses comuns. Na Filtragem Colaborativa, os usuários pontuam cada item experimentado de forma a indicar sua relevância, permitindo que outros do mesmo grupo se beneficiem destas pontuações. Nosso objetivo é utilizar um algoritmo de Boosting para otimizar a performance dos Sistemas de Recomendação. Para isto, utilizamos uma base de dados de anúncios com fins de validação e uma base de dados de filmes com fins de teste. Após adaptações nas estratégias convencionais de Boosting, alcançamos melhorias de até 3% sobre a performance do algoritmo original. / [en] With the amount of information and its easy availability on the Internet, many options are offered to the people and they, normally, have little or almost no experience to decide between the existing alternatives. In this scene, the Recommendation Systems appear to organize and recommend automatically, through Machine Learning, the interesting items. One of the great recommendation challenges is to match correctly what is being recommended and who are receiving the recommendation. This work presents a Recommendation System based on Collaborative Filtering, technique whose essence is the exchange of experiences between users with common interests. In Collaborative Filtering, users rate each experimented item indicating its relevance allowing the use of ratings by other users of the same group. Our objective is to implement a Boosting algorithm in order to optimize a Recommendation System performance. For this, we use a database of advertisements with validation purposes and a database of movies with testing purposes. After adaptations in the conventional Boosting strategies, improvements of 3% were reached over the original algorithm.

[pt] Sistemas de recomendação aparecem em diversos domínios do mundo real. Vários modelos foram propostos para o problema de predição de entradas faltantes em um conjunto de dados. Duas das abordagens mais comuns são filtragem colaborativa baseada em similaridade e modelos de fatores latentes. Uma alternativa, mais recente, foi proposta por Salakhutdinov em 2007, usando máquinas de Boltzmann restritas, ou RBMs. Esse modelo se encaixa na família de modelos de fatores latentes, no qual, modelamos fatores latentes dos dados usando unidades binárias na camada escondida das RBMs. Esses modelos se mostraram capazes de aproximar resultados obtidos com modelos de fatoração de matrizes. Nesse trabalho vamos revisitar esse modelo e detalhar cuidadosamente como modelar e treinar RBMs para o problema de predição de entradas vazias em dados tabulares. / [en] Recommender systems can be used in many problems in the real world. Many models were proposed to solve the problem of predicting missing entries in a specific dataset. Two of the most common approaches are neighborhood-based collaborative filtering and latent factor models. A more recent alternative was proposed on 2007 by Salakhutdinov, using Restricted Boltzmann Machines. This models belongs to the family of latent factor models, in which, we model latent factors over the data using hidden binary units. RBMs have shown that they can approximate solutions trained with a traditional matrix factorization model. In this work we ll revisit this proposed model and carefully detail how to model and train RBMs for the problem of missing ratings prediction.

[pt] Tree ensemble methods são reconhecidamente métodos de sucesso em problemas de aprendizado supervisionado, bem como são comumente descritos como métodos resistentes ao overfitting. A proposta deste trabalho é investigar essa característica a partir de modelos que extrapolem essa resistência. Ao prever uma instância de exemplo, os métodos de conjuntos são capazes de identificar a folha onde essa instância ocorre em cada uma das árvores. Nosso método então procura identificar uma nova função sobre todas as folhas deste conjunto, minimizando uma função de perda no conjunto de treino. Uma das maneiras de definir conceitualmente essa proposta é interpretar nosso modelo como um gerador automático de features ou um otimizador de predição. / [en] In supervised learning, tree ensemble methods have been recognized for their high level performance in a wide range of applications. Moreover, several references report such methods to present a resistance of to overfitting. This work investigates this observed resistance by proposing a method that explores it. When predicting an instance, tree ensemble methods determines the leaf of each tree where the instance falls. The prediction is then obtained by a function of these leaves, minimizing a loss function or an error estimator for the training set, overfitting in the learning phase in some sense. This method can be interpreted either as an Automated Feature Engineering or a Predictor Optimization.

[pt] Realizar previsões de preços no mercado de ações é uma tarefa difícil devido ao fato de o mercado financeiro ser um ambiente altamente dinâmico, complexo e caótico. Para algumas teorias financeiras, usar as informações disponíveis para tentar prever o preço de uma ação a curto prazo é um esforço em vão já que ele sofre a influência de diversos fatores externos e, em decorrência, sua variação assemelha-se à de um passeio aleatório. Estudos recentes, como (37) e (51), abordam o problema com modelos de predição específicos para o comportamento do preço de uma ação isolada. Neste trabalho, apresenta-se uma proposta para prever variações de preço tendo como base conjuntos de ações consideradas similares. O objetivo é criar um modelo capaz de prever se o preço de diferentes ações tendem a subir ou não a curto prazo, considerando informações de ações pertencentes a conjuntos similares com base em duas fontes de informações: os dados históricos das ações e as notícias do Google Trends. No estudo proposto, primeiramente é aplicado um método para identificar conjuntos de ações similares para então criar um modelo de predição baseado em redes neurais LSTM (long shortterm memory) para esses conjuntos. Mais especificamente, foram conduzidos dois experimentos: (1) aplicação do algoritmo K-Means para a identificação dos conjuntos de ações similares, seguida da utilização de uma rede neural LSTM para realizar as previsões, e (2) aplicação do algoritmo DBSCAN para a criação dos conjuntos seguida da mesma rede LSTM para prever as variações de preço. O estudo foi realizado em um conjunto com 51 ações do mercado acionário brasileiro, e os experimentos sugeriram que utilizar um método para criar conjuntos de ações similares melhora os resultados em aproximadamente 7 porcento de acurácia e f1-score, e 8 porcento de recall e precision quando comparados a modelos para ações isoladas. / [en] Predicting stock market prices is a hard task. The main reason for that is due to the fact its environment is highly dynamic, intrinsically complex and chaotic. The traditional economic theories tell us that trying to predict short-term stock price movements is a wasted effort because the market is influenced by several external events and its behavior approximates a random walk. Recent studies, such as (37) and (51), address this problem and create specific prediction models for the price behavior of an isolated stock. This work presents a proposal to predict price movements based on stock sets considered similar. Our goal is building a model to identify whether the price tends to bullishness or bearishness in the (near) future, considering stock information from similar sets based on two sources of information: historical stock data and Google Trends news. Firstly, the proposed study applies a method to identify similar stock sets and then creates a predictive model based on LSTM (long short-term memory) for these sets. More specifically, two experiments were conducted: (1) using the K-Means algorithm to identify similar stock sets and then using a LSTM neural network to predict stock price movements for these stock sets; (2) using the DBSCAN algorithm to identify similar stock sets and then using the same LSTM neural network to forecast stock price movements. The study was conducted over 51 stocks of the brazilian stock market. The results suggested that using an algorithm to identify similar stock clusters yields an improvement of approximately 7 percent in accuracy and f1-score and 8 percent in recall and precision when compared to specific models for isolated stocks.

[pt] Este trabalho demonstra como web mining, processamento de linguagem natural e aprendizado de máquina podem ser combinados para melhorar a compreensão de vagas de emprego segmentando semanticamente os textos de suas descrições. Para atingir essa finalidade, foram coletados dados textuais de três grandes sites de vagas de emprego: Catho, LinkedIn e VAGAS.com.br. Baseado na literatura, este trabalho propôe uma estrutura semântica simplificada em que cada sentença da descrição da vaga de emprego pode pertencer a uma dessas classes: Responsabilidades, Requisitos, Benefícios e Outros. De posse dessa ideia, a tarefa de segmentação semântica pode ser repensada como uma segmentação de sentenças seguida de uma classificação. Usando o Python como ferramenta, são experimentadas algumas formas de construção de atributos a partir de textos, tanto léxicas quanto semânticas, e quatro algoritmos clássicos de aprendizado de máquina: Naive Bayes, Regressão Logística, Máquina de Vetores de Suporte e Floresta Aleatória. Como resultados, este trabalho traz um classificador (Regressão Logística com representação binária) com 95.58 porcento de acurácia, sem sobreajuste de modelo e sem degenerar as classificações por desbalanceio de classes, que é comparável ao estado da arte para Classificação de Texto. Esse classificador foi treinado e validado usando dados do Catho, mas foi testado também nos dados do VAGAS.com.br (88.60 porcento) e do LinkedIn (91.14 porcento), apresentando uma evidência de que seu aprendizado é generalizável para dados de outros sites. Além disso, o classificador foi usado para segmentação semântica das vagas de emprego e obteve uma métrica Pk de 3.67 porcento e uma métrica WindowDiff de 4.78 porcento, que é comparável ao estado da arte de Segmentação de Texto. Por fim, vale salientar duas contribuições indiretas deste trabalho: 1) uma estrutura para pensar e analisar vagas de emprego e 2) uma indicação de que algoritmos clássicos também podem alcançar o estado da arte e, portanto, sempre devem experimentados. / [en] This dissertation demonstrates how web mining, natural language processing, and machine learning can be combined to improve understanding of job openings by semantically segmenting the texts of their descriptions. To achieve this purpose, textual data were collected from three major job sites: Catho, LinkedIn and VAGAS.com.br. Based on the literature, this work proposes a simplified semantic structure in which each sentence of the job description can belong to one of these classes: Responsibilities, Requirements, Benefits and Others. With this idea, the semantic segmentation task can be rethought as a sentence segmentation followed by a classification. Using Python as a tool, some ways of constructing features from texts are tried out, both lexical and semantic, and four classic machine learning algorithms: Naïve Bayes, Logistic Regression, Support Vector Machine, and Random Forest. As a result, this work presents a classifier (Logistic Regression with binary representation) with 95.58 percent accuracy, without model overfitting and without degeneration by class unbalance, which is comparable to state-of-the-art for Text Classification. This classifier was trained and validated using Catho data, but was also tested on VAGAS.com.br (88.60 percent) and LinkedIn (91.14 percent) data, providing evidence that its learning is generalizable to data from other sites. In addition, the classifier was used for semantic segmentation of job openings and obtained a Pk metric equals to 3.67 percent and a WindowDiff metric equals to 4.78 percent, which is comparable to state-of-the-art for Text Segmentation. Finally, it is worth highlighting two indirect contributions of this work: 1) a structure for thinking and analyzing job openings and 2) an indication that classical algorithms can also reach the state of the art and therefore should always be tried.

[pt] Este trabalho considera o problema de Regressão com Tempo Limitado. Dados um dataset, um algoritmo de aprendizado (Learner) a ser treinado e um tempo limitado, não sabemos se seria possível treinar o modelo com todo o dataset dentro deste tempo. Queremos então elaborar a estratégia que extraia o melhor modelo possível deste algoritmo de aprendizado respeitando o limite de tempo. Uma estratégia consiste em interagir com o Learner de duas formas: enviando exemplos para o Learner treinar e enviando exemplos para o Learner rotular. Nós definimos o que é o problema de Regressão com Tempo Limitado, decompomos o problema de elaborar uma estratégia em subproblemas mais simples e bem definidos, elaboramos uma estratégia natural baseada em escolha aleatória de exemplos e finalmente apresentamos uma estratégia, TW+BH, que supera a estratégia natural em experimentos que realizamos com diversos datasets reais. / [en] This work considers the Time-Limited Regression problem. Given a dataset, a learning algorithm (Learner) to be trained and a limited time, we do not know if it s going to be possible to train the model with the entire dataset within this time constraint. We then want to elaborate the strategy that extracts the best possible model from this learning algorithm respecting the time limit. A strategy consists of a series of interactions with the Learner, in two possible ways: sending labeled examples for the Learner to train and sending unlabeled examples for the Learner to classify. We define what the Time-Limited Regression problem is, we decompose the problem of elaborating a strategy into simpler and more well-defined sub-problems, we elaborate a natural strategy based on random choice of examples and finally we present a strategy, TW+BH, that performs better than the natural strategy in experiments we have done with several real datasets.

[pt] O presente trabalho apresenta uma nova forma de selecionar o parâmetro de regularização do LASSO e do adaLASSO. Ela é baseada na teoria e incorpora a estimativa da variância do ruído. Nós mostramos propriedades teóricas e simulações Monte Carlo que o nosso procedimento é capaz de lidar com mais variáveis no conjunto ativo do que outras opções populares para a escolha do parâmetro de regularização. / [en] We provide a new way to select the regularization parameter for the LASSO and adaLASSO. It is based on the theory and incorporates an estimate of the variance of the noise. We show theoretical properties of the procedure and Monte Carlo simulations showing that it is able to handle more variables in the active set than other popular options for the regularization parameter.

[pt] Este trabalho consiste no desenvolvimento de um modelo que auxilie na análise de eventos ocorridos no trânsito das grandes cidades. Utilizando uma grande massa de dados publicados na Internet, em especial no twitter, por usuários comuns, este trabalho fornece uma ontologia para eventos do trânsito publicados em notícias da internet e uma aplicação que use o modelo proposto para realizar consultas aos eventos modelados. Para isso, as notícias publicadas em linguagem natural são processadas, isto é, as entidades relevantes no texto são identificadas e depois estruturadas de tal forma que seja feita uma analise semântica da notícia publicada. As notícias publicadas são estruturadas no modelo proposto de eventos e com isso é possível que sejam feitas consultas sobre suas propriedades e relacionamentos, facilitando assim a análise do processo do trânsito e dos eventos ocorridos nele. / [en] This work proposes a traffic event model to assist the analysis of traffic events on big cities. This paper aims to provide not only an ontology for traffic events considering published news over the Internet, but also a prototype of a software architecture that uses the proposed model to perform queries on the events, using a huge quantity of published data on the Internet by regular users, especially on twitter. To do so, the news published in natural language is processed, and the relevant entities in the text are identified and structured in order to make a semantic analysis of them. The news reported is structured in the proposed model of events and thus the queries about their properties and relationships could be answered. As a consequence, the result of this work facilitates the analysis of the events occurred on the traffic process.

[pt] Diagramas de decisão são uma generalização de árvores de decisão, já propostos como um modelo de aprendizado de máquina para classificação supervisionada mas não largamente adotados. A razão é a dificuldade em treinar o modelo, já que o requerimento de decidir splits (partições) e merges (uniões de nós) em conjunto pode levar a problemas difíceis de otimização combinatória. Um diagrama de decisão tem importantes vantagens sobre árvores de decisão, pois melhor expressa conceitos binários disjuntos, evitando o problema de duplicação de subárvores e, portanto, apresentando menos fragmentação em nós internos. Por esse motivo, desenvolver algoritmos efetivos de construção é um esforço importante. Nesse contexto, o algoritmo Optimal Decision Diagram (ODD) foi recentemente proposto, formulando a construção do diagrama com programação inteira mista (MILP na sigla em inglês), com um warm start proveniente de uma heurística construtiva gulosa. Experimentos mostraram que essa heurística poderia ser aperfeiçoada, a fim de encontrar soluções próximas do ótimo de maneira mais efetiva, e por sua vez prover um warm start melhor. Nesse estudo, reportamos aperfeiçoamentos para essa heurística construtiva, sendo eles a randomização das decisões de split, a poda de fluxos puros (ou seja, fluxos de exemplos pertencentes a uma única classe), e aplicando uma poda bottom-up (de baixo para cima), que considera a complexidade do modelo além da sua acurácia. Todos os aperfeiçoamentos propostos têm efeitos positivos na acurácia e generalização, assim como no valor objetivo do algoritmo ODD. A poda bottom-up, em especial, tem impacto significativo no valor objetivo, e portanto na capacidade da formulação MILP de encontrar soluções ótimas. Ademais, provemos experimentos sobre a expressividade de diagramas de decisão em comparação a árvores no contexto de pequenas funções booleanas em Forma Normal Disjuntiva (DNF na sigla em inglês), assim como uma aplicação web para a exploração visual dos métodos construtivos propostos. / [en] Decision diagrams are a generalization of decision trees. They have been repeatedly proposed as a supervised classification model for machine learning but have not been widely adopted. The reason appears to be the difficulty of training the model, as the requirement of deciding splits and merging nodes can lead to difficult combinatorial optimization problems. A decision diagram has marked advantages over decision trees because it better models disjoint binary concepts, avoiding the replication of subtrees and thus has less sample fragmentation in internal nodes. Because of this, devising an effective construction algorithm is important. In this context, the Optimal Decision Diagram (ODD) algorithm was recently proposed, which formulates the problem of building a diagram as a mixed-integer linear program (MILP), with a warm start provided by a greedy constructive heuristic. Initial experiments have shown that this heuristic can be improved upon, in order to find close-to-optimal solutions more effectively and in turn provide the MILP with a better warm start. In this study, we report improvements to this constructive heuristic, by randomizing the split decisions, pruning pure flows (i.e. flows with samples from a single class), and applying bottom-up pruning, which considers the complexity of the model in addition to its accuracy. All proposed improvements have positive effects on accuracy and generalization, as well as the objective value of the ODD algorithm. The bottom-up pruning strategy, in particular, has a substantial impact on the objective value, and thus on the ability of the MILP solver to find optimal solutions. In addition, we provide experiments on the expressiveness of decision diagrams when compared to trees in the context of small boolean functions in Disjoint Normal Form (DNF), as well as a web application for the visual exploration of the proposed constructive approaches.