The machine learning problem is most frequently proposed and solved under the inductive inference paradigm, based on classical inductive principles such as the Empirical Risk Minimization (ERM) and Structural Risk Minimization (SRM). These principles are based on the attempt to create a learning rule given some finite training data. They rely on two assumptions: first, that there are enough observations in the training data and that these data are drawn independently and identically distributed (i.i.d.) with respect to the original data distribution of the problem, and second, that one actually needs to determine a general rule able to estimate points anywhere in the space of the problem. Transductive learning challenges these assumptions, breaking the concept of inducing a general rule and using it to deduce unknown values of a functional dependence. In a transductive setting, one estimates particular values of a functional dependence directly, without necessarily having to estimate the general function itself and, implicitly, all of its possible evaluations in a continuum of points. Furthermore, transductive learninggenerally takes advantage of the information available at the points of interest to enhance its estimate of the problems underlying probability distributions and improve its accuracy. Following Occams Razor principle, transductive learning not only avoids solving a harder problem when there may not be enough information to do so, but it also inherently uses all information available a priori, including that given by the points ofinterest. In this work, we propose a new approach to transductive learning based on a variation of statistical learning theory, where risk functionals are directly estimated in a semi-supervised transductive framework. From that, a new parameter-free method, the essentially-transductive entropic classifier (ETEC), is proposed using concepts from information theory, where the learning problem is solved as a constrained optimizationproblem. In selected contexts identifiable using proposed information indicators, we show that our method outperforms other popular inductive and transductive methods for binary classification problems, such as support vector machines (SVMs) and transductive support vector machines (TSVMs). / O problema de aprendizado de máquinas normalmente é proposto e resolvido dentro do paradigma da inferência indutiva, através de princípios clássicos como a minimização do risco empírico (ERM) ou a minimização do risco estrutural (SRM). Estes princípios se baseiam na criação de regras através de uma quantidade finita de dados, e assumem duas premissas fundamentais. Primeiro, que há pontos suficientes nos dados de treinamento e estes são amostrados i.i.d. (independentemente e identicamente distribuídos) emrelação à distribuição do problema original. Segundo, que é necessário criar uma regra geral para estimar pontos desconhecidos em qualquer parte do espaço do problema. O modelo de aprendizado transdutivo desafia essas premissas, quebrando o conceito de indução de uma regra genérica que é então utilizada para deduzir pontos desconhecidos de uma dada função. Em uma abordagem transdutiva, valores de pontosdesconhecidos são estimados diretamente, sem a necessidade de se estimar a própria função genérica e, implicitamente, todas as suas possíveis avaliações no espaço contínuo do problema. Além disso, o apredizado transdutivo geralmente utiliza a informação contida nos próprios pontos de interesse para melhorar sua estimativa das distribuições de probabilidades do problema e aumentar seu desempenho. De acordo com o princípio da Navalha de Occam, o apredizado transdutivo não só evita a solução de umproblema mais difícil para o qual pode-se não haver informações suficientes, mas ele também inerentemente utiliza toda informação disponível a priori, incluindo a contida nos próprios pontos de interesse. Neste trabalho, uma nova abordagem para o aprendizado transdutivo é proposta baseada em uma variação da teoria de aprendizado estatístico, onde funcionais risco são diretamente estimados em um arcabouço de aprendizado semi-supervisionado e transdutivo. A partir desta abordagem, um novo método livre de parâmetros, o classificadorentrópico essencialmente transdutivo (ETEC), é proposto utilizando conceitos da teoria da informação, onde o problema de aprendizado é resolvido como um problema de otimização. Os resultados apresentados indicam que este método supera outros métodosindutivos e transdutivos usuais, como máquinas de vetores de suporte (SVMs) e máquinas de vetores de suporte transdutivas (TSVMs), para problemas de classificação binária em contextos selecionados, identificados através de indicadores de informação propostos.
| Identifer | oai:union.ndltd.org:IBICT/oai:bibliotecadigital.ufmg.br:MTD2BR-BUOS-8CDE79 |
| Date | 13 July 2007 |
| Creators | Thiago Turchetti Maia |
| Contributors | Antonio de Padua Braga |
| Publisher | Universidade Federal de Minas Gerais, 32001010015P8 - ENGENHARIA ELÉTRICA, UFMG, BR |
| Source Sets | IBICT Brazilian ETDs |
| Language | Portuguese |
| Detected Language | Portuguese |
| Type | info:eu-repo/semantics/publishedVersion, info:eu-repo/semantics/doctoralThesis |
| Format | text/html |
| Source | reponame:Biblioteca Digital de Teses e Dissertações da UFMG, instname:Universidade Federal de Minas Gerais, instacron:UFMG |
| Rights | info:eu-repo/semantics/openAccess |
Page generated in 0.011 seconds