O presente trabalho propõe uma metodologia para agrupamento de textos que possa ser utilizada tanto em busca textual em geral como mais especificamente na distribuição de processos jurídicos para fins de redução do tempo de resolução de conflitos judiciais. A metodologia proposta utiliza a divergência Kullback-Leibler aplicada às distribuições de frequência dos radicais (semantemas) das palavras presentes nos textos. Diversos grupos de radicais são considerados, formados a partir da frequência com que ocorrem entre os textos, e as distribuições são tomadas em relação a cada um desses grupos. Para cada grupo, as divergências são calculadas em relação à distribuição de um texto de referência formado pela agregação de todos os textos da amostra, resultando em um valor para cada texto em relação a cada grupo de radicais. Ao final, esses valores são utilizados como atributos de cada texto em um processo de clusterização utilizando uma implementação do algoritmo K-Means, resultando no agrupamento dos textos. A metodologia é testada em exemplos simples de bancada e aplicada a casos concretos de registros de falhas elétricas, de textos com temas em comum e de textos jurídicos e o resultado é comparado com uma classificação realizada por um especialista. Como subprodutos da pesquisa realizada, foram gerados um ambiente gráfico de desenvolvimento de modelos baseados em Reconhecimento de Padrões e Redes Bayesianas e um estudo das possibilidades de utilização de processamento paralelo na aprendizagem de Redes Bayesianas. / This work proposes a methodology for grouping texts for the purposes of textual searching in general but also specifically for aiding in distributing law processes in order to reduce time applied in solving judicial conflicts. The proposed methodology uses the Kullback-Leibler divergence applied to frequency distributions of word stems occurring in the texts. Several groups of stems are considered, built up on their occurrence frequency among the texts and the resulting distributions are taken regarding each one of those groups. For each group, divergences are computed based on the distribution taken from a reference text originated from the assembling of all sample texts, yelding one value for each text in relation to each group of stems. Finally, those values are taken as attributes of each text in a clusterization process driven by a K-Means algorithm implementation providing a grouping for the texts. The methodology is tested for simple toy examples and applied to cases of electrical failure registering, texts with similar issues and law texts and compared to an expert\'s classification. As byproducts from the conducted research, a graphical development environment for Pattern Recognition and Bayesian Networks based models and a study on the possibilities of using parallel processing in Bayesian Networks learning have also been obtained.

O presente trabalho propõe uma metodologia para agrupamento de textos que possa ser utilizada tanto em busca textual em geral como mais especificamente na distribuição de processos jurídicos para fins de redução do tempo de resolução de conflitos judiciais. A metodologia proposta utiliza a divergência Kullback-Leibler aplicada às distribuições de frequência dos radicais (semantemas) das palavras presentes nos textos. Diversos grupos de radicais são considerados, formados a partir da frequência com que ocorrem entre os textos, e as distribuições são tomadas em relação a cada um desses grupos. Para cada grupo, as divergências são calculadas em relação à distribuição de um texto de referência formado pela agregação de todos os textos da amostra, resultando em um valor para cada texto em relação a cada grupo de radicais. Ao final, esses valores são utilizados como atributos de cada texto em um processo de clusterização utilizando uma implementação do algoritmo K-Means, resultando no agrupamento dos textos. A metodologia é testada em exemplos simples de bancada e aplicada a casos concretos de registros de falhas elétricas, de textos com temas em comum e de textos jurídicos e o resultado é comparado com uma classificação realizada por um especialista. Como subprodutos da pesquisa realizada, foram gerados um ambiente gráfico de desenvolvimento de modelos baseados em Reconhecimento de Padrões e Redes Bayesianas e um estudo das possibilidades de utilização de processamento paralelo na aprendizagem de Redes Bayesianas. / This work proposes a methodology for grouping texts for the purposes of textual searching in general but also specifically for aiding in distributing law processes in order to reduce time applied in solving judicial conflicts. The proposed methodology uses the Kullback-Leibler divergence applied to frequency distributions of word stems occurring in the texts. Several groups of stems are considered, built up on their occurrence frequency among the texts and the resulting distributions are taken regarding each one of those groups. For each group, divergences are computed based on the distribution taken from a reference text originated from the assembling of all sample texts, yelding one value for each text in relation to each group of stems. Finally, those values are taken as attributes of each text in a clusterization process driven by a K-Means algorithm implementation providing a grouping for the texts. The methodology is tested for simple toy examples and applied to cases of electrical failure registering, texts with similar issues and law texts and compared to an expert\'s classification. As byproducts from the conducted research, a graphical development environment for Pattern Recognition and Bayesian Networks based models and a study on the possibilities of using parallel processing in Bayesian Networks learning have also been obtained.

Os modelos normais de regressão têm sido utilizados durante muitos anos para a análise de dados. Mesmo nos casos em que a normalidade não podia ser suposta, tentava-se algum tipo de transformação com o intuito de alcançar a normalidade procurada. No entanto, na prática, essas suposições sobre normalidade e linearidade nem sempre são satisfeitas. Como alternativas à técnica clássica, foram desenvolvidas novas classes de modelos de regressão. Nesse contexto, focamos a classe de modelos em que a distribuição assumida para a variável resposta pertence à classe de distribuições simétricas. O objetivo geral desse trabalho é a modelagem desta classe no contexto bayesiano, em particular a modelagem da classe de modelos não-lineares heterocedásticos simétricos. Vale ressaltar que esse trabalho tem ligação com duas linhas de pesquisa, a saber: a inferência estatística abordando aspectos da teoria assintótica e a inferência bayesiana considerando aspectos de modelagem e critérios de seleção de modelos baseados em métodos de simulação de Monte Carlo em Cadeia de Markov (MCMC). Uma primeira etapa consiste em apresentar a classe dos modelos não-lineares heterocedásticos simétricos bem como a inferência clássica dos parâmetros desses modelos. Posteriormente, propomos uma abordagem bayesiana para esses modelos, cujo objetivo é mostrar sua viabilidade e comparar a inferência bayesiana dos parâmetros estimados via métodos MCMC com a inferência clássica das estimativas obtidas por meio da ferramenta GAMLSS. Além disso, utilizamos o método bayesiano de análise de influência caso a caso baseado na divergência de Kullback-Leibler para detectar observações influentes nos dados. A implementação computacional foi desenvolvida no software R e para detalhes dos programas pode ser consultado aos autores do trabalho / The normal regression models have been used for many years for data analysis. Even in cases where normality could not be assumed, was trying to be some kind of transformation in order to achieve the normality sought. However, in practice, these assumptions about normality and linearity are not always satisfied. As alternatives to classical technique new classes of regression models were developed. In this context, we focus on the class of models in which the distribution assumed for the response variable belongs to the symmetric distributions class. The aim of this work is the modeling of this class in the bayesian context, in particular the modeling of the nonlinear models heteroscedastic symmetric class. Note that this work is connected with two research lines, the statistical inference addressing aspects of asymptotic theory and the bayesian inference considering aspects of modeling and criteria for models selection based on simulation methods Monte Carlo Markov Chain (MCMC). A first step is to present the nonlinear models heteroscedastic symmetric class as well as the classic inference of parameters of these models. Subsequently, we propose a bayesian approach to these models, whose objective is to show their feasibility and compare the estimated parameters bayesian inference by MCMC methods with the classical inference of the estimates obtained by GAMLSS tool. In addition, we use the bayesian method of influence analysis on a case based on the Kullback-Leibler divergence for detecting influential observations in the data. The computational implementation was developed in the software R and programs details can be found at the studys authors

O modelo de regressão linear com erros na família de distribuições t-assimétrica, que contempla as distribuições normal, t-Student e normal assimétrica como casos particulares, tem sido considerado uma alternativa robusta ao modelo normal. Para concluir qual modelo é, de fato, mais robusto, é importante ter um método tanto para identificar uma observação como discrepante quanto aferir a influência que esta observação terá em nossas estimativas. Nos modelos de regressão bayesianos, uma das medidas de identificação de observações discrepantes mais conhecidas é a conditional predictive ordinate (CPO). Analisamos a influência dessas observações nas estimativas tanto de forma global, isto é, no vetor completo de parâmetros do modelo quanto de forma marginal, apenas nos parâmetros regressores. Consideramos a norma L1 e a divergência Kullback-Leibler como medidas de influência das observações nas estimativas dos parâmetros. Além disso, encontramos as distribuições condicionais completas de todos os modelos para o uso do algoritmo de Gibbs obtendo, assim, amostras da distribuição a posteriori dos parâmetros. Tais amostras são utilizadas no calculo do CPO e das medidas de divergência estudadas. A principal contribuição deste trabalho é obter as medidas de influência global e marginal calculadas para os modelos t-Student, normal assimétrico e t-assimétrico. Na aplicação em dados reais originais e contaminados, observamos que, em geral, o modelo t-Student é uma alternativa robusta ao modelo normal. Por outro lado, o modelo t-assimétrico não é, em geral, uma alternativa robusta ao modelo normal. A capacidade de robustificação do modelo t-assimétrico está diretamente ligada à posição do resíduo do ponto discrepante em relação a distribuição dos resíduos. / The linear regression model with errors in the skew-t family, which includes the normal, Student-t and skew normal distributions as particular cases, has been considered as a robust alternative to the normal model. To conclude which model is in fact more robust its important to have a method to identify an observation as outlier, as well as to assess the influence of this observation in the estimates. In bayesian regression models, one of the most known measures to identify an outlier is the conditional predictive ordinate (CPO). We analyze the influence of these observations on the estimates both in a global way, that is, in the complete parameter vector of the model and in a marginal way, only in the regressor parameters. We consider the L1 norm and the Kullback-Leibler divergence as influence measures of the observations on the parameter estimates. Using the bayesian approach, we find the complete conditional distributions of all the models for the usage of the Gibbs sampler thus obtaining samples of the posterior distribution of the parameters. These samples are used in the calculation of the CPO and the studied divergence measures. The major contribution of this work is to present the global and marginal influence measures calculated for the Student-t, skew normal and skew-t models. In the application on original and contaminated real data, we observed that in general the Student-t model is a robust alternative to the normal model. However, the skew-t model is not a robust alternative to the normal model. The robustification capability of the skew-t model is directly linked to the position of the residual of the outlier in relation to the distribution of the residuals.

O principal objetivo deste trabalho é desenvolver procedimentos inferências em uma perspectiva bayesiana para modelos de sobrevivência com (ou sem) fração de cura baseada na distribuição exponencial por partes. A metodologia bayesiana é baseada em métodos de Monte Carlo via Cadeias de Markov (MCMC). Para detectar observações influentes nos modelos considerados foi usado o método bayesiano de análise de influência caso a caso (Cho et al., 2009), baseados na divergência de Kullback-Leibler. Além disso, propomos o modelo destrutivo binomial negativo com fração de cura. O modelo proposto é mais geral que os modelos de sobrevivência com fração de cura, já que permitem estimar a probabilidade do número de causas que não foram eliminadas por um tratamento inicial / The main objective is to develop procedures inferences in a bayesian perspective for survival models with (or without) the cure rate based on piecewise exponential distribution. The methodology is based on bayesian methods for Markov Chain Monte Carlo (MCMC). To detect influential observations in the models considering bayesian case deletion influence diagnostics based on the Kullback-Leibler divergence (Cho et al., 2009). Furthermore, we propose the negative binomial model destructive cure rate. The proposed model is more general than the survival models with cure rate, since the probability to estimate the number of cases which were not eliminated by an initial treatment

O modelo de regressão linear com erros na família de distribuições t-assimétrica, que contempla as distribuições normal, t-Student e normal assimétrica como casos particulares, tem sido considerado uma alternativa robusta ao modelo normal. Para concluir qual modelo é, de fato, mais robusto, é importante ter um método tanto para identificar uma observação como discrepante quanto aferir a influência que esta observação terá em nossas estimativas. Nos modelos de regressão bayesianos, uma das medidas de identificação de observações discrepantes mais conhecidas é a conditional predictive ordinate (CPO). Analisamos a influência dessas observações nas estimativas tanto de forma global, isto é, no vetor completo de parâmetros do modelo quanto de forma marginal, apenas nos parâmetros regressores. Consideramos a norma L1 e a divergência Kullback-Leibler como medidas de influência das observações nas estimativas dos parâmetros. Além disso, encontramos as distribuições condicionais completas de todos os modelos para o uso do algoritmo de Gibbs obtendo, assim, amostras da distribuição a posteriori dos parâmetros. Tais amostras são utilizadas no calculo do CPO e das medidas de divergência estudadas. A principal contribuição deste trabalho é obter as medidas de influência global e marginal calculadas para os modelos t-Student, normal assimétrico e t-assimétrico. Na aplicação em dados reais originais e contaminados, observamos que, em geral, o modelo t-Student é uma alternativa robusta ao modelo normal. Por outro lado, o modelo t-assimétrico não é, em geral, uma alternativa robusta ao modelo normal. A capacidade de robustificação do modelo t-assimétrico está diretamente ligada à posição do resíduo do ponto discrepante em relação a distribuição dos resíduos. / The linear regression model with errors in the skew-t family, which includes the normal, Student-t and skew normal distributions as particular cases, has been considered as a robust alternative to the normal model. To conclude which model is in fact more robust its important to have a method to identify an observation as outlier, as well as to assess the influence of this observation in the estimates. In bayesian regression models, one of the most known measures to identify an outlier is the conditional predictive ordinate (CPO). We analyze the influence of these observations on the estimates both in a global way, that is, in the complete parameter vector of the model and in a marginal way, only in the regressor parameters. We consider the L1 norm and the Kullback-Leibler divergence as influence measures of the observations on the parameter estimates. Using the bayesian approach, we find the complete conditional distributions of all the models for the usage of the Gibbs sampler thus obtaining samples of the posterior distribution of the parameters. These samples are used in the calculation of the CPO and the studied divergence measures. The major contribution of this work is to present the global and marginal influence measures calculated for the Student-t, skew normal and skew-t models. In the application on original and contaminated real data, we observed that in general the Student-t model is a robust alternative to the normal model. However, the skew-t model is not a robust alternative to the normal model. The robustification capability of the skew-t model is directly linked to the position of the residual of the outlier in relation to the distribution of the residuals.

The Logistic Positive Exponent (LPE) model from Item Response Theory (IRT) and the Multistage Adaptive Testing (MST) using this model are the focus of this dissertation. For the LPE, item parameter estimations efficiency was studied, it was also analyzed the latent trait estimation for different response patterns to verify the effects it has on guessing and accidental mistakes. The LPE was put in contrast to Rasch, 2 and 3 parameter logistic models to compare the its efficiency. The item parameter estimations were implemented using the Bayesian approach for the Monte Carlo Markov Chain and the Marginal Maximum Likelihood. The latent trait estimation were calculated by the Expected a Posterior method. A goodness of fit analysis were made using the Posterior Predictive model-check method and information statistics. In the MST perspective, the LPE was compared with the Rasch and 2 logistic models. Different tests were constructed using methods that uses optimization functions to select items from a bank. Three functions were chosen to this task: the Fisher and Kullback-Leibler informations and the Continuous Entropy Method. The results were obtained with simulated and real data, the latter was from a general science knowledge test calls General Science test and it was provided by the Educational Testing Service company. Results showed that the LPE might help individuals that made mistakes in earlier stage of the test, especially for easy items. However, the LPE requires a large individual sample and time to estimate the item parameters making it an expensive model. MST based on LPE can be dissolve the impact of accidental mistakes from high performance test takers depending of the item pool available and the way the test is constructed. The optimization function performance vary depending of the situation. / O modelo Logístico de Expoente Positivo (LPE) da Teoria de Resposta ao Item (IRT) e o Teste Adaptativo Multiestágio (MST) sob esse modelo são os focos desta tese. Para o LPE, a eficiência da estimações dos parâmetros dos itens foram estudados, também foi analisado como as estimativas dos parâmetros dos indivíduos foram influenciados por padrões de respostas contendo chutes ou erros acidentais. O LPE foi comparado com os modelos de Rasch, Logístico de 2 e 3 Parâmetros para verificar seu desempenho. A estimação dos parâmetros dos itens foi implementada usando Monte Carlo via cadeias de Markov sob a abordagem Bayesiana e a Máxima Verossimilhança Marginal. As estimações dos traços latentes foram calculadas através do Método da Esperança a Posteriori. A qualidade do ajuste dos modelos foram analisadas usando o método Posterior Predictive model-check e critério de informações. Sob o contexto do MST, o LPE foi comparado com os modelos de Rasch e Logístico de 2 Parâmetro. Os MSTs foram construídos usando diferentes funções de objetivas que selecionaram os itens de bancos para comporem os testes. Três funções foram escolhidas para esse trabalho: As informações de Fisher e Kullback-Leibler e o Continuous Entropy Method. Os resultados para dados simulados e reais foram obtidos, os dados reais eram consituídos de respostas a perguntas sob conhecimento científico de do General Science test que foram fornecidos pela empresa Educational Testing Service. Resultados mostraram que o LPE pode ajudar os indivíduos que cometeram erros acidentais nas primeiras perguntas do teste, especialmente para os itens fáceis. Entretanto, este modelo requer tempo e uma grande quantidade de amostras de indivíduos para calcular as estimativas dos parâmetros dos itens o que o torna um modelo caro. O MST sob o modelo LPE pode diminuir o impacto de erros acidentais cometidos por examinandos com alto desempenho dependendo dos itens disponíveis no banco e a forma de construção do MST. O desempenho das funções objetivas variaram de acordo com cada situação.

The Logistic Positive Exponent (LPE) model from Item Response Theory (IRT) and the Multistage Adaptive Testing (MST) using this model are the focus of this dissertation. For the LPE, item parameter estimations efficiency was studied, it was also analyzed the latent trait estimation for different response patterns to verify the effects it has on guessing and accidental mistakes. The LPE was put in contrast to Rasch, 2 and 3 parameter logistic models to compare the its efficiency. The item parameter estimations were implemented using the Bayesian approach for the Monte Carlo Markov Chain and the Marginal Maximum Likelihood. The latent trait estimation were calculated by the Expected a Posterior method. A goodness of fit analysis were made using the Posterior Predictive model-check method and information statistics. In the MST perspective, the LPE was compared with the Rasch and 2 logistic models. Different tests were constructed using methods that uses optimization functions to select items from a bank. Three functions were chosen to this task: the Fisher and Kullback-Leibler informations and the Continuous Entropy Method. The results were obtained with simulated and real data, the latter was from a general science knowledge test calls General Science test and it was provided by the Educational Testing Service company. Results showed that the LPE might help individuals that made mistakes in earlier stage of the test, especially for easy items. However, the LPE requires a large individual sample and time to estimate the item parameters making it an expensive model. MST based on LPE can be dissolve the impact of accidental mistakes from high performance test takers depending of the item pool available and the way the test is constructed. The optimization function performance vary depending of the situation. / O modelo Logístico de Expoente Positivo (LPE) da Teoria de Resposta ao Item (IRT) e o Teste Adaptativo Multiestágio (MST) sob esse modelo são os focos desta tese. Para o LPE, a eficiência da estimações dos parâmetros dos itens foram estudados, também foi analisado como as estimativas dos parâmetros dos indivíduos foram influenciados por padrões de respostas contendo chutes ou erros acidentais. O LPE foi comparado com os modelos de Rasch, Logístico de 2 e 3 Parâmetros para verificar seu desempenho. A estimação dos parâmetros dos itens foi implementada usando Monte Carlo via cadeias de Markov sob a abordagem Bayesiana e a Máxima Verossimilhança Marginal. As estimações dos traços latentes foram calculadas através do Método da Esperança a Posteriori. A qualidade do ajuste dos modelos foram analisadas usando o método Posterior Predictive model-check e critério de informações. Sob o contexto do MST, o LPE foi comparado com os modelos de Rasch e Logístico de 2 Parâmetro. Os MSTs foram construídos usando diferentes funções de objetivas que selecionaram os itens de bancos para comporem os testes. Três funções foram escolhidas para esse trabalho: As informações de Fisher e Kullback-Leibler e o Continuous Entropy Method. Os resultados para dados simulados e reais foram obtidos, os dados reais eram consituídos de respostas a perguntas sob conhecimento científico de do General Science test que foram fornecidos pela empresa Educational Testing Service. Resultados mostraram que o LPE pode ajudar os indivíduos que cometeram erros acidentais nas primeiras perguntas do teste, especialmente para os itens fáceis. Entretanto, este modelo requer tempo e uma grande quantidade de amostras de indivíduos para calcular as estimativas dos parâmetros dos itens o que o torna um modelo caro. O MST sob o modelo LPE pode diminuir o impacto de erros acidentais cometidos por examinandos com alto desempenho dependendo dos itens disponíveis no banco e a forma de construção do MST. O desempenho das funções objetivas variaram de acordo com cada situação.

Made available in DSpace on 2016-06-02T20:06:05Z (GMT). No. of bitstreams: 1 4066.pdf: 4916301 bytes, checksum: c7a302cd5524ce8da164d4b95e1521a2 (MD5) Previous issue date: 2012-01-09 / The Birnbaum-Saunders Distribution is based on an physical damage that produces the cumulative fatigue materials, This fatigue was identified as an important cause of failure in engineering structures. Recently, this model has been applied in other areas such as health sciences, environmental measures, forestry, demographic, financial, among others. Due to it s importance several distributions have been proposed to describe the behavior of fatigue resistance. However there is not an argument about which is more effective for the analysis of data from fatigue. A major problem to choose a statistical distribution, is that often several models fit the data well in the central, but, however, the extremes of distribution raise questions about the decision to select some of their models. The lack of data at the extremes distribution is justified to consider other arguments like the use of a specific statistical distribution, and thus reject other models. In this work we study some extensions of the distribution Birnbaum-Saunders with a mixture of normal scale, in which the procedure will for obtaining inferences will be considered from a Bayesian perspective based on the methods Monte Carlo Markov Chain (MCMC). to detect possible observations influential in the models considered, we used the Bayesian method of analysis influence in each case based on the Kullback-Leibler divergence. Moreover, the geometric Birnbaum-Saunders model is proposed , for data survival. / A distribuição Birnbaum-Saunders (BS) está baseada em um argumento físico de dano cumulativo que produz a fadiga de materiais. Esta fadiga foi identificada como uma importante causa de falhas em estruturas de engenharia. Nos últimos tempos, este modelo tem sido aplicado em outras áreas, tais como: ciências da saúde, ambientais, florestais, demográficas, financeiras, entre outras. Devido a sua importância, várias distribuições têm sido propostas para descrever o comportamento da resistência à fadiga. Entretanto não há um argumento sobre qual modelo é mais efetivo para a análise dos dados de fadiga. Um dos principais problemas para escolher uma distribuição estatística, é que frequentemente vários modelos ajustam os dados bem na parte central, porém, no entanto, os extremos da distribuição colocam em dúvida a decisão para selecionar alguns dos modelos propostos. A falta de dados nos extremos da distribuição justifica considerar outros argumentos como o uso de um modelo estatístico específico, e assim rejeitar outros modelos. Neste trabalho estudamos algumas extensões da distribuição Birnbaum-Saunders com mistura de escala normal, no qual procedimento para obtenção de inferências sera considerado sob uma perspectiva Bayesiana baseada em Métodos de Monte Carlo via Cadeias de Markov (MCMC). Para detectar possíveis observações influentes nos modelos considerados, foi usado o método Bayesiano de análise de influência caso a caso, baseado na divergência de Kullback-Leibler. além disso, é proposto o modelo geométrico Birnbaum-Saunders, para dados de sobrevivência.

O principal objetivo deste trabalho é desenvolver procedimentos inferências em uma perspectiva bayesiana para modelos de sobrevivência com (ou sem) fração de cura baseada na distribuição exponencial por partes. A metodologia bayesiana é baseada em métodos de Monte Carlo via Cadeias de Markov (MCMC). Para detectar observações influentes nos modelos considerados foi usado o método bayesiano de análise de influência caso a caso (Cho et al., 2009), baseados na divergência de Kullback-Leibler. Além disso, propomos o modelo destrutivo binomial negativo com fração de cura. O modelo proposto é mais geral que os modelos de sobrevivência com fração de cura, já que permitem estimar a probabilidade do número de causas que não foram eliminadas por um tratamento inicial / The main objective is to develop procedures inferences in a bayesian perspective for survival models with (or without) the cure rate based on piecewise exponential distribution. The methodology is based on bayesian methods for Markov Chain Monte Carlo (MCMC). To detect influential observations in the models considering bayesian case deletion influence diagnostics based on the Kullback-Leibler divergence (Cho et al., 2009). Furthermore, we propose the negative binomial model destructive cure rate. The proposed model is more general than the survival models with cure rate, since the probability to estimate the number of cases which were not eliminated by an initial treatment