Software prediction unveils itself as a difficult but important task which can aid the manager on decision making, possibly allowing for time and resources sparing, achieving higher software quality among other benefits. One of the approaches set forth to perform this task has been the application of machine learning techniques. One of these techniques are Bayesian Networks, which have been promoted for software projects management due to their special features. However, the pre-processing procedures related to their application remain mostly neglected in this field. In this context, this study presents an assessment of automatic Bayesian Networks (i.e., Bayesian Networks solely based on data) on three public data sets and brings forward a discussion on data pre-processing procedures and the validation approach. We carried out a comparison of automatic Bayesian Networks against mean and median baseline models and also against ordinary least squares regression with a logarithmic transformation, which has been recently deemed in a comprehensive study as a top performer with regard to accuracy. The results obtained through careful validation procedures support that automatic Bayesian Networks can be competitive against other techniques, but still need improvements in order to catch up with linear regression models accuracy-wise. Some current limitations of Bayesian Networks are highlighted and possible improvements are discussed. Furthermore, this study provides some guidelines on the exploration of data. These guidelines can be useful to any Bayesian Networks that use data for model learning. Finally, this study also confirms the potential benefits of feature selection in software effort prediction.

Software prediction unveils itself as a difficult but important task which can aid the manager on decision making, possibly allowing for time and resources sparing, achieving higher software quality among other benefits. One of the approaches set forth to perform this task has been the application of machine learning techniques. One of these techniques are Bayesian Networks, which have been promoted for software projects management due to their special features. However, the pre-processing procedures related to their application remain mostly neglected in this field. In this context, this study presents an assessment of automatic Bayesian Networks (i.e., Bayesian Networks solely based on data) on three public data sets and brings forward a discussion on data pre-processing procedures and the validation approach. We carried out a comparison of automatic Bayesian Networks against mean and median baseline models and also against ordinary least squares regression with a logarithmic transformation, which has been recently deemed in a comprehensive study as a top performer with regard to accuracy. The results obtained through careful validation procedures support that automatic Bayesian Networks can be competitive against other techniques, but still need improvements in order to catch up with linear regression models accuracy-wise. Some current limitations of Bayesian Networks are highlighted and possible improvements are discussed. Furthermore, this study provides some guidelines on the exploration of data. These guidelines can be useful to any Bayesian Networks that use data for model learning. Finally, this study also confirms the potential benefits of feature selection in software effort prediction.

Há muitos anos, os sistemas de comitê já tem se mostrado um método eficiente para aumentar a acurácia e estabilidade de algoritmos de aprendizado nas décadas recentes, embora sua construção tem uma questão para ser elucidada: diversidade. O desacordo entre os modelos que compõe o comitê pode ser gerado quando eles são contruídos sob diferentes circunstâncias, tais como conjunto de dados de treinamento, configuração dos parâmetros e a seleção dos algoritmos de aprendizado. O ensemble pode ser visto como uma estrutura com três níveis: espaço de entrada, a base de componentes e o bloco de combinação das respostas dos componentes. Neste trabalho é proposta uma abordagem multi-nível usando Algoritmos Genéticos para construir um ensemble de Máquinas de Vetor de Suporte por Mínimos Quadrados ou LS-SVM, realizando uma seleção de atributos no espaço de entrada, parametrização e a escolha de quais modelos irão compor o comitê no nível de componentes e a busca por um vetor de pesos que melhor represente a importância de cada classificador na resposta final do comitê. De forma a avaliar a performance da abordagem proposta, foram utilizados alguns benchmarks do repositório da UCI para comparar com outros algoritmos de classificação. Além disso, também foram comparados os resultados da abordagem proposta com métodos de aprendizagem profunda nas bases de dados MNIST e CIFAR e se mostraram bastante satisfatórios. / Many years ago, the ensemble systems have been shown to be an efficient method to increase the accuracy and stability of learning algorithms in recent decades, although its construction has a question to be elucidated: diversity. The disagreement among the models that compose the ensemble can be generated when they are built under different circumstances, such as training dataset, parameter setting and selection of learning algorithms. The ensemble may be viewed as a structure with three levels: input space, the base components and the combining block of the components responses. In this work is proposed a multi-level approach using genetic algorithms to build the ensemble of Least Squares Support Vector Machines (LS-SVM), performing a feature selection in the input space, the parameterization and the choice of which models will compose the ensemble at the component level and finding a weight vector which best represents the importance of each classifier in the final response of the ensemble. In order to evaluate the performance of the proposed approach, some benchmarks from UCI Repository have been used to compare with other classification algorithms. Also, the results obtained by our approach were compared with some deep learning methods on the datasets MNIST and CIFAR and proved very satisfactory.

Software prediction unveils itself as a difficult but important task which can aid the manager on decision making, possibly allowing for time and resources sparing, achieving higher software quality among other benefits. One of the approaches set forth to perform this task has been the application of machine learning techniques. One of these techniques are Bayesian Networks, which have been promoted for software projects management due to their special features. However, the pre-processing procedures related to their application remain mostly neglected in this field. In this context, this study presents an assessment of automatic Bayesian Networks (i.e., Bayesian Networks solely based on data) on three public data sets and brings forward a discussion on data pre-processing procedures and the validation approach. We carried out a comparison of automatic Bayesian Networks against mean and median baseline models and also against ordinary least squares regression with a logarithmic transformation, which has been recently deemed in a comprehensive study as a top performer with regard to accuracy. The results obtained through careful validation procedures support that automatic Bayesian Networks can be competitive against other techniques, but still need improvements in order to catch up with linear regression models accuracy-wise. Some current limitations of Bayesian Networks are highlighted and possible improvements are discussed. Furthermore, this study provides some guidelines on the exploration of data. These guidelines can be useful to any Bayesian Networks that use data for model learning. Finally, this study also confirms the potential benefits of feature selection in software effort prediction.

Há muitos anos, os sistemas de comitê já tem se mostrado um método eficiente para aumentar a acurácia e estabilidade de algoritmos de aprendizado nas décadas recentes, embora sua construção tem uma questão para ser elucidada: diversidade. O desacordo entre os modelos que compõe o comitê pode ser gerado quando eles são contruídos sob diferentes circunstâncias, tais como conjunto de dados de treinamento, configuração dos parâmetros e a seleção dos algoritmos de aprendizado. O ensemble pode ser visto como uma estrutura com três níveis: espaço de entrada, a base de componentes e o bloco de combinação das respostas dos componentes. Neste trabalho é proposta uma abordagem multi-nível usando Algoritmos Genéticos para construir um ensemble de Máquinas de Vetor de Suporte por Mínimos Quadrados ou LS-SVM, realizando uma seleção de atributos no espaço de entrada, parametrização e a escolha de quais modelos irão compor o comitê no nível de componentes e a busca por um vetor de pesos que melhor represente a importância de cada classificador na resposta final do comitê. De forma a avaliar a performance da abordagem proposta, foram utilizados alguns benchmarks do repositório da UCI para comparar com outros algoritmos de classificação. Além disso, também foram comparados os resultados da abordagem proposta com métodos de aprendizagem profunda nas bases de dados MNIST e CIFAR e se mostraram bastante satisfatórios. / Many years ago, the ensemble systems have been shown to be an efficient method to increase the accuracy and stability of learning algorithms in recent decades, although its construction has a question to be elucidated: diversity. The disagreement among the models that compose the ensemble can be generated when they are built under different circumstances, such as training dataset, parameter setting and selection of learning algorithms. The ensemble may be viewed as a structure with three levels: input space, the base components and the combining block of the components responses. In this work is proposed a multi-level approach using genetic algorithms to build the ensemble of Least Squares Support Vector Machines (LS-SVM), performing a feature selection in the input space, the parameterization and the choice of which models will compose the ensemble at the component level and finding a weight vector which best represents the importance of each classifier in the final response of the ensemble. In order to evaluate the performance of the proposed approach, some benchmarks from UCI Repository have been used to compare with other classification algorithms. Also, the results obtained by our approach were compared with some deep learning methods on the datasets MNIST and CIFAR and proved very satisfactory.

Nesta tese estamos especificamente interessados no problema de engenharia re- versa de redes regulatórias genéticas a partir de dados de pós-genômicos, um grande desafio na área de Bioinformática. Redes regulatórias genéticas são complexos cir- cuitos biológicos responsáveis pela regulação do nível de expressão dos genes, desem- penhando assim um papel fundamental no controle de inúmeros processos celulares, incluindo diferenciação celular, ciclo celular e metabolismo. Decifrar a estrutura destas redes é crucial para possibilitar uma maior compreensão à nível de sistema do desenvolvimento e comportamento dos organismos, e eventualmente esclarecer os mecanismos de doenças causados pela desregulação dos processos acima mencio- nados. Devido ao expressivo aumento da disponibilidade de dados experimentais de larga escala e da grande dimensão e complexidade dos sistemas biológicos, métodos computacionais têm sido ferramentas essenciais para viabilizar esta investigação. No entanto, seu desempenho ainda é bastante deteriorado por importantes desafios com- putacionais e biológicos impostos pelo cenário. Em particular, o ruído e esparsidade inerentes aos dados biológicos torna este problema de inferência de redes um difícil problema de otimização combinatória, para o qual métodos computacionais dispo- níveis falham em relação à exatidão e robustez das predições. Esta tese tem como objetivo investigar o uso de técnicas de ensemble learning como forma de superar as limitações existentes e otimizar o processo de inferência, explorando a diversidade entre um conjunto de modelos. Com este intuito, desenvolvemos métodos computa- cionais tanto para gerar redes diversificadas, como para combinar estas predições em uma solução única (solução ensemble ), e aplicamos esta abordagem a uma série de cenários com diferentes fontes de diversidade a fim de compreender o seu potencial neste contexto específico. Mostramos que as soluções propostas são competitivas com algoritmos tradicionais deste campo de pesquisa e que melhoram nossa capa- cidade de reconstruir com precisão as redes regulatórias genéticas. Os resultados obtidos para a inferência de redes de regulação transcricional e pós-transcricional, duas camadas adjacentes e complementares que compõem a rede de regulação glo- bal, tornam evidente a eficiência e robustez da nossa abordagem, encorajando a consolidação de ensemble learning como uma metodologia promissora para decifrar a estrutura de redes regulatórias genéticas. / In this thesis we are concerned about the reverse engineering of gene regulatory networks from post-genomic data, a major challenge in Bioinformatics research. Gene regulatory networks are intricate biological circuits responsible for govern- ing the expression levels (activity) of genes, thereby playing an important role in the control of many cellular processes, including cell differentiation, cell cycle and metabolism. Unveiling the structure of these networks is crucial to gain a systems- level understanding of organisms development and behavior, and eventually shed light on the mechanisms of diseases caused by the deregulation of these cellular pro- cesses. Due to the increasing availability of high-throughput experimental data and the large dimension and complexity of biological systems, computational methods have been essential tools in enabling this investigation. Nonetheless, their perfor- mance is much deteriorated by important computational and biological challenges posed by the scenario. In particular, the noisy and sparse features of biological data turn the network inference into a challenging combinatorial optimization prob- lem, to which current methods fail in respect to the accuracy and robustness of predictions. This thesis aims at investigating the use of ensemble learning tech- niques as means to overcome current limitations and enhance the inference process by exploiting the diversity among multiple inferred models. To this end, we develop computational methods both to generate diverse network predictions and to combine multiple predictions into an ensemble solution, and apply this approach to a number of scenarios with different sources of diversity in order to understand its potential in this specific context. We show that the proposed solutions are competitive with tra- ditional algorithms in the field and improve our capacity to accurately reconstruct gene regulatory networks. Results obtained for the inference of transcriptional and post-transcriptional regulatory networks, two adjacent and complementary layers of the overall gene regulatory network, evidence the efficiency and robustness of our approach, encouraging the consolidation of ensemble systems as a promising methodology to decipher the structure of gene regulatory networks.

Nesta tese estamos especificamente interessados no problema de engenharia re- versa de redes regulatórias genéticas a partir de dados de pós-genômicos, um grande desafio na área de Bioinformática. Redes regulatórias genéticas são complexos cir- cuitos biológicos responsáveis pela regulação do nível de expressão dos genes, desem- penhando assim um papel fundamental no controle de inúmeros processos celulares, incluindo diferenciação celular, ciclo celular e metabolismo. Decifrar a estrutura destas redes é crucial para possibilitar uma maior compreensão à nível de sistema do desenvolvimento e comportamento dos organismos, e eventualmente esclarecer os mecanismos de doenças causados pela desregulação dos processos acima mencio- nados. Devido ao expressivo aumento da disponibilidade de dados experimentais de larga escala e da grande dimensão e complexidade dos sistemas biológicos, métodos computacionais têm sido ferramentas essenciais para viabilizar esta investigação. No entanto, seu desempenho ainda é bastante deteriorado por importantes desafios com- putacionais e biológicos impostos pelo cenário. Em particular, o ruído e esparsidade inerentes aos dados biológicos torna este problema de inferência de redes um difícil problema de otimização combinatória, para o qual métodos computacionais dispo- níveis falham em relação à exatidão e robustez das predições. Esta tese tem como objetivo investigar o uso de técnicas de ensemble learning como forma de superar as limitações existentes e otimizar o processo de inferência, explorando a diversidade entre um conjunto de modelos. Com este intuito, desenvolvemos métodos computa- cionais tanto para gerar redes diversificadas, como para combinar estas predições em uma solução única (solução ensemble ), e aplicamos esta abordagem a uma série de cenários com diferentes fontes de diversidade a fim de compreender o seu potencial neste contexto específico. Mostramos que as soluções propostas são competitivas com algoritmos tradicionais deste campo de pesquisa e que melhoram nossa capa- cidade de reconstruir com precisão as redes regulatórias genéticas. Os resultados obtidos para a inferência de redes de regulação transcricional e pós-transcricional, duas camadas adjacentes e complementares que compõem a rede de regulação glo- bal, tornam evidente a eficiência e robustez da nossa abordagem, encorajando a consolidação de ensemble learning como uma metodologia promissora para decifrar a estrutura de redes regulatórias genéticas. / In this thesis we are concerned about the reverse engineering of gene regulatory networks from post-genomic data, a major challenge in Bioinformatics research. Gene regulatory networks are intricate biological circuits responsible for govern- ing the expression levels (activity) of genes, thereby playing an important role in the control of many cellular processes, including cell differentiation, cell cycle and metabolism. Unveiling the structure of these networks is crucial to gain a systems- level understanding of organisms development and behavior, and eventually shed light on the mechanisms of diseases caused by the deregulation of these cellular pro- cesses. Due to the increasing availability of high-throughput experimental data and the large dimension and complexity of biological systems, computational methods have been essential tools in enabling this investigation. Nonetheless, their perfor- mance is much deteriorated by important computational and biological challenges posed by the scenario. In particular, the noisy and sparse features of biological data turn the network inference into a challenging combinatorial optimization prob- lem, to which current methods fail in respect to the accuracy and robustness of predictions. This thesis aims at investigating the use of ensemble learning tech- niques as means to overcome current limitations and enhance the inference process by exploiting the diversity among multiple inferred models. To this end, we develop computational methods both to generate diverse network predictions and to combine multiple predictions into an ensemble solution, and apply this approach to a number of scenarios with different sources of diversity in order to understand its potential in this specific context. We show that the proposed solutions are competitive with tra- ditional algorithms in the field and improve our capacity to accurately reconstruct gene regulatory networks. Results obtained for the inference of transcriptional and post-transcriptional regulatory networks, two adjacent and complementary layers of the overall gene regulatory network, evidence the efficiency and robustness of our approach, encouraging the consolidation of ensemble systems as a promising methodology to decipher the structure of gene regulatory networks.

Nesta tese estamos especificamente interessados no problema de engenharia re- versa de redes regulatórias genéticas a partir de dados de pós-genômicos, um grande desafio na área de Bioinformática. Redes regulatórias genéticas são complexos cir- cuitos biológicos responsáveis pela regulação do nível de expressão dos genes, desem- penhando assim um papel fundamental no controle de inúmeros processos celulares, incluindo diferenciação celular, ciclo celular e metabolismo. Decifrar a estrutura destas redes é crucial para possibilitar uma maior compreensão à nível de sistema do desenvolvimento e comportamento dos organismos, e eventualmente esclarecer os mecanismos de doenças causados pela desregulação dos processos acima mencio- nados. Devido ao expressivo aumento da disponibilidade de dados experimentais de larga escala e da grande dimensão e complexidade dos sistemas biológicos, métodos computacionais têm sido ferramentas essenciais para viabilizar esta investigação. No entanto, seu desempenho ainda é bastante deteriorado por importantes desafios com- putacionais e biológicos impostos pelo cenário. Em particular, o ruído e esparsidade inerentes aos dados biológicos torna este problema de inferência de redes um difícil problema de otimização combinatória, para o qual métodos computacionais dispo- níveis falham em relação à exatidão e robustez das predições. Esta tese tem como objetivo investigar o uso de técnicas de ensemble learning como forma de superar as limitações existentes e otimizar o processo de inferência, explorando a diversidade entre um conjunto de modelos. Com este intuito, desenvolvemos métodos computa- cionais tanto para gerar redes diversificadas, como para combinar estas predições em uma solução única (solução ensemble ), e aplicamos esta abordagem a uma série de cenários com diferentes fontes de diversidade a fim de compreender o seu potencial neste contexto específico. Mostramos que as soluções propostas são competitivas com algoritmos tradicionais deste campo de pesquisa e que melhoram nossa capa- cidade de reconstruir com precisão as redes regulatórias genéticas. Os resultados obtidos para a inferência de redes de regulação transcricional e pós-transcricional, duas camadas adjacentes e complementares que compõem a rede de regulação glo- bal, tornam evidente a eficiência e robustez da nossa abordagem, encorajando a consolidação de ensemble learning como uma metodologia promissora para decifrar a estrutura de redes regulatórias genéticas. / In this thesis we are concerned about the reverse engineering of gene regulatory networks from post-genomic data, a major challenge in Bioinformatics research. Gene regulatory networks are intricate biological circuits responsible for govern- ing the expression levels (activity) of genes, thereby playing an important role in the control of many cellular processes, including cell differentiation, cell cycle and metabolism. Unveiling the structure of these networks is crucial to gain a systems- level understanding of organisms development and behavior, and eventually shed light on the mechanisms of diseases caused by the deregulation of these cellular pro- cesses. Due to the increasing availability of high-throughput experimental data and the large dimension and complexity of biological systems, computational methods have been essential tools in enabling this investigation. Nonetheless, their perfor- mance is much deteriorated by important computational and biological challenges posed by the scenario. In particular, the noisy and sparse features of biological data turn the network inference into a challenging combinatorial optimization prob- lem, to which current methods fail in respect to the accuracy and robustness of predictions. This thesis aims at investigating the use of ensemble learning tech- niques as means to overcome current limitations and enhance the inference process by exploiting the diversity among multiple inferred models. To this end, we develop computational methods both to generate diverse network predictions and to combine multiple predictions into an ensemble solution, and apply this approach to a number of scenarios with different sources of diversity in order to understand its potential in this specific context. We show that the proposed solutions are competitive with tra- ditional algorithms in the field and improve our capacity to accurately reconstruct gene regulatory networks. Results obtained for the inference of transcriptional and post-transcriptional regulatory networks, two adjacent and complementary layers of the overall gene regulatory network, evidence the efficiency and robustness of our approach, encouraging the consolidation of ensemble systems as a promising methodology to decipher the structure of gene regulatory networks.

O presente trabalho descreve um modelo híbrido para sistemas especialistas classificatórios que Integra os mecanismos de representação de conhecimento de frames e de redes neurais, assimilando qualidades inerentes de cada um dos dois paradigmas. O mecanismo de frames fornece tipos construtores flexíveis para a modelagem do conhecimento do domínio, enquanto as redes neurais possibilitam tanto a automação da aquisição de conhecimento, a partir de uma base de casos, quanto a implementação de aprendizado indutivo e dedutivo. Empregam-se dois tipos de frames para representar o conhecimento relativo aos problemas de classificação: frames de achado e frames de diagn6stico. Os primeiros descrevem os objetos elementares da aplicação que podem influenciar na detecção de certos diagnósticos. Os frames de diagnóstico, por sua vez, são descritos em termos de achados e correspondem as descrições dos problemas de classificação tratados pelo sistema especialista. E utilizado o Modelo Neural Combinatório (MNC), caracterizado por sua capacidade de aprendizado heurístico através do reconhecimento de regularidades observadas no mundo exterior. A integração do mecanismo de representação de frames e do MNC se da ao nível dos frames de diagn6stico, armazenando representações simbólicas do conhecimento das redes neurais que explicitam o conhecimento armazenado nas camadas intermediarias das Últimas. O motor de inferência do sistema opera de maneira integrada sobre ambos os paradigmas, o conexionista e o simbólico. A máquina de aprendizado fornece meios para a automação da aquisição de conhecimento a partir de um banco de casos, bem como para o refinamento do conhecimento do sistema. A máquina de aprendizado dividida em dois componentes principais: o componente de aprendizado indutivo e o componente de aprendizado dedutivo. O primeiro se volta para o componente indutivo e utiliza os métodos de aprendizado por casos de treinamento, descritos para o MNC, para refinar o conhecimento das redes neurais. O componente dedutivo faz use de uma estratégia de reorganização das redes neurais, para gerar novos modelos de resolução de problemas. 0 sistema implementado, denominado HYCONES (the HYbrid CONnectionist Expert System) é apresentado corn detalhamento da integragao entre os paradigmas simbOlico e conexionista. Para validar HYCONES, foram construfdas e testadas 5 versoes de uma base de conhecimento hfbrida para o diagnostico das 3 cardiopatias congenitas mais freqfjentes no Institute de Cardiologia - RS. A primeira delas (B1) baseou-se no conhecimento extrafdo de 22 especialistas em cardiologia pediatrica, de 4 instituicaes brasileiras. Os grafos medios de conhecimento destes especialistas foram diretamente traduzidos para redes neurais MNC, dando origem a primeria versao do sistema. A segunda versao (B2) baseou-se no refinamento da base de conhecimento da versao B1, atraves da reorganizacao e treinamento das redes neurais dos especialistas, corn aplicagao dos metodos de aprendizado dedutivo. A terceira versão (B3) baseou-se no conhecimento de 23 não especialistas, cardiologistas gerais, na sua maioria oriundos do Institute de Cardiologia - RS. A mesma técnica aplicada para a construção da versão B1 foi utilizada para construir esta versão da base de conhecimento hibrida. A quarta versao (B4) corresponde ao refinamento e reorganização da base de conhecimento da versão B3, com as mesmas técnicas de aprendizado dedutivo, aplicadas na construção da versão B2. Finalmente, na quinta versão (B5), a base de conhecimento foi construída, automaticamente, a partir de base de casos, valendo-se do método de explicitação automática de conhecimento do MNC. Os resultados obtidos na validação do sistema comprovaram a eficiência dos métodos de explicitação automática de conhecimento, a partir do banco de casos e de aprendizado dedutivo, por reorganização e treinamento das redes neurais. As principais contribuições deste trabalho foram: a definição do mecanismo para integração de frames a redes neurais; a especificação dos métodos de aquisição automática do conhecimento, a partir de um banco de casos e seu posterior treinamento e aprendizado, por métodos indutivos e dedutivos; finalmente, a incorporação das medidas de especificidade e sensibilidade no processo de explicitação automática do conhecimento do banco de casos. / This dissertation describes a hybrid model for classification expert systems - HYCONES (HYbrid CoNnectionist Expert System), which integrates the knowledge representation mechanism of frames and neural networks, incorporating qualities inherent to each of the knowledge representation paradigms. The mechanism of frames provides flexible constructs for modeling the domain knowledge. The neural networks provide the means for automatic knowledge acquisition and enable the implementation of deductive and inductive learning. The frames mechanism makes use of semantic modeling concepts to make the new model more generic and to provide flexible constructs for knowledge representation. It employs two basic types of frames to represent the knowledge involved in classification problems: finding frames and diagnosis frames. The finding frames describe the elementary objects of the application world that can influence in the detection of certain diagnoses. Diagnosis frames, on the other hand, are described in terms of findings and correspond to the descriptions of the classification problems addressed by the expert system. The Combinatorial Neural Model (CNM) was the architecture chosen for the neural network environment. This model is characterized by its capacity of learning through the recognition of regularities observed in the outside world. The integration of the knowledge representation mechanism of frames with the CNM happens at the diagnosis frames level. The diagnosis frames store symbolic representations of knowledge contained in the neural networks. The system's inference machine operates under an integrated manner with both knowledge representation paradigms. The learning machine provides the means for automatic knowledge acquisition and for knowledge refinement. It is composed by two modules: the inductive and the deductive learning component. The first one uses CNM methods to refine the neural network knowledge. The latter follows a strategy that reorganizes the neural networks, generating new problem solving models. The implemented HYCONES system is presented, detailing the integration between the symbolic and the connectionist approach. To validate HYCONES, five versions of a hybrid knowledge base (HKB) for the diagnosis of the three most common congenital heart diseases at the Institute de Cardiologia - RS were constructed and tested. The first version of the HKB, named B1 for validation purposes, is based on the mean knowledge graphs of 22 experts in congenital heart diseases, from four important Brazilian cardiological institutions. These KG were directly translated to CNM neural networks. The second version of the HKB, named B3 for validation purposes, contains the mean knowledge graphs of 23 non-experts, i.e., general cardiologists, from the Institute of Cardiology of RS. The same method used to built B1 was invoked here: direct translation from the knowledge graphs to CNM neural networks. The second and fourth versions of HKB, named B2 and B4 respectively, consist of trained versions of B1 and B3. To create these trained versions, the CNM neural networks of B1 and B3 were submitted to deductive learning procedures. Finally, the fifth version of HKB, B5, was automatically created, based on the training of the case database. The results obtained and presented in this document point out to the efficiency of the automatic knowledge acquisition methods and the deductive learning techniques implemented, through the reorganization and training of the neural networks. The main contributions of this research are the design of a mechanism for the integration of frames and neural networks, the specification of the learning methods for the hybrid model and the analysis of factors such as specificity and sensibility in the process of automatic knowledge acquisition.

O presente trabalho descreve um modelo híbrido para sistemas especialistas classificatórios que Integra os mecanismos de representação de conhecimento de frames e de redes neurais, assimilando qualidades inerentes de cada um dos dois paradigmas. O mecanismo de frames fornece tipos construtores flexíveis para a modelagem do conhecimento do domínio, enquanto as redes neurais possibilitam tanto a automação da aquisição de conhecimento, a partir de uma base de casos, quanto a implementação de aprendizado indutivo e dedutivo. Empregam-se dois tipos de frames para representar o conhecimento relativo aos problemas de classificação: frames de achado e frames de diagn6stico. Os primeiros descrevem os objetos elementares da aplicação que podem influenciar na detecção de certos diagnósticos. Os frames de diagnóstico, por sua vez, são descritos em termos de achados e correspondem as descrições dos problemas de classificação tratados pelo sistema especialista. E utilizado o Modelo Neural Combinatório (MNC), caracterizado por sua capacidade de aprendizado heurístico através do reconhecimento de regularidades observadas no mundo exterior. A integração do mecanismo de representação de frames e do MNC se da ao nível dos frames de diagn6stico, armazenando representações simbólicas do conhecimento das redes neurais que explicitam o conhecimento armazenado nas camadas intermediarias das Últimas. O motor de inferência do sistema opera de maneira integrada sobre ambos os paradigmas, o conexionista e o simbólico. A máquina de aprendizado fornece meios para a automação da aquisição de conhecimento a partir de um banco de casos, bem como para o refinamento do conhecimento do sistema. A máquina de aprendizado dividida em dois componentes principais: o componente de aprendizado indutivo e o componente de aprendizado dedutivo. O primeiro se volta para o componente indutivo e utiliza os métodos de aprendizado por casos de treinamento, descritos para o MNC, para refinar o conhecimento das redes neurais. O componente dedutivo faz use de uma estratégia de reorganização das redes neurais, para gerar novos modelos de resolução de problemas. 0 sistema implementado, denominado HYCONES (the HYbrid CONnectionist Expert System) é apresentado corn detalhamento da integragao entre os paradigmas simbOlico e conexionista. Para validar HYCONES, foram construfdas e testadas 5 versoes de uma base de conhecimento hfbrida para o diagnostico das 3 cardiopatias congenitas mais freqfjentes no Institute de Cardiologia - RS. A primeira delas (B1) baseou-se no conhecimento extrafdo de 22 especialistas em cardiologia pediatrica, de 4 instituicaes brasileiras. Os grafos medios de conhecimento destes especialistas foram diretamente traduzidos para redes neurais MNC, dando origem a primeria versao do sistema. A segunda versao (B2) baseou-se no refinamento da base de conhecimento da versao B1, atraves da reorganizacao e treinamento das redes neurais dos especialistas, corn aplicagao dos metodos de aprendizado dedutivo. A terceira versão (B3) baseou-se no conhecimento de 23 não especialistas, cardiologistas gerais, na sua maioria oriundos do Institute de Cardiologia - RS. A mesma técnica aplicada para a construção da versão B1 foi utilizada para construir esta versão da base de conhecimento hibrida. A quarta versao (B4) corresponde ao refinamento e reorganização da base de conhecimento da versão B3, com as mesmas técnicas de aprendizado dedutivo, aplicadas na construção da versão B2. Finalmente, na quinta versão (B5), a base de conhecimento foi construída, automaticamente, a partir de base de casos, valendo-se do método de explicitação automática de conhecimento do MNC. Os resultados obtidos na validação do sistema comprovaram a eficiência dos métodos de explicitação automática de conhecimento, a partir do banco de casos e de aprendizado dedutivo, por reorganização e treinamento das redes neurais. As principais contribuições deste trabalho foram: a definição do mecanismo para integração de frames a redes neurais; a especificação dos métodos de aquisição automática do conhecimento, a partir de um banco de casos e seu posterior treinamento e aprendizado, por métodos indutivos e dedutivos; finalmente, a incorporação das medidas de especificidade e sensibilidade no processo de explicitação automática do conhecimento do banco de casos. / This dissertation describes a hybrid model for classification expert systems - HYCONES (HYbrid CoNnectionist Expert System), which integrates the knowledge representation mechanism of frames and neural networks, incorporating qualities inherent to each of the knowledge representation paradigms. The mechanism of frames provides flexible constructs for modeling the domain knowledge. The neural networks provide the means for automatic knowledge acquisition and enable the implementation of deductive and inductive learning. The frames mechanism makes use of semantic modeling concepts to make the new model more generic and to provide flexible constructs for knowledge representation. It employs two basic types of frames to represent the knowledge involved in classification problems: finding frames and diagnosis frames. The finding frames describe the elementary objects of the application world that can influence in the detection of certain diagnoses. Diagnosis frames, on the other hand, are described in terms of findings and correspond to the descriptions of the classification problems addressed by the expert system. The Combinatorial Neural Model (CNM) was the architecture chosen for the neural network environment. This model is characterized by its capacity of learning through the recognition of regularities observed in the outside world. The integration of the knowledge representation mechanism of frames with the CNM happens at the diagnosis frames level. The diagnosis frames store symbolic representations of knowledge contained in the neural networks. The system's inference machine operates under an integrated manner with both knowledge representation paradigms. The learning machine provides the means for automatic knowledge acquisition and for knowledge refinement. It is composed by two modules: the inductive and the deductive learning component. The first one uses CNM methods to refine the neural network knowledge. The latter follows a strategy that reorganizes the neural networks, generating new problem solving models. The implemented HYCONES system is presented, detailing the integration between the symbolic and the connectionist approach. To validate HYCONES, five versions of a hybrid knowledge base (HKB) for the diagnosis of the three most common congenital heart diseases at the Institute de Cardiologia - RS were constructed and tested. The first version of the HKB, named B1 for validation purposes, is based on the mean knowledge graphs of 22 experts in congenital heart diseases, from four important Brazilian cardiological institutions. These KG were directly translated to CNM neural networks. The second version of the HKB, named B3 for validation purposes, contains the mean knowledge graphs of 23 non-experts, i.e., general cardiologists, from the Institute of Cardiology of RS. The same method used to built B1 was invoked here: direct translation from the knowledge graphs to CNM neural networks. The second and fourth versions of HKB, named B2 and B4 respectively, consist of trained versions of B1 and B3. To create these trained versions, the CNM neural networks of B1 and B3 were submitted to deductive learning procedures. Finally, the fifth version of HKB, B5, was automatically created, based on the training of the case database. The results obtained and presented in this document point out to the efficiency of the automatic knowledge acquisition methods and the deductive learning techniques implemented, through the reorganization and training of the neural networks. The main contributions of this research are the design of a mechanism for the integration of frames and neural networks, the specification of the learning methods for the hybrid model and the analysis of factors such as specificity and sensibility in the process of automatic knowledge acquisition.