Short-term electricity price forecasting is now crucial practice in deregulated electricity markets, as it forms the basis for maximizing the profits of the market participants. In this thesis, short-term electricity prices are forecast using three different predictor schemes, Artificial Neural Networks (ANNs), Support Vector Machine (SVM) and a hybrid scheme, respectively. ANNs are the very popular and successful tools for practical forecasting. In this thesis, a hidden-layered feed-forward neural network with back-propagation has been adopted for detailed comparison with other forecasting models. SVM is a newly developed technique that has many attractive features and good performance in terms of prediction. In order to overcome the limitations of individual forecasting models, a hybrid technique that combines Fuzzy-C-Means (FCM) clustering and SVM regression algorithms is proposed to forecast the half-hour electricity prices in the UK electricity markets. According to the value of their power prices, thousands of the training data are classified by the unsupervised learning method of FCM clustering. SVM regression model is then applied to each cluster by taking advantage of the aggregated data information, which reduces the noise for each training program. In order to demonstrate the predictive capability of the proposed model, ANNs and SVM models are presented and compared with the hybrid technique based on the same training and testing data sets in the case studies by using real electricity market data. The data was obtained upon request from APX Power UK for the year 2007. Mean Absolute Percentage Error (MAPE) is used to analyze the forecasting errors of different models and the results presented clearly show that the proposed hybrid technique considerably improves the electricity price forecasting.

When performing predictive data mining, the use of ensembles is claimed to virtually guarantee increased accuracy compared to the use of single models. Unfortunately, the problem of how to maximize ensemble accuracy is far from solved. In particular, the relationship between ensemble diversity and accuracy is not completely understood, making it hard to efficiently utilize diversity for ensemble creation. Furthermore, most high-accuracy predictive models are opaque, i.e. it is not possible for a human to follow and understand the logic behind a prediction. For some domains, this is unacceptable, since models need to be comprehensible. To obtain comprehensibility, accuracy is often sacrificed by using simpler but transparent models; a trade-off termed the accuracy vs. comprehensibility trade-off. With this trade-off in mind, several researchers have suggested rule extraction algorithms, where opaque models are transformed into comprehensible models, keeping an acceptable accuracy.In this thesis, two novel algorithms based on Genetic Programming are suggested. The first algorithm (GEMS) is used for ensemble creation, and the second (G-REX) is used for rule extraction from opaque models. The main property of GEMS is the ability to combine smaller ensembles and individual models in an almost arbitrary way. Moreover, GEMS can use base models of any kind and the optimization function is very flexible, easily permitting inclusion of, for instance, diversity measures. In the experimentation, GEMS obtained accuracies higher than both straightforward design choices and published results for Random Forests and AdaBoost. The key quality of G-REX is the inherent ability to explicitly control the accuracy vs. comprehensibility trade-off. Compared to the standard tree inducers C5.0 and CART, and some well-known rule extraction algorithms, rules extracted by G-REX are significantly more accurate and compact. Most importantly, G-REX is thoroughly evaluated and found to meet all relevant evaluation criteria for rule extraction algorithms, thus establishing G-REX as the algorithm to benchmark against. / <p>Avhandling framlagd 2007-06-01 vid Högskolan i Skövde.</p><p>Opponent: Rögnvaldsson, Thorsteinn, Professor, Sektionen för informationsvetenskap, Data- och Elektroteknik, Högskolan i Halmstad.</p>

<p>U fazi razvoja traktora upotrebom računarski podržanih simulacija, neophodan je odgovarajući model pneumatika. U radu je korišćenjem neuronskih mreža razvijen originalni empirijski model geometrijskog niskopojasnog filtriranja kratkotalasnih neravnina podloge koje vrši pneumatik. Razvoj modela baziran je na sopstvenim eksperimentalnim istraživanjima posmatranog aspekta ponašanja pneumatika. Model je integrisan u globalni oscilatorni model sposoban da opiše osnovne aspekte dinamičkog ponašanja taktorskih pneumatika.</p> / <p>During tractor development phase in which computer aided simulations are used, it is necessary to use appropriate tire model. Original empirical model of tractor tire low-pass geometric filtering behavior on short-wavelength road unevenness was developed in this work by using neural networks. Model development is based on author&#39;s experimental investigations. Model is integrated into global vibration tire model able to describe basic aspects of tractor tire dynamic behavior.</p>

Le développement de nouvelles techniques en radiothérapie externe ouvre de nouvelles voies dans la recherche de gain de précision dans la distribution de dose en passant notamment par la connaissance du mouvement pulmonaire. La simulation numérique NEMOSIS (Neural Network Motion Simulation System) basée sur les Réseaux de Neurones Artificiels (RNA) développée ici permet, en plus de déterminer de façon personnalisée le mouvement, de réduire les doses nécessaires initiales pour le déterminer. La première partie présente les techniques actuelles de traitement, les mouvements pulmonaires ainsi que les méthodes de simulation ou d’estimation du mouvement déjà existantes. La seconde partie décrit le réseau de neurones artificiels utilisé et les étapes de son paramétrage pour répondre à la problématique posée. Une évaluation précise de notre approche a été réalisée sur des données originales. Les résultats obtenus sont comparés avec une méthode d’estimation du mouvement. Les temps de calcul extrêmement faibles, de l’ordre de 7 millisecondes pour générer une phase respiratoire, ont permis d’envisager son utilisation en routine clinique. Des modifications sont apportées à NEMOSIS afin de répondre aux critères de son utilisation en radiothérapie externe et une étude sur le mouvement de contours tumoraux est effectuée. Ces travaux ont mis en place les bases de la simulation du mouvement pulmonaire par RNA et ont validé cette approche. Son exécution en temps réel couplé à la précision de la prédiction fait de NEMOSIS un outil prometteur dans la simulation du mouvement synchronisé avec la respiration. / The development of new techniques in the field of external radiotherapy opens new ways of gaining accuracy in dose distribution, in particular through the knowledge of individual lung motion. The numeric simulation NEMOSIS (Neural Network Motion Simulation System) we describe is based on artificial neural networks (ANN) and allows, in addition to determining motion in a personalized way, to reduce the necessary initial doses to determine it. In the first part, we will present current treatment options, lung motion as well as existing simulation or estimation methods. The second part describes the artificial neural network used and the steps for defining its parameters. An accurate evaluation of our approach was carried out on original patient data. The obtained results are compared with an existing motion estimated method. The extremely short computing time, in the range of milliseconds for the generation of one respiratory phase, would allow its use in clinical routine. Modifications to NEMOSIS in order to meet the requirements for its use in external radiotherapy are described, and a study of the motion of tumor outlines is carried out. This work lays the basis for lung motion simulation with ANNs and validates our approach. Its real time implementation coupled to its predication accuracy makes NEMOSIS promising tool for the simulation of motion synchronized with breathing.

[pt] A presente dissertação tem por objetivo desenvolver um modelo inteligente que permita, por uma análise quantitativa e probabilística, gerar uma carteira otimizada composta de um ativo financeiro e opções sobre este ativo. Procurou-se estudar inicialmente as características da distribuição de retornos e da volatilidade das ações mais líquidas da Bolsa de Valores de São Paulo, no período de Jan/2005 a Jul/2010, através de regressões polinomiais univariadas e bivariadas. Observouse características como a de reversão a média da volatilidade, correlação da volatilidade futura com um período histórico mais longo e outro mais curto e uma relação possivelmente quadrática entre a volatilidade histórica e a volatilidade futura. Desenvolveu-se então, satisfatoriamente, uma rede neural para prever a volatilidade futura das ações, por este ser o fator mais crítico para se determinar o preço de uma opção. Utilizando-se da precificação das opções, avaliou-se o desempenho de algoritmos genéticos na otimização de carteiras estruturadas com esses derivativos, com três funções de avaliação diferentes, a fim de aumentar o potencial retorno de um investimento, minimizando seus riscos. O sistema evolucionário implementado demonstrou ser satisfatório quando comparado a carteira otimizada com diversas outras estratégias comuns de mercado, demonstrando ser uma alternativa de apoio a decisão para investidores e gestores de carteiras. / [en] This dissertation develops an intelligent, quantitative and probabilistic model to determine an optimal composition of a portfolio consisting of a financial asset and options over this asset. Initially we studied the characteristics of the historical distribution of returns and volatility of the most liquid stocks from the BOVESPA Stock Exchange, from January 2005 to July 2010, through a univariate and a bivariate polynomial regression. Characteristics such as mean reversion of volatility, strong correlation of historical and future volatility and a quadratic polynomial relationship between them were observed. A neural network was then developed to predict the future volatility of these stocks, since that is the most critical variable in determining an option´s price. Using the option pricing, we evaluated the performance of genetic algorithms in optimizing portfolios, structured with these derivatives, with three different evaluation functions in order to increase the potential return of investments while minimizing downside risks. The developed evolutionary system showed satisfactory results when the optimal portfolio was compared with several other market option strategies, demonstrating to be a relevant decision support system for investors and portfolio managers.

A análise visual do eletroencefalograma (EEG) tem se mostrado útil na ajuda diagnóstica da doença de Alzheimer (DA), sendo indicado em alguns protocolos clínicos quando o diagnóstico permanece em aberto após a avaliação inicial. Porém, tal análise está sujeita naturalmente à imprecisão inerente de equipamentos, movimentos do paciente, registros elétricos e variação da interpretação da análise visual do médico. A teoria das Redes Neurais Artificiais (RNA) tem-se mostrado muito apropriado para tratar problemas como predição e reconhecimento de padrões de sinais em outras áreas do conhecimento. Neste trabalho utilizou-se uma nova classe de RNA, a Rede Neural Artificial Paraconsistente (RNAP), caracterizada pela manipulação de informações incertas, inconsistentes e paracompletas, destinada a reconhecer padrões predeterminados de EEG e de avaliar sua aplicabilidade como método auxiliar para o diagnóstico da DA. Trinta e três pacientes com DA provável e trinta e quatro pacientes controles foram submetidos ao registro de exames de EEG durante a vigília em repouso. Considerou-se como padrão normal de um paciente, a atividade de base entre 8,0 Hz e 12,0 Hz (com uma frequência média de 10 Hz), permitindo uma variação de 0.5 Hz. A RNAP foi capaz de reconhecer ondas de diferentes bandas de frequência (teta, delta, alfa e beta) aplicadas ao uso clínico do EEG, levando a uma concordância com o diagnóstico clínico de 82% de sensibilidade e 61% de especificidade. Com estes resultados, acredita-se que a RNAP possa vir a ser uma ferramenta promissora para manipular análise de EEG, tendo em mente as seguintes considerações: o interesse crescente de especialistas em análise visual de EEG e a capacidade da RNAP tratar diretamente dados imprecisos, inconsistentes e paracompletos, fornecendo uma interessante análise quantitativa e qualitativa / The visual analysis of EEG has shown useful in helping the diagnosis of Alzheimer disease (AD) when the diagnosis remains uncertain, being used in some clinical protocols. However, such analysis is subject to the inherent equipment imprecision, patient movement, electrical records, and physician interpretation of the visual analysis variation. The Artificial Neural Network (ANN) could be a helpful tool, appropriate to address problems such as prediction and pattern recognition. In this work, it has use a new class of ANN, the Paraconsistent Artificial Neural Network (PANN), which is capable of handling uncertain, inconsistent, and paracomplet information, for recognizing predetermined patterns of EEG and to assess its value as a possible auxiliary method for AD diagnosis. Thirty three patients with Alzheimer\'s disease and thirty four controls patients of EEG records were obtained during relaxed wakefulness. It was considered as normal patient pattern, the background EEG activity between 8.0 Hz and 12.0 Hz (with an average frequency of 10 Hz), allowing a range of 0.5 Hz. The PANN was able to recognize waves that belonging to their respective bands of clinical use (theta, delta, alpha, and beta), leading to an agreement with the clinical diagnosis at 82% of sensitivity and at 61% of specificity. Supported with these results, the PANN could be a promising tool to manipulate EEG analysis, bearing in mind the following considerations: the growing interest of specialists in EEG analysis visual and the ability of the PANN to deal directly imprecise, inconsistent and paracomplet data, providing an interesting quantitative and qualitative analysis

Neste estudo realizamos uma prova de conceito através da combinação de três técnicas com a finalidade de monitorar a mosturação e fermentação da cerveja durante o processo de fabricação. O princípio deste trabalho é baseado em uma análise espectral, utilizando um equipamento de absorção na região do infravermelho médio por transformada de Fourier (FTIR - Fourier Transform Infrared) de amostras coletadas durante a fabricação da cerveja. Combinado com técnicas de processamento de Análise de Componentes Principais e Redes Neurais Artificiais é possível quantificar a concentração dos principais carboidratos e etanol presentes nestas amostras. Estas medidas físicas e químicas irão permitir a redução de erros durante a produção de cerveja além de optimizar as reações enzimáticas intrínsecas de suas principais etapas de análise. As técnicas ópticas de absorção, juntamente com o processamento neural, apresentam grandes vantagens, principalmente devido ao fato de serem facilmente adaptáveis aos equipamentos industriais, fornecendo respostas em curtos intervalos de tempo com alta sensibilidade e especificidade. / This study is fundamentally a proof of concept. By the combination of three techniques, our aim is to develop a new method of monitoring beer wort production and fermentation during brewing. The principle is based on spectral analyses, using Fourier Transform Infrared (FTIR) spectroscopy to collect absorption data from beer wort samples. This data is refined by the application of a statistical method, Principal Component Analysis (PCA), to reduce the number of variables. A computational method, Artificial Neural Network (ANN), enables quantification of carbohydrates and ethanol concentrations. Such physical-chemical measurements are expected to allow both reduction of mistakes during beer processing and optimization of enzymatic reactions, enhancing brewing processes. Optical absorption techniques associated with Artificial Neural Network present great advantages, mainly because the first ones are more easily inserted in industries than the latter ones, since they enable assessing the process status at short intervals, with high sensibility ; specificity.

Neste trabalho investigamos o aprendizado supervisionado on-line, com ênfase nas habilidades de generalização, de redes neurais feedforward. O estudo de algoritmos de aprendizagem ótimos, no sentido da generalização, é estendido para duas diferentes classes de arquiteturas: a máquina paridade com estrutura de árvore e K unidades escondidas, e o perceptron reversed wedge, uma máquina de uma camada com função de transferência não monotônica. O papel do ruído é de fundamental importância na teoria de aprendizagem. Neste trabalho estudamos os processos com ruído que podem ser parametrizados por uma única quantidade, o nível de ruído. No caso da máquina paridade analisamos o aprendizado na presença de ruído multiplicativo (na saída). O algoritmo ótimo é muito superior aos algoritmos de aprendizagem até então apresentados, como o algoritmo de mínima ação (LAA), como podemos ver, por exemplo, através do comportamento do erro de generalização que decai após a apresentação de p exemplos, com l/p ao invés de l/\'p POT. 1/3\' como no caso do LAA. Além deste fato, observa-se que não existe um nível de ruído crítico a partir do qual a rede não é capaz de generalizar, como ocorre no LAA. Além do ruído multiplicativo, no caso do perceptron reversed wedge consideramos também o ruído aditivo. Analisamos a função de modulação fornecida pelo algoritmo ótimo e as curvas de aprendizagem. A aprendizagem ótima requer o uso de parâmetros que usualmente não estão disponíveis. Neste caso estudamos a influência da utilização de uma estimativa do nível de ruído sobre as curvas de aprendizado. Estes resultados são apresentados na forma do que chamamos de diagrama de robustez, no espaço de nível de ruído real versus nível de ruído estimado. As linhas de transição deste diagrama definem regiões com comportamentos dinâmicos diferentes. Entre as propriedades mais interessantes encontradas, destacamos a universalidade do diagrama de robustez para ruído multiplicativo, uma vez que é exatamente o mesmo para a máquina paridade e comitê com estrutura de árvore, e para o perceptron reversed-wedge. Entretanto, esta universalidade não se estende para o caso de ruído aditivo, uma vez que, neste caso, os diagramas dependem da arquitetura em questão. / In this work online supervised learning is investigated with emphasis on the generalization abilities of feedforward neural networks. The study of optimal learning algorithms, in the sense of generalization, is extended to two different classes of architectures; the tree parity machine (PM) with K hidden units and the reverse wedge perceptron (RWP), a single layer machine with a non monotonic transfer function. The role of noise is of fundamental importance in learning theory, and we study noise processes which can be parametrized by a single quantity, the noise level. For the PM we analize learning in the presence of multiplicative or output noise. The optimal algorithm is far superior than previous learning algorithms, such as the Least Action Algorithm (LAA), since for example, the generalization error\'s decay is proportional to l /p instead of l/\'p POT. 1/3\' for the LAA, after p examples have been used for training. Furthermore there is no critical noise level, beyond which no generalization ability is attainable, as is the case for the LAA. For the RW perceptron in addition to multiplicative noise we also consider additive noise. The optimal algorithm modulation function and the learning curves are analized. Optimal learning requires using certain usually unavailable parameters. In this case, we study the influence that misevaluation of the noise levels has on the learning curves. The results are presented in terms of what we have called Robustness Phase Diagrams (RPD), in a space of real noise level against assumed noise level. The RPD boundary lines separate between different dynamical behaviours. Among the most interesting properties, we have found the universality of the RPD for multiplicative noise, since it is exactly the same for the PM, RWP and the tree committee machine. However this universality does not hold for the additive noise case, since RPD\'s are shown to be architecture dependent.

A filtragem, na sua forma mais geral, tem estado presente na vida do homem há muito tempo. Com o surgimento de novas tecnologias (surgimento da eletricidade e a sua evolução) e o desenvolvimento da computação, as técnicas de filtragem (separação) de sinais elétricos. Normalmente, os sistemas de comunicação (telefonia móvel e fixa, sinais recebidos de satélites e outros sistemas) contém sinais indesejáveis responsáveis pela degradação do sinal original. Dentro desse contexto, este projeto de pesquisa apresenta um estudo do algoritmo Filtro Duplo de Kalman Estendido, onde um filtro e Kalman e duas redes neurais são empregadas para a redução de ruídos em sinais de voz. O algoritmo estudado foi aplicado ao processamento de um sinal corrompido por dois tipos de ruídos diferentes: ruído branco e ruído gaussiano e ruído branco não estacionário, conseguindo-se bons resultados. Uma melhora sensível do sinal filtrado pode ser conseguida com técnicas de pré-filtragem do sinal. Neste trabalho foi utilizado o filtro de médias para a pré-filtragem, obtendo um sinal filtrado com ruído musical de baixa intensidade. / Filtering in it\'s most general kind has been present in men\'s life for a long time. With the appearance of new technologies (appearance of electricity and it\'s evolution) and the deyelopment of the computer science, the filtering techniques started to be widely used in engineering to the filtering (separation) of electric signals. Normally the communication systems (fixed and mobile telephony, signals sent from satellites and other systems) bring undesired results responsible for the degradation of the original signal. Within this context, this research project shows a study of the algorithm Dual Extended Kalman Filtering, in which a Kalman filter and two neural networks are used for the reduction of noise in speech signals. The algorithm studied was applied to the processing of a signal corrupted by two types of different noises: gaussian white noise and non stationary white noise obtaining good results. A significant improvement of the filtered noise can be obtained with techniques of pre-filtering of the signal. In this research the average filter for a pre-filtering was used, obtaining a filtered signal with musical noise oflow intensity.

Nos últimos tempos, observa-se um grande crescimento na utilização de computadores como ferramenta de auxílio nas mais diversas áreas, sendo a Medicina uma das principais áreas dessa utilização. Inúmeras aplicações da Informática podem ser encontradas na área médica, citando-se os sistemas de apoio ao diagnóstico como uma das mais marcantes. Esses sistemas têm como principal objetivo auxiliar o profissional da área no processo de tomada de decisões, o qual pode ocorrer em diferentes etapas de sua atividade. Esse processo normalmente envolve uma grande quantidade de dados e informações, que podem ser armazenadas e processadas muito mais rapidamente por computador. O objetivo principal desse trabalho é o desenvolvimento de um sistema computacional baseado na técnica de redes neurais artificiais, para auxílio ao médico radiologista na confirmação de diagnóstico das chamadas lesões intersticiais pulmonares. O exame radiológico para esse grupo é de difícil interpretação mesmo para profissionais bem treinados, visto o grande número de patologias assim classificadas e a semelhança entre elas. Os dados para treinamento da rede neural são obtidos por protocolo gerado por especialistas, através da revisão de casos com diagnóstico confirmado para determinadas patologias. O sistema desenvolvido é baseado em uma rede neural do tipo perceptron multicamadas, que funciona como um classificador de padrões – dado um conjunto de dados de entrada, a saída é classificada entre determinadas patologias. Nessa pesquisa, são levantados elementos para justificar a utilização de redes neurais artificiais em sistemas de apoio ao diagnóstico, objetivando uma ferramenta confiável para o auxílio ao profissional no seu dia-a-dia, e também uma ferramenta educacional de auxílio ao treinamento e qualificação para os estudantes da área médica. / It is observed that a big growing in the use of computers as a tool to help in several areas, specially in medicine, happened in the past years. A big number of applications of these computers can be found in Medicine, such as the Diagnosis Support System, which is one of the most remarkable. These systems have as its main objective to help in the phases its activity. This process usually involves a lot of data and information, which can be stored by a computer very quickly. The most important objective of this project is the development of a computer system based in artificial neural network to help the Radiologist in the confirmation of the diagnosis of the so-called Interstitial Lung Disease. The radiological examination for this group has a difficult interpretation even to well-trained professionals, due to the big number of classified as well as similar pathologies in this area. The data for the neural net are obtained through a protocol generated by specialists, through the review of cases with confirmed diagnosis for certain pathologies. The developed system is based in a kind of multilayer perceptron neural net, which run as a classifier of patterns. A number of data is given as entry data, afterwards the exit is classified among certain pathologies. In this research, elements to justify the use of the artificial neural net in diagnosis support systems are raised, objectifying a reliable tool to help professionals who use it day by day and also as an educational tool to help in the training and qualification of medical school students.