[pt] Nesta tese, propomos novas arquiteturas para redes neurais profundas utlizando métodos de atenção e álgebra multilinear para aumentar seu desempenho. Também exploramos convoluções em grafos e suas particularidades. Nos concentramos aqui em problemas relacionados à estimativa de pose em tempo real. A estimativa de pose é um problema desafiador em visão computacional com muitas aplicações reais em áreas como realidade aumentada, realidade virtual, animação por computador e reconstrução de cenas 3D. Normalmente, o problema a ser abordado envolve estimar a pose humana 2D ou 3D, ou seja, as partes do corpo de pessoas em imagens ou vídeos, bem como seu posicionamento e estrutura. Diveros trabalhos buscam atingir alta precisão usando arquiteturas baseadas em redes neurais de convolução convencionais; no entanto, erros causados por oclusão e motion blur não são incomuns, e ainda esses modelos são computacionalmente pesados para aplicações em tempo real. Exploramos diferentes arquiteturas para melhorar o tempo de processamento destas redes e, como resultado, propomos dois novos modelos de rede neural para estimativa de pose 2D e 3D. Também apresentamos uma nova arquitetura para redes de atenção em grafos chamada de atenção em grafos semânticos. / [en] This thesis proposes new architectures for deep neural networks with attention enhancement and multilinear algebra methods to increase their performance. We also explore graph convolutions and their particularities. We focus here on the problems related to real-time pose estimation. Pose estimation is a challenging problem in computer vision with many real applications in areas including augmented reality, virtual reality, computer animation, and 3D scene reconstruction. Usually, the problem to be addressed involves estimating the 2D and 3D human pose, i.e., the anatomical keypoints or body parts of persons in images or videos. Several papers propose approaches to achieve high accuracy using architectures based on conventional convolution neural networks; however, mistakes caused by occlusion and motion blur are not uncommon, and those models are computationally very intensive for real-time applications. We explore different architectures to improve processing time, and, as a result, we propose two novel neural network models for 2D and 3D pose estimation. We also introduce a new architecture for Graph attention networks called Semantic Graph Attention.

[pt] Alguns óxidos cerâmicos apresentam Coeficiente de Expansão Térmica Negativa (ETN). Estes materiais usados como compósitos podem controlar a expansão térmica em valores determinados, inclusive zero. Este trabalho tem como objetivo propor novos óxidos da família A2M3O12 com coeficiente de expansão próximo a zero. Foi usada a Análise de Componentes Principais (PCA) para se verificar estatisticamente a causa de ETN em 45 óxidos conhecidos desta família e a partir daí foi usada uma Rede Neural para simulação de novos óxidos. / [en] Some ceramic oxides exhibit negative coefficient of thermal expansion. These material generally used as compounds can control the thermal expansion in determined values, including zero. The aim of this work is to propose new oxides of the family type A2M3O12 with coefficient of thermal expansion close to zero. The Principal Component Analysis (PCA) is used to statistically verify the reason for negative thermal expansion in 45 known oxides of this family and then, the neural network approach is used for simulation of new oxides.

[pt] Diversos resultados empíricos na área de séries temporais indicam que combinar previsores (experts) é, em média, melhor que tentar selecionar um único modelo de previsão. Na medida em que se decide por um esquema de combinação linear, há vários métodos disponíveis para determinar o quanto cada previsor deve contribuir para a resposta consensual, ou em outras palavras, quais devem ser os pesos dos previsores envolvidos. Em um primeiro momento, este trabalho explora o uso prático de diversos métodos tradicionais de ponderação para combinação linear de previsores. Em seguida, propõe um novo sistema para geração de pesos, especialmente projetado para a melhoria do desempenho nas previsões múltiplos passos a frente. O sistema, batizado de Ponderação Neural de Experts (NEW – Neural Expert Weighting), gera modelos de ponderação dinâmica baseados em redes neurais. As redes neurais oferecem a robustez necessária para a simulação de funções de ponderação de alto desempenho, derivadas de um ou mais métodos tradicionais de geração de pesos. O sistema NEW foi avaliado em diversos experimentos comparativos, contemplando 13 séries temporais divididas em dois estudos de casos – derivados do petróleo e competição NN3, uma competição entre metodologias de previsão baseadas em inteligência computacional. Os resultados obtidos foram considerados promissores. / [en] Several empirical results on the time series field indicate that combining forecasting models (experts) is, on average, better than selecting a single forecasting model. Once the linear combination framework is chosen, there are many ways to define the amount of contribution of each combining model to the consensual response; in other words, there are many possible weighting methods. At first, the present work explores the usage of traditional weight generation schemes for the linear combination of forecasters. Afterwards, it proposes a new weight generation framework, specially designed to improve multistep ahead forecasting. The framework, called Neural Experts Weighting (NEW), generates dynamic weighting models based on neural networks. The neural networks provide the desired robustness for the simulation of high performance weighting functions, derived from one or more traditional weighting methods. The NEW framework was assessed with several comparative experiments, encompassing 13 time series divided into two case studies – downstream and NN3 competition, a forecasting competition for computational intelligence methodologies. Results were considered to be promising.

[pt] A presente dissertação tem por objetivo desenvolver um modelo inteligente que permita, por uma análise quantitativa e probabilística, gerar uma carteira otimizada composta de um ativo financeiro e opções sobre este ativo. Procurou-se estudar inicialmente as características da distribuição de retornos e da volatilidade das ações mais líquidas da Bolsa de Valores de São Paulo, no período de Jan/2005 a Jul/2010, através de regressões polinomiais univariadas e bivariadas. Observouse características como a de reversão a média da volatilidade, correlação da volatilidade futura com um período histórico mais longo e outro mais curto e uma relação possivelmente quadrática entre a volatilidade histórica e a volatilidade futura. Desenvolveu-se então, satisfatoriamente, uma rede neural para prever a volatilidade futura das ações, por este ser o fator mais crítico para se determinar o preço de uma opção. Utilizando-se da precificação das opções, avaliou-se o desempenho de algoritmos genéticos na otimização de carteiras estruturadas com esses derivativos, com três funções de avaliação diferentes, a fim de aumentar o potencial retorno de um investimento, minimizando seus riscos. O sistema evolucionário implementado demonstrou ser satisfatório quando comparado a carteira otimizada com diversas outras estratégias comuns de mercado, demonstrando ser uma alternativa de apoio a decisão para investidores e gestores de carteiras. / [en] This dissertation develops an intelligent, quantitative and probabilistic model to determine an optimal composition of a portfolio consisting of a financial asset and options over this asset. Initially we studied the characteristics of the historical distribution of returns and volatility of the most liquid stocks from the BOVESPA Stock Exchange, from January 2005 to July 2010, through a univariate and a bivariate polynomial regression. Characteristics such as mean reversion of volatility, strong correlation of historical and future volatility and a quadratic polynomial relationship between them were observed. A neural network was then developed to predict the future volatility of these stocks, since that is the most critical variable in determining an option´s price. Using the option pricing, we evaluated the performance of genetic algorithms in optimizing portfolios, structured with these derivatives, with three different evaluation functions in order to increase the potential return of investments while minimizing downside risks. The developed evolutionary system showed satisfactory results when the optimal portfolio was compared with several other market option strategies, demonstrating to be a relevant decision support system for investors and portfolio managers.

[pt] Esta Tese visa explorar as oportunidades de melhoria do desempenho dos Sistemas Automáticos de Reconhecimento de voz com amplo vocabulário para o Português Brasileiro quando aplicados em um cenário distribuído (Reconhecimento de Voz Distribuído). Com esta finalidade, foi construída uma base de vozes para reconhecimento de voz contínua para o Português Brasileiro com 100 locutores, cada um falando 1000 frases foneticamente balanceadas. A gravação foi realizada em estúdio, ambiente sem ruído, com uma especificação de gravação que pudesse abranger a entrada dos diversos codificadores de voz utilizados em Telefonia Móvel Celular e IP, em particular os codecs ITU-T G.723.1, AMR-NB e AMR-WB. Para um bom funcionamento dos Sistemas Automáticos de Reconhecimento de voz é necessário que os atributos de reconhecimento sejam obtidos a uma taxa elevada, porém os codificadores de Voz para Telefonia IP e Móvel Celular normalmente geram seus parâmetros a taxas mais baixas, o que degrada o desempenho do reconhecedor. Usualmente é utilizada a interpolação linear no domínio das LSFs (Line Spectral Frequencies) para resolver este problema. Nesta Tese foi proposta a realização da interpolação com a utilização de um Filtro Digital Interpolador que demonstrou ter um desempenho de reconhecimento muito superior ao da interpolação linear. Foi avaliado também o uso das ISFs (Immittance Spectral Frequencies) interpoladas como atributo de reconhecimento, as quais se mostraram inadequadas para esta finalidade, assim como as LSFs. Outro aspecto de fundamental importância para os reconhecedores de voz distribuídos é a recuperação de perda de pacotes, que tem impacto direto no desempenho de reconhecimento. Normalmente os codificadores inserem zeros nos pacotes perdidos ou interpolam linearmente os pacotes recebidos visando restaurar estes pacotes. Foi proposta nesta tese uma nova técnica baseada em Redes Neurais que se mostrou mais eficiente na restauração destes pacotes com a finalidade da realização do reconhecimento. / [en] This Thesis aims at exploring several approaches for performance improvement of the Automatic Speech Recognition System with large vocabulary for the Brazilian Portuguese when applied in a distributed scenario (Distributed Speech Recognition). With this purpose, a speech database for continuous speech recognition for the Brazilian Portuguese with 100 speakers was constructed, each one uttering 1000 phonetic balanced sentences. The recording was carried out in a studio (environment without noise) with a specification of recording that would be able to allow the input of several speech codecs in Cellular Mobile Telephony and IP Networks, in particular the ITU-T G.723.1, AMR-NB and AMR-WB. In order to work properly, Automatic Speech Recognition Systems require that the recognition features be extracted at a high rate. However, the Speech codecs for Cellular Mobile Telephony and IP Networks normally generate its parameters at lower rates, which degrades the performance of the recognition system. Usually the linear interpolation in the LSF (Line Spectral Frequencies) domain is used to solve this problem. In this Thesis the accomplishment of the interpolation with the use of a Digital Filter Interpolator was proposed and demonstrated to have a higher performance than the linear interpolation in recognition systems. The use of the interpolated ISFs (Immittance Spectral Frequencies) was also evaluated as recognition feature, which had shown to be inadequate for this purpose, as well as the LSFs. Another very important aspect for the distributed speech recognizers is the recovery of lost packets, that has direct impact in the recognition performance. Normally the coders insert zeros in the lost packets or interpolate linearly the received packets aiming to restore them. A new technique based on Neural Networks was proposed in this thesis that showed to be more efficient in the restoration of these lost packets with the purpose of speech recognition.

[pt] O controle das tensões dos diversos barramentos de um sistema elétrico de potência tem como objetivo garantir a qualidade da energia fornecida aos consumidores. As tensões devem respeitar níveis regulamentados pelo governo. Atualmente, no Sistema Elétrico de Potência (SEP) brasileiro, a tarefa do controle de tensão, realizada pelos operadores de tempo real, se baseia nos valores e tendências de diversas variáveis (tensões, potências reativas e ativas, sensibilidade dos equipamentos, dentre outras). Para a formação de um operador nessa tarefa são necessários de um a dois anos, tempo que poderia ser reduzido caso um sistema de apoio à decisão dedicado ao problema de controle de tensão estivesse à disposição durante o treinamento. Entretanto, em virtude do grande número de grandezas a serem analisadas e de suas não linearidades, é necessário uma ferramenta automática de apoio à decisão que seja capaz de tratar intrinsecamente relações não lineares. Deste modo, neste trabalho optou-se por desenvolver um sistema baseado em Redes Neurais Artificiais (RNA) para a confecção do sistema sugerido, com o objetivo de indicar a necessidade de realizar ações de controle de tensão utilizando-se dos recursos ou equipamentos disponíveis. O sistema desenvolvido é composto de três módulos: Pré-processamento; Análise e Classificação do evento; e Pós-processamento. Tal sistema serve para sugerir a manobra de equipamentos mais adequada para o controle de tensão. No estudo de caso, o sistema proposto foi avaliado nos equipamentos de controle de tensão (reatores, capacitores e tapes) constantes no Sistema de Transmissão em 765 kV, responsável pela interligação dos sistemas Sul e Sudeste do Brasil. Utilizando dados obtidos do sistema de aquisição em tempo real, diferentes configurações de RNAs foram testadas. Os melhores resultados foram obtidos com uma estrutura de duas redes neurais por equipamento a ser controlado, apresentando, em média, 80% de acerto em relação às manobras realizadas em tempo real. Em virtude da complexidade do problema, os resultados foram considerados mais do que satisfatórios, indicando a aplicabilidade desta técnica para a realização do sistema desejado. / [en] The main objective of the voltage control in Electrical Power System (EPS) is to guarantee the quality of the energy supplied to consumers. The voltage must respect government regulated levels. Currently, on the Brazilian EPS, the voltage control task is carried out by system operators based on diverse information, such as current values, and trends of electric variables (voltages, reactive and active powers, their sensitivities in the control devices performance, amongst others). To fully train a operator in this task it is necessary one or two years, period that could be greatly reduced if a decision support system was available during the operator`s training. However, due to the great number of variables that must be analyzed and their nonlinearity, an automatic decision support tool, capable to treat nonlinear relations, is necessary. Therefore, this work proposes a system based on Artificial Neural Networks (ANN), with the objective to identify the necessity or not to use the voltage control resources in the EPS. The developed system is composed of three modules: Pre-processing; Event Analysis and Classification; and Post-processing. Such decision support system suggests the most adequate equipment maneuver in the voltage control task. In the case study, the proposed system was evaluated using the available voltage control equipments (reactors, capacitors and transformer taps) in the 765 kV Transmission System, main responsible trunk for the interconnection of South and Southeastern Brazilian systems. Using real time data, different ANN configurations have been tested. The best results were obtained with a structure composed of two neural networks, for each controlled equipment, presenting, in average, 80% accuracy in relation to maneuvers occurred in real time. Due to the problem complexity, the results were considered more than satisfactory, indicating the applicability of this technique for the development of the desired system.

[pt] O setor elétrico nos últimos anos vem passando por grandes mudanças estruturais em diversas regiões do planeta. Essas mudanças são devidas a processos de reestruturação do setor energético visando o aumento da eficiência e da qualidade. No Brasil, para este fim, foram criados órgãos responsáveis pelo setor, de modo que se viabilizem e regulamentem estas mudanças, seja por meio da criação de instrumentos de incentivos à competição ou permitindo a participação de agentes privados nos processos de geração, distribuição e comercialização de energia. Neste contexto foi criada a ANEEL (Agência Nacional de Energia Elétrica), responsável por instituir as regras de mercado de energia elétrica visando assegurar a competitividade do setor. Dentro das atribuições da ANEEL, está a realização de revisões tarifárias periódicas. Esta revisão tarifária compreende: a) reposicionamento das tarifas de fornecimento de energia elétrica em nível compatível com a preservação do equilíbrio econômico-financeiro do contrato de concessão; e b) determinação do Fator X que será aplicado nos reajustes tarifários com o objetivo de compartilhar ganhos de produtividade com os consumidores. Para determinar o Fator X é necessário medir a eficiência, o que pode ser feito basicamente através de duas alternativas: 1) comparar a empresa com fronteiras de eficiência construídas para o mercado regulado a partir de grupos de similaridade; 2) comparar a empresa com o mercado não regulado. Desta forma, o objetivo da tese é propor uma metodologia para definição de fronteiras de eficiência entre as empresas de distribuição de energia elétrica através da conjugação de redes neurais e de modelos econométricos, particularmante, os modelos de análise de fronteira estocástica. / [en] In recent years, the electric power supply sector has undergone major structural changes in a variety of regions throughout the planet. These changes are due to restructuring processes taking place in the energy sector towards the increase of quality and efficiency. In Brazil, it was created agencies responsible for the sector, in order to foster and regulate those changes, either by means of creating instruments for promoting competition or by allowing private agents participation in the processes of generating, distributing and trading energy. In this context, it was created the Brazilian Electricity Regulatory Agency (ANEEL), responsible for binding rules to assure market competition in the electric power supply sector. Among the duties of the regulatory agency of the electric power supply sector in Brazil there is the periodical revision of energy prices. Such revisions involve estimating the X Factor applied to update prices so that gains in productivity are shared with consumers. To estimate the X Factor it is necessary to measure efficiency and, for this, two issues are important: the choices of benchmarks and of techniques for productivity measurement. This thesis proposes an approach to define frontier efficiency of electric power distribution utilities based on clustering homogeneous utilities using neural networks and estimating the frontiers through econometric techniques.

[pt] O sistema hidroelétrico é responsável por 83,7% da energia elétrica gerada no país. Assim sendo, a geração de energia elétrica no Brasil depende basicamente das vazões naturais que afluem aos aproveitamentos hidroelétricos distribuídos por doze bacias hidrográficas no país. Sendo o Operador Nacional do Sistema Elétrico (ONS) o órgão responsável por elaborar a previsão e a geração de cenários de vazões naturais médias diárias, semanais e mensais para todos os locais de aproveitamentos hidroelétricos do Sistema Interligado Nacional (SIN), a qualidade da previsão da vazão natural é de suma importância para este órgão. A qualidade dessa previsão impacta diretamente no planejamento e em programas de operação do SIN, tal como o Programa Mensal de Operação - PMO. Mesmo com a melhoria na qualidade da previsão de vazões por meio da criação e adoção dos mais diversos modelos determinísticos e estocásticos nos últimos anos, os erros de previsão são, ainda, significativos. Deste modo, o objetivo principal desta dissertação foi propor um novo modelo capaz de proporcionar um significativo ganho de qualidade na previsão de vazões nas regiões dos aproveitamentos hidrelétricos das bacias hidrográficas do país. O modelo proposto, baseado em redes neurais, tem como ferramenta primordial a utilização de transformadas wavelets, que filtram os dados históricos de vazões, ou seja, as entradas das redes neurais de previsão, dividindo esses dados de entrada (sinais) em diversas escalas, no intuito de que as redes neurais possam melhor analisá-los. Para verificar a eficácia do modelo proposto, aqui denominado MIP (Modelo Inteligente de Previsão), procedeu-se um estudo de caso que realiza a previsão de vazões naturais incrementais médias diárias e semanais no trecho incremental entre as Usinas Hidroelétricas (UHE) Porto Primavera, Rosana e Itaipu da Bacia do Rio Paraná, chegando-se a um erro de aproximadamente 3,5% para previsão de vazões um dia à frente, 16% para 12 dias à frente, e 9% para previsão média semanal. Esta dissertação objetiva, também, investigar a eficácia do uso de informações das precipitações observadas e previstas na previsão de vazão, em conjunção com o uso do histórico de vazões. / [en] The hydroelectricity system is responsible for 83.7% of the electric energy generated at Brazil. Therefore, the generation of electric power in Brazil depends basically on the natural flow rates distributed by twelve basins in the country. The quality of prediction of natural flow is of crucial importance for the Brazilian governmental agency, ONS (from the portuguese language Electrical National Operator System), responsible for preparing the forecast and the generation of scenarios of daily, weekly and monthly average natural streamflows of all places of hydroelectric exploitations of SIN (from the portuguese language National Linked System). The quality of that forecast impacts directly in the planning and operation programs of SIN, for example, the PMO (from the portuguese language Monthly Operation Program). Even with the improvement in the quality of river flow forecasts through the creation and adoption of the various deterministic and stochastic models in recent years, the errors of forecasting are still significant. Thus, the main goal of this dissertation was proposing a new model capable of providing a significant improvement in Streamflow forecasts in regions of exploitations of hydroelectric basins of the country. The proposed model, based on neural networks, has the primary tool the use of wavelet transforms, to filter streamflows historical data, or the entries of predict neural networks, dividing the input data (signals) in several scales, in order that the neural networks can better analyse them. In order to check the effectiveness of the proposed model, here called MIP (from the portuguese language Forecast Intelligent Model), it was developed a case study to forecast daily and weekly average of natural incremental streamflows between the Hydroelectric Plants: Porto Primavera, Rosana e Itaipu belonging to the the Parana River Basin. The model reaches up an error of about 3,5% to estimates of streamflows one day ahead, 16% to 12 days ahead, and 9% for average weekly forecast. This thesis aims to also investigate the effectiveness of the use of information of observed and predicted rainfall in the forecast flow, in conjunction with the use of the historical streamflows.

[pt] O Reconhecimento Facial é o processo de identificação de uma pessoa a partir da imagem de sua face. Na forma mais usual, o processo de identificação consiste em extrair informações dessa imagem e compará-las com informações relativas a outras imagens armazenadas numa base de dados e por fim indicar na saída a imagem da base mais similar à imagem de entrada. O desempenho desse processo está diretamente ligado à qualidade das imagens, tanto das que estão armazenadas na base de dados, quanto da imagem do indivíduo cuja identidade está sendo determinada. Por isso, convém que a qualidade das imagens faciais seja avaliada antes que estas sejam submetidas ao procedimento de reconhecimento. A maioria dos métodos apresentados até o momento na literatura baseia-se em um conjunto de critérios, cada um voltado a um atributo isolado da imagem. A qualidade da imagem é considerada adequada se aprovada por todos os critérios individualmente. Desconsidera-se, portanto, o efeito cumulativo de diversos fatores que afetam a qualidade das imagens e, por conseguinte, o desempenho do reconhecimento facial. Essa monografia propõe uma metodologia para o projeto de métricas de qualidade de imagens faciais que expressem num único índice o efeito combinado de diversos fatores que afetam o reconhecimento. Tal índice é dado por uma função de um conjunto de atributos extraídos diretamente da imagem. O presente estudo analisa experimentalmente uma função linear e uma rede neural do tipo back-propagation como alternativas para a estimativa de qualidade a partir dos atributos. Experimentos conduzidos sobre a base de dados IMM para o algoritmo de reconhecimento baseado em padrões binários locais comprovam a o bom desempenho da metodologia. / [en] Face Recognition is the process of identifying people based on facial images. In its most usual form the identification procedure consists of extracting information from an input face image and comparing them to the records of other face images stored in a face data base, and finally indicating the most similar one to the input image. The performance of this process is directly dependent on the input image quality, as well as on the images in the data base. Thus, it is important that the quality of a face image is tested before it is given to the recognition procedure, either as a input image or as a new record in the face database. Most methods proposed thus far based on a set of criteria, each one devoted to an isolated attribute. The image quality is considered adequate if approved by all criteria individually. Thus, the cumulative effect of different factors affecting the image quality is no regarded. This dissertation proposes a methodology for the design of quality metrics of facial images that Express in a single scalar the combined effect of multiple factors affecting the quality. Such score is given by a function of attributes extracted directly from the image. This study investigates a linear and a non-linear approach for quality assessment. Experiments conducted upon the IMM face database for a Local Binary Pattern face recognition algorithm demonstrate the good performance of the proposed methodology.

[pt] O objetivo principal desta dissertação é desenvolver um método de previsão de carga elétrica de curto prazo (previsão horária), através de um sistema híbrido (Redes Neurais e Lógica Fuzzy) utilizando temperaturas máximas e mínimas como variáveis explicativas. Como primeiro passo, foram definidos os perfis homogêneos das curvas de carga diárias através de um classificador utilizando os Mapas Auto Organizáveis (Self-Organizing Maps- SOM). Um previsor será adicionado ao esquema de previsão através da Lógica Fuzzy que associará as variáveis climáticas aos perfis criados pela SOM produzindo as previsões. O modelo foi aplicado em dados de duas concessionárias de energia elétrica do Brasil usando dados horários coletados durante dois anos. / [en] This dissertation presents a short-term load forecasting procedure mixing a classifier scheme and a predictive scheme. The classifier is implemented through an artificial neural network using a non-supervised learning procedure (SOM). Concerning the predictive scheme, a fuzzy logic procedure uses climatic variables and their prediction to choose the appropriate profiles created by SOM and then combines them to produce the desired forecast. The model is applied to two utilities in Brazil using hourly observations collected during two calendar years and the results obtained, in terms of mean absolute percentage error (MAPE) through the period analyzed, are presented.