Yes / The emerging information revolution makes it necessary to manage vast amounts of unstructured data rapidly. As the world is increasingly populated by IoT devices and sensors that can sense their surroundings and communicate with each other, a digital environment has been created with vast volumes of volatile and diverse data. Traditional AI and machine learning techniques designed for deterministic situations are not suitable for such environments. With a large number of parameters required by each device in this digital environment, it is desirable that the AI is able to be adaptive and self-build (i.e. self-structure, self-configure, self-learn), rather than be structurally and parameter-wise pre-defined. This study explores the benefits of self-building AI and machine learning with unsupervised learning for empowering big data analytics for smart city environments. By using the growing self-organizing map, a new suite of self-building AI is proposed. The self-building AI overcomes the limitations of traditional AI and enables data processing in dynamic smart city environments. With cloud computing platforms, the selfbuilding AI can integrate the data analytics applications that currently work in silos. The new paradigm of the self-building AI and its value are demonstrated using the IoT, video surveillance, and action recognition applications. / Supported by the Data to Decisions Cooperative Research Centre (D2D CRC) as part of their analytics and decision support program and a La Trobe University Postgraduate Research Scholarship.

Made available in DSpace on 2016-03-15T19:37:44Z (GMT). No. of bitstreams: 1 Raphael Leal Mendonca.pdf: 10106411 bytes, checksum: 1b61d6ad0eeb168109bf2774dd8b54fc (MD5) Previous issue date: 2012-08-14 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / Digital games have been highlighted in recent years because of its high growth in the international market. On this basis, some elements forming the digital games can be separated for study, and thus contribute to the development of the entertainment area. One of this elements is the concept of immersion. When this is analyzed, it is realized that there is a range of different variables that may influence the relationship with the link between the game and the player. From this, this dissertation aimed to the development of an expert system that is capable of, based on data obtained from responses to a set of statements online, provide a preview of the degree of immersion of a digital game. To do this, it was done a characterization the relevant variables and using techniques of artificial intelligence, such as expert systems. In this scope, it was also considered how these variables influence the player s emotion about the game. From this results in the degree of immersion, it was analyzed with the aid of other Artificial Intelligence techniques, such as expert systems, fuzzy logic and Self-Organizing Maps, to maximize the effectiveness of the process. The study s definition of these parameters involves the exploitation of basic theoretical concepts of digital games and the variables already found in the previous research (narrative, audio, video, social relations, artificial intelligence and gameplay). With this, it was found as the immersion and the elements of the game can influence the emotions of the player. To conduct the survey, a questionnaire was designed for online data capture, which was filled by a group of 96 players, resulting in 133 completed questionnaires, with 672 sets of defined variables and 3406 completed statements. These data were then transferred to the applications of Fuzzy Logic and Self-Organizing Maps, which analyzed the relationship between emotion and immersion. From the data collected, analyzes of the influence of the elements of digital games Action/Adventure style were made, setting how immersion and emotion behave between digital games of the same series and style, of the same platform and the same game released on different platforms. The potential for a type of emotion to show up was set for each game and emotion groups were found for the Action/Adventure games, with the highlights of groups where emotions like Love, Hate, Pride and Shame are more likely to affect the players. With this results of the research, it is expected to enable new researches and the establishment of a possible referral to the definition of guidelines to cooperate with the activities of professional game developers, as well as establish new intersections between the area of digital games and psychology. / Jogos digitais tęm se destacado nos últimos anos por conta do seu elevado crescimento no mercado internacional. Tendo isto como base, alguns elementos que formam os jogos digitais podem ser separados para serem estudados e, assim, contribuírem para o desenvolvimento desta área de entretenimento. Um deles é o conceito de imersăo. Ao analisá-lo, percebeu-se que existe uma gama diferenciada de variáveis que podem influenciar a relaçăo deste com o enlace entre jogo e jogador. A partir disso, esta dissertaçăo teve como objetivo a elaboraçăo de um sistema especialista que é capaz de, com base em dados obtidos pelas respostas dadas a um conjunto de afirmaçőes on-line, apresentar uma visualizaçăo do grau de imersăo de um jogo digital. Para tal, foi feita a caracterizaçăo das variáveis relevantes e utilizaçăo de técnicas inteligęncia artificial, tal como sistemas especialistas. Neste escopo também foram consider adas como essas variáveis influenciam a emoçăo do jogador em relaçăo ao jogo. A partir disto os resultados em relaçăo ao grau de imersăo foram analisados com o auxílio de outras técnicas de Inteligęncia Artificial, como sistema especialista, lógica fuzzy e Self-Organizing Maps, para maximizar a eficácia do processo. O estudo da definiçăo destes parâmetros envolve a exploraçăo de conceitos teóricos básicos de jogos digitais e das variáveis já encontradas em uma pesquisa anterior (narrativa, áudio, vídeo, aspectos sociais, inteligęncia artificial e jogabilidade). Com isto, encontrou-se como a imersăo e os elementos do jogo podem exercer influęncia sobre os sentimentos do jogador. Para a realizaçăo da pesquisa, foi elaborado um questionário on-line para a captaçăo de dados, que foi preenchido por um grupo de 96 jogadores, resultando em 133 questionários completos, com 672 grupos de variáveis preenchidas e 3406 afirmaçőes definidas. Estes dados entăo foram repassados para os apl icativos com Sistema Especialista, Lógica Fuzzy e Self-Organizing Maps, que analisaram a relaçăo da imersăo com a emoçăo. A partir dos dados coletados, análises sobre a influęncia dos elementos dos jogos digitais do estilo Açăo/Aventura foram feitas, definindo como se comporta a imersăo e a emoçăo entre jogos digitais de uma série e estilo, de jogos de uma mesma plataforma e um mesmo jogo lançado em plataformas diferentes. O potencial de um tipo de emoçăo aparecer foi definido para cada jogo e grupos de emoçőes foram encontrados para os jogos de Açăo/Aventura, destacando grupos onde emoçőes como Amor, Ódio, Orgulho e Vergonha săo mais propensos a afetarem os jogadores. Com estes resultados, espera-se possibilitar novas investigaçőes e o estabelecimento de um possível encaminhamento para a definiçăo de diretrizes que colaborem com as atividades profissionais dos desenvolvedores de jogos, bem como estabelecer novas intersecçőes entre a área de jogos digitais e a de psicologia.

Les pays qui se sont insérés plus tardivement dans l'économie mondiale subissent généralement les effets de la mondialisation de manière accrue.De ce point de vue, les BRIC, comparés aux autres pays émergents, possèdent un certain poids dans l’économie mondiale et représentent doncun potentiel de marché important. Avec une croissance économique qui devrait dans un avenir proche dépasser celle de la Chine, l’Inde sembleêtre un remarquable cas d’étude. Cependant, les clichés persistent dans un pays où deux aspects seulement sont le plus souvent mis en avant.D’une part, l’Inde est considérée comme un nouvel eldorado, un espace où les multinationales essaient de s’implanter en raison de l’augmentationsubstantielle du nombre de consommateurs : «the shining India». D’autre part, l’Inde est aussi souvent décrite comme surpeuplée, massivementpauvre et occupée par une forte présence de taudis, tant dans les espaces urbains que ruraux. Spatialement, un modèle dual pourrait en effet contenir d'un côté une part croissante de la classe moyenne en pleine explosion tandis que d'autres verraient s'accentuer les inégalités économiques et sociales. En revanche, il paraît difficile d'imaginer que deux extrêmes seulement puissent représenter la diversité d'un si grand pays. Dans les faits, l’évolution du secteur tertiaire n’est pas assez rapide pour maintenir un haut niveau d’emploi dans certains espaces urbains,alors qu’un modèle agraire de plus en plus intensif en zones rurales contribue à réduire graduellement le nombre d’employés agricoles et depropriétaires terriens. Par conséquent, l’augmentation générale du niveau de vie ne suivra pas forcément le rythme de croissance économiqueet démographique de l’Inde ; d’autant que les inégalités socio-économiques de ce pays sont déjà accentuées par un système rigide de castes. Ilest nécessaire de rappeler que l’inde est un pays d’ancienne urbanisation dont les premières traces remontent à 2400 AEC. De cette particularitérésulte une histoire riche et complexe. Aujourd’hui, l’Inde est caractérisée par une grande diversité de langues, de religions, de castes, de communautés, de tribus, de traditions, d'espaces sous influences métropolitaines, etc. Peu de pays dans le monde présentenet autant de spécificités. Ces faits soulèvent les questions suivantes : comment est-il possible de visualiser et quantifier les inégalités spatiales d'un pays si large et si complexe ? Quels sont les principaux facteurs qui affectent et/ou engendrent ces inégalités spatiales ? Il pourrait être simpliste d'étudier ces écarts spatiaux seulement au travers d’indicateurs macro économiques tel que le PIB. Ainsi, pour faire face à tant de complexité, un modèle conceptuel nous a permis de sélectionner de manière rigoureuse 55 indicateurs afin de renseigner ces récentes transformations spatiales en cette ère de mondialisation accrue. Cette sélection d’indicateurs a donné naissance à une base de données multicritères composée de données économiques,socio-démographiques, géographiques, sociologiques, culturelles, etc., à l’échelle du district (640 unités spatiales) et entre deux dates: 2001 et 2011. L'hypothèse de cette recherche est la suivante : une approche inductive à partir de ces indicateurs pourrait nous permettre une identificationet une caractérisation a-posteriori de structures spatiales en Inde. / Countries that have experienced a delayed entry within the world economy have usually sustained an enhanced and faster globalisation process. This is the case for BRIC countries which are, compared to other emerging countries, organised on large economies and thus provide a stronger potential market. From this perspective, India appears to be the perfect case study with an economic growth expected to overcome China’s growth in the near future. However, the «clichés» are persistent within a country mostly depicted as bipolar. On the one hand, it is considered as a new eldorado, the «Shining India», a place where multinationals aim to implement themselves due to the substantial increase of the consumer market. At the same time, India is also characterised by overcrowding, the major presence of slum areas and mass poverty, both in urban and rural areas. It is indeed possible that some areas will accommodate a bigger and bigger share of the growing middle class, while others will accentuate economic and social inequalities. Yet, can these extremes be truly representative of the diversity of such a large country? In fact, in some urban oriented spaces, the evolution of the tertiary sector is not strong enough to maintain a high level of employment while in rural spaces; an intensive farming model contributes to gradually reducing the number of labourers and landowners. As a result, the increase of the standard of living related to both economic and demographic growth is not homogeneously distributed over a territory where socio-economic divisions are already made worse by a tight caste system. With evidence dating back to 2400 BCE, it must be remembered that India is a country of old urbanisation. This has given rise to a rich and complex history and India is now home to a variety of languages, religions, castes, communities, tribes, traditions, urbanisation patterns and, more recently, globalisation-related dynamics. Perhaps no other country in the world seems to be characterised by such a great diversity. This begs the following questions: how is it possible to quantify and visualise the spatial gap of such a complex and subcontinent sized country? What are the main drivers affecting this spatial gap? It would indeed be simplistic to study India only through macro-economic indicators such as GDP. To deal with this complexity, a conceptualisation has been performed to strictly select 55 criteria that can affect the transformation sustained by the Indian territory in this enhanced age of globalisation. These selected factors have fed a multi-critera database characterised by aspects coming from economy, geography, sociology, culture etc. at the district scale level (640 spatial units) and on a ten year timeframe (2001-2011). The assumption is as follows: each Indian district can be driven by different factors. The human capacity to understand a complex issue has been reached here since we cannot take into account and at the same time the behaviour of a large number of elements influencing one another. AI Based Algorithm methods (Bayesian and Neural Networks) have thus been resorted to as a good alternative to process a large number of factors. In order to be as accurate as possible and to keep a transversal point of view, the methodology is divided into a robust procedure including fieldwork steps. The results of the models show that the 55 factors interact, bringing the emergence of unobservable factors representative of broader concepts, which find consistency only in the case of India. It also shows that the Indian territory can be segmented into a multitude of sub-spaces. Some of these profiles are close to the caricatured India. However, in most cases, results show a heterogeneous country with sub-spaces possessing a logic of their own and far away from any cliché.

Les échangeurs de chaleur sont utilisés dans de nombreux secteurs industriels. L'optimisation de leurs performances est donc de première importance pour réduire la consommation énergétique. Le comportement d'un échangeur est intrinsèquement multiéchelle : l'échelle locale de l'intensification des phénomènes de transfert thermique côtoie une échelle plus globale où interviennent des phénomènes de distribution de débit. Un échangeur de chaleur est également le siège de différents phénomènes physiques, tels que la mécanique des fluides, la thermique et l'encrassement. Les présents travaux proposent une méthode d'optimisation multiobjectif de la forme des échangeurs, robuste, pouvant traiter les aspects multiéchelles et multiphysiques et applicable dans un contexte industriel. Les performances de l'échangeur sont évaluées par des simulations de mécanique des fluides numérique (CFD) et par des méthodes globales (є-NUT). Suite à une étude bibliographique, une méthode de métamodélisation par krigeage associée à un algorithme génétique ont été retenus. Des méthodes de visualisation adaptées (clustering et Self-Organizing Maps) sont utilisées pour analyser les résultats. Le métamodèle permet d'approcher la réponse d'un simulateur (CFD) et d'en fournir une prédiction dont l'interrogation est peu onéreuse. Le krigeage permet de prendre en compte une discontinuité et des perturbations de la réponse du simulateur par l'ajout d'un effet de pépite. Il permet également l'utilisation de stratégies d'enrichissement construisant des approximations précises à moindre coût. Cette méthode est appliquée à différentes configurations représentatives du comportement de l'échangeur, permettant de s'assurer de sa robustesse lorsque le simulateur change, lorsque l'aspect multiéchelle est pris en compte ou lorsque une physique d'encrassement est considérée. Il a été établi que l'étape de métamodélisation assure la robustesse de la méthode et l'intégration de l'aspect multiéchelle. Elle permet aussi de construire des corrélations à l'échelle locale qui sont ensuite utilisées pour déterminer les performances globales de l'échangeur. Dans un contexte industriel, les méthodes d'analyse permettent de mettre en évidence un nombre fini de formes réalisant un compromis des fonctions objectif antagonistes. / Heat exchangers are used in many industrial applications. Optimizing their performances is a key point to improve energy efficiency. Heat exchanger behaviour is a multi-scale issue where local scale enhancement mechanisms coexist with global scale distribution ones. It is also multi-physics such as fluid mecanics, heat transfer and fouling phenomenons appear. The present work deals with multi-objective shape optimization of heat echanger. The proposed method is sufficiently robust to address multi-scale and multi-physics issues and allows industrial applications. Heat exchanger performances are evaluated using computational fluid dynamics (CFD) simulations and global methods (є-NUT). The optimization tools are a genetic algorithm coupled with kriging-based metamodelling. Clustering and Self-Organizing Maps (SOM) are used to analyse the optimization results. A metamodel builts an approximation of a simulator response (CFD) whose evaluation cost is reduced to be used with the genetic algorithm. Kriging can address discontinuities or perturbations of the response by introducing a nugget effect. Adaptive sampling is used to built cheap and precise approximation. The present optimization method is applied to different configurations which are representative of the heat exchanger behaviour for both multi-scale and multi-physics (fouling) aspects. Results show that metamodelling is a key point of the method, ensuring the robustness and the versatility of the optimisation process. Also, it allows to built correlations of the local scale used to determine the global performances of the heat exchanger. Clustering and SOM highlight a finite number of shapes, which represent a compromise between antagonist objective functions, directly usable in an industrial context.

Dentro do cenário de projeto de circuitos elétricos orientados para o processamento de redes neurais artificiais, este trabalho se concentra no estudo da implementação de Mapas Auto-organizáveis (SOM, do inglês, Self-Organizing Maps) em chips FPGA. A pesquisa aqui realizada busca, fundamentalmente, responder à seguinte pergunta: como devem ser projetadas as arquiteturas computacionais de cada etapa de processamento do SOM para serem adequadamente executadas em FPGA? De forma mais detalhada, o trabalho investiga as possibilidades que diferentes circuitos de computação do SOM oferecem em relação à velocidade de processamento, ao consumo de recursos do FPGA e à consistência com o formalismo teórico que fundamenta esse modelo de rede neural. Tal objetivo de pesquisa é motivado por possibilitar o desenvolvimento de sistemas de processamento neural que exibam as características positivas típicas de implementações diretas em hardware, como o processamento embarcado e a aceleração computacional. CONTRIBUIÇÕES PRINCIPAIS No decorrer da investigação de tais questões, o presente trabalho gerou contribuições com diferentes graus de impacto. A contribuição mais essencial do ponto de vista de estruturação do restante da pesquisa é a fundamentação teórica das propriedades de computação do SOM em hardware. Tal fundamentação é importante pois permitiu a construção dos alicerces necessários para o estudo das diferentes arquiteturas de circuitos exploradas neste trabalho, de forma que estas permanecessem consistentes com as premissas teóricas que certificam o modelo de computação neural estudado. Outra contribuição avaliada como de grande impacto, e que se consolida como um objeto gerado pela pesquisa, é a proposta de um circuito processador para SOM em FPGA que possui o estado-da-arte em velocidade de computação, medido em CUPS (Connections Updated Per Second). Tal processador permite atingir 52,67 GCUPS, durante a fase de treinamento do SOM, um ganho de aproximadamente 100% em relação aos trabalhos publicados na literatura. A aceleração possibilitada pela exploração de processamentos paralelos em FPGA, desenvolvida neste trabalho, é de três a quatro ordens de grandeza em relação a execuções em software do SOM com a mesma configuração. A última contribuição considerada como de grande impacto é a caracterização da execução do SOM em FPGA. Tal avaliação se faz necessária porque os processos de computação dos modelos neurais em hardware, embora semelhantes, não são necessariamente idênticos aos mesmos processos executados em software. Desta forma, a contribuição deste ponto de pesquisa pode ser entendida como a análise do impacto das mudanças implementadas na computação do SOM em FPGA em relação à execução tradicional do algoritmo, feita pela avaliação dos resultados produzidos pela rede neural por medidas de erros topográficos e de quantização. Este trabalho também gerou contribuições consideradas como de médio impacto, que podem ser divididas em dois grupos: aplicações práticas e aportes teóricos. A primeira contribuição de origem prática é a investigação de trabalhos publicados na literatura envolvendo SOM cujas aplicações podem ser viabilizadas por implementações em hardware. Os trabalhos localizados nesse levantamento foram organizados em diferentes categorias, conforme a área de pesquisa - como, por exemplo, Indústria, Robótica e Medicina - e, em geral, eles utilizam o SOM em aplicações que possuem requisitos de velocidade computacional ou embarque do processamento, portanto, a continuidade de seus desenvolvimentos é beneficiada pela execução direta em hardware. As outras duas contribuições de médio impacto de origem prática são as aplicações que serviram como plataforma de teste dos circuitos desenvolvidos para a implementação do SOM. A primeira aplicação pertence à área de telecomunicações e objetiva a identificação de símbolos transmitidos por 16-QAM ou 64-QAM. Estas duas técnicas de modulação são empregadas em diversas aplicações com requisitos de mobilidade - como telefonia celular, TV digital em dispositivos portáteis e Wi-Fi - e o SOM é utilizado para identificar sinais QAM recepcionados com ruídos e distorções. Esta aplicação gerou a publicação de um artigo na revista da Springer, Neural Computing and Applications: Sousa; Pires e Del-Moral-Hernandez (2017). A segunda aplicação pertence à área de processamento de imagem e visa reconhecer ações humanas capturadas por câmeras de vídeo. O processamento autônomo de imagens executado por chips FPGA junto às câmeras de vídeo pode ser empregado em diferentes utilizações, como, por exemplo, sistemas de vigilância automática ou assistência remota em locais públicos. Esta segunda aplicação também é caracterizada por demandar arquiteturas computacionais de alto desempenho. Todas as contribuições teóricas deste trabalho avaliadas como de médio impacto estão relacionadas ao estudo das características de arquiteturas de hardware para computação do modelo SOM. A primeira destas é a proposta de uma função de vizinhança do SOM baseada em FPGA. O objetivo de tal proposta é desenvolver uma expressão computacional para ser executada no chip que constitua uma alternativa eficiente tanto à função gaussiana, tradicionalmente empregada no processo de treinamento do SOM, quanto à função retangular, utilizada de forma rudimentar nas primeiras pesquisas publicadas sobre a implementação do SOM em FPGA. A segunda destas contribuições é a descrição detalhada dos componentes básicos e dos blocos computacionais utilizados nas diferentes etapas de execução do SOM em FPGA. A apresentação dos detalhes da arquitetura de processamento, incluindo seus circuitos internos e a função computada por cada um de seus blocos, permite que trabalhos futuros utilizem os desenvolvimentos realizados nesta pesquisa. Esta descrição detalhada e funcional foi aceita para publicação no IEEE World Congress on Computational Intelligence (WCCI 2018): Sousa et al. (2018). A terceira contribuição teórica de médio impacto é a elaboração de um modelo distribuído de execução do SOM em FPGA sem o uso de uma unidade central de controle. Tal modelo permite a execução das fases de aprendizado e operação da rede neural em hardware de forma distribuída, a qual alcança um comportamento global de auto-organização dos neurônios apenas pela troca local de dados entre elementos de processamento vizinhos. A descrição do modelo distribuído, em conjunto com sua caracterização, está publicada em um artigo no International Joint Conference on Neural Networks do IEEE (IJCNN 2017): Sousa e Del-Moral-Hernandez (2017a). A última contribuição deste grupo de aporte teórico é a comparação entre diferentes modelos de execução do SOM em FPGA. A comparação tem a função de avaliar e contrastar três diferentes possibilidades de implementação do SOM: o modelo distribuído, o modelo centralizado e o modelo híbrido. Os testes realizados e os resultados obtidos estão publicados em um trabalho no International Symposium on Circuits and Systems do IEEE (ISCAS 2017): Sousa e Del-Moral-Hernandez (2017b). Finalmente, apresentam-se a seguir as contribuições avaliadas como de menor impacto, em comparação com as contribuições já descritas, ou ainda incipientes (e que possibilitam continuidades da pesquisa em trabalhos futuros), sendo relacionadas a seguir como contribuições complementares: * Pesquisa de literatura científica sobre o estado-da-arte da área da Engenharia de Sistemas Neurais Artificiais. * Identificação de grupos internacionais de pesquisa de execução do SOM em hardware, os quais foram reconhecidos por publicarem regularmente seus estudos sobre diferentes tipos de implementações e categorias de circuitos computacionais. * Enumeração das justificativas e motivações mais frequentes na literatura para o processamento de sistemas neurais de computação em hardware. * Comparação e contraste das características de microprocessadores, GPUs, FPGAs e ASICs (tais como, custo médio do componente, paralelismo computacional oferecido e consumo típico de energia) para contextualização do tipo de aplicações que a escolha pela pesquisa com o dispositivo FPGA possibilita. * Levantamento das propriedades de computação do SOM em hardware mais frequentemente utilizadas nas pesquisas publicadas na literatura, tais como, quantidade de bits usados nos cálculos, tipo de representação de dados e arquitetura típica dos circuitos de execução das diferentes etapas de processamento do SOM. * Comparação do consumo de área do FPGA e da velocidade de processamento entre a execução da função de vizinhança tradicional gaussiana e a função de vizinhança proposta neste trabalho (com resultados obtidos de aproximadamente 4 vezes menos área do chip e 5 vezes mais velocidade de operação). * Caracterização do aumento dos recursos consumidos no chip e da velocidade de operação do sistema, em relação à implementação do SOM com diferentes complexidades (quantidade de estágios decrescentes do fator de aprendizado e da abertura da função de vizinhança) e comparação destas propriedades da arquitetura proposta em relação aos valores publicados na literatura. * Proposta de uma nova métrica para caracterização do erro topográfico na configuração final do SOM após o treinamento. / In the context of design electrical circuits for processing artificial neural networks, this work focuses on the study of Self-Organizing Maps (SOM) executed on FPGA chips. The work attempts to answer the following question: how should the computational architecture be designed to efficiently implement in FPGA each one of the SOM processing steps? More specifically, this thesis investigates the distinct possibilities that different SOM computing architectures offer, regarding the processing speed, the consumption of FPGA resources and the consistency to the theory that underlies this neural network model. The motivation of the present work is enabling the development of neural processing systems that exhibit the positive features typically associate to hardware implementations, such as, embedded processing and computational acceleration. MAIN CONTRIBUITIONS In the course of the investigation, the present work generated contributions with different degrees of impact. The most essential contribution from the point of view of structuring the research process is the theoretical basis of the hardware-oriented SOM properties. This is important because it allowed the construction of the foundations for the study of different circuit architectures, so that the developments remained consistent with the theory that underpins the neural computing model. Another major contribution is the proposal of a processor circuit for implementing SOM in FPGA, which is the state-of-the-art in computational speed measured in CUPS (Connections Updated Per Second). This processor allows achieving 52.67 GCUPS, during the training phase of the SOM, which means a gain of 100%, approximately, in relation to other published works. The acceleration enabled by the FPGA parallel processing developed in this work reaches three to four orders of magnitude compared with software implementations of the SOM with the same configuration. The highlights made in the text indicate pieces of writing that synthesize the idea presented. The last main contribution of the work is the characterization of the FPGA-based SOM. This evaluation is important because, although similar, the computing processes of neural models in hardware are not necessarily identical to the same processes implemented in software. Hence, this contribution can be described as the analysis of the impact of the implemented changes, regarding the FPGA-based SOM compared to traditional algorithms. The comparison was performed evaluating the measures of topographic and quantization errors for the outputs produced by both implementations. This work also generated medium impact contributions, which can be divided into two groups: empirical and theoretical. The first empirical contribution is the survey of SOM applications which can be made possible by hardware implementations. The papers presented in this survey are classified according to their research area - such as Industry, Robotics and Medicine - and, in general, they use SOM in applications that require computational speed or embedded processing. Therefore, the continuity of their developments is benefited by direct hardware implementations of the neural network. The other two empirical contributions are the applications employed for testing the circuits developed. The first application is related to the reception of telecommunications signals and aims to identify 16-QAM and 64-QAM symbols. These two modulation techniques are used in a variety of applications with mobility requirements, such as cell phones, digital TV on portable devices and Wi-Fi. The SOM is used to identify QAM distorted signals received with noise. This research work was published in the Springer Journal on Neural Computing and Applications: Sousa; Pires e Del-Moral-Hernandez (2017). The second is an image processing application and it aims to recognize human actions captured by video cameras. Autonomous image processing performed by FPGA chips inside video cameras can be used in different scenarios, such as automatic surveillance systems or remote assistance in public areas. This second application is also characterized by demanding high performance from the computing architectures. All the theoretical contributions with medium impact are related to the study of the properties of hardware circuits for implementing the SOM model. The first of these is the proposal of an FPGA-based neighborhood function. The aim of the proposal is to develop a computational function to be implemented on chip that enables an efficient alternative to both: the Gaussian function (traditionally employed in the SOM training process) and the rectangular function (used rudimentary in the first published works on hardware-based SOMs). The second of those contributions is the detailed description of the basic components and blocks used to compute the different steps of the SOM algorithm in hardware. The description of the processing architecture includes its internal circuits and computed functions, allowing the future works to use the architecture proposed. This detailed and functional description was accepted for publication in the IEEE World Congress on Computational Intelligence (WCCI 2018): Sousa et al. (2018). The development of an FPGA distributed implementation model for the SOM composes the third of those contributions. Such a model allows an execution of the neural network learning and operational phases without the use of a central control unit. The proposal achieves a global self-organizing behavior only by using local data exchanges among the neighboring processing elements. The description and characterization of the distributed model are published in a paper in the IEEE International Joint Conference on Neural Networks (IJCNN 2017): Sousa e Del-Moral-Hernandez (2017a). The last contribution of this group is the comparison between different FPGA architectures for implementing the SOM. This comparison has the function of evaluating and contrasting three different SOM architectures: the distributed model, the centralized model and the hybrid model. The tests performed and the results obtained are published in an article in the IEEE International Symposium on Circuits and Systems (ISCAS 2017): Sousa e Del-Moral-Hernandez (2017b). Finally, the contributions assessed as having a minor impact, compared to contributions already described, or still incipient (and which allow the continuity of the research in possible future works), are presented as complementary contributions: * Research in the scientific literature on the state-of-the-art works in the field of Artificial Neural Systems Engineering. * Identification of the international research groups on hardware-based SOM, which were recognized for regularly publishing their studies on different types of implementations and categories of computational circuits. * Enumeration of the justifications and motivations often mentioned in works on hardware developments of neural computing systems. * Comparison and contrast of the characteristics of microprocessors, GPUs, FPGAs and ASICs (such as, average cost, parallelism and typical power consumption) to contextualize the type of applications enabled by the choice of FPGA as the target device. * Survey of literature for the most commonly hardware properties used for computing the SOM, such as the number of bits used in the calculations, the type of data representation and the typical architectures of the FPGA circuits. * Comparison of the FPGA resources consumption and processing speed between the execution of the traditional Gaussian neighborhood function and the proposed alternative neighborhood function (with obtained results of approximately 4 times less chip area and 5 times more computational speed). * Characterization of the increase in chip resources consumptions and the decrease in system speeds, according to the implementations of the SOM with different complexities (such as, the number of stages in learning factor and the width of the neighborhood function). Comparison of these properties between the proposed architecture and the works published in the literature. * Proposal of a new metric for the characterization of the topographic error in the final configuration of the SOM after the training phase.

Na visão computacional, a detecção de objetos é uma tarefa que tem signifgificativa importância. Podemos verificar isto através da existência de inúmeros métodos propostos na literatura. Cada um destes métodos se apóia em algumas características presentes na imagem para alcançar um desempenho eficiente. Considerando ambientes que utilizam cores para determinação de objetos presentes em uma imagem, é possível utilizá-las como características que permitam detectar os objetos. Neste trabalho, são investigados dois classificadores de cores. O primeiro é baseado em limiarização no espaço HSV e o segundo é constituído de um mapa auto-organizável para classificação dos pixels no espaço RGB. Objetivando a construção de um sistema classificador de cores eficiiente, capaz de processar vídeo em tempo real, é proposta uma técnica que se baseia no conceito de quantização. Outro aspecto investigado foi a detecção de movimento para evitar o processamento de pontos indesejados. O desempenho do sistema de classificação de cores é avaliado em um ambiente de futebol de robôs da categoria Mirosot, que é um ambiente dinâmico e que exige que todo o processamento da imagem seja rápido de modo a detectar corretamente todos objetos presentes em cada quadro. Os resultados mostram que o classificador de cores é capaz de detectar todos objetos no ambiente de futebol de robôs, sendo cada quadro processado em menos de 30 milisegundos, tornando o sistema desenvolvido muito adequado ao processamento de vídeo / In computer vision, the detection of objects is a task of great importance. We can verify this by the existence of several methods proposed in the literature. Each one of these methods is based on some characteristics present in the image to reach an eficient performance. Considering environments that make use of colors for determining the objects present in a image, it is possible to utilize them as the characteristics that allow to detect the objects. In this work, two color classifiers are investigated. The first one is based on the thresholding in the HSV space and the second is constituted by a self-organizing map for classifying of pixels in the RGB space. Aiming to construct an eficient color classifier able to process video in real time, it is proposed a technique that is based on the quantization concept. It is also investigated the detection of movement to avoid processing undesired points. The performance of the color classifier system is validated in a MIROSOT robot soccer environment, which is a dynamic environment, requiring that all image processing be very fast in order to detect all the objects present in each frame. The results show that the color classifier system is able to detect correctly all objects present in the robot soccer environment, processing each frame in less than 30 milliseconds, turning the developed system very appropriate for real time video processing

La télédétection de la couleur de l'océan représente un outil adapté à l'observation du phytoplancton avec des résolutions spatio-temporelles élevées et pouvant être adaptées à chaque cas d'étude. Plusieurs méthodes ont été développées ces dernières années afin de permettre la distinction de différents groupes de phytoplancton en utilisant les données des capteurs de la couleur de l'océan. Dans le cadre de cette thèse, on présente une nouvelle approche, appelée PHYSAT-SOM, qui se base sur l'application d'un algorithme de classification automatique non supervisée (SOM ou Self-Organizing Maps) à l'extraction de différentes formes et amplitudes de spectres d'anomalies de luminances (Ra ou Radiance Anomaly). Cette anomalie spectrale a été définie par Alvain et al. (2005), lors du développement de la méthode PHYSAT et il est actuellement admis que sa variabilité est reliée à celle de la composition des communautés phytoplanctoniques. L'utilisation des SOM vise à améliorer la caractérisation de la variabilité des Ra en termes de forme et amplitude ainsi que l'expansion du potentiel de leur utilisation à de grandes bases de données in situ de pigments. En considérant un même jeu de données de spectres de Ra, une comparaison entre la précédente version de PHYSAT et la nouvelle approche, basée sur SOM a montré qu'il est maintenant possible de couvrir toute la variabilité spectrale des Ra. Ceci n'était pas le cas avec l'ancienne approche du fait de l'utilisation de seuils, définis dans le but d'éviter les chevauchements entre les signatures spectrales des différents groupes de phytoplancton. La méthode basée sur SOM est pertinente pour caractériser une grande variété de spectres de Ra, de par sa capacité à gérer de grandes quantités de données et de sa fiabilité statistique. La première approche aurait pu, de ce fait, introduire des biais potentiels et donc, les possibilités de son extension à de plus grandes bases de données in situ étaient relativement restreintes. Par la suite, SOM a été utilisé pour classer les spectres de Ra fréquemment observés à l'échelle globale. Ces spectres ont ensuite été empiriquement reliés à différents groupes de phytoplancton, identifiés à partir de données in situ de pigments. Cette classification a été appliquée aux archives satellite du capteur SeaWiFS, permettant l'étude de la distribution globale de chaque groupe. Grâce à sa capacité à caractériser un large éventail de spectres de Ra et de gérer une plus grande base de données in situ, l'outil SOM permet de classer un nombre plus élevé de pixels (2x plus) que la précédente approche de PHYSAT. En outre, différentes signatures spectrales de Ra ont été associées aux diatomées. Ces signatures sont situées dans divers environnements où les propriétés optiques inhérentes affectant les spectres de Ra sont susceptibles d'être significativement différentes. Par ailleurs, les floraisons de diatomées dans certaines conditions sont plus clairement visibles avec la nouvelle méthode. La méthode PHYSAT-SOM offre ainsi plusieurs perspectives afin d'aller plus loin dans l'utilisation des données de la couleur de l'océan pour la détection des groupes de phytoplancton. On peut citer l'exemple d'une application future dans les eaux du Cas 2, moyennant une approche de normalisation adéquate du signal de luminances. Une étude préliminaire en Manche et Mer du Nord est présentée dans le dernier chapitre, montrant qu'il sera possible d'utiliser PHYSAT-SOM dans cet environnement optiquement complexe. / Remote sensing of ocean color is a powerful tool for monitoring phytoplankton in the ocean with a high spatial and temporal resolution. Several methods were developed in the past years for detecting phytoplankton functional types from satellite observations. In this thesis, we present an automatic classification method, based on a neural network clustering algorithm, in order to classify the anomalies of water leaving radiances spectra (Ra), introduced in the PHYSAT method by Alvain et al. (2005) and analyze their variability at the global scale. The use of an unsupervised classification aims at improving the characterization of the spectral variability of Ra in terms of shape and amplitude as well as the expansion of its potential use to larger in situ datasets for global phytoplankton remote sensing. The Self-Organizing Map Algorithm (SOM) aggregates similar spectra into a reduced set of pertinent groups, allowing the characterization of the Ra variability, which is known to be linked with the phytoplankton community composition. Based on the same sample of Ra spectra, a comparison between the previous version of PHYSAT and the new one using SOM shows that is now possible to take into consideration all the types of spectra. This was not possible with the previous approach, based on thresholds, defined in order to avoid overlaps between the spectral signatures of each phytoplankton group. The SOM-based method is relevant for characterizing a wide variety of Ra spectra through its ability to handle large amounts of data, in addition to its statistical reliability compared to the previous PHYSAT. The former approach might have introduced potential biases and thus, its extension to larger databases was very restricted. In a second step, some new Ra spectra have been related to phytoplankton groups using collocated field pigments inventories from a large in situ database. Phytoplankton groups were identified based on biomarker pigments ratios thresholds taken from the literature. SOM was then applied to the global daily SeaWiFS imagery archive between 1997 and 2010. Global distributions of major phytoplankton groups were analyzed and validated against in situ data. Thanks to its ability to capture a wide range of spectra and to manage a larger in situ pigment dataset, the neural network tool allows to classify a much higher number of pixels (2 times more) than the previous PHYSAT method for the five phytoplankton groups taken into account in this study (Synechococcus-Like-Cyanobacteria, diatoms, Prochloroccus, Nanoeucaryots and Phaeocystis-like). In addition, different Ra spectral signatures have been associated to diatoms. These signatures are located in various environments where the inherent optical properties affecting the Ra spectra are likely to be significantly different. Local phenomena such as diatoms blooms in the upwelling regions or during climatic events(i.e. La Nina) are more clearly visible with the new method. The PHYSAT-SOM method provides several perspectives concerning the use of the ocean color remote sensing data for phytoplankton group identification, such as, the potential application of the method in Case 2 waters, using an appropriate nLw signal normalization approach. A preliminary case study in the English Channel and North Sea waters is presented in the last chapter of the thesis, showing the possibility of a future use of PHYSAT-SOM in these optically complex waters.

Dentro do cenário de projeto de circuitos elétricos orientados para o processamento de redes neurais artificiais, este trabalho se concentra no estudo da implementação de Mapas Auto-organizáveis (SOM, do inglês, Self-Organizing Maps) em chips FPGA. A pesquisa aqui realizada busca, fundamentalmente, responder à seguinte pergunta: como devem ser projetadas as arquiteturas computacionais de cada etapa de processamento do SOM para serem adequadamente executadas em FPGA? De forma mais detalhada, o trabalho investiga as possibilidades que diferentes circuitos de computação do SOM oferecem em relação à velocidade de processamento, ao consumo de recursos do FPGA e à consistência com o formalismo teórico que fundamenta esse modelo de rede neural. Tal objetivo de pesquisa é motivado por possibilitar o desenvolvimento de sistemas de processamento neural que exibam as características positivas típicas de implementações diretas em hardware, como o processamento embarcado e a aceleração computacional. CONTRIBUIÇÕES PRINCIPAIS No decorrer da investigação de tais questões, o presente trabalho gerou contribuições com diferentes graus de impacto. A contribuição mais essencial do ponto de vista de estruturação do restante da pesquisa é a fundamentação teórica das propriedades de computação do SOM em hardware. Tal fundamentação é importante pois permitiu a construção dos alicerces necessários para o estudo das diferentes arquiteturas de circuitos exploradas neste trabalho, de forma que estas permanecessem consistentes com as premissas teóricas que certificam o modelo de computação neural estudado. Outra contribuição avaliada como de grande impacto, e que se consolida como um objeto gerado pela pesquisa, é a proposta de um circuito processador para SOM em FPGA que possui o estado-da-arte em velocidade de computação, medido em CUPS (Connections Updated Per Second). Tal processador permite atingir 52,67 GCUPS, durante a fase de treinamento do SOM, um ganho de aproximadamente 100% em relação aos trabalhos publicados na literatura. A aceleração possibilitada pela exploração de processamentos paralelos em FPGA, desenvolvida neste trabalho, é de três a quatro ordens de grandeza em relação a execuções em software do SOM com a mesma configuração. A última contribuição considerada como de grande impacto é a caracterização da execução do SOM em FPGA. Tal avaliação se faz necessária porque os processos de computação dos modelos neurais em hardware, embora semelhantes, não são necessariamente idênticos aos mesmos processos executados em software. Desta forma, a contribuição deste ponto de pesquisa pode ser entendida como a análise do impacto das mudanças implementadas na computação do SOM em FPGA em relação à execução tradicional do algoritmo, feita pela avaliação dos resultados produzidos pela rede neural por medidas de erros topográficos e de quantização. Este trabalho também gerou contribuições consideradas como de médio impacto, que podem ser divididas em dois grupos: aplicações práticas e aportes teóricos. A primeira contribuição de origem prática é a investigação de trabalhos publicados na literatura envolvendo SOM cujas aplicações podem ser viabilizadas por implementações em hardware. Os trabalhos localizados nesse levantamento foram organizados em diferentes categorias, conforme a área de pesquisa - como, por exemplo, Indústria, Robótica e Medicina - e, em geral, eles utilizam o SOM em aplicações que possuem requisitos de velocidade computacional ou embarque do processamento, portanto, a continuidade de seus desenvolvimentos é beneficiada pela execução direta em hardware. As outras duas contribuições de médio impacto de origem prática são as aplicações que serviram como plataforma de teste dos circuitos desenvolvidos para a implementação do SOM. A primeira aplicação pertence à área de telecomunicações e objetiva a identificação de símbolos transmitidos por 16-QAM ou 64-QAM. Estas duas técnicas de modulação são empregadas em diversas aplicações com requisitos de mobilidade - como telefonia celular, TV digital em dispositivos portáteis e Wi-Fi - e o SOM é utilizado para identificar sinais QAM recepcionados com ruídos e distorções. Esta aplicação gerou a publicação de um artigo na revista da Springer, Neural Computing and Applications: Sousa; Pires e Del-Moral-Hernandez (2017). A segunda aplicação pertence à área de processamento de imagem e visa reconhecer ações humanas capturadas por câmeras de vídeo. O processamento autônomo de imagens executado por chips FPGA junto às câmeras de vídeo pode ser empregado em diferentes utilizações, como, por exemplo, sistemas de vigilância automática ou assistência remota em locais públicos. Esta segunda aplicação também é caracterizada por demandar arquiteturas computacionais de alto desempenho. Todas as contribuições teóricas deste trabalho avaliadas como de médio impacto estão relacionadas ao estudo das características de arquiteturas de hardware para computação do modelo SOM. A primeira destas é a proposta de uma função de vizinhança do SOM baseada em FPGA. O objetivo de tal proposta é desenvolver uma expressão computacional para ser executada no chip que constitua uma alternativa eficiente tanto à função gaussiana, tradicionalmente empregada no processo de treinamento do SOM, quanto à função retangular, utilizada de forma rudimentar nas primeiras pesquisas publicadas sobre a implementação do SOM em FPGA. A segunda destas contribuições é a descrição detalhada dos componentes básicos e dos blocos computacionais utilizados nas diferentes etapas de execução do SOM em FPGA. A apresentação dos detalhes da arquitetura de processamento, incluindo seus circuitos internos e a função computada por cada um de seus blocos, permite que trabalhos futuros utilizem os desenvolvimentos realizados nesta pesquisa. Esta descrição detalhada e funcional foi aceita para publicação no IEEE World Congress on Computational Intelligence (WCCI 2018): Sousa et al. (2018). A terceira contribuição teórica de médio impacto é a elaboração de um modelo distribuído de execução do SOM em FPGA sem o uso de uma unidade central de controle. Tal modelo permite a execução das fases de aprendizado e operação da rede neural em hardware de forma distribuída, a qual alcança um comportamento global de auto-organização dos neurônios apenas pela troca local de dados entre elementos de processamento vizinhos. A descrição do modelo distribuído, em conjunto com sua caracterização, está publicada em um artigo no International Joint Conference on Neural Networks do IEEE (IJCNN 2017): Sousa e Del-Moral-Hernandez (2017a). A última contribuição deste grupo de aporte teórico é a comparação entre diferentes modelos de execução do SOM em FPGA. A comparação tem a função de avaliar e contrastar três diferentes possibilidades de implementação do SOM: o modelo distribuído, o modelo centralizado e o modelo híbrido. Os testes realizados e os resultados obtidos estão publicados em um trabalho no International Symposium on Circuits and Systems do IEEE (ISCAS 2017): Sousa e Del-Moral-Hernandez (2017b). Finalmente, apresentam-se a seguir as contribuições avaliadas como de menor impacto, em comparação com as contribuições já descritas, ou ainda incipientes (e que possibilitam continuidades da pesquisa em trabalhos futuros), sendo relacionadas a seguir como contribuições complementares: * Pesquisa de literatura científica sobre o estado-da-arte da área da Engenharia de Sistemas Neurais Artificiais. * Identificação de grupos internacionais de pesquisa de execução do SOM em hardware, os quais foram reconhecidos por publicarem regularmente seus estudos sobre diferentes tipos de implementações e categorias de circuitos computacionais. * Enumeração das justificativas e motivações mais frequentes na literatura para o processamento de sistemas neurais de computação em hardware. * Comparação e contraste das características de microprocessadores, GPUs, FPGAs e ASICs (tais como, custo médio do componente, paralelismo computacional oferecido e consumo típico de energia) para contextualização do tipo de aplicações que a escolha pela pesquisa com o dispositivo FPGA possibilita. * Levantamento das propriedades de computação do SOM em hardware mais frequentemente utilizadas nas pesquisas publicadas na literatura, tais como, quantidade de bits usados nos cálculos, tipo de representação de dados e arquitetura típica dos circuitos de execução das diferentes etapas de processamento do SOM. * Comparação do consumo de área do FPGA e da velocidade de processamento entre a execução da função de vizinhança tradicional gaussiana e a função de vizinhança proposta neste trabalho (com resultados obtidos de aproximadamente 4 vezes menos área do chip e 5 vezes mais velocidade de operação). * Caracterização do aumento dos recursos consumidos no chip e da velocidade de operação do sistema, em relação à implementação do SOM com diferentes complexidades (quantidade de estágios decrescentes do fator de aprendizado e da abertura da função de vizinhança) e comparação destas propriedades da arquitetura proposta em relação aos valores publicados na literatura. * Proposta de uma nova métrica para caracterização do erro topográfico na configuração final do SOM após o treinamento. / In the context of design electrical circuits for processing artificial neural networks, this work focuses on the study of Self-Organizing Maps (SOM) executed on FPGA chips. The work attempts to answer the following question: how should the computational architecture be designed to efficiently implement in FPGA each one of the SOM processing steps? More specifically, this thesis investigates the distinct possibilities that different SOM computing architectures offer, regarding the processing speed, the consumption of FPGA resources and the consistency to the theory that underlies this neural network model. The motivation of the present work is enabling the development of neural processing systems that exhibit the positive features typically associate to hardware implementations, such as, embedded processing and computational acceleration. MAIN CONTRIBUITIONS In the course of the investigation, the present work generated contributions with different degrees of impact. The most essential contribution from the point of view of structuring the research process is the theoretical basis of the hardware-oriented SOM properties. This is important because it allowed the construction of the foundations for the study of different circuit architectures, so that the developments remained consistent with the theory that underpins the neural computing model. Another major contribution is the proposal of a processor circuit for implementing SOM in FPGA, which is the state-of-the-art in computational speed measured in CUPS (Connections Updated Per Second). This processor allows achieving 52.67 GCUPS, during the training phase of the SOM, which means a gain of 100%, approximately, in relation to other published works. The acceleration enabled by the FPGA parallel processing developed in this work reaches three to four orders of magnitude compared with software implementations of the SOM with the same configuration. The highlights made in the text indicate pieces of writing that synthesize the idea presented. The last main contribution of the work is the characterization of the FPGA-based SOM. This evaluation is important because, although similar, the computing processes of neural models in hardware are not necessarily identical to the same processes implemented in software. Hence, this contribution can be described as the analysis of the impact of the implemented changes, regarding the FPGA-based SOM compared to traditional algorithms. The comparison was performed evaluating the measures of topographic and quantization errors for the outputs produced by both implementations. This work also generated medium impact contributions, which can be divided into two groups: empirical and theoretical. The first empirical contribution is the survey of SOM applications which can be made possible by hardware implementations. The papers presented in this survey are classified according to their research area - such as Industry, Robotics and Medicine - and, in general, they use SOM in applications that require computational speed or embedded processing. Therefore, the continuity of their developments is benefited by direct hardware implementations of the neural network. The other two empirical contributions are the applications employed for testing the circuits developed. The first application is related to the reception of telecommunications signals and aims to identify 16-QAM and 64-QAM symbols. These two modulation techniques are used in a variety of applications with mobility requirements, such as cell phones, digital TV on portable devices and Wi-Fi. The SOM is used to identify QAM distorted signals received with noise. This research work was published in the Springer Journal on Neural Computing and Applications: Sousa; Pires e Del-Moral-Hernandez (2017). The second is an image processing application and it aims to recognize human actions captured by video cameras. Autonomous image processing performed by FPGA chips inside video cameras can be used in different scenarios, such as automatic surveillance systems or remote assistance in public areas. This second application is also characterized by demanding high performance from the computing architectures. All the theoretical contributions with medium impact are related to the study of the properties of hardware circuits for implementing the SOM model. The first of these is the proposal of an FPGA-based neighborhood function. The aim of the proposal is to develop a computational function to be implemented on chip that enables an efficient alternative to both: the Gaussian function (traditionally employed in the SOM training process) and the rectangular function (used rudimentary in the first published works on hardware-based SOMs). The second of those contributions is the detailed description of the basic components and blocks used to compute the different steps of the SOM algorithm in hardware. The description of the processing architecture includes its internal circuits and computed functions, allowing the future works to use the architecture proposed. This detailed and functional description was accepted for publication in the IEEE World Congress on Computational Intelligence (WCCI 2018): Sousa et al. (2018). The development of an FPGA distributed implementation model for the SOM composes the third of those contributions. Such a model allows an execution of the neural network learning and operational phases without the use of a central control unit. The proposal achieves a global self-organizing behavior only by using local data exchanges among the neighboring processing elements. The description and characterization of the distributed model are published in a paper in the IEEE International Joint Conference on Neural Networks (IJCNN 2017): Sousa e Del-Moral-Hernandez (2017a). The last contribution of this group is the comparison between different FPGA architectures for implementing the SOM. This comparison has the function of evaluating and contrasting three different SOM architectures: the distributed model, the centralized model and the hybrid model. The tests performed and the results obtained are published in an article in the IEEE International Symposium on Circuits and Systems (ISCAS 2017): Sousa e Del-Moral-Hernandez (2017b). Finally, the contributions assessed as having a minor impact, compared to contributions already described, or still incipient (and which allow the continuity of the research in possible future works), are presented as complementary contributions: * Research in the scientific literature on the state-of-the-art works in the field of Artificial Neural Systems Engineering. * Identification of the international research groups on hardware-based SOM, which were recognized for regularly publishing their studies on different types of implementations and categories of computational circuits. * Enumeration of the justifications and motivations often mentioned in works on hardware developments of neural computing systems. * Comparison and contrast of the characteristics of microprocessors, GPUs, FPGAs and ASICs (such as, average cost, parallelism and typical power consumption) to contextualize the type of applications enabled by the choice of FPGA as the target device. * Survey of literature for the most commonly hardware properties used for computing the SOM, such as the number of bits used in the calculations, the type of data representation and the typical architectures of the FPGA circuits. * Comparison of the FPGA resources consumption and processing speed between the execution of the traditional Gaussian neighborhood function and the proposed alternative neighborhood function (with obtained results of approximately 4 times less chip area and 5 times more computational speed). * Characterization of the increase in chip resources consumptions and the decrease in system speeds, according to the implementations of the SOM with different complexities (such as, the number of stages in learning factor and the width of the neighborhood function). Comparison of these properties between the proposed architecture and the works published in the literature. * Proposal of a new metric for the characterization of the topographic error in the final configuration of the SOM after the training phase.

In high dimensional data modeling, Multivariate Adaptive Regression Splines (MARS) is a well-known nonparametric regression technique to approximate the nonlinear relationship between a response variable and the predictors with the help of splines. MARS uses piecewise linear basis functions which are separated from each other with breaking points (knots) for function estimation. The model estimating function is generated in two stepwise procedures: forward selection and backward elimination. In the first step, a general model including too many basis functions so the knot points are generated / and in the second one, the least contributing basis functions to the overall fit are eliminated. In the conventional adaptive spline procedure, knots are selected from a set of distinct data points that makes the forward selection procedure computationally expensive and leads to high local variance. To avoid these drawbacks, it is possible to select the knot points from a subset of data points, which leads to data reduction. In this study, a new method (called S-FMARS) is proposed to select the knot points by using a self organizing map-based approach which transforms the original data points to a lower dimensional space. Thus, less number of knot points is enabled to be evaluated for model building in the forward selection of MARS algorithm. The results obtained from simulated datasets and of six real-world datasets show that the proposed method is time efficient in model construction without degrading the model accuracy and prediction performance. In this study, the proposed approach is implemented to MARS and CMARS methods as an alternative to their forward step to improve them by decreasing their computing time

Machine learning methods have been promising tools in science and engineering fields. The use of these methods in chemistry and drug design has advanced after 1990s. In this study, molecular electrostatic potential (MEP) surfaces of PCP-like compounds are modelled and visualized in order to extract features which will be used in predicting binding affinity. In modelling, Cartesian coordinates of MEP surface points are mapped onto a spherical self-organizing map. Resulting maps are visualized by using values of electrostatic potential. These values also provide features for prediction system. Support vector machines and partial least squares method are used for predicting binding affinity of compounds, and results are compared.