Dans cette thèse, nous étudions les applications potentielles des nano-dispositifs mémoires émergents dans les architectures de calcul. Nous montrons que des architectures neuro-inspirées pourraient apporter l'efficacité et l'adaptabilité nécessaires à des applications de traitement et de classification complexes pour la perception visuelle et sonore. Cela, à un cout moindre en termes de consommation énergétique et de surface silicium que les architectures de type Von Neumann, grâce à une utilisation synaptique de ces nano-dispositifs. Ces travaux se focalisent sur les dispositifs dit "memristifs", récemment (ré)-introduits avec la découverte du memristor en 2008 et leur utilisation comme synapse dans des réseaux de neurones impulsionnels. Cela concerne la plupart des technologies mémoire émergentes : mémoire à changement de phase - "Phase-Change Memory" (PCM), "Conductive-Bridging RAM" (CBRAM), mémoire résistive - "Resistive RAM" (RRAM)... Ces dispositifs sont bien adaptés pour l'implémentation d'algorithmes d'apprentissage non supervisés issus des neurosciences, comme "Spike-Timing-Dependent Plasticity" (STDP), ne nécessitant que peu de circuit de contrôle. L'intégration de dispositifs memristifs dans des matrices, ou "crossbar", pourrait en outre permettre d'atteindre l'énorme densité d'intégration nécessaire pour ce type d'implémentation (plusieurs milliers de synapses par neurone), qui reste hors de portée d'une technologie purement en "Complementary Metal Oxide Semiconductor" (CMOS). C'est l'une des raisons majeures pour lesquelles les réseaux de neurones basés sur la technologie CMOS n'ont pas eu le succès escompté dans les années 1990. A cela s'ajoute la relative complexité et inefficacité de l'algorithme d'apprentissage de rétro-propagation du gradient, et ce malgré tous les aspects prometteurs des architectures neuro-inspirées, tels que l'adaptabilité et la tolérance aux fautes. Dans ces travaux, nous proposons des modèles synaptiques de dispositifs memristifs et des méthodologies de simulation pour des architectures les exploitant. Des architectures neuro-inspirées de nouvelle génération sont introduites et simulées pour le traitement de données naturelles. Celles-ci tirent profit des caractéristiques synaptiques des nano-dispositifs memristifs, combinées avec les dernières avancées dans les neurosciences. Nous proposons enfin des implémentations matérielles adaptées pour plusieurs types de dispositifs. Nous évaluons leur potentiel en termes d'intégration, d'efficacité énergétique et également leur tolérance à la variabilité et aux défauts inhérents à l'échelle nano-métrique de ces dispositifs. Ce dernier point est d'une importance capitale, puisqu'il constitue aujourd'hui encore la principale difficulté pour l'intégration de ces technologies émergentes dans des mémoires numériques.

Ensemble learning is a multiple-classi&amp / #64257 / er machine learning approach which combines, produces collections and ensembles statistical classi&amp / #64257 / ers to build up more accurate classi&amp / #64257 / er than the individual classi&amp / #64257 / ers. Bagging, boosting and voting methods are the basic examples of ensemble learning. In this thesis, a novel boosting technique targeting to solve partial problems of AdaBoost, a well-known boosting algorithm, is proposed. The proposed systems &amp / #64257 / nd an elegant way of boosting a bunch of classi&amp / #64257 / ers successively to form a better classi&amp / #64257 / er than each ensembled classi&amp / #64257 / er. AdaBoost algorithm employs a greedy search over hypothesis space to &amp / #64257 / nd a good suboptimal solution. On the other hand, this work proposes an evolutionary search with genetic algorithms instead of greedy search. Empirical results show that classi&amp / #64257 / cation with boosted evolutionary computing outperforms AdaBoost in equivalent experimental environments.

No description available.

Nous proposons et développons un modèle original de mémoires associatives s'appuyant sur des réseaux de neurones codés. Les mémoires associatives sont des dispositifs capables d'apprendre des messages binaires puis de les reproduire à partir de fractions de leurs contenus. L'état de l'art est le réseau proposé par Hopfield, dont la diversité de mémorisation - le nombre de messages qu'il peut n mémoriser - est inférieure à 2 log(n) où n est le nombre de neurones dans le réseau. Notre travail a consisté à tirer parti des techniques de codage et de déco- dage correcteur d'erreur, plus précisément celle des codes distribués, afin d'ac- croître considérablement les performances des mémoires associatives. Pour ce faire, nous avons introduit des codes originaux dont les mots de code sont portés par des cliques neurales. Nous montrons que, combinées à des codes locaux par- cimonieux, ces cliques neurales offrent une diversité d'apprentissage qui évolue comme le carré du nombre de neurones. Les gains observés viennent de l'utilisation de la parcimonie à plusieurs é- chelles : d'une part les messages appris sont de longueur bien inférieure à n, d'autre part ils n'utilisent qu'une partie du matériel disponible, que ce soit au niveau des neurones ou de leurs connexions. L'apprentissage est donc localisé, au contraire des réseaux de Hopfield. De plus, ces mémoires bénéficient d'une efficacité - rapport du nombre de bits appris au nombre de bits utilisés - presque maximale. Elles se présentent donc comme une alternative intéressante aux mé- moires indexées classiques. Au delà de l'aspect quantitatif, le modèle que nous proposons offre une plau- sibilité biologique fortement accrue par rapport au modèle de Hopfield. Les con- cepts de cliques neurales, de winner take all, ou encore de synchronisation tem- porelle que ce modèle exploite rejoignent les observations récentes rapportées par la littérature neurobiologique. Par ailleurs, elles pourraient ouvrir la voie à la conception de machines cognitives capables de croiser des informations pour en produire de nouvelles car les cliques neurales sont recouvrantes, par leurs som- mets ou par leurs arêtes.

La popularité du service web soulève de nombreux problèmes liés à sa performance. L'utilisation de mécanismes " intelligents " dans le système permet de surmonter la difficulté liée aux méthodes plus traditionnelles pour prendre en compte toute la complexité engendrée par l'introduction des paramètres influents sur la qualité de service d'un serveur web. C'est dans ce contexte que se situent les présents travaux de thèse. Nous nous intéressons au problème de l'évaluation des performances d'un serveur web et du mécanisme d'accès au réseau local sans fil en mode infrastructure. Au lieu d'utiliser les méthodes traditionnelles pour modéliser leurs performances, nous proposons d'utiliser les capacités d'apprentissage et de généralisation des réseaux de neurones pour apprendre ces performances à partir des données obtenues des expérimentations et des simulations. D'abord, nous étudions les effets des différents paramètres influents d'un serveur Web sur ses métriques des performances. Les résultats obtenus permettent de donner des idées aux administrateurs système et réseau sur les façons d'ajuster les paramètres du serveur afin d'améliorer ses performances. Nous proposons aussi un modèle simple basé sur la file d'attente représentant l'architecture du serveur web (processeur, mémoire et disque) en utilisant la technique itérative basée sur les équations MVA (Mean Value Analysis). Ensuite, la thèse propose une nouvelle approche basée sur l'utilisation des réseaux de neurones pour modéliser les performances d'un serveur web en tenant compte ses paramètres d'optimisation. Ces modèles ont été ensuite implémentés sur un serveur web réel, Apache avec un système d'exploitation FreeBSD afin de mettre en place un mécanisme de contrôle de surcharge à boucle ouverte du serveur. Cette stratégie de contrôle permet d'éviter la surcharge du serveur. Un mécanisme de contrôle mixte basé sur la combinaison de deux contrôleurs, neuronal à boucle ouverte et à action proportionnelle intégrale, PI a été élaboré. Ces derniers permettent ensemble d'améliorer considérablement le mécanisme de contrôle d'admission du serveur Web. Enfin on s'est intéressé à la modélisation des performances du mécanisme d'accès au réseau sans fil en mode infrastructure. Les deux modèles, mathématique et neuronal servent à estimer le débit maximal observé sur chaque station sans fil en fonction de la taille de paquet, de la vitesse de transmission et du nombre de stations pour les protocoles UDP et TCP. Les résultats obtenus permettent à l'utilisateur de connaître la capacité d'une borne hot spots de son réseau sans fil.

Neste trabalho foi realizada uma busca por relações, regras e transformações entre duas metodologias constituintes da Inteligência Computacional - a Computação Nebulosa e a Computação Evolutiva. Com a organização e sistematização da existência de tais transformações, obtém-se uma mudança na modelagem de soluções que as utilizam de forma conjunta, possibilitando que teorias e modelos bem estabelecidos em uma das metodologias possam ser aproveitados pela outra de uma forma mais robusta, correta por construção, intrínseca e transparente. Um modelo foi proposto para direcionar o trabalho de pesquisa. Através da análise desse modelo e de uma revisão bibliográfica realizada, transformações pontuais entre as metodologias foram elencadas, e posteriormente consolidadas por meio de experimentos práticos: uma Base de Conhecimento (BC) de um Controlador Lógico Nebuloso foi criada e modificada, conforme a necessidade, através de um Algoritmo Genético (AG). Com a abordagem desenvolvida, além da criação de BCs a partir de pouquíssimo conhecimento sobre o domínio do problema, tornou-se possível a inserção de novos \"comportamentos desejados\" em BCs já existentes, automaticamente, através de AGs. Os resultados desses experimentos, realizados sobre uma plataforma computacional especificada e implementada para este fim, foram apresentados e analisados. / This work addressed a search of relations, rules and transformations between two Computational Intelligence constituent methodologies - Fuzzy Computing and Evolutionary Computing. The existence of these relations changes the actual way of solutions modeling that uses these methodologies, allowing the utilization of well established theories and models of one technique by the other in a more robust, intrinsic and transparent way. Besides the research and systematization of points that indicate the existence of relations between the two methodologies, a model to guide these exploration was proposed. By this model analysis and by the bibliographic revision made, punctual transformations were pointed out, and further consolidated through practical experiments: a Knowledge Base (KB) of a Fuzzy Logic Controller was created and modified automatically by a Genetic Algorithm. With the developed approach, besides the creation of KBs, it became possible to automatically insert new \"desired behaviors\" to existent KBs. The results of such experiments, realized through a computational platform specified and implemented to this task, were presented and analyzed.

One group of information systems that have attracted a lot of attention during the past decade are financial information systems, especially systems pertaining to financial markets and electronic trading. Delivering accurate and timely information to traders substantially increases their chances of making better trading decisions.Since the dawn of electronic exchanges the trading community has seen a proliferation of computer-based intelligence within the field, enabled by an exponential growth of processing power and storage capacity due to advancements in computer technology. The financial benefits associated with outperforming the market and gaining leverage over the competition has fueled the research of computational intelligence in financial information systems. This has resulted in a plethora of different techniques.The most prevalent techniques used within algorithmic trading today consist of various machine learning technologies, borrowed from the field of data mining. Neural networks have shown exceptional predictive capabilities time and time again.One recent machine learning technology that has shown great potential is Hierarchical Temporal Memory (HTM). It borrows concepts from neural networks, Bayesian networks and makes use of spatiotemporal clustering techniques to handle noisy inputs and to create invariant representations of patterns discovered in its input stream. In a previous paper [1], an initial study was carried-out where the predictive performance of the HTM technology was investigated within algorithmic trading of financial markets. The study showed promising results, in which the HTM-based algorithm was profitable across bullish-, bearish and horizontal market trends, yielding comparable results to its neural network benchmark. Although, the previous work lacked any attempt to produce near optimal trading models.Evolutionary optimization methods are commonly regarded as superior to alternative methods. The simplest evolutionary optimization technique is the genetic algorithm, which is based on Charles Darwin's evolutionary theory of natural selection and survival of the fittest. The genetic algorithm combines exploration and exploitation in the search for optimal models in the solution space.This paper extends the HTM-based trading algorithm, developed in the previous work, by employing the genetic algorithm as an optimization method. Once again, neural networks are used as the benchmark technology since they are by far the most prevalent modeling technique used for predicting financial markets. Predictive models were trained, validated and tested using feature vectors consisting of technical indicators, derived from the E-mini S&P 500 index futures market.The results show that the genetic algorithm succeeded in finding predictive models with good performance and generalization ability. The HTM models outperformed the neural network models, but both technologies yielded profitable results with above average accuracy. / Program: Magisterutbildning i informatik

Neste trabalho foi realizada uma busca por relações, regras e transformações entre duas metodologias constituintes da Inteligência Computacional - a Computação Nebulosa e a Computação Evolutiva. Com a organização e sistematização da existência de tais transformações, obtém-se uma mudança na modelagem de soluções que as utilizam de forma conjunta, possibilitando que teorias e modelos bem estabelecidos em uma das metodologias possam ser aproveitados pela outra de uma forma mais robusta, correta por construção, intrínseca e transparente. Um modelo foi proposto para direcionar o trabalho de pesquisa. Através da análise desse modelo e de uma revisão bibliográfica realizada, transformações pontuais entre as metodologias foram elencadas, e posteriormente consolidadas por meio de experimentos práticos: uma Base de Conhecimento (BC) de um Controlador Lógico Nebuloso foi criada e modificada, conforme a necessidade, através de um Algoritmo Genético (AG). Com a abordagem desenvolvida, além da criação de BCs a partir de pouquíssimo conhecimento sobre o domínio do problema, tornou-se possível a inserção de novos \"comportamentos desejados\" em BCs já existentes, automaticamente, através de AGs. Os resultados desses experimentos, realizados sobre uma plataforma computacional especificada e implementada para este fim, foram apresentados e analisados. / This work addressed a search of relations, rules and transformations between two Computational Intelligence constituent methodologies - Fuzzy Computing and Evolutionary Computing. The existence of these relations changes the actual way of solutions modeling that uses these methodologies, allowing the utilization of well established theories and models of one technique by the other in a more robust, intrinsic and transparent way. Besides the research and systematization of points that indicate the existence of relations between the two methodologies, a model to guide these exploration was proposed. By this model analysis and by the bibliographic revision made, punctual transformations were pointed out, and further consolidated through practical experiments: a Knowledge Base (KB) of a Fuzzy Logic Controller was created and modified automatically by a Genetic Algorithm. With the developed approach, besides the creation of KBs, it became possible to automatically insert new \"desired behaviors\" to existent KBs. The results of such experiments, realized through a computational platform specified and implemented to this task, were presented and analyzed.

Cette thèse traite de la problématique de l'unification de différents flux d'informations modales qui peuvent provenir des senseurs d'un agent. Cette unification, inspirée des expériences psychologiques comme l'effet ventriloque, s'appuie sur la détection de corrélations, définies comme des motifs spatiaux qui apparaissent régulièrement dans les flux d'entrée. L'apprentissage de l'espace des corrélations du flux d'entrée échantillonne cet espace et généralise les échantillons appris. Cette thèse propose des principes fonctionnels pour le traitement multimodal de l'information qui ont aboutit à l'architecture connexionniste, générique, modulaire et cortico-inspirée SOMMA (Self-Organizing Maps for Multimodal Association). Dans ce modèle, le traitement de chaque modalité s'effectue au sein d'une carte corticale. L'unification multimodale de l'information est obtenue par la mise en relation réciproque de ces cartes. L'échantillonnage et la généralisation des corrélations reposent sur une auto-organisation contrainte des cartes. Ce modèle est caractérisé par un apprentissage progressif de ces propriétés fonctionnelles: les propriétés monomodales amorcent l'émergence des propriétés multimodales et, dans le même temps, l'apprentissage de certaines corrélations par chaque carte est un préalable à l'auto-organisation de ces cartes. Par ailleurs, l'utilisation d'une architecture connexionniste et d'un apprentissage continu et non supervisé fournit au modèle des propriétés de robustesse et d'adaptabilité qui sont généralement absentes des approches informatiques classiques.

Ce mémoire d'Habilitation à Diriger les Recherches présente de manière synthétique les recherches effectuées sur la modélisation par apprentissage statistique de systèmes naturels ou en interaction avec un environnement naturel. La spécificité de l'apprentissage est tout d'abord discutée en relation avec le calage et permet d'introduire les notions d'identification universelle et de dilemme biais-variance qui sont ensuite approfondies dans le mémoire. Ces notions sont illustrées en relation avec la problématique de la synthèse d'un modèle de simulation ou de prédiction. Plusieurs illustrations sont présentées comme l'apprentissage de comportement d'un robot hexapode, la synthèse du contrôleur d'un préhenseur pneumatique et la modélisation d'hydrosystèmes tels les karsts ou les bassins versants rapides. Ces derniers, emblématiques des défis que la science doit permettre d'aborder, ont en commun la disponibilité de bases de données observées depuis plusieurs décennies, la non-linéarité des processus impliqués dans ces phénomènes, la difficulté à mesurer les variables d'état et la présence d'un bruit de mesure considérable. Face à ces difficultés, ce mémoire présente comment les méthodes de régularisation ont été revisitées et propose une démarche originale de modélisation semi physique, les boîtes transparentes, qui permet de valider physiquement le modèle tout en approfondissant la connaissance des phénomènes étudiés.