abstract: Animals learn to choose a proper action among alternatives according to the circumstance. Through trial-and-error, animals improve their odds by making correct association between their behavioral choices and external stimuli. While there has been an extensive literature on the theory of learning, it is still unclear how individual neurons and a neural network adapt as learning progresses. In this dissertation, single units in the medial and lateral agranular (AGm and AGl) cortices were recorded as rats learned a directional choice task. The task required the rat to make a left/right side lever press if a light cue appeared on the left/right side of the interface panel. Behavior analysis showed that rat's movement parameters during performance of directional choices became stereotyped very quickly (2-3 days) while learning to solve the directional choice problem took weeks to occur. The entire learning process was further broken down to 3 stages, each having similar number of recording sessions (days). Single unit based firing rate analysis revealed that 1) directional rate modulation was observed in both cortices; 2) the averaged mean rate between left and right trials in the neural ensemble each day did not change significantly among the three learning stages; 3) the rate difference between left and right trials of the ensemble did not change significantly either. Besides, for either left or right trials, the trial-to-trial firing variability of single neurons did not change significantly over the three stages. To explore the spatiotemporal neural pattern of the recorded ensemble, support vector machines (SVMs) were constructed each day to decode the direction of choice in single trials. Improved classification accuracy indicated enhanced discriminability between neural patterns of left and right choices as learning progressed. When using a restricted Boltzmann machine (RBM) model to extract features from neural activity patterns, results further supported the idea that neural firing patterns adapted during the three learning stages to facilitate the neural codes of directional choices. Put together, these findings suggest a spatiotemporal neural coding scheme in a rat AGl and AGm neural ensemble that may be responsible for and contributing to learning the directional choice task. / Dissertation/Thesis / Ph.D. Electrical Engineering 2014

This thesis explores how multi-modal Restricted Boltzmann Machines (RBM) can be used in content-based image tagging. This work also cointains brief analysis of modalities that can be used for multi-modal classification. There are also described various RBMs, that are suitable for different kinds of input data. A design and implementation of multimodal RBM is described together with results of preliminary experiments.

User behavior analysis in web applications is currently mainly performed by analysis of statistical measurements based on user interactions or by creation of personas to better understand users. Both of these methods give great insights in how the users utilize a web site, but do not give any additional information about what they are actually doing. This thesis attempts to use eye tracking data for analysis of user activities in web applications. Eye tracking data has been recorded, labeled and analyzed for 25 test participants. No data source except eye tracking data has been used and two different approaches are attempted where the first relies on a gaze map representation of the data and the second relies on sequences of features. The results indicate that it is possible to distinguish user activities in web applications, but only at a high error-rate. Improvement are possible by implementing a less subjective labeling process and by including features from other data sources. / I nuläget utförs analys av användarbeteende i webbapplikationer primärt med hjälp av statistiska mått över användares beteenden på hemsidor tillsammans med personas förökad förståelse av olika typer av användare. Dessa metoder ger stor insikt i hur användare använder hemsidor men ger ingen information om vilka typer av aktiviteter användare har utfört på hemsidan. Denna rapport försöker skapa metoder för analys av användaraktiviter på hemsidor endast baserat på blickdata fångade med eye trackers. Blick data från 25 personer har samlats in under tiden de utför olika uppgifter på olika hemsidor. Två olika tekniker har utvärderats där den ena analyserar blick kartor som fångat ögonens rörelser under 10 sekunder och den andra tekniken använder sig av sekvenser av händelser för att klassificera aktiviteter. Resultaten indikerar att det går att urskilja olika typer av vanligt förekommande användaraktiviteter genom analys av blick data. Resultatet visar också att det är stor osäkerhet i prediktionerna och ytterligare arbete är nödvändigt för att finna användbara modeller.

No description available.

Thèse numérisée par la Division de la gestion de documents et des archives de l'Université de Montréal.

Este trabalho realiza uma análise dos modelos pertencentes à Computação Neural e à Computação Evolutiva visando identificar semelhanças entre as áreas e sustentar mapeamentos entre as semelhanças identificadas. Neste contexto, a identificação de similaridades visando à resolução de problemas de otimização combinatorial resulta em uma comparação entre a Máquina de Boltzmann e os Algoritmos Evolutivos binários com população composta por um único indivíduo pai e um único indivíduo descendente. Como forma de auxiliar nas análises, o trabalho utiliza o Problema do Caixeiro Viajante como plataforma de ensaios, propondo mapeamentos entre as equações da Máquina de Boltzmann e os operadores evolutivos da Estratégia Evolutiva (1+1)-ES. / An analysis between the Evolutionary Computation and the Neural Computation fields was presented in order to identify similarities and mappings between the theories. In the analysis, the identification of similarities between the models designed for combinatorial optimization problems results in a comparison between the Boltzmann Machine and the Two-Membered Evolutionary Algorithms. In order to analyze the class of combinatorial optimization problems, this work used the Traveling Salesman Problem as a study subject, where the Boltzmann Machine equations were used to implement the evolutionary operators of an Evolution Strategy (1+1)-ES.

Conselho Nacional de Desenvolvimento CientÃfico e TecnolÃgico / No sÃculo XXI a humanidade produziu mais novos dados (informaÃÃes) do que em toda sua histÃria. Entender a natureza dos diversos sistemas que geram essa abundÃncia de dados se tornou um dos grandes desafios desse sÃculo. Uma forma de analisar formalmente esses grandes bancos de dados à empregando a teoria da informaÃÃo desenvolvida por Claude Shannon. Essa teoria permite, usando o princÃpio da mÃxima entropia, encontrar as distribuiÃÃes de probabilidades que melhor descrevem os comportamentos coletivos desses sistemas. Nessa dissertaÃÃo, discutimos a possibilidade de usar modelos tipo Ising para descrever observaÃÃes de sistemas reais. Devido a suas limitaÃÃes, empregar o modelo de Ising implica em supor que os elementos que constituem o sistema real sà podem estar em dois estados, por exemplo ativo ou inativo. AlÃm disso, o modelo de Ising da conta apenas de interaÃÃes entre pares de elementos e desconsidera a possibilidade de interaÃÃes entre grupos maiores de elementos. Como discutiremos, mesmo com essas limitaÃÃes tal modelo pode descrever bem resultados observados em alguns sistemas naturais, como por exemplo redes de neurÃnios. Especificamente, discutiremos resultados de trabalhos anteriores que mostram que usando apenas as mÃdias de atividade de cada neurÃnio e a correlaÃÃo entre os mesmo, usando a teoria de Shannon, observa-se que os estados visitados pela rede seguem à distribuiÃÃo de Ising. Para testar a aplicabilidade desse mÃtodo em diversos sistemas geramos dados sintÃticos, obtidos de modelos tipo Ising em trÃs situaÃÃes: ferromagnÃtico, anti-ferro e vidro de spins (spin glass). NÃs chamamos o sistema que gera os dados sintÃticos de sistema subjacente. Usamos mÃtodos de maximizaÃÃo de entropia para tentar construir sistemas modelos que consigam reproduzir as mÃdia e correlaÃÃes observadas nos dados sintÃticos. Dessa forma, verificamos em que situaÃÃes nossos mÃtodos conseguem de fato gerar um sistema modelo que reproduza o sistema subjacente que gerou os dados. Esses resultados podem estabelecer um limite de aplicabilidade para a tÃcnica discutida.

Este trabalho realiza uma análise dos modelos pertencentes à Computação Neural e à Computação Evolutiva visando identificar semelhanças entre as áreas e sustentar mapeamentos entre as semelhanças identificadas. Neste contexto, a identificação de similaridades visando à resolução de problemas de otimização combinatorial resulta em uma comparação entre a Máquina de Boltzmann e os Algoritmos Evolutivos binários com população composta por um único indivíduo pai e um único indivíduo descendente. Como forma de auxiliar nas análises, o trabalho utiliza o Problema do Caixeiro Viajante como plataforma de ensaios, propondo mapeamentos entre as equações da Máquina de Boltzmann e os operadores evolutivos da Estratégia Evolutiva (1+1)-ES. / An analysis between the Evolutionary Computation and the Neural Computation fields was presented in order to identify similarities and mappings between the theories. In the analysis, the identification of similarities between the models designed for combinatorial optimization problems results in a comparison between the Boltzmann Machine and the Two-Membered Evolutionary Algorithms. In order to analyze the class of combinatorial optimization problems, this work used the Traveling Salesman Problem as a study subject, where the Boltzmann Machine equations were used to implement the evolutionary operators of an Evolution Strategy (1+1)-ES.

Thèse numérisée par la Division de la gestion de documents et des archives de l'Université de Montréal

Práca sa zaoberá spojeniami medzi štatistickou fyzikou a strojovým učením s dôrazom na základné princípy a ich dôsledky. Ďalej sa venuje obecným vlastnostiam spektroskopických dát a ich zohľadnení pri pokročilom spracovaní dát. Začiatok práce je venovaný odvodeniu partičnej sumy štatistického systému a štúdiu Isingovho modelu pomocou "mean field" prístupu. Následne, popri základnom úvode do strojového učenia, je ukázaná ekvivalencia medzi Isingovým modelom a Hopfieldovou sieťou - modelom strojového učenia. Na konci teoretickej časti je z Hopfieldovej siete odvodený model Restricted Boltzmann Machine (RBM). Vhodnosť použitia RBM na spracovanie spektroskopických dát je diskutovaná a preukázaná na znížení dimenzie týchto dát. Výsledky sú porovnané s bežne používanou Metódou Hlavných Komponent (PCA), spolu so zhodnotením prístupu a možnosťami ďalšieho zlepšovania.