Given the rise in the application of neural networks to all sorts of interesting problems, it seems natural to apply them to statistical tests. This senior thesis studies whether neural networks built to classify discrete circular probability distributions can outperform a class of well-known statistical tests for uniformity for discrete circular data that includes the Rayleigh Test1, the Watson Test2, and the Ajne Test3. Each neural network used is relatively small with no more than 3 layers: an input layer taking in discrete data sets on a circle, a hidden layer, and an output layer outputting probability values between 0 and 1, with 0 mapping to uniform and 1 mapping to nonuniform. In evaluating performances, I compare the accuracy, type I error, and type II error of this class of statistical tests and of the neural networks built to compete with them. 1 Jammalamadaka, S. Rao(1-UCSB-PB); SenGupta, A.(6-ISI-ASU)Topics in circular statistics. (English summary) With 1 IBM-PC floppy disk (3.5 inch; HD). Series on Multivariate Analysis, 5. World Scientific Publishing Co., Inc., River Edge, NJ, 2001. xii+322 pp. ISBN: 981-02-3778-2 2 Watson, G. S.Goodness-of-fit tests on a circle. II. Biometrika 49 1962 57–63. 3 Ajne, B.A simple test for uniformity of a circular distribution. Biometrika 55 1968 343–354.

Pas de résumé en anglais

Um dos grandes desafios atuais da computação e ultrapassar o abismo existente entre o homem e a maquina. Para tanto, o desafio passa a ser a formalização de estados mentais e sua modelagem computacional. Isso e necessário, uma vez que o homem somente conseguira comunicar-se com uma maquina quando esta puder dar e receber informações sem que o homem precise aprender uma forma especial de comunicação. É necessário, portanto, que a maquina aprenda a comunicar-se como o homem. Neste sentido, o estudo da linguagem torna-se uma porta aberta para criar uma computação que se adapte ao homem e, ao mesmo tempo favoreça pesquisas que visem uma melhor compreensão do funcionamento do cérebro, da linguagem e do aprendizado do próprio homem. O presente trabalho mostra que o computador possui um potencial de comunicação ainda inexplorado. Por este motivo, em estudos anteriores procurou-se a verificação do atual estagio de modelagem de comunicação homem-máquina em comparação a evolução da linguagem humana. Constatou-se, então, que a maquina pode chegar a uma efetiva comunicação com o homem embora jamais espontânea. como se vê na ficção científica. O que e possível e a auto-organização pelo computador de sinais provenientes de seu meio, visando a realização de determinadas tarefas. Esses sinais do meio em que esta o computador são exatamente o que justifica suas ações, o que da significado ao que lhe e transmitido, assim como o que ocorre no homem. Para que se modele o reconhecimento semantico de frases necessário que se encontre uma forma de codificar os sinais do meio para que estes, acompanhando a frase, permitam o reconhecimento de seu significado. Porem, como o objetivo deste trabalho e a implementação do reconhecimento semântico e não a recepção de sinais, optou-se por uma codificação representativa dos sinais externos. Esta codificação permite que, através da tecnologia das Redes Neurais Artificiais, seja possível a implementação de relações semânticas entre palavras e entre frases, permitindo a classificação para posterior reconhecimento. A implementação computacional realizada permite o reconhecimento de frases, mesmo com alteração de palavras e numero de palavras. O protótipo aqui apresentado mostra que, mesmo com uma estrutura extremamente mais simples que outros sistemas de reconhecimento de língua natural, é possível uma adequada identificação de frases. / One of the great challenges of computation nowadays is to cross the abyss between man and machine. Thus, the challenge becomes the formalization of mental states and its computational modelling. This is necessary since man will only get to communicate with a machine when this machine is able to give and receive information without man needs to learn a special way to communicate. Therefore, it is necessary that the machine learns to communicate with man. In this sense, the study of the language becomes an open door in order to create a computation that may be adapted to man. and, at the same time, may help researches which aim at a better comprehension of the brain functioning of the language and of man's learning. This work shows that the computer has a potential for communication that has not been explored yet. For this reason, in prior studies we tried to verify the present stage of man-machine communication modelling in comparison with the human language evolution. We verified, then, that the machine can reach an effective communication with man, but never spontaneous, as we see in scientific fiction (Sci-Fi). What can be possible is the self-organization by computer of signals deriving from its own environment, aiming at realization of specifics tasks. Those signals of the computer environment are exactly what justifies its actions. what gives meaning to what is transmitted to it in the same way that happens with man. In order to mould the Semantic Recognition of phrases it is necessary to find out a way of codifying the signals of the environment so that these signals. accompanying a phrase, may permit recognition of its meaning. However, as the purpose of this work is the implementation of the Semantic Recognition, and not the reception of signals, we have opted for a representative codification of external signals. This codification allows that, through the Artificial Neural Nets technology, the implementation of semantic relations among words and phrases may be possible, permitting the classification for posterior recognition. The computational implementation realized permits the recognition of phrases, even with alteration of words and number of words. The prototype presented here shows that, even with one structure extremely simpler than other systems of Natural Language Recognition, an adequate identification of phrases is possible.

Um dos grandes desafios atuais da computação e ultrapassar o abismo existente entre o homem e a maquina. Para tanto, o desafio passa a ser a formalização de estados mentais e sua modelagem computacional. Isso e necessário, uma vez que o homem somente conseguira comunicar-se com uma maquina quando esta puder dar e receber informações sem que o homem precise aprender uma forma especial de comunicação. É necessário, portanto, que a maquina aprenda a comunicar-se como o homem. Neste sentido, o estudo da linguagem torna-se uma porta aberta para criar uma computação que se adapte ao homem e, ao mesmo tempo favoreça pesquisas que visem uma melhor compreensão do funcionamento do cérebro, da linguagem e do aprendizado do próprio homem. O presente trabalho mostra que o computador possui um potencial de comunicação ainda inexplorado. Por este motivo, em estudos anteriores procurou-se a verificação do atual estagio de modelagem de comunicação homem-máquina em comparação a evolução da linguagem humana. Constatou-se, então, que a maquina pode chegar a uma efetiva comunicação com o homem embora jamais espontânea. como se vê na ficção científica. O que e possível e a auto-organização pelo computador de sinais provenientes de seu meio, visando a realização de determinadas tarefas. Esses sinais do meio em que esta o computador são exatamente o que justifica suas ações, o que da significado ao que lhe e transmitido, assim como o que ocorre no homem. Para que se modele o reconhecimento semantico de frases necessário que se encontre uma forma de codificar os sinais do meio para que estes, acompanhando a frase, permitam o reconhecimento de seu significado. Porem, como o objetivo deste trabalho e a implementação do reconhecimento semântico e não a recepção de sinais, optou-se por uma codificação representativa dos sinais externos. Esta codificação permite que, através da tecnologia das Redes Neurais Artificiais, seja possível a implementação de relações semânticas entre palavras e entre frases, permitindo a classificação para posterior reconhecimento. A implementação computacional realizada permite o reconhecimento de frases, mesmo com alteração de palavras e numero de palavras. O protótipo aqui apresentado mostra que, mesmo com uma estrutura extremamente mais simples que outros sistemas de reconhecimento de língua natural, é possível uma adequada identificação de frases. / One of the great challenges of computation nowadays is to cross the abyss between man and machine. Thus, the challenge becomes the formalization of mental states and its computational modelling. This is necessary since man will only get to communicate with a machine when this machine is able to give and receive information without man needs to learn a special way to communicate. Therefore, it is necessary that the machine learns to communicate with man. In this sense, the study of the language becomes an open door in order to create a computation that may be adapted to man. and, at the same time, may help researches which aim at a better comprehension of the brain functioning of the language and of man's learning. This work shows that the computer has a potential for communication that has not been explored yet. For this reason, in prior studies we tried to verify the present stage of man-machine communication modelling in comparison with the human language evolution. We verified, then, that the machine can reach an effective communication with man, but never spontaneous, as we see in scientific fiction (Sci-Fi). What can be possible is the self-organization by computer of signals deriving from its own environment, aiming at realization of specifics tasks. Those signals of the computer environment are exactly what justifies its actions. what gives meaning to what is transmitted to it in the same way that happens with man. In order to mould the Semantic Recognition of phrases it is necessary to find out a way of codifying the signals of the environment so that these signals. accompanying a phrase, may permit recognition of its meaning. However, as the purpose of this work is the implementation of the Semantic Recognition, and not the reception of signals, we have opted for a representative codification of external signals. This codification allows that, through the Artificial Neural Nets technology, the implementation of semantic relations among words and phrases may be possible, permitting the classification for posterior recognition. The computational implementation realized permits the recognition of phrases, even with alteration of words and number of words. The prototype presented here shows that, even with one structure extremely simpler than other systems of Natural Language Recognition, an adequate identification of phrases is possible.

Nos últimos anos muito tem se pesquisado na área de arquiteturas paralelas de computadores, devido ao fato da melhora de desempenho nas arquiteturas sequenciais não estar acompanhando as necessidades crescentes de capacidade de processamento. Entre as arquiteturas paralelas, um grupo que tem recebido especial atenção por parte dos pesquisadores é o de redes neurais. Uma rede neural é uma arquitetura baseada em paralelismo massivo, na interconexão de numerosos elementos simples de processamento segundo uma determinada topologia e com uma regra de aprendizagem. As redes neurais tem tido grande importância na área de reconhecimento de padrões e diversas aplicações em reconhecimento de caracteres, imagem e voz tem sido desenvolvidas. Outra área de aplicação das redes neurais é o processamento de sinais. A característica de adaptabilidade das redes neurais torna-as apropriadas à utilização em aplicações, onde as características do sinal, ou do meio, são variáveis ou não totalmente conhecidas, como filtros adaptativos. O objetivo deste trabalho é mostrar as aplicações de redes neurais nesta área. Na primeira parte do trabalho foram implementadas aplicações de redes neurais à filtragem utilizando diversas topologias e modelos de neurônios. Os modelos implementados são aqui apresentados juntamente com os resultados das simulações. A segunda parte do trabalho consiste na aplicação de um modelo de redes neurais a um problema bem específico, a separação de sinais a partir de diversas combinações destes sinais. A solução implementada foi baseada no algoritmo proposto por Jutten em [JUT 87]. Além da aplicação deste algoritmo, o problema envolve a análise espectral do sinal, e a reconstrução do sinal original a partir de suas componentes, após efetuada a separação. Neste trabalho é efetuado um estudo sobre este algoritmo, é proposta uma alteração para sua aplicação a sinais de voz, e são mostrados os resultados obtidos na aplicação deste sistema à separação de sinais de voz de diversos locutores. / A lot of research has recently been done in parallel architectures, due to the fact that the improvement in the performance of sequential architectures has not accompanied the growing needs of processing power. Among the parallel architectures, one that has received special attention of the researchers is neural nets. A neural net is an architecture based on massive parallelism, interconection of many processing elements according to one topology and a learning rule. This technology has acquired great importance in the area of pattern recognition and many apllications in recognition of characters, images and voice have been developed. Another area of application of neural nets is signal processing. The characteristic of adaptability of neural nets makes them appropriate to the use of applications where the characteristics of the signal or the environment are variable or not completely known, like adaptive filters. The goal of this work is showing some applications of neural nets in signal processing. In the first part of the work applications of neural nets to filtering using different topologies and models of neurons have been implemented. These models are presented here with the results of these simulations. The second part consists of the application of a neural network model to a very specific problem, the separation of signals from combinations of these signals. The solution implemented was based in the algorithm proposed by Jutten [JUT 87][HER 88]. This problem involves, besides the application of this algorithm, signal spectral analysis and reconstruction of the original signal from the components after the separation is accomplished. After describing the study of the algorithm which has been carried on, the work finishes with the proposal of a modification which would allow the enhancement of its range of applications, namely, to the field of voice signal processing. The results of this other kind of application are consequently shown.

Nos últimos anos muito tem se pesquisado na área de arquiteturas paralelas de computadores, devido ao fato da melhora de desempenho nas arquiteturas sequenciais não estar acompanhando as necessidades crescentes de capacidade de processamento. Entre as arquiteturas paralelas, um grupo que tem recebido especial atenção por parte dos pesquisadores é o de redes neurais. Uma rede neural é uma arquitetura baseada em paralelismo massivo, na interconexão de numerosos elementos simples de processamento segundo uma determinada topologia e com uma regra de aprendizagem. As redes neurais tem tido grande importância na área de reconhecimento de padrões e diversas aplicações em reconhecimento de caracteres, imagem e voz tem sido desenvolvidas. Outra área de aplicação das redes neurais é o processamento de sinais. A característica de adaptabilidade das redes neurais torna-as apropriadas à utilização em aplicações, onde as características do sinal, ou do meio, são variáveis ou não totalmente conhecidas, como filtros adaptativos. O objetivo deste trabalho é mostrar as aplicações de redes neurais nesta área. Na primeira parte do trabalho foram implementadas aplicações de redes neurais à filtragem utilizando diversas topologias e modelos de neurônios. Os modelos implementados são aqui apresentados juntamente com os resultados das simulações. A segunda parte do trabalho consiste na aplicação de um modelo de redes neurais a um problema bem específico, a separação de sinais a partir de diversas combinações destes sinais. A solução implementada foi baseada no algoritmo proposto por Jutten em [JUT 87]. Além da aplicação deste algoritmo, o problema envolve a análise espectral do sinal, e a reconstrução do sinal original a partir de suas componentes, após efetuada a separação. Neste trabalho é efetuado um estudo sobre este algoritmo, é proposta uma alteração para sua aplicação a sinais de voz, e são mostrados os resultados obtidos na aplicação deste sistema à separação de sinais de voz de diversos locutores. / A lot of research has recently been done in parallel architectures, due to the fact that the improvement in the performance of sequential architectures has not accompanied the growing needs of processing power. Among the parallel architectures, one that has received special attention of the researchers is neural nets. A neural net is an architecture based on massive parallelism, interconection of many processing elements according to one topology and a learning rule. This technology has acquired great importance in the area of pattern recognition and many apllications in recognition of characters, images and voice have been developed. Another area of application of neural nets is signal processing. The characteristic of adaptability of neural nets makes them appropriate to the use of applications where the characteristics of the signal or the environment are variable or not completely known, like adaptive filters. The goal of this work is showing some applications of neural nets in signal processing. In the first part of the work applications of neural nets to filtering using different topologies and models of neurons have been implemented. These models are presented here with the results of these simulations. The second part consists of the application of a neural network model to a very specific problem, the separation of signals from combinations of these signals. The solution implemented was based in the algorithm proposed by Jutten [JUT 87][HER 88]. This problem involves, besides the application of this algorithm, signal spectral analysis and reconstruction of the original signal from the components after the separation is accomplished. After describing the study of the algorithm which has been carried on, the work finishes with the proposal of a modification which would allow the enhancement of its range of applications, namely, to the field of voice signal processing. The results of this other kind of application are consequently shown.

This master's thesis deals with a vehicle detector based on the convolutional neural network and scene captured by drone. Dataset is described at the beginning, because the main aim of this thesis is to create practicly usable detector. Architectures of the forward neural networks which detector was created from are described in the next chapter. Techniques for building a detector based on the naive methods and current the most successful meta architectures follow the neural network architectures. An implementation of the detector is described in the second part of this thesis. The final detector was built on meta architecture Faster R-CNN and PVA neural network on which the detector achieved score over 90 % and 45 full HD frames per seconds.

This paper investigates the use of deep Convolutional Neural Networks for modeling the intronic regulation of Alternative Splicing on the basis of DNA sequence. By training the CNN on massively parallel synthetic DNA libraries of Alternative 5'-splicing and Alternatively Skipped exon events, the model is capable of predicting the relative abundance of alternatively spliced mRNA isoforms on held-out library data to a very high accuracy (R2 = 0.77 for Alt. 5'-splicing). Furthermore, the CNN is shown to generalize alternative splicing across cell lines efficiently. The Convolutional Neural Net is tested against a Logistic regression model and the results show that while prediction accuracy on the synthetic library is notably higher compared to the LR model, the CNN is worse at generalizing to new intronic contexts. Tests on non-synthetic human SNP genes suggest the CNN is dependent on the relative position of the intronic region it was trained for, a problem which is alleviated with LR. The increased library prediction accuracy of the CNN compared to Logistic regression is concluded to come from the non-linearity introduced by the deep layer architecture. It adds the capacity to model complex regulatory interactions and combinatorial RBP effects which studies have shown largely affect alternative splicing. However, the architecture makes interpreting the CNN hard, as the regulatory interactions are encoded deep within the layers. Nevertheless, high-performance modeling of alternative splicing using CNNs may still prove useful in numerous Synthetic biology applications, for example to model differentially spliced genes as is done in this paper. / Den här uppsatsen undersöker hur djupa neurala nätverk baserade på faltning ("Convolutions") kan användas för att modellera den introniska regleringen av Alternativ Splicing med endast DNA-sekvensen som indata. Nätverket tränas på ett massivt parallelt bibliotek av syntetiskt DNA innehållandes Alternativa Splicing-event där delar av de introniska regionerna har randomiserats. Uppsatsen visar att nätverksarkitekturen kan förutspå den relativa mängden alternativt splicat RNA till en mycket hög noggrannhet inom det syntetiska biblioteket. Modellen generaliserar även alternativ splicing mellan mänskliga celltyper väl. Hursomhelst, tester på icke-syntetiska mänskliga gener med SNP-mutationer visar att nätverkets prestanda försämras när den introniska region som används som indata flyttas i jämförelse till den relativa position som modellen tränats på. Uppsatsen jämför modellen med Logistic regression och drar slutsatsen att nätverkets förbättrade prestanda grundar sig i dess förmåga att modellera icke-linjära beroenden i datan. Detta medför dock svårigheter i att tolka vad modellen faktiskt lärt sig, eftersom interaktionen mellan reglerande element är inbäddat i nätverkslagren. Trots det kan högpresterande modellering av alternativ splicing med hjälp av neurala nät vara användbart, exempelvis inom Syntetisk biologi där modellen kan användas för att kontrollera regleringen av splicing när man konstruerar syntetiska gener.

Deep neural networks with millions of parameters are at the heart of many state of the art computer vision models. However, recent works have shown that models with much smaller number of parameters can often perform just as well. A smaller model has the advantage of being faster to evaluate and easier to store - both of which are crucial for real-time and embedded applications. While prior work on compressing neural networks have looked at methods based on sparsity, quantization and factorization of neural network layers, we look at the alternate approach of pruning neurons. Training Neural Networks is often described as a kind of `black magic', as successful training requires setting the right hyper-parameter values (such as the number of neurons in a layer, depth of the network, etc ). It is often not clear what these values should be, and these decisions often end up being either ad-hoc or driven through extensive experimentation. It would be desirable to automatically set some of these hyper-parameters for the user so as to minimize trial-and-error. Combining this objective with our earlier preference for smaller models, we ask the following question - for a given task, is it possible to come up with small neural network architectures automatically? In this thesis, we propose methods to achieve the same. The work is divided into four parts. First, given a neural network, we look at the problem of identifying important and unimportant neurons. We look at this problem in a data-free setting, i.e; assuming that the data the neural network was trained on, is not available. We propose two rules for identifying wasteful neurons and show that these suffice in such a data-free setting. By removing neurons based on these rules, we are able to reduce model size without significantly affecting accuracy. Second, we propose an automated learning procedure to remove neurons during the process of training. We call this procedure ‘Architecture-Learning’, as this automatically discovers the optimal width and depth of neural networks. We empirically show that this procedure is preferable to trial-and-error based Bayesian Optimization procedures for selecting neural network architectures. Third, we connect ‘Architecture-Learning’ to a popular regularize called ‘Dropout’, and propose a novel regularized which we call ‘Generalized Dropout’. From a Bayesian viewpoint, this method corresponds to a hierarchical extension of the Dropout algorithm. Empirically, we observe that Generalized Dropout corresponds to a more flexible version of Dropout, and works in scenarios where Dropout fails. Finally, we apply our procedure for removing neurons to the problem of removing weights in a neural network, and achieve state-of-the-art results in scarifying neural networks.

This master‘s thesis deals with the Deep Learning methods for image recognition tasks from the first methods to the modern ones. The main focus is on convolutional neural nets based models for classification, detection and image segmentation. These methods are used for practical implemetation – counting passing cars on video from traffic camera. After several test of available models, the YOLOv2 architecture was chosen and retrained on own dataset. The application also includes the addition of the SORT tracking algorithm.