[pt] A presente dissertação aborda o algoritmo de Seleção de Variáveis Baseada em Informação Mútua sob Distribuição de Informação Uniforme (MIFS-U) e expõe um método alternativo para estimação da entropia e da informação mútua, medidas que constituem a base deste algoritmo de seleção. Este método tem, por fundamento, a informação mútua quadrática de Cauchy-Schwartz e a entropia quadrática de Rényi, combinada, no caso de variáveis contínuas, ao método de estimação de densidade Janela de Parzen. Foram realizados experimentos com dados reais de domínio público, sendo tal método comparado com outro, largamente utilizado, que adota a definição de entropia de Shannon e faz uso, no caso de variáveis contínuas, do estimador de densidade histograma. Os resultados mostram pequenas variações entre os dois métodos, mas que sugerem uma investigação futura através de um classificador, tal como Redes Neurais, para avaliar qualitativamente tais resultados à luz do objetivo final que consiste na maior exatidão de classificação. / [en] This dissertation approaches the algorithm of Selection of Variables under Mutual Information with Uniform Distribution (MIFS-U) and presents an alternative method for estimate entropy and mutual information, measures that constitute the base of this selection algorithm. This method has, for foundation, the Cauchy-Schwartz quadratic mutual information and the quadratic Rényi entropy, combined, in the case of continuous variables, with Parzen Window density estimation. Experiments were accomplished with real public domain data, being such method compared with other, broadly used, that adopts the Shannon entropy definition and makes use, in the case of continuous variables, of the histogram density estimator The results show small variations among the two methods, what suggests a future investigation through a classifier, such as Neural Networks, to evaluate this results, qualitatively, in the light of the final objective that consists of the biggest sort exactness.

[pt] Nos anos 50, Henrry Markowitz criou um modelo que maximiza a razão entre a média e o desvio padrão [Markowitz, 1952 & 1959]. Esse modelo é muito utilizado até os dias de hoje. Porém ele supõe que os retornos dos ativos do portifólio sejam normalmente distribuídos, e isso não é tão comum, logo seu uso é limitado. Esse trabalho propõe um modelo mais robusto em termos de risco, que possa ser utilizado sem restrições de distribuições, não necessitando do conhecimento a priori das distribuições e que seja uma aproximação do modelo de Markowitz, caso os retornos dos ativos sejam normalmente distribuídos. Para possibilitar isso, o índice maximizado pelo modelo de Markowitz é escrito como uma função da média e da entropia. A seleção do portifólio é dada pelo portifólio que obtiver o maior índice proposto dentro da amostra selecionada. / [en] In the 50 s, Henrry Markowitz created a model that maximizes the mean to standard deviation ratio [Markowitz, 1952]. This model is largely use in the financial market. However, it assumes that portfolio s equities returns are normally distributed, and this not always happens, therefore limiting its use. This work proposes a more robust model in risk measure that can be used without any distribution constraint, however it reduces to Markowitz model if the assets returns are normal distributed. To make it possible, the index maximized by Markowitz will be written as a function of the mean and the entropy. The portfolio selection is that one witch has the largest proposed index in the selected sample.

The underlying aim of this research is to investigate the mathematical descriptions of homogeneous textures in digital images for the purpose of segmentation and recognition. The research covers the problem of testing these mathematical descriptions by using them to generate synthetic realisations of the homogeneous texture for subjective and analytical comparisons with the source texture from which they were derived. The application of this research is in analysing satellite or airborne images of the Earth's surface. In particular, Synthetic Aperture Radar (SAR) images often exhibit regions of homogeneous texture, which if segmented, could facilitate terrain classification. In this thesis we present noncausal, nonparametric, multiscale, Markov random field (MRF) models for recognising and synthesising texture. The models have the ability to capture the characteristics of, and to synthesise, a wide variety of textures, varying from the highly structured to the stochastic. For texture synthesis, we introduce our own novel multiscale approach incorporating a new concept of local annealing. This allows us to use large neighbourhood systems to model complex natural textures with high order statistical characteristics. The new multiscale texture synthesis algorithm also produces synthetic textures with few, if any, phase discontinuities. The power of our modelling technique is evident in that only a small source image is required to synthesise representative examples of the source texture, even when the texture contains long-range characteristics. We also show how the high-dimensional model of the texture may be modelled with lower dimensional statistics without compromising the integrity of the representation. We then show how these models -- which are able to capture most of the unique characteristics of a texture -- can be for the ``open-ended'' problem of recognising textures embedded in a scene containing previously unseen textures. Whilst this technique was developed for the practical application of recognising different terrain types from Synthetic Aperture Radar (SAR) images, it has applications in other image processing tasks requiring texture recognition.

Dans cette thèse, nous proposons une nouvelle méthode d'estimation non-paramétrique de la densité de probabi lité. Cette méthode d'estimation imprécise combine la théorie de distribution de Schwartz et la théorie de possibilité. La méthode d'estimation que nous proposons est une extension de la méthode d'estimation à noyau. Cette extension est basée sur une nouvelle méthode de représentation de la notion de voisinage sur laquelle s'appuie l'estimation à noyau. Cette représentation porte le nom de noyau maxitif. L'estimation produite est de nature intervalliste. Elle est une enveloppe convexe d'un ensemble d'estimation de Parzen-Rosenblatt obtenus avec un ensemble de noyaux contenus dans une famille particulière. Nous étudions un certain nombre des propriétés théoriques liées à cette nouvelle méthode d'estimation. Parmi ces propriétés, nous montrons un certain type de convergence de cet estimateur. Nous montrons aussi une aptitude particulière de ce type d'estimation à quantifier l'erreur d'estimation liée à l'aspect aléatoire de la distribution des observations. Nous proposons un certain nombre d'algorithmes de faible complexité permettant de programmer facilement les méthodes que nous proposons / This manuscript, proposes a new nonparametric method for estimating the probability density function. This estimation method combines the Schwartz distribution theory and the possibility theory. It is an extension of the kernel density estimator that leads to imprecise estimation. It is based on a new method for modeling neighborhood. The interval valued estimate it produces is a convex envelope of the Parzen-Rosenblatt estimates obtained with kernels belonging to a coherent convex family. We propose some theoretical properties of this new method. Among these properties, we have shown a kind of convergence of this estimator. We also shown a particular aptitude of this estimator to quantify the error due to random variation in observation. We also propose very low complexity algorithms to compute the proposed methods.

139 leaves printed single pages, preliminary pages i-xi and numbered pages 1-127. Includes bibliography and a list of figures and tables. Digitized at 600 dpi grayscale to pdf format (OCR),using a Bizhub 250 Konica Minolta Scanner. / Thesis (MScEng (Electrical and Electronic Engineering))--University of Stellenbosch, 2003. / ENGLISH ABSTRACT: Probability density functions (PDFs) and cumulative distribution functions (CDFs) play a central role in statistical pattern recognition and verification systems. They allow observations that do not occur according to deterministic rules to be quantified and modelled. An example of such observations would be the voice patterns of a person that is used as input to a biometric security device. In order to model such non-deterministic observations, a density function estimator is employed to estimate a PDF or CDF from sample data. Although numerous density function estimation techniques exist, all the techniques can be classified into one of two groups, parametric and non-parametric, each with its own characteristic advantages and disadvantages. In this research, we introduce a novel approach to density function estimation that attempts to combine some of the advantages of both the parametric and non-parametric estimators. This is done by considering density estimation using an abstract approach in which the density function is modelled entirely in terms of its moments or characteristic function. New density function estimation techniques are first developed in theory, after which a number of practical density function estimators are presented. Experiments are performed in which the performance of the new estimators are compared to two established estimators, namely the Parzen estimator and the Gaussian mixture model (GMM). The comparison is performed in terms of the accuracy, computational requirements and ease of use of the estimators and it is found that the new estimators does combine some of the advantages of the established estimators without the corresponding disadvantages. / AFRIKAANSE OPSOMMING: Waarskynlikheids digtheidsfunksies (WDFs) en Kumulatiewe distribusiefunksies (KDFs) speel 'n sentrale rol in statistiese patroonherkenning en verifikasie stelsels. Hulle maak dit moontlik om nie-deterministiese observasies te kwantifiseer en te modelleer. Die stempatrone van 'n spreker wat as intree tot 'n biometriese sekuriteits stelsel gegee word, is 'n voorbeeld van so 'n observasie. Ten einde sulke observasies te modelleer, word 'n digtheidsfunksie afskatter gebruik om die WDF of KDF vanaf data monsters af te skat. Alhoewel daar talryke digtheidsfunksie afskatters bestaan, kan almal in een van twee katagoriee geplaas word, parametries en nie-parametries, elk met hul eie kenmerkende voordele en nadele. Hierdie werk Ie 'n nuwe benadering tot digtheidsfunksie afskatting voor wat die voordele van beide die parametriese sowel as die nie-parametriese tegnieke probeer kombineer. Dit word gedoen deur digtheidsfunksie afskatting vanuit 'n abstrakte oogpunt te benader waar die digtheidsfunksie uitsluitlik in terme van sy momente en karakteristieke funksie gemodelleer word. Nuwe metodes word eers in teorie ondersoek en ontwikkel waarna praktiese tegnieke voorgele word. Hierdie afskatters het die vermoe om 'n wye verskeidenheid digtheidsfunksies af te skat en is nie net ontwerp om slegs sekere families van digtheidsfunksies optimaal voor te stel nie. Eksperimente is uitgevoer wat die werkverrigting van die nuwe tegnieke met twee gevestigde tegnieke, naamlik die Parzen afskatter en die Gaussiese mengsel model (GMM), te vergelyk. Die werkverrigting word gemeet in terme van akkuraatheid, vereiste numeriese verwerkingsvermoe en die gemak van gebruik. Daar word bevind dat die nuwe afskatters weI voordele van die gevestigde afskatters kombineer sonder die gepaardgaande nadele.

Cette thèse est une collaboration entre le LAboratoire des Sciences et Matériaux pour l'Électronique et d'Automatique (LASMEA) de Clermont-Ferrand et le Laboratoire Vision et Ingénierie des Contenus (LVIC) du CEA LIST à Saclay. La première moitié de la thèse a été accomplie au sein de l'équipe ComSee (1) du LASMEA et la deuxième au LVIC. L'objectif de ces travaux est de concevoir un système de vidéo-assistance temps réel pour la détection d'évènements dans des scènes possiblement denses.La vidéosurveillance intelligente de scènes denses telles que des foules est particulièrement difficile, principalement à cause de leur complexité et de la grande quantité de données à traiter simultanément. Le but de cette thèse consiste à élaborer une méthode de détection d'évènements rares dans de telles scènes, observées depuis une caméra fixe. La méthode en question s'appuie sur l'analyse automatique de mouvement et ne nécessite aucune information à priori. Les mouvements nominaux sont déterminés grâce à un apprentissage statistique non supervisé. Les plus fréquemment observés sont considérés comme des évènements normaux. Une phase de classification permet ensuite de détecter les mouvements déviant trop du modèle statistique, pour les considérer comme anormaux. Cette approche est particulièrement adaptée aux lieux de déplacements structurés, tels que des scènes de couloirs ou de carrefours routiers. Aucune étape de calibration, de segmentation de l'image, de détection d'objets ou de suivi n'est nécessaire. Contrairement aux analyses de trajectoires d'objets suivis, le coût calculatoire de notre méthode est invariante au nombre de cibles présentes en même temps et fonctionne en temps réel. Notre système s'appuie sur une classification locale du mouvement de la scène, sans calibration préalable. Dans un premier temps, une caractérisation du mouvement est réalisée, soit par des méthodes classiques de flot optique, soit par des descripteurs spatio-temporels. Ainsi, nous proposons un nouveau descripteur spatio-temporel fondé sur la recherche d'une relation linéaire entre les gradients spatiaux et les gradients temporels en des zones où le mouvement est supposé uniforme. Tout comme les algorithmes de flot optique, ce descripteur s'appuie sur la contrainte d'illumination constante.Cependant en prenant en compte un voisinage temporel plus important, il permet une caractérisation du mouvement plus lisse et plus robuste au bruit. De plus, sa faible complexité calculatoire est bien adaptée aux applications temps réel. Nous proposons ensuite d'étudier différentes méthodes de classification : La première, statique, dans un traitement image par image, s'appuie sur une estimation bayésienne de la caractérisation du mouvement au travers d'une approche basée sur les fenêtres de Parzen. Cette nouvelle méthode est une variante parcimonieuse des fenêtres de Parzen. Nous montrons que cette approche est algorithmiquement efficace pour approximer de manière compacte et précise les densités de probabilité. La seconde méthode, basée sur les réseaux bayésiens, permet de modéliser la dynamique du mouvement. Au lieu de considérer ce dernier image par image, des séquences de mouvements sont analysées au travers de chaînes de Markov Cachées. Ajouté à cela, une autre contribution de ce manuscrit est de prendre en compte la modélisation du voisinage d'un bloc afin d'ajouter une cohérence spatiale à la propagation du mouvement. Ceci est réalisé par le biais de couplages de chaînes de Markov cachées.Ces différentes approches statistiques ont été évaluées sur des données synthétiques ainsi qu'en situations réelles, aussi bien pour la surveillance du trafic routier que pour la surveillance de foule.Cette phase d'évaluation permet de donner des premières conclusions encourageantes quant à la faisabilité de la vidéosurveillance intelligente d'espaces possiblement denses.

No description available.

Supplying the right amount of taxis in the right place at the right time is very important for taxi companies. In this paper, the machine learning model Taxi Demand Net (TDNet) is presented which predicts short-term taxi demand in different zones of a city. It is based on WaveNet which is a causal dilated convolutional neural net for time-series generation. TDNet uses historical demand from the last years and transforms features such as time of day, day of week and day of month into 26-hour taxi demand forecasts for all zones in a city. It has been applied to one city in northern Europe and one in South America. In northern europe, an error of one taxi or less per hour per zone was achieved in 64% of the cases, in South America the number was 40%. In both cities, it beat the SARIMA and stacked ensemble benchmarks. This performance has been achieved by tuning the hyperparameters with a Bayesian optimization algorithm. Additionally, weather and holiday features were added as input features in the northern European city and they did not improve the accuracy of TDNet.

Dans cette thèse, nous proposons une nouvelle méthode d'estimation non-paramétrique de la densité de probabilité. Cette méthode d'estimation imprécise combine la théorie de distribution de Schwartz et la théorie de possibilité. La méthode d'estimation que nous proposons est une extension de la méthode d'estimation à noyau. Cette extension est basée sur une nouvelle méthode de représentation de la notion de voisinage sur laquelle s'appuie l'estimation à noyau. Cette représentation porte le nom de noyau maxitif. L'estimation produite est de nature intervalliste. Elle est une enveloppe convexe d'un ensemble d'estimation de Parzen-Rosenblatt obtenus avec un ensemble de noyaux contenus dans une famille particulière. Nous étudions un certain nombre des propriétés théoriques liées à cette nouvelle méthode d'estimation. Parmi ces propriétés, nous montrons un certain type de convergence de cet estimateur. Nous montrons aussi une aptitude particulière de ce type d'estimation à quantifier l'erreur d'estimation liée à l'aspect aléatoire de la distribution des observations. Nous proposons un certain nombre d'algorithmes de faible complexité permettant de programmer facilement les mathodes que nous proposons.

Cette thèse est une collaboration entre le LAboratoire des Sciences et Matériaux pour l’Électronique et d’Automatique (LASMEA) de Clermont-Ferrand et le Laboratoire Vision et Ingénierie des Contenus (LVIC) du CEA LIST à Saclay. La première moitié de la thèse a été accomplie au sein de l’équipe ComSee (1) du LASMEA et la deuxième au LVIC. L’objectif de ces travaux est de concevoir un système de vidéo-assistance temps réel pour la détection d’évènements dans des scènes possiblement denses.La vidéosurveillance intelligente de scènes denses telles que des foules est particulièrement difficile, principalement à cause de leur complexité et de la grande quantité de données à traiter simultanément. Le but de cette thèse consiste à élaborer une méthode de détection d’évènements rares dans de telles scènes, observées depuis une caméra fixe. La méthode en question s’appuie sur l’analyse automatique de mouvement et ne nécessite aucune information à priori. Les mouvements nominaux sont déterminés grâce à un apprentissage statistique non supervisé. Les plus fréquemment observés sont considérés comme des évènements normaux. Une phase de classification permet ensuite de détecter les mouvements déviant trop du modèle statistique, pour les considérer comme anormaux. Cette approche est particulièrement adaptée aux lieux de déplacements structurés, tels que des scènes de couloirs ou de carrefours routiers. Aucune étape de calibration, de segmentation de l’image, de détection d’objets ou de suivi n’est nécessaire. Contrairement aux analyses de trajectoires d’objets suivis, le coût calculatoire de notre méthode est invariante au nombre de cibles présentes en même temps et fonctionne en temps réel. Notre système s’appuie sur une classification locale du mouvement de la scène, sans calibration préalable. Dans un premier temps, une caractérisation du mouvement est réalisée, soit par des méthodes classiques de flot optique, soit par des descripteurs spatio-temporels. Ainsi, nous proposons un nouveau descripteur spatio-temporel fondé sur la recherche d’une relation linéaire entre les gradients spatiaux et les gradients temporels en des zones où le mouvement est supposé uniforme. Tout comme les algorithmes de flot optique, ce descripteur s’appuie sur la contrainte d’illumination constante.Cependant en prenant en compte un voisinage temporel plus important, il permet une caractérisation du mouvement plus lisse et plus robuste au bruit. De plus, sa faible complexité calculatoire est bien adaptée aux applications temps réel. Nous proposons ensuite d’étudier différentes méthodes de classification : La première, statique, dans un traitement image par image, s’appuie sur une estimation bayésienne de la caractérisation du mouvement au travers d’une approche basée sur les fenêtres de Parzen. Cette nouvelle méthode est une variante parcimonieuse des fenêtres de Parzen. Nous montrons que cette approche est algorithmiquement efficace pour approximer de manière compacte et précise les densités de probabilité. La seconde méthode, basée sur les réseaux bayésiens, permet de modéliser la dynamique du mouvement. Au lieu de considérer ce dernier image par image, des séquences de mouvements sont analysées au travers de chaînes de Markov Cachées. Ajouté à cela, une autre contribution de ce manuscrit est de prendre en compte la modélisation du voisinage d’un bloc afin d’ajouter une cohérence spatiale à la propagation du mouvement. Ceci est réalisé par le biais de couplages de chaînes de Markov cachées.Ces différentes approches statistiques ont été évaluées sur des données synthétiques ainsi qu’en situations réelles, aussi bien pour la surveillance du trafic routier que pour la surveillance de foule.Cette phase d’évaluation permet de donner des premières conclusions encourageantes quant à la faisabilité de la vidéosurveillance intelligente d’espaces possiblement denses. / The automatic analysis of crowded areas in video sequences is particularly difficult because ofthe large amount of information to be processed simultaneously and the complexity of the scenes. We propose in this thesis a method for detecting abnormal events in possibly dense scenes observed from a static camera. The approach is based on the automatic classification of motion requiring no prior information. Motion patterns are encoded in an unsupervised learning framework in order to generate a statistical model of frequently observed (aka. normal) events. Then at the detection stage, motion patterns that deviate from the model are classified as unexpected events. The method is particularly adapted to scenes with structured movement with directional flow of objects or people such as corridors, roads, intersections. No camera calibration is needed, nor image segmentation, object detection and tracking. In contrast to approaches that rely on trajectory analysis of tracked objects, our method is independent of the number of targets and runs in real-time. Our system relies on a local classification of global scene movement. The local analysis is done on each blocks of a regular grid. We first introduce a new spatio-temporal local descriptor to characterize the movement efficiently. Assuming a locally uniform motion of space-time blocks of the image, our approach consists in determining whether there is a linear relationship between spatial gradients and temporal gradients. This spatio-temporal descriptor holds the Illumination constancy constraint like optical flow techniques, but it allows taking into account the spatial neighborhood and a temporal window by giving a smooth characterization of the motion, which makes it more robust to noise. In addition, its low computational complexity is suitable for real-time applications. Secondly, we present two different classification frameworks : The first approach is a static (frame by frame) classification approach based on a Bayesian characterization of the motion by using an approximation of the Parzen windowing method or Kernel Density Estimation (KDE) to model the probability density function of motion patterns.This new method is the sparse variant of the KDE (SKDE). We show that the SKDE is a very efficient algorithm giving compact representations and good approximations of the density functions. The second approach, based on Bayesian Networks, models the dynamics of the movement. Instead of considering motion patterns in each block independently, temporal sequences of motion patterns are learned by using Hidden Markov Models (HMM). The second proposed improvement consists in modeling the movement in one block by taking into account the observed motion in adjacent blocks. This is performed by the coupled HMM method. Evaluations were conducted to highlight the classification performance of the proposed methods,on both synthetic data and very challenging real video sequences captured by video surveillance cameras.These evaluations allow us to give first conclusions concerning automatic analyses of possibly crowded area.