Le suivi d'objets visuel a été un domaine de recherche intense durant ces deux dernières décennies pour son attrait scientifique et sa rentabilité. Il reste un sujet de recherche ouvert de par le manque de système de suivi holistique satisfaisant, prenant en compte les distorsions intrinsèques et extrinsèques. Variations d'éclairement, occlusions, bruits et erreurs dans la correspondance et la classification d'objets ne sont qu'une partie des problèmes actuellement rencontrés en suivi d'objets. Le travail développé dans la thèse intègre l'information contextuelle dans le cadre Bayesien pour le suivi d'objets et la détection de comportements anormaux. Plus précisément, la recherche porte sur les caractéristiques intrinsèques du signal vidéo en conjonction avec le comportement d'objets dans le but d'améliorer les résultats du suivi. La représentation de fonctions de densité de probabilité est cruciale pour modéliser les variables aléatoires. En particulier, les modèles paramétriques sont pratiques puisqu'ils permettent un stockage compact de la représentation ainsi que la simulation du processus aléatoire sous-jacent. La mixture de Gaussiennes est utilisée dans la thèse pour représenter la distribution de couleur d'un pixel dans le but de séparer l'avant-plan de l'arrière-plan. Contrairement aux approches traditionnelles, ce modèle s'adapte aux changements rapides d'éclairements et résout le problème de “saturation de pixels” rencontré avec certains algorithmes de soustraction d'arrière-plan. Il résulte de cette technique une meilleure précision lors de l'extraction de l'avant-plan pour des tâches de plus haut niveau telles que l'estimation du mouvement. La solution au problème d'inférence Bayesienne pour les chaines de Markov, et en particulier, les filtres de Kalman et particulaire, a également été étudiée. L'intégration d'une inférence contextuelle dans ces estimateurs est primordiale pour améliorer le suivi d'objet. Il en découle des solutions propres à un contexte spécifique. Le problème de suivi de véhicules est exploré en détails dans la thèse. La transformation projective, imposée par la configuration de l'environnement, est intégrée dans les filtres de Kalman et particulaire, engendrant le “filtre de Kalman projectif” et le “filtre particulaire projectif”. Des résultats expérimentaux exhaustifs sont présentés pour démontrer l'amélioration de la robustesse au suivi par les filtres de Kalman et particulaire projectifs. L'amélioration est caractérisée par la réduction de la dérive du suiveur et la réduction de l'erreur dans l'estimée de la trajectoire. La contrainte sur le caractère connu de l'environnement est ensuite supprimée pour permettre le suivi de piétons. Une mixture de champs aléatoires de Markov Gaussiens est introduite dans l'objectif d'apprendre les motifs de mouvements et de modéliser l'information contextuelle pour le filtrage particulaire. Une augmentation de la robustesse du suivi sous occlusion résulte d'une telle inférence. La modélisation locale avec les champs aléatoires de Markov fournit également une inférence pour la détection de comportements anormaux. Puisque les motifs locaux sont révélés par la mixture de champs aléatoires de Markov, la détection de comportements anormaux est réduite à l'étude de la correspondance entre le vecteur de caractéristiques et la distribution locale sous-jacente. L'approche globale, quant à elle, introduit des erreurs de généralisation et implique des décisions complexes, peu élégantes et imprécises. L'évaluation expérimentale de la méthode proposée sur des données synthétiques et réelles présente des résultats supérieurs pour la détection des comportements anormaux de conducteurs en état d'ébriété et de piétons traversant les autoroutes.

Dans cette thèse, nous nous intéressons à la résolution de problèmes de détection et de suivi d'objets mobiles multiples sur route, à partir de données télémétrique de type lidar à balayage. Les travaux dans le domaine de la détection et de suivi d'obstacles à partir de données lidar mettent généralement en oeure trois principales étapes : la détection, l'association de mesures et le filtrage. Cependant, il est connu que cette chaîne de traitement peut engendrer des pertes d'informations pouvant être à l'origine de cas de non détection ou de fausse alarme. Par ailleurs, les non-linéarités liées à la transformation polaire-cartésien des mesures lidar au cours de l'étape de détection ne permettent plus de préserver la statistique des bruits de mesure après traitement. Une autre difficulté, compte tenu de la nature spatialement distribuée des mesures lidar liées à un objet, est de pouvoir associer chaque impact à un unique véhicule tout en prenant en compte la variabilité temporelle du nombre d'impacts à lui associer. Seule une approche exploitant les données brutes permet de garantir l'optimalité de la chaîne de traitement. Cette thèse explore une nouvelle approche conjointe de détection et de suivi exploitant les données brutes du lidar, éliminant toute étape de pré-détection. L'approche proposé repose, d'une part, sur l'usage des méthodes de Monte Carlo séquentielles en raison de leur aptitude à traiter des modèles fortement non linéaire, , et, d'autre part, sur une modélisation des ojets compatible avec la perception lidar. La méthode est validée avec des données du simulateur SIVIC dans différentes situations expérimentales pour la détection et le suivi d'objets hétérogènes dans un cas lidar monoplan puis multiplan. / This thesis focus on the problem of multiobject detection and tracking multiple moving objects on the road, using a scanning laser rangefinder. The works in the field of obstacle detection and tracking from lidar data generally use three main stages : detection, measurement association and filtering. However, it is known that this processing chain can lead to a loss of information that may be reponsible for non-detection or false alarm problems. Furthermore, the non-linearities associated to the polar-to-Cartesian transformation of lidar measurements during the detection step cannot preserve the statistical properties of the measurement noise. Another difficulty, related to the spatially distributed nature of a lidar measurements of an object, is to associate each impact with a single vehicle while taking into account the temporal variability of the number of impacts. An approach that only exploits the raw data ensures the optimality of the processing chain. This thesis explores a new joint approach for detection and tracking that uses raw lidar data, while eliminating any step of predetection. The proposed approach is based, first, on the use of sequential Monte Carlo methods due to their ability to deal with highly non-linear models, and secondly, on an object modeling related to lidar measure. The method is validated with data from the simulator SIVIC under different experimental conditions for the detection and tracking of heterogeneous objects with monolayer and multilayer lidar.

Un système de navigation hybridée associe plusieurs moyens de positionnement afin d'augmenter la précision, la disponibilité, et la fiabilité de l'information délivrée. Cette thèse se focalise sur l'association d'une centrale inertielle et de mesures radio-altimétriques pour la navigation des aéronefs (drones, missiles). La problématique consiste à fusionner de manière optimale les informations inertielles et les mesures du radio-altimètre. Ce problème se formule comme une opération de filtrage non-linéaire, la non-linéarité résultant du profil arbitraire du terrain survolé. On se propose dans le cadre de la thèse d'évaluer les performances de l'algorithme de filtrage particulaire. Cet algorithme, bien qu'encore très peu utilisé pour des applications industrielles à cause de la lourdeur des calculs qu'il engendre, suscite un intérêt croissant avec l'augmentation constante des capacités de calcul des processeurs. Cette étude s'est concentrée à la fois sur le contexte applicatif (principe de la navigation inertielle, modélisation des imperfections des senseurs inertiels, description des algorithmes actuellement utilisés, principe de la mesure radio-altimétrique) et sur la théorie du filtrage particulaire. Ceci a permis de préciser les apports potentiels du filtrage particulaire par rapport aux autres algorithmes plus classiques (filtre à grille, filtre de Kalman étendu, unscented Kalman filter). L'expérience acquise sur les différentes variantes du filtre particulaire a permis de proposer des solutions satisfaisant au mieux le cahier des charges imposé par le contexte applicatif.

Dans cette thèse, nous nous intéressons à la résolution de problèmes de détection et de suivi d'objets mobiles multiples sur route, à partir de données télémétrique de type lidar à balayage. Les travaux dans le domaine de la détection et de suivi d'obstacles à partir de données lidar mettent généralement en oeure trois principales étapes : la détection, l'association de mesures et le filtrage. Cependant, il est connu que cette chaîne de traitement peut engendrer des pertes d'informations pouvant être à l'origine de cas de non détection ou de fausse alarme. Par ailleurs, les non-linéarités liées à la transformation polaire-cartésien des mesures lidar au cours de l'étape de détection ne permettent plus de préserver la statistique des bruits de mesure après traitement. Une autre difficulté, compte tenu de la nature spatialement distribuée des mesures lidar liées à un objet, est de pouvoir associer chaque impact à un unique véhicule tout en prenant en compte la variabilité temporelle du nombre d'impacts à lui associer. Seule une approche exploitant les données brutes permet de garantir l'optimalité de la chaîne de traitement. Cette thèse explore une nouvelle approche conjointe de détection et de suivi exploitant les données brutes du lidar, éliminant toute étape de pré-détection. L'approche proposé repose, d'une part, sur l'usage des méthodes de Monte Carlo séquentielles en raison de leur aptitude à traiter des modèles fortement non linéaire, , et, d'autre part, sur une modélisation des ojets compatible avec la perception lidar. La méthode est validée avec des données du simulateur SIVIC dans différentes situations expérimentales pour la détection et le suivi d'objets hétérogènes dans un cas lidar monoplan puis multiplan.

Cette thèse s'intéresse à l'étude et au développement de méthodes de pistage mono et multicible en contexte Track-Before-Detect (TBD) par filtrage particulaire. Contrairement à l'approche classique qui effectue un seuillage préalable sur les données avant le pistage, l'approche TBD considère directement les données brutes afin de réaliser conjointement la détection et le pistage des différentes cibles. Il existe plusieurs solutions à ce problème, néanmoins cette thèse se restreint au cadre bayésien des Modèles de Markov Cachés pour lesquels le problème TBD peut être résolu à l'aide d'approximations particulaires. Dans un premier temps, nous nous intéressons à des méthodes particulaires monocibles existantes pour lesquels nous proposons différentes lois instrumentales permettant l'amélioration des performances en détection et estimation. Puis nous proposons une approche alternative du problème monocible fondée sur les temps d'apparition et de disparition de la cible; cette approche permet notamment un gain significatif au niveau du temps de calcul. Dans un second temps, nous nous intéressons au calcul de la vraisemblance en TBD -- nécessaire au bon fonctionnement des filtres particulaires -- rendu difficile par la présence des paramètres d'amplitudes des cibles qui sont inconnus et fluctuants au cours du temps. En particulier, nous étendons les travaux de Rutten et al. pour le calcul de la vraisemblance au modèle de fluctuations Swerling et au cas multicible. Enfin, nous traitons le problème multicible en contexte TBD. Nous montrons qu'en tenant compte de la structure particulière de la vraisemblance quand les cibles sont éloignées, il est possible de développer une solution multicible permettant d'utiliser, dans cette situation, un seule filtre par cible. Nous développons également un filtre TBD multicible complet permettant l'apparition et la disparition des cibles ainsi que les croisements. / This thesis deals with the study and the development of mono and multitarget tracking methods in a Track-Before-Detect (TBD) context with particle filters. Contrary to the classic approach that performs before the tracking stage a pre-detection and extraction step, the TBD approach directly works on raw data in order to jointly perform detection and tracking. Several solutions to this problem exist, however this thesis is restricted to the particular Hidden Markov Models considered in the Bayesian framework for which the TBD problem can be solved using particle filter approximations.Initially, we consider existing monotarget particle solutions and we propose several instrumental densities that allow to improve the performance both in detection and in estimation. Then, we propose an alternative approach of the monotarget TBD problem based on the target appearance and disappearance times. This new approach, in particular, allows to gain in terms of computational resources. Secondly, we investigate the calculation of the measurement likelihood in a TBD context -- necessary for the derivation of the particle filters -- that is difficult due to the presence of the target amplitude parameters that are unknown and fluctuate over time. In particular, we extend the work of Rutten et al. for the likelihood calculation to several Swerling models and to the multitarget case. Lastly, we consider the multitarget TBD problem. By taking advantage of the specific structure of the likelihood when targets are far apart from each other, we show that it is possible to develop a particle solution that considers only a particle filter per target. Moreover, we develop a whole multitarget TBD solution able to manage the target appearances and disappearances and also the crossing between targets.

Les informations contenues dans les cartes routières numériques revêtent une importance grandissante dans le domaine des véhicules intelligents. La prise en compte d’environnements de plus en plus complexes a augmenté le niveau de précision exigé des informations cartographiques. Les cartes routières numériques, considérées ici comme des bases de données géographiques, contiennent des informations contextuelles sur le réseau routier, facilitant la compréhension correcte de l’environnement. En les combinant avec les données provenant des capteurs embarqués, une représentation plus fine de l’environnement peut être obtenue, améliorant grandement la compréhension de contexte du véhicule et la prise de décision. La performance des différents capteurs peut varier grandement en fonction du lieu considéré, ceci étant principalement dû à des facteurs environnementaux. Au contraire, une carte peut fournir ses informations de manière fiable, sans être affectée par ces éléments extérieurs, mais pour cela, elle doit reposer sur un autre élément essentiel : une source de localisation. Le secteur automobile utilise les systèmes de localisation globale par satellite (GNSS) à des fins de localisation absolue, mais cette solution n’est pas parfaite, étant soumise à différentes sources d’erreur. Ces erreurs sont elles aussi dépendantes de l’environnent d’évolution du véhicule (par exemple, des multi-trajets causés par des bâtiments). Nous sommes donc en présence de deux systèmes centraux, dont les performances sont d´dépendantes du lieu considéré. Cette étude se focalise sur leur dénominateur commun : la carte routière numérique, et son utilisation en tant qu’outil d’évaluation de leur performance. L’idée développée durant cette thèse est d’utiliser la carte en tant que canevas d’apprentissage, pour stocker des informations géoréférencées sur la performance des diésèrent capteurs équipant le véhicule, au cours de trajets répétitifs. Pour cela, une localisation robuste, relative à la carte, est nécessaire au travers d’une méthode de map-matching. La problématique principale réside dans la différence de précision entre la carte et le positionnement GNSS, créant des situations ambigües. Durant cette thèse, un algorithme de map-matching a été conçu pour gérer ces ambigüités en fournissant des hypothèses multiples lorsque nécessaire. L’objectif est d’assurer l’intégrité de l’algorithme en retournant un ensemble d’hypothèses contenant l’hypothèse correcte avec une grande probabilité. Cet algorithme utilise les capteurs proprioceptifs dans une approche de navigation à l’estime aidée d’informations cartographiques. Une procédure d’évaluation de cohérence, utilisant le GNSS comme information redondante de positionnement est ensuite appliquée, visant à isoler une hypothèse cohérente unique qui pourra ainsi être utilisée avec confiance dans le processus d’écriture dans la carte. L’utilisation de la carte numérique en écriture/lecture a été évaluée et la procédure complète d’écriture a été testée sur des données réelles, enregistrées par des véhicules expérimentaux sur route ouverte. / The information stored in digital road maps has become very important for intelligent vehicles. As intelligent vehicles address more complex environments, the accuracy requirements for this information have increased. Regarded as a geographic database, digital road maps contain contextual information about the road network, crucial for a good understanding of the environment. When combined with data acquired from on-board sensors, a better representation of the environment can be made, improving the vehicle’s situation understanding. Sensors performance can vary drastically depending on the location of the vehicle, mainly due to environmental factors. Comparatively, a map can provide prior information more reliably but to do so, it depends on another essential component: a localization system. Global Navigation Satellite Systems (GNSS) are commonly used in automotive to provide an absolute positioning of the vehicle, but its accuracy is not perfect: GNSS are prone to errors, also depending greatly on the environment (e.g., multipaths). Perception and localization systems are two important components of an intelligent vehicle whose performances vary in function of the vehicle location. This research focuses on their common denominator, the digital road map, and its use as a tool to assess their performance. The idea developed during this thesis is to use the map as a learning canvas, to store georeferenced information about the performance of the sensors during repetitive travels. This requires a robust localization with respect to the map to be available, through a process of map-matching. The main problematic is the discrepancy between the accuracy of the map and of the GNSS, creating ambiguous situations. This thesis develops a map-matching algorithm designed to cope with these ambiguities by providing multiple hypotheses when necessary. The objective is to ensure the integrity of the result by returning a hypothesis set containing the correct matching with high probability. The method relies on proprioceptive sensors via a dead-reckoning approach aided by the map. A coherence checking procedure using GNSS redundant information is then applied to isolate a single map-matching result that can be used to write learning data with confidence in the map. The possibility to handle the digital map in read/write operation has been assessed and the whole writing procedure has been tested on data recorded by test vehicles on open roads.

Le développement de nouveaux convertisseurs d’énergie, plus efficients et plus respectueux de l’environnement, tels que les piles à combustibles, tend à s’accélérer. Leur diffusion à grande échelle suppose cependant des garanties en termes de sécurité et de disponibilité. Une solution possible pour ce faire est de développer des solutions de Prognostics and Health Management (PHM) de ces systèmes, afin de mieux les surveiller, anticiper les défaillances et recommander les actions nécessaires à l’allongement de leur durée de vie. Dans cet esprit, cette thèse porte sur la proposition d’une approche de pronostic dédiée aux piles à combustibles de types PEMFC à l’aide de filtrage particulaire.Le raisonnement s’attache tout d’abord à mettre en place une formalisation du cadre de travail ainsi que des exigences de mise en. Ceci se poursuit par le développement d’un modèle basé sur la physique permettant une estimation d’état de santé et de son évolution temporelle. L’estimation d’état est réalisée grâce à du filtrage particulaire. Différentes variantes de filtres sont considérées sur la base d’une de la littérature et de nouvelles propositions adaptées au PHM sont formulées et comparées à celles existantes. Les estimations d’état de santé fournies par le processus de filtrages ont utilisées pour réaliser des prédictions de l’état de santé futur du système, puis de sa durée devie résiduelle. L’ensemble des propositions est validé sur 4 jeux de données obtenus sur des PEMFC suivant des profils de mission variés. Les résultats montrent de bonnes performances de prédictions et d’estimations de durée de vie résiduelle avant défaillance. / The development of new energy converters, more efficient and environment friendly, such as fuelcells, tends to accelerate. Nevertheless, their large scale diffusion supposes some guaranties in termsof safety and availability. A possible solution to do so is to develop Prognostics and HealthManagement (PHM) on these systems, in order to monitor and anticipate the failures, and torecommend the necessary actions to extend their lifetime. In this spirit, this thesis deals with theproposal of a prognostics approach based on particle filtering dedicated to PEMFCs.The reasoning focuses first on setting a formalization of the working framework and theexpectations. This is pursued by the development of a physic-based modelling enabling a state ofhealth estimation and its evolution in time. The state estimation is made thanks to particle filtering.Different variants of filters are considered on the basis of the literature and new proposals adaptedto PHM are proposed and compared to existing ones. State of health estimates given by the filter areused to predict the future state of the system and its remaining useful life. All the proposals arevalidated on four datasets from PEMFC following different mission profiles. The results show goodperformances for predictions and remaining useful life estimates before failure.

Cette thèse porte sur les méthodes d'assimilation de données, qui consistent à combiner des informations provenant d'un modèle dynamique avec des observations. Nous présentons des méthodes d'assimilation les plus connues: l'interpolation statistique, les méthodes variationnelles d'assimilation de données et les méthodes séquentielles d'assimilation de données. Nous nous intéressons particulièrement au filtre de Kalman d'ensemble qui est de plus en plus utilisé dans les applications océanographiques. Le filtre de Kalman d'ensemble a été proposé initialement comme une approximation du filtre de Kalman pour les modèles linéaires gaussiens de grande dimension, il a ensuite été étendu au cas du modèle non linéaire gaussien. Il existe très peu de résultats théoriques sur les propriétés asymptotiques du filtre de Kalman d'ensemble, alors qu'il est connu que le filtre particulaire converge vers le filtre bayésien optimal quand le nombre de particules tend vers l'infini. Nous démontrons dans cette thèse que, quand le nombre d'éléments tend vers l'infini, dans le cas où la fonction du modèle dynamique est continue et localement lipschitzienne avec un accroissement au plus polynomial à l'infini, les éléments du filtre de Kalman d'ensemble convergent vers les éléments indépendants et identiquement distribués selon une loi qui diffère de la loi a posteriori du filtre bayésien optimal dans le cas général. Dans le cas du modèle linéaire gaussien, cette loi asymptotique n'est autre que la loi a posteriori du filtre de Kalman. Nous présentons aussi des résultats de simulations du filtre de Kalman d'ensemble et du filtre particulaire sur un modèle linéaire gaussien simple et sur le modèle de Lorenz afin de comparer la performance des deux filtres à l'asymptotique et aussi dans le cas où le nombre d'éléments d'ensemble est faible.

L’objet de cette thèse est l’étude de la localisation et de la navigation à l’intérieur de bâtiments à l’aide des signaux disponibles dans les systèmes mobiles cellulaires et, en particulier, les signaux GSM.Le système GPS est aujourd’hui couramment utilisé en extérieur pour déterminer la position d’un objet, mais les signaux GPS ne sont pas adaptés à la localisation en intérieurIci, la localisation en intérieur est obtenue à partir de la technique des «empreintes» de puissance des signaux reçus sur les canaux utilisés par les réseaux GSM. Elle est réalisée à l’échelle de la pièce. Une classification est effectuée à partir de machines à vecteurs supports et les descripteurs utilisés sont les puissances de toutes les porteuses GSM. D’autres capteurs physiques disponibles dans les téléphones portables fournissent des informations utiles pour déterminer la position ou le déplacement de l’utilisateur. Celles-ci, ainsi que la cartographie de l’environnement, sont associées aux résultats obtenus à partir des «empreintes» GSM au sein de filtres particulaires afin d’obtenir une localisation plus précise, et sous forme de coordonnées continues.Les résultats obtenus montrent que l’utilisation des seules empreintes GSM permet de déterminer la pièce correcte dans 94% des cas sur une durée courte et que les performances restent stables pendant plusieurs mois, de l’ordre de 80%, si les données d’apprentissage sont enregistrées sur quelques jours. L’association de la cartographie du lieu et des informations issues des autres capteurs aux données de classification permettent d’obtenir les coordonnées de la trajectoire du système mobile avec une bonne précision et une bonne fiabilité. / GPS has long been used for accurate and reliable outdoor localization, but it cannot operate in indoor environments, which suggests developing indoor localization methods that can provide seamless and ubiquitous services for mobile users.In this thesis, indoor localization is realized making use of received signal strength fingerprinting technique based on the existing GSM networks. A room is defined as the minimum location unit, and support vector machine are used as a mean to discriminate the rooms by classifying received signal strengths from very large number of GSM carriers. At the same time, multiple sensors, such as accelerometer and gyroscope, are widely available for modern mobile devices, which provide additional information that helps location determination. The hybrid approach that combines the GSM fingerprinting results with mobile sensor and building layout information using a particle filter provides a more accurate and fine-grained localization result.The results of experiments under realistic conditions demonstrate that correct room number can be obtained 94% of the time provided the derived model is used before significant received signal strength drift sets in. Furthermore, if the training data is sampled over a few days, the performance can remain stable exceeding 80% over a period of months, and can be further improved with various post-processing techniques. Moreover, including the mobile sensors allows the system to localize the mobile trajectory coordinates with high accuracy and reliability.

L'oculométrie est un ensemble de techniques dédié à enregistrer et analyser les mouvements oculaires. Dans cette thèse, je présente l'étude, la conception et la mise en œuvre d'un système oculométrique numérique, non-intrusif permettant d'analyser les mouvements oculaires en temps réel avec une webcam à distance et sans lumière infra-rouge. Dans le cadre de la réalisation, le système oculométrique proposé se compose de quatre modules: l'extraction des caractéristiques, la détection et le suivi des yeux, l'analyse de la variété des mouvements des yeux à partir des images et l'estimation du regard par l'apprentissage. Nos contributions reposent sur le développement des méthodes autour de ces quatre modules: la première réalise une méthode hybride pour détecter et suivre les yeux en temps réel à partir des techniques du filtre particulaire, du modèle à formes actives et des cartes des yeux (EyeMap); la seconde réalise l'extraction des caractéristiques à partir de l'image des yeux en utilisant les techniques des motifs binaires locaux; la troisième méthode classifie les mouvements oculaires selon la variété générée par le Laplacian Eigenmaps et forme un ensemble de données d'apprentissage; enfin, la quatrième méthode calcul la position du regard à partir de cet ensemble d'apprentissage. Nous proposons également deux méthodes d'estimation:une méthode de la régression par le processus gaussien et un apprentissage semi-supervisé et une méthode de la catégorisation par la classification spectrale (spectral clustering). Il en résulte un système complet, générique et économique pour les applications diverses dans le domaine de l'oculométrie. / Gaze tracker offers a powerful tool for diverse study fields, in particular eye movement analysis. In this thesis, we present a new appearance-based real-time gaze tracking system with only a remote webcam and without infra-red illumination. Our proposed gaze tracking model has four components: eye localization, eye feature extraction, eye manifold learning and gaze estimation. Our research focuses on the development of methods on each component of the system. Firstly, we propose a hybrid method to localize in real time the eye region in the frames captured by the webcam. The eye can be detected by Active Shape Model and EyeMap in the first frame where eye occurs. Then the eye can be tracked through a stochastic method, particle filter. Secondly, we employ the Center-Symmetric Local Binary Patterns for the detected eye region, which has been divided into blocs, in order to get the eye features. Thirdly, we introduce manifold learning technique, such as Laplacian Eigen-maps, to learn different eye movements by a set of eye images collected. This unsupervised learning helps to construct an automatic and correct calibration phase. In the end, as for the gaze estimation, we propose two models: a semi-supervised Gaussian Process Regression prediction model to estimate the coordinates of eye direction; and a prediction model by spectral clustering to classify different eye movements. Our system with 5-points calibration can not only reduce the run-time cost, but also estimate the gaze accurately. Our experimental results show that our gaze tracking model has less constraints from the hardware settings and it can be applied efficiently in different real-time applications.