The international maritime industry is growing fast due to an increasing number of transportations over sea. In pace with this development, the maritime surveillance capacity must be expanded as well, in order to be able to handle the increasing numbers of hazardous cargo transports, attacks, piracy etc. In order to detect such events, anomaly detection methods and techniques can be used. Moreover, since surveillance systems process huge amounts of sensor data, anomaly detection techniques can be used to filter out or highlight interesting objects or situations to an operator. Making decisions upon large amounts of sensor data can be a challenging and demanding activity for the operator, not only due to the quantity of the data, but factors such as time pressure, high stress and uncertain information further aggravate the task. Bayesian networks can be used in order to detect anomalies in data and have, in contrast to many other opaque machine learning techniques, some important advantages. One of these advantages is the fact that it is possible for a user to understand and interpret the model, due to its graphical nature. This thesis aims to investigate how the output from a Bayesian network can be explained to a user by first reviewing and presenting which methods exist and second, by making experiments. The experiments aim to investigate if two explanation methods can be used in order to give an explanation to the inferences made by a Bayesian network in order to support the operator’s situation awareness and decision making process when deployed in an anomaly detection problem in the maritime domain.

L’évolution de la technologie se traduit par l’émergence de systèmes de plus en plus complexes et automatisés. Dans les situations dynamiques, l’activité de l’opérateur est désormais plus centrée sur la supervision que sur l’exécution. Ces situations sont caractérisées par la complexité, l’incertitude, un contrôle partiel et un risque important de perdre la maîtrise de la situation. L’objectif principal des travaux présentés dans ce manuscrit est de créer un indicateur synthétique de charge mentale, qui servira à piloter une réallocation des fonctions en temps réel. Il s'agit, in fine, de permettre à l’opérateur de mieux réguler sa charge mentale, et de l'aider à garder ou à récupérer la maîtrise de la situation. Ces travaux sont appliqués à l’activité de supervision d’un essaim de drones étudiée sur une plateforme de simulation (la plateforme SUSIE). Nous avons pour cela revisité et combiné le modèle de Hart et Staveland (1988), qui considère la charge mentale comme une construction multidimensionnelle et celui de Sperandio (1971), qui se focalise sur les régulations de l’activité. Cela nous a amené à proposer un modèle dynamique et tridimensionnel (basé sur l’analyse des contraintes, des effets de la charge sur la tâche et l’opérateur, et des régulations), sur lequel nous nous sommes appuyés pour construire une démarche de création d’un indicateur synthétique de charge mentale. Cette démarche se décompose en quatre étapes. La première consiste à réaliser une analyse de la tâche en suivant la méthodologie de Sperandio (1988), afin de définir et d’identifier les descripteurs de la charge mentale suivant les trois catégories de notre modèle dynamique et tridimensionnel. La seconde étape s’appuie sur la réalisation d’une expérimentation, qui vise à valider ou exclure les indicateurs identifiés, en fonction de leur sensibilité aux variations de charge mentale (telle que définie par Cegarra et Chevalier (2008)). Les résultats montrent notamment que le diamètre pupillaire et l’observation des régulations permettent une mesure sensible. La troisième étape a pour objectif de créer un indicateur synthétique de charge mentale en fusionnant par réseaux bayésiens et logique floue les indicateurs retenus. Enfin, la dernière phase supporte la conception d’une allocation dynamique des fonctions, déclenchée à partir de l’indicateur synthétique de charge mentale. Une deuxième expérimentation a été menée afin d’évaluer l’apport de la réallocation. Elle montre que l’aide permet à l’opérateur de mieux réguler son activité ; elle modifie la charge de travail (contrainte), mais ne réduit pas la charge mentale. / The evolution of technology has resulted in the emergence of increasingly complex and automated systems. In dynamic situations, the activity of the operator is now more centred on supervision than on execution. These situations are characterized by complexity, uncertainty, partial control and a significant risk of losing control of the situation. The main objective of the work presented in this manuscript is to create a synthetic mental workload indicator, which will be used to trigger a reallocation of functions in real time. The ultimate goal is to enable the operator to better regulate his/her mental workload and to help him/her maintain or regain control of the situation. This work is applied to the supervision activity of a drone swarm studied on a simulation platform (the SUSIE platform). We have revisited and combined the model of Hart and Staveland (1988), which considers the mental workload as a multidimensional construct and that of Sperandio (1971), which focuses on the regulation of activity. This led us to propose a dynamic and three-dimensional model (based on the analysis of the constraints, the effects of the workload on the task and the operator, and the regulations), on which we relied to build a creative approach of a synthetic mental workload indicator. This process is divided into four stages. The first consists in carrying out an analysis of the task following the methodology of Sperandio (1988), to define and identify the descriptors of the mental workload according to the three categories of our dynamic and three-dimensional model. The second step is based on the realization of an experiment, which aims to validate or exclude the identified indicators, per their sensitivity to variations in mental workload (as defined by Cegarra et Chevalier (2008)). The results show in particular that the pupillary diameter and the observation of the regulations allow an appreciable measurement. The third step aims to create a synthetic indicator of mental load by merging the chosen indicators by using Bayesian networks and fuzzy logic. Finally, the last phase supports the design of a dynamic allocation of functions, triggered from the synthetic indicator of mental workload. A second experiment was carried out to evaluate the contribution of reallocation. It shows that the aid allows the operator to better regulate his activity; it modifies the task workload (constraint), but does not reduce the mental workload.

La thèse s'inscrit dans le domaine de la représentation des connaissances et la modélisation de l'incertitude dans un contexte de fusion d'informations. L'idée majeure est d'utiliser les outils sémantiques que sont les ontologies, non seulement pour représenter les connaissances générales du domaine et les observations, mais aussi pour représenter les incertitudes que les sources introduisent dans leurs observations. Nous proposons de représenter ces incertitudes au travers d'une méta-ontologie (DS-ontology) fondée sur la théorie des fonctions de croyance. La contribution de ce travail porte sur la définition d'opérateurs d'inclusion et d'intersection sémantique et sur lesquels s'appuie la mise en œuvre de la théorie des fonctions de croyance, et sur le développement d'un outil appelé FusionLab permettant la fusion d'informations sémantiques à partir du développement théorique précédent. Une application de ces travaux a été réalisée dans le cadre d'un projet de surveillance maritime. / This thesis is part of the knowledge representation domain and modeling of uncertainty in a context of information fusion. The main idea is to use semantic tools and more specifically ontologies, not only to represent the general domain knowledge and observations, but also to represent the uncertainty that sources may introduce in their own observations. We propose to represent these uncertainties and semantic imprecision trough a metaontology (called DS-Ontology) based on the theory of belief functions. The contribution of this work focuses first on the definition of semantic inclusion and intersection operators for ontologies and on which relies the implementation of the theory of belief functions, and secondly on the development of a tool called FusionLab for merging semantic information within ontologies from the previous theorical development. These works have been applied within a European maritime surveillance project.

In this study, a method is developed for modelling and classifying behaviour of maritime vessels in a piracy situation. Prior knowledge is used to construct a probabilistic graphical model of maritime vessel behaviour. This model is a novel variant of a dynamic Bayesian network (DBN), that extends the switching linear dynamic system (SLDS) to accommodate contextual information. A generative model and a classifier model are developed. The purpose of the generative model is to generate simulated data by modelling the behaviour of fishing vessels, transport vessels and pirate vessels in a maritime piracy situation. The vessels move, interact and perform various activities on a predefined map. A novel methodology for evaluating and optimising the generative model is proposed. This methodology can easily be adapted to other applications. The model is evaluated by comparing simulation results with 2011 pirate attack reports. The classifier model classifies maritime vessels into predefined categories according to their behaviour. The classification is performed by inferring the class of a vessel as a fishing, transport or pirate vessel class. The classification method is evaluated by classifying the data generated by the generative model and comparing it to the true classes of the simulated vessels. / Thesis (PhD)--University of Pretoria, 2014. / tm2015 / Electrical, Electronic and Computer Engineering / PhD / Unrestricted

No description available.

La fusion d'informations consiste à résumer plusieurs informations provenant des différentes sources en une information exploitable et utile pour l'utilisateur.Le problème de la fusion est délicat surtout quand les informations délivrées sont incohérentes et hétérogènes. Les résultats de la fusion ne sont pas souvent exploitable et utilisables pour prendre une décision, quand ils sont imprécis. C'est généralement due au fait que les informations sont incohérentes. Plusieurs méthodes de fusion sont proposées pour combiner les informations imparfaites et elles appliquent l'opérateur de fusion sur l'ensemble de toutes les sources et considèrent le résultat tel qu'il est. Dans ce travail, nous proposons une méthode de fusion fondée sur l'Analyse Formelle de Concepts, en particulier son extension pour les données numériques : les structures de patrons. Cette méthode permet d'associer chaque sous-ensemble de sources avec son résultat de fusion. Toutefois l'opérateur de fusion est choisi, alors un treillis de concept est construit. Ce treillis fournit une classification intéressante des sources et leurs résultats de fusion. De plus, le treillis garde l'origine de l'information. Quand le résultat global de la fusion est imprécis, la méthode permet à l'utilisateur d'identifier les sous-ensemble maximaux de sources qui supportent une bonne décision. La méthode fournit une vue structurée de la fusion globale appliquée à l'ensemble de toutes les sources et des résultats partiels de la fusion marqués d'un sous-ensemble de sources. Dans ce travail, nous avons considéré les informations numériques représentées dans le cadre de la théorie des possibilités et nous avons utilisé trois sortes d'opérateurs pour construire le treillis de concepts. Une application dans le monde agricole, où la question de l'expert est d'estimer des valeurs des caractéristiques de pesticide provenant de plusieurs sources, pour calculer des indices environnementaux est détaillée pour évaluer la méthode de fusion proposée / Merging pieces of information into an interpretable and useful format is a tricky task even when an information fusion method is chosen. Fusion results may not be in suitable form for being used in decision analysis. This is generally due to the fact that information sources are heterogeneous and provide inconsistent information, which may lead to imprecise results. Several fusion operators have been proposed for combining uncertain information and they apply the fusion operator on the set of all sources and provide the resulting information. In this work, we studied and proposed a method to combine information using Formal Concept Analysis in particular Pattern Structures. This method allows us to associate any subset of sources with its information fusion result. Then once a fusion operator is chosen, a concept lattice is built. The concept lattice gives an interesting classification of fusion results and it keeps a track of the information origin. When the fusion global result is too imprecise, the method enables the users to identify what maximal subset of sources would support a more precise and useful result. Instead of providing a unique fusion result, the method yields a structured view of partial results labeled by subsets of sources. In this thesis, we studied the numerical information represented in the framework of possibility theory and we used three fusion operators to built the concept lattice. We applied this method in the context of agronomy when experts have to estimate several characteristics values coming from several sources for computing an environmental risk

Le sujet principal de cette thèse porte sur la fouille de données numériques et plus particulièrement de données d'expression de gènes. Ces données caractérisent le comportement de gènes dans diverses situations biologiques (temps, cellule, etc.). Un problème important consiste à établir des groupes de gènes partageant un même comportement biologique. Cela permet d'identifier les gènes actifs lors d'un processus biologique, comme par exemple les gènes actifs lors de la défense d'un organisme face à une attaque. Le cadre de la thèse s'inscrit donc dans celui de l'extraction de connaissances à partir de données biologiques. Nous nous proposons d'étudier comment la méthode de classification conceptuelle qu'est l'analyse formelle de concepts (AFC) peut répondre au problème d'extraction de familles de gènes. Pour cela, nous avons développé et expérimenté diverses méthodes originales en nous appuyant sur une extension peu explorée de l'AFC : les structures de patrons. Plus précisément, nous montrons comment construire un treillis de concepts synthétisant des familles de gènes à comportement similaire. L'originalité de ce travail est (i) de construire un treillis de concepts sans discrétisation préalable des données de manière efficace, (ii) d'introduire une relation de similarité entres les gènes et (iii) de proposer des ensembles minimaux de conditions nécessaires et suffisantes expliquant les regroupements formés. Les résultats de ces travaux nous amènent également à montrer comment les structures de patrons peuvent améliorer la prise de décision quant à la dangerosité de pratiques agricoles dans le vaste domaine de la fusion d'information / The main topic of this thesis addresses the important problem of mining numerical data, and especially gene expression data. These data characterize the behaviour of thousand of genes in various biological situations (time, cell, etc.).A difficult task consists in clustering genes to obtain classes of genes with similar behaviour, supposed to be involved together within a biological process.Accordingly, we are interested in designing and comparing methods in the field of knowledge discovery from biological data. We propose to study how the conceptual classification method called Formal Concept Analysis (FCA) can handle the problem of extracting interesting classes of genes. For this purpose, we have designed and experimented several original methods based on an extension of FCA called pattern structures. Furthermore, we show that these methods can enhance decision making in agronomy and crop sanity in the vast formal domain of information fusion

Cette thèse porte sur la segmentation supervisée d'un flux vidéo en fragments correspondant à des activités de la vie quotidienne. En différenciant geste, action et activité, cette thèse s'intéresse aux activités à haut niveau sémantique telles que "Cuisiner" ou "Prendre son repas" par opposition à des actions comme "Découper un aliment". Pour cela, elle s'appuie sur l'algorithme DOHT (Deeply Optimized Hough Transform), une méthode de l'état de l'art utilisant un paradigme de vote (par transformée de Hough). Dans un premier temps, nous adaptons l'algorithme DOHT pour fusionner les informations en provenance de différents capteurs à trois niveaux différents de l'algorithme. Nous analysons l'effet de ces trois niveaux de fusion et montrons son efficacité par une évaluation sur une base de données composée d'actions de la vie quotidienne. Ensuite, une étude des jeux de données existant est menée. Constatant le manque de vidéos adaptées à la segmentation et classification (détection) d'activités à haut niveau sémantique, une nouvelle base de données est proposée. Enregistrée dans un environnement réaliste et dans des conditions au plus proche de l'application finale, elle contient des vidéos longues et non découpées adaptées à un contexte de détection. Dans un dernier temps, nous proposons une approche hiérarchique à partir d'algorithmes DOHT pour reconnaître les activités à haut niveau sémantique. Cette approche à deux niveaux décompose le problème en une détection non-supervisée d'actions pour ensuite détecter les activités désirées. / This thesis focuses on supervised activity segmentation from video streams within application context of smart homes. Three semantic levels are defined, namely gesture, action and activity, this thesis focuses mainly on the latter. Based on the Deeply Optimized Hough Transform paridigm, three fusion levels are introduced in order to benefit from various modalities. A review of existing action based datasets is presented and the lack of activity detection oriented database is noticed. Then, a new dataset is introduced. It is composed of unsegmented long time range daily activities and has been recorded in a realistic environment. Finaly, a hierarchical activity detection method is proposed aiming to detect high level activities from unsupervised action detection.

This thesis presents new approaches to image registration and super-resolution mosaicing as well as their applications. Firstly, a feature-based image registration method is proposed for a multisensor surveillance system that consists of an optical camera and an infrared camera. By integrating a non-rigid object tracking technique into this method, a novel approach to simultaneous object tracking and multisensor image registration is proposed. Based on the registration and fusion of multisensor information, automatic face detection is greatly improved. Secondly, some extensions of a gradient-based image registration method, called inverse compositional algorithm, are proposed. These extensions include cumulative multi-image registration and the incorporation of illumination change and lens distortion correction. They are incorporated into the framework of the original algorithm in a consistent manner and efficiency can still be achieved for multi-image registration with illumination and lens distortion correction. Thirdly, new super-resolution mosaicing algorithms are proposed for multiple uncompressed and compressed images. Considering the process of image formation, observation models are introduced to describe the relationship between the superresolution mosaic image and the uncompressed and compressed low-resolution images. To improve the performance of super-resolution mosaicing, a wavelet-based image interpolation technique and an approach to adaptive determination of the regularization parameter are presented. For compressed images, a spatial-domain algorithm and a transform-domain algorithm are proposed. All the proposed superresolution mosaicing algorithms are robust against outliers. They can produce superresolution mosaics and reconstructed super-resolution images with improved subjective quality. Finally, new techniques for super-resolution sprite generation and super-resolution sprite coding are proposed. Considering both short-term and long-term motion influences, an object-based image registration method is proposed for handling long image sequences. In order to remove the influence of outliers, a robust technique for super-resolution sprite generation is presented. This technique produces sprite images and reconstructed super-resolution images with high visual quality. Moreover, it provides better reconstructed low-resolution images compared with low-resolution sprite generation techniques. Due to the advantages of the super-resolution sprite, a super-resolution sprite coding technique is also proposed. It achieves high coding efficiency especially at a low bit-rate and produces both decoded low-resolution and super-resolution images with improved subjective quality. Throughout this work, the performance of all the proposed algorithms is evaluated using both synthetic and real image sequences.

Automatic verification of personal identity using facial images is the central topic of the thesis. This problem can be stated as follows. Given two face images, it must be determined automatically whether they are images of the same person or of different persons. Due to many factors such as variability of facial appearance, sensitivity to noise, template aging, etc., the problem is difficult. We can overcome some of these difficulties by combining different information sources for the classification/recognition task. In this thesis we propose strategies on how to combine the different information sources, i.e. fusion strategies, in order to improve the verification accuracy. We have designed and thoroughly optimised a number of face verification algorithms. Their individual properties such as how their accuracy depends on algorithm parameters, image size, or sensitivity to mis-registrations have been studied. We have also studied how to combine the outputs of the different algorithms in order to reduce the verification error rates. Another decision fusion aspect considered in this thesis is the fusion of confidences obtained sequentially on several video frames of the same person's face. Finally multimodal fusion has been studied. In this case, the speech and face of the same subject are recorded and processed by different algorithms which output separate opinions. These two opinions are then conciliated at the fusion stage. It is shown that in all cases, information fusion allows a considerable performance improvement if the fusion stage is carefully designed.