Ce rapport porte sur le sujet de recherche de l'identification boîte noire du système non linéaire. En effet, parmi toutes les techniques nombreuses et variées développées dans ce domaine de la recherche ces dernières décennies, il semble toujours intéressant d'étudier l'approche réseau de neurones dans l'estimation de modèle de système complexe. Même si des modèles précis ont été obtenus, les principaux inconvénients de ces techniques restent le grand nombre de paramètres nécessaires et, en conséquence, le coût important de calcul nécessaire pour obtenir le niveau de pratique de la précision du modèle désiré. Par conséquent, motivés pour remédier à ces inconvénients, nous avons atteint une méthodologie complète et efficace du système d'identification offrant une précision équilibrée, la complexité et les modèles de coûts en proposant, d'une part, de nouvelles structures de réseaux de neurones particulièrement adapté à une utilisation très large en matière de modélisation système pratique non linéaire, d'autre part, un simple et efficace technique de réduction de modèle, et, troisièmement, une procédure de réduction de coût de calcul. Il est important de noter que ces deux dernières techniques de réduction peut être appliquée à une très large gamme d'architectures de réseaux de neurones sous deux simples hypothèses spécifiques qui ne sont pas du tout contraignant. Enfin, la dernière contribution importante de ce travail est d'avoir montré que cette phase d'estimation peut être obtenue dans un cadre robuste si la qualité des données d'identification qu'il oblige. Afin de valider la procédure d'identification système proposé, des exemples d'applications entraînées en simulation et sur un procédé réel, de manière satisfaisante validé toutes les contributions de cette thèse, confirmant tout l'intérêt de ce travail. / This report concerns the research topic of black box nonlinear system identification. In effect, among all the various and numerous techniques developed in this field of research these last decades, it seems still interesting to investigate the neural network approach in complex system model estimation. Even if accurate models have been derived, the main drawbacks of these techniques remain the large number of parameters required and, as a consequence, the important computational cost necessary to obtain the convenient level of the model accuracy desired. Hence, motivated to address these drawbacks, we achieved a complete and efficient system identification methodology providing balanced accuracy, complexity and cost models by proposing, firstly, new neural network structures particularly adapted to a very wide use in practical nonlinear system modeling, secondly, a simple and efficient model reduction technique, and, thirdly, a computational cost reduction procedure. It is important to notice that these last two reduction techniques can be applied to a very large range of neural network architectures under two simple specific assumptions which are not at all restricting. Finally, the last important contribution of this work is to have shown that this estimation phase can be achieved in a robust framework if the quality of identification data compels it. In order to validate the proposed system identification procedure, application examples driven in simulation and on a real process, satisfactorily validated all the contributions of this thesis, confirming all the interest of this work.

Dans cette thèse, nous nous intéressons au problème de détection de mesures GPS erronées. En effet, en zones urbaines, les acquisitions sont fortement dégradées par des phénomènes de multi-trajets ou de multiples réflexions des signaux avant d’arriver à l’antenne réceptrice. En forêt, de multiples obstacles bloquent les signaux satellites, ce qui diminue la redondance des mesures. Alors que les algorithmes présents dans les récepteurs GPS détectent au maximum une mesure erronée par pas de temps, avec une combinaison de différents systèmes de navigation, l’hypothèse d’une seule erreur à la fois n’est plus tenable et la détection et gestion des données erronées (défaillantes, aberrantes ou outliers selon les différentes terminologies) représente un enjeu majeur dans les applications de navigation autonome et de localisation robuste et devient un nouveau défi technologique.La contribution principale de cette thèse est un algorithme de détection de mesures de pseudo-distances aberrantes exploitant la modélisation a contrario. Deux critères fondés sur l’espérance du nombre de fausses alarmes (NFA) sont utilisés pour mesurer la cohérence d’un ensemble de mesures sous l’hypothèse d’un modèle de bruit.Notre seconde contribution concerne l’introduction des mesures Doppler dans le processus de localisation. Nous étendons la détection d’outliers conjointement dans les mesures de pseudo-distance aux mesures Doppler et proposons une localisation par couplage avec le filtre particulaire soit SIR soit de Rao-Blackwell qui permet d’estimer analytiquement la vitesse.Notre troisième contribution est une approche crédibiliste pour la détection des mesures aberrantes dans les pseudo-distances. S’inspirant du RANSAC, nous choisissons, parmi les combinaisons d’observations possibles, la plus compatible selon une mesure de cohérence ou d’incohérence. Une étape de filtrage évidentiel permet de tenir compte de la solution précédente. Les approches proposées donnent de meilleures performances que les méthodes usuelles et démontrent l’intérêt de retirer les données aberrantes du processus de localisation. / In this work, we focus on the problem of detection of erroneous GPS measurements. Indeed, in urban areas, acquisitions are highly degraded by multipath phenomena or signal multiple reflections before reaching the receiver antenna. In forest areas, the satellite occlusion reduces the measurements redundancy. While the algorithms embedded in GPS receivers detect at most one erroneous measurement per epoch, the hypothesis of a single error at a time is no longer realistic when we combine data from different navigation systems. The detection and management of erroneous data (faulty, aberrant or outliers depending on the different terminologies) has become a major issue in the autonomous navigation applications and robust localization and raises a new technological challenge.The main contribution of this work is an outlier detection algorithm for GNSS localization with an a contrario modeling. Two criteria based on number of false alarms (NFA) are used to measure the consistency of a set of measurements under the noise model assumption.Our second contribution is the introduction of Doppler measurements in the localization process. We extend the outlier detection to both pseudo-ranges and Doppler measurements, and we propose a coupling with either the particle filter SIR or the Rao-Blackwellized particle filter that allows us to estimate analytically the velocity.Our third contribution is an evidential approach for the detection of outliers in the pseudo-ranges. Inspired by the RANSAC, we choose among possible combinations of observations, the most compatible one according to a measure of consistency or inconsistency. An evidential filtering step is performed that takes into account the previous solution. The proposed approaches achieve better performance than standard methods and demonstrate the interest of removing the outliers from the localization process.

Geodätische Messabweichungen werden oft gut durch Wahrscheinlichkeitsverteilungen beschrieben, die steilgipfliger als die Gaußsche Normalverteilung sind. Das gilt besonders, wenn grobe Messabweichungen nicht völlig ausgeschlossen werden können. Neben einigen in der Geodäsie bisher verwendeten Verteilungen (verallgemeinerte Normalverteilung, Hubers Verteilung) diskutieren wir hier die skalenkontaminierte Normalverteilung, die für die praktische Rechnung einige Vorteile bietet. / Geodetic measurement errors are frequently well described by probability distributions, which are more peak-shaped than the Gaussian normal distribution. This is especially true when gross errors cannot be excluded. Besides some distributions used so far in geodesy (generalized normal distribution, Huber’s distribution) we discuss the scale contaminated normal distribution, which offers some advantages in practical calculations.

The autocorrelation function is a basic tool for time series analysis. The clas- sical estimation is very sensitive to outliers and can lead to misleading results. This thesis deals with robust estimations of the autocorrelation function, which is more resistant to the outliers than the classical estimation. There are presen- ted following approaches: leaving out the outliers from the data, replacement the average with the median, data transformation, the estimation of another coeffici- ent, robust estimation of the partial autocorrelation function or linear regression. The thesis describes the applicability of the presented methods, their advantages and disadvantages and necessary assumptions. All the approaches are compared in simulation study and applied to real financial data. 1

Un des défis majeurs en traitement radar consiste à identifier une cible cachée dans un environnement bruité. Pour ce faire, il est nécessaire de caractériser finement les propriétés statistiques du bruit, en particulier sa matrice de covariance. Sous l'hypothèse gaussienne, cette dernière est estimée par la matrice de covariance empirique (SCM) dont le comportement est parfaitement connu. Cependant, dans de nombreuses applications actuelles, tels les systèmes radar modernes à haute résolution par exemple, les données collectées sont de nature hétérogène, et ne peuvent être proprement décrites par un processus gaussien. Pour pallier ce problème, les distributions symétriques elliptiques complexes, caractérisant mieux ces phénomènes physiques complexes, ont été proposées. Dans ce cas, les performances de la SCM sont très médiocres et les M-estimateurs apparaissent comme une bonne alternative, principalement en raison de leur flexibilité par rapport au modèle statistique et de leur robustesse aux données aberrantes et/ou aux données manquantes. Cependant, le comportement de tels estimateurs reste encore mal compris. Dans ce contexte, les contributions de cette thèse sont multiples.D'abord, une approche originale pour analyser les propriétés statistiques des M-estimateurs est proposée, révélant que les propriétés statistiques des M-estimateurs peuvent être bien approximées par une distribution de Wishart. Grâce à ces résultats, nous analysons la décomposition de la matrice de covariance en éléments propres. Selon l'application, la matrice de covariance peut posséder une structure particulière impliquant valeurs propres multiples contenant les informations d'intérêt. Nous abordons ainsi divers scénarios rencontrés dans la pratique et proposons des procédures robustes basées sur des M-estimateurs. De plus, nous étudions le problème de la détection robuste du signal. Les propriétés statistiques de diverses statistiques de détection adaptative construites avec des M-estimateurs sont analysées. Enfin, la dernière partie de ces travaux est consacrée au traitement des images radar à synthèse d'ouverture polarimétriques (PolSAR). En imagerie PolSAR, un effet particulier appelé speckle dégrade considérablement la qualité de l'image. Dans cette thèse, nous montrons comment les nouvelles propriétés statistiques des M-estimateurs peuvent être exploitées afin de construire de nouvelles techniques pour la réduction du speckle. / One of the main challenges in radar processing is to identify a target hidden in a disturbance environment. To this end, the noise statistical properties, especially the ones of the disturbance covariance matrix, need to be determined. Under the Gaussian assumption, the latter is estimated by the sample covariance matrix (SCM) whose behavior is perfectly known. However, in many applications, such as, for instance, the modern high resolution radar systems, collected data exhibit a heterogeneous nature that cannot be adequately described by a Gaussian process. To overcome this problem, Complex Elliptically Symmetric distributions have been proposed since they can correctly model these data behavior. In this case, the SCM performs very poorly and M-estimators appear as a good alternative, mainly due to their flexibility to the statistical model and their robustness to outliers and/or missing data. However, the behavior of such estimators still remains unclear and not well understood. In this context, the contributions of this thesis are multiple.First, an original approach to analyze the statistical properties of M-estimators is proposed, revealing that the statistical properties of M-estimators can be approximately well-described by a Wishart distribution. Thanks to these results, we go further and analyze the eigendecomposition of the covariance matrix. Depending on the application, the covariance matrix can exhibit a particular structure involving multiple eigenvalues containing the information of interest. We thus address various scenarios met in practice and propose robust procedures based on M-estimators. Furthermore, we study the robust signal detection problem. The statistical properties of various adaptive detection statistics built with M-estimators are analyzed. Finally, the last part deals with polarimetric synthetic aperture radar (PolSAR) image processing. In PolSAR imaging, a particular effect called speckle significantly degrades the image quality. In this thesis, we demonstrate how the new statistical properties of M-estimators can be exploited in order to build new despeckling techniques.

In order to be able to perform many tasks, autonomous devices need to understand their environment and know where they are in this environment. Simultaneous Localisation and Mapping (SLAM) is a solution to this problem. When several devices attempt to jointly solve this problem they use Collaborative SLAM (C-SLAM), but this is a very resource-demanding process. In order to enable resource-constrained devices, like small mobile robots or eXtended Reality (XR) devices, to run C-SLAM we look towards a Server-Assisted C-SLAM architecture to lift the computational burden from these devices. In a real-world scenario, sensors might fail, the devices might process sensor data wrongly or a malicious actor might inject wrong data into the system. In order for these solutions to be reliable, they must be able to deal with these \emph{outliers}. This thesis looks into the impact of outliers in Server-Assisted C-SLAM algorithms and presents two novel solutions for a robust algorithm, based on robust estimation of the initial device poses. We show the novel solutions outperform the state of the art both in estimation accuracy, yielding better estimates of the real device trajectories, and computational performance, making it suitable for device-constrained devices. / För att kunna utföra flertalet uppgifter måste autonoma enheter förstå sin miljö och veta var de befinner sig i den här miljön. Simultaneous Localization and Mapping (SLAM) är en lösning på detta problem. När flera enheter försöker lösa detta problem tillsammans använder de Samarbetande SLAM (C-SLAM), men detta är en mycket resurskrävande process. För att möjliggöra att resursbegränsade enheter, så som exempelvis små mobila robotar eller eXtended Reality (XR)-enheter, ska kunna köra C-SLAM föreslås en serverassisterar C-SLAM-arkitektur beräkningsbördan kan lyftas från dessa enheter till servern. I ett verkligt scenario kan sensorer vara felaktiga, enheter behandla sensordata felaktigt eller illvilliga aktörer injicera felaktig data i systemet. Därför undersöker detta arbete effekten av \emph{outliers} i Serverassisterade C-SLAM-algoritmer och presenterar två nya lösningar för en robust algoritm, baserad på robusta uppskattningar av enhetens initiala positioner. Denna lösning visar sig överträffa likartade lösningar i litteraturen både vad gäller uppskattningsnoggrannhet, vilket ger bättre uppskattningar av den verkliga enhetsbanor och beräkningsprestanda, vilket gör den lämplig för enheter med begränsade resurser.

No description available.

High-dimensional data are becoming increasingly available as data collection technology advances. Over the last decade, significant developments have been taking place in high-dimensional data analysis, driven primarily by a wide range of applications in many fields such as genomics, signal processing, and environmental studies. Statistical techniques such as dimension reduction and variable selection play important roles in high dimensional data analysis. Sufficient dimension reduction provides a way to find the reduced space of the original space without a parametric model. This method has been widely applied in many scientific fields such as genetics, brain imaging analysis, econometrics, environmental sciences, etc. in recent years. In this dissertation, we worked on three projects. The first one combines local modal regression and Minimum Average Variance Estimation (MAVE) to introduce a robust dimension reduction approach. In addition to being robust to outliers or heavy-tailed distribution, our proposed method has the same convergence rate as the original MAVE. Furthermore, we combine local modal base MAVE with a $L_1$ penalty to select informative covariates in a regression setting. This new approach can exhaustively estimate directions in the regression mean function and select informative covariates simultaneously, while being robust to the existence of possible outliers in the dependent variable. The second project develops sparse adaptive MAVE (saMAVE). SaMAVE has advantages over adaptive LASSO because it extends adaptive LASSO to multi-dimensional and nonlinear settings, without any model assumption, and has advantages over sparse inverse dimension reduction methods in that it does not require any particular probability distribution on \textbf{X}. In addition, saMAVE can exhaustively estimate the dimensions in the conditional mean function. The third project extends the envelope method to multivariate spatial data. The envelope technique is a new version of the classical multivariate linear model. The estimator from envelope asymptotically has less variation compare to the Maximum Likelihood Estimator (MLE). The current envelope methodology is for independent observations. While the assumption of independence is convenient, this does not address the additional complication associated with a spatial correlation. This work extends the idea of the envelope method to cases where independence is an unreasonable assumption, specifically multivariate data from spatially correlated process. This novel approach provides estimates for the parameters of interest with smaller variance compared to maximum likelihood estimator while still being able to capture the spatial structure in the data.

Calculer une représentation 3D d'une scène rigide à partir d'une collection d'images est aujourd'hui possible grâce aux progrès réalisés par les méthodes de stéréo-vision multi-vues, et ce avec un simple appareil photographique. Le principe de reconstruction, découlant de travaux de photogrammétrie, consiste à recouper les informations provenant de plusieurs images, prises de points de vue différents, pour identifier les positions et orientations relatives de chaque cliché. Une fois les positions et orientations de caméras déterminées (calibration externe), la structure de la scène peut être reconstruite. Afin de résoudre le problème de calcul de la structure à partir du mouvement des caméras (Structure-from-Motion), des méthodes séquentielles et globales ont été proposées. Par nature, les méthodes séquentielles ont tendance à accumuler les erreurs. Cela donne lieu le plus souvent à des trajectoires de caméras qui dérivent et, lorsque les photos sont acquises autour d'un objet, à des reconstructions où les boucles ne se referment pas. Au contraire, les méthodes globales considèrent le réseau de caméras dans son ensemble. La configuration de caméras est recherchée et optimisée pour conserver au mieux l'ensemble des contraintes de cyclicité du réseau. Des reconstructions de meilleure qualité peuvent être obtenues, au détriment toutefois du temps de calcul. Cette thèse propose d'analyser des problèmes critiques au cœur de ces méthodes de calibration externe et de fournir des solutions pour améliorer leur performance (précision, robustesse, vitesse) et leur facilité d'utilisation (paramétrisation restreinte).Nous proposons tout d'abord un algorithme de suivi de points rapide et efficace. Nous montrons ensuite que l'utilisation généralisée de l'estimation robuste de modèles paramétriques a contrario permet de libérer l'utilisateur du réglage de seuils de détection, et d'obtenir une chaine de reconstruction qui s'adapte automatiquement aux données. Puis dans un second temps, nous utilisons ces estimations robustes adaptatives et une formulation du problème qui permet des optimisations convexes pour construire une chaine de calibration globale capable de passer à l'échelle. Nos expériences démontrent que les estimations identifiées a contrario améliorent de manière notable la qualité d'estimation de la position et de l'orientation des clichés, tout en étant automatiques et sans paramètres, et ce même sur des réseaux de caméras complexes. Nous proposons enfin d'améliorer le rendu visuel des reconstructions en proposant une optimisation convexe de la consistance colorée entre images / To compute a 3D representation of a rigid scene from a collection of pictures is now possible thanks to the progress made by the multiple-view stereovision methods, even with a simple camera. The reconstruction process, arising from photogrammetry, consists in integrating information from multiple images taken from different viewpoints in order to identify the relative positions and orientations. Once the positions and orientations (external calibration) of the cameras are retrieved, the structure of the scene can be reconstructed. To solve the problem of calculating the Structure from Motion (SfM), sequential and global methods have been proposed. By nature, sequential methods tend to accumulate errors. This is observable in trajectories of cameras that are subject to drift error. When pictures are acquired around an object it leads to reconstructions where the loops do not close. In contrast, global methods consider the network of cameras as a whole. The configuration of cameras is searched and optimized in order to preserve at best the constraints of the cyclical network. Reconstructions of better quality can be obtained, but at the expense of computation time. This thesis aims at analyzing critical issues at the heart of these methods of external calibration and at providing solutions to improve their performance(accuracy , robustness and speed) and their ease of use (restricted parametrization).We first propose a fast and efficient feature tracking algorithm. We then show that the widespread use of a contrario robust estimation of parametric models frees the user from choosing detection thresholds, and allows obtaining a reconstruction pipeline that automatically adapts to the data. Then in a second step, we use the adaptive robust estimation and a series of convex optimizations to build a scalable global calibration chain. Our experiments show that the a contrario based estimations improve significantly the quality of the pictures positions and orientations, while being automatic and without parameters, even on complex camera networks. Finally, we propose to improve the visual appearance of the reconstruction by providing a convex optimization to ensure the color consistency between images

L'identification des systèmes dynamiques complexes reste une préoccupation lorsque les erreurs de prédictions contiennent des outliers d'innovation. Ils ont pour effet de détériorer le modèle estimé, si le critère d'estimation est mal choisi et mal adapté. Cela a pour conséquences de contaminer la distribution de ces erreurs, laquelle présente des queues épaisses et s'écarte de la distribution normale. Pour résoudre ce problème, il existe une classe d'estimateurs, dits robustes, moins sensibles aux outliers, qui traitent d'une manière plus « douce » la transition entre résidus de niveaux très différents. Les M-estimateurs de Huber font partie de cette classe. Ils sont associés à un mélange des normes L2 et L1, liés à un modèle de distribution gaussienne perturbée, dit gross error model. A partir de ce cadre formel, nous proposons dans cette thèse, un ensemble d'outils d'estimation et de validation de modèles paramétriques linéaires et pseudo-linéaires boîte-noires, avec extension de l'intervalle de bruit dans les petites valeurs de la constante d'accord de la norme de Huber. Nous présentons ainsi les propriétés de convergence du critère d'estimation et de l'estimateur robuste. Nous montrons que l'extension de l'intervalle de bruit réduit la sensibilité du biais de l'estimateur et améliore la robustesse aux points de levage. Pour un type de modèle pseudo-linéaire, il est présenté un nouveau contexte dit L-FTE, avec une nouvelle méthode de détermination de L, dans le but d'établir les linéarisations du gradient et du Hessien du critère d'estimation, ainsi que de la matrice de covariance asymptotique de l'estimateur. De ces relations, une version robuste du critère de validation FPE est établie et nous proposons un nouvel outil d'aide au choix de modèle estimé. Des expérimentations sur des processus simulés et réels sont présentées et analysées.L'identification des systèmes dynamiques complexes reste une préoccupation lorsque les erreurs de prédictions contiennent des outliers d'innovation. Ils ont pour effet de détériorer le modèle estimé, si le critère d'estimation est mal choisi et mal adapté. Cela a pour conséquences de contaminer la distribution de ces erreurs, laquelle présente des queues épaisses et s'écarte de la distribution normale. Pour résoudre ce problème, il existe une classe d'estimateurs, dits robustes, moins sensibles aux outliers, qui traitent d'une manière plus « douce » la transition entre résidus de niveaux très différents. Les M-estimateurs de Huber font partie de cette classe. Ils sont associés à un mélange des normes L2 et L1, liés à un modèle de distribution gaussienne perturbée, dit gross error model. A partir de ce cadre formel, nous proposons dans cette thèse, un ensemble d'outils d'estimation et de validation de modèles paramétriques linéaires et pseudo-linéaires boîte-noires, avec extension de l'intervalle de bruit dans les petites valeurs de la constante d'accord de la norme de Huber. Nous présentons ainsi les propriétés de convergence du critère d'estimation et de l'estimateur robuste. Nous montrons que l'extension de l'intervalle de bruit réduit la sensibilité du biais de l'estimateur et améliore la robustesse aux points de levage. Pour un type de modèle pseudo-linéaire, il est présenté un nouveau contexte dit L-FTE, avec une nouvelle méthode de détermination de L, dans le but d'établir les linéarisations du gradient et du Hessien du critère d'estimation, ainsi que de la matrice de covariance asymptotique de l'estimateur. De ces relations, une version robuste du critère de validation FPE est établie et nous proposons un nouvel outil d'aide au choix de modèle estimé. Des expérimentations sur des processus simulés et réels sont présentées et analysées. / Complex dynamic systems identification remains a concern when prediction errors contain innovation outliers. They have the effect to damage the estimated model if the estimation criterion is badly chosen and badly adapted. The consequence is the contamination of the distribution of these errors; this distribution presents heavy tails and deviates of the normal distribution. To solve this problem, there is a robust estimator's class, less sensitive to the outliers, which treat the transition between residuals of very different levels in a softer way. The Huber's M-estimators belong to this class. They are associated to a mixed L2 - L1 norm, related to a disturbed Gaussian distribution model, namely gross error model. From this formal context, in this thesis we propose a set of estimation and validation tools of black-box linear and pseudo-linear models, with extension of the noise interval to low values of the tuning constant in the Huber's norm. We present the convergence properties of the robust estimation criterion and the robust estimator. We show that the extension of the noise interval reduces the sensitivity of the bias of the estimator and improves the robustness to the leverage points. Moreover, for a pseudo-linear model structure, we present a new context, named L-FTE, with a new method to determine L, in order to linearize the gradient and the Hessien of estimation criterion and the asymptotic covariance matrix of the estimator. From these expressions, a robust version of the FPE validation criterion is established and we propose a new decisional tool for the estimated model choice. Experiments on simulated and real systems are presented and analyzed.