L’identification de systèmes dynamiques est une approche de modélisation fondée uniquement sur la connaissance des signaux d’entrée et de sortie de plus en plus utilisée en biologie. Dans ce même domaine d’application, des plans d’expériences sont souvent appliqués pour tester les effets de facteurs qualitatifs sur la réponse et chaque expérience est répétée plusieurs fois pour estimer la reproductibilité des résultats. Dans un objectif d’inférence, il est important de prendre en compte dans la procédure de modélisation les variabilités expliquées (effets fixes) et inexpliquées (effets aléatoires) entre les réponses individuelles. Une solution consiste à utiliser des modèles à effets mixtes mais jusqu’à présent il n’existe aucune approche similaire dans la communauté automaticienne de l’identification de systèmes. L’objectif de la thèse est de combler ce manque grâce à l’utilisation de structures de modèle hiérarchiques introduisant des effets mixtes au sein des représentations polynomiales boites noires de systèmes dynamiques linéaires. Une nouvelle méthode d’estimation des paramètres adaptée aussi bien à des structures simples comme ARX qu’à des structures plus complètes comme celle de Box-Jenkins est développée. Une solution au calcul de la matrice d’information de Fisher est également proposée. Finalement, une application à trois cas d’étude en biologie a permis de valider l’interêt pratique de l’approche d’identification de populations de systèmes dynamiques / System identification is a data-driven input-output modeling approach more and more used in biology and biomedicine. In this application context, methods of experimental design are often used to test effects of qualitative factors on the response and each assay is always replicated to estimate the reproducibility of outcomes. The inference of the modeling conclusions to the whole population requires to account within the modeling procedure for the explained variability (fixed effects) and the unexplained variabilities (random effects) between the individual responses. One solution consists in using mixed effects models but up to now no similar approach exists in the system identification literature. The objective of this thesis is to fill this gap by using hierarchical model structures introducing mixed effects within polynomial black-box representations of linear dynamical systems. A new method is developed to estimate parameters of model structures such as ARX or Box-Jenkins. A solution is also proposed to compute the Fisher’s matrix. Finally, three application studies are carried out and emphasize the practical relevance of the proposed approach to identify populations of dynamical systems

Cette thèse se concentrera exclusivement sur l’application de méthodes non paramétriques basées sur le noyau à des problèmes d’identification non-linéaires. Comme pour les autres méthodes non-linéaires, deux questions clés dans l’identification basée sur le noyau sont les questions de comment définir un modèle non-linéaire (sélection du noyau) et comment ajuster la complexité du modèle (régularisation). La contribution principale de cette thèse est la présentation et l’étude de deux critères d’optimisation (un existant dans la littérature et une nouvelle proposition) pour l’approximation structurale et l’accord de complexité dans l’identification de systèmes non-linéaires basés sur le noyau. Les deux méthodes sont basées sur l’idée d’intégrer des contraintes de complexité basées sur des caractéristiques dans le critère d’optimisation, en pénalisant les dérivées de fonctions. Essentiellement, de telles méthodes offrent à l’utilisateur une certaine souplesse dans la définition d’une fonction noyau et dans le choix du terme de régularisation, ce qui ouvre de nouvelles possibilités quant à la facon dont les modèles non-linéaires peuvent être estimés dans la pratique. Les deux méthodes ont des liens étroits avec d’autres méthodes de la littérature, qui seront examinées en détail dans les chapitres 2 et 3 et formeront la base des développements ultérieurs de la thèse. Alors que l’analogie sera faite avec des cadres parallèles, la discussion sera ancrée dans le cadre de Reproducing Kernel Hilbert Spaces (RKHS). L’utilisation des méthodes RKHS permettra d’analyser les méthodes présentées d’un point de vue à la fois théorique et pratique. De plus, les méthodes développées seront appliquées à plusieurs «études de cas» d’identification, comprenant à la fois des exemples de simulation et de données réelles, notamment : • Détection structurelle dans les systèmes statiques non-linéaires. • Contrôle de la fluidité dans les modèles LPV. • Ajustement de la complexité à l’aide de pénalités structurelles dans les systèmes NARX. • Modelisation de trafic internet par l’utilisation des méthodes à noyau / This thesis will focus exclusively on the application of kernel-based nonparametric methods to nonlinear identification problems. As for other nonlinear methods, two key questions in kernel-based identification are the questions of how to define a nonlinear model (kernel selection) and how to tune the complexity of the model (regularisation). The following chapter will discuss how these questions are usually dealt with in the literature. The principal contribution of this thesis is the presentation and investigation of two optimisation criteria (one existing in the literature and one novel proposition) for structural approximation and complexity tuning in kernel-based nonlinear system identification. Both methods are based on the idea of incorporating feature-based complexity constraints into the optimisation criterion, by penalising derivatives of functions. Essentially, such methods offer the user flexibility in the definition of a kernel function and the choice of regularisation term, which opens new possibilities with respect to how nonlinear models can be estimated in practice. Both methods bear strong links with other methods from the literature, which will be examined in detail in Chapters 2 and 3 and will form the basis of the subsequent developments of the thesis. Whilst analogy will be made with parallel frameworks, the discussion will be rooted in the framework of Reproducing Kernel Hilbert Spaces (RKHS). Using RKHS methods will allow analysis of the methods presented from both a theoretical and a practical point-of-view. Furthermore, the methods developed will be applied to several identification ‘case studies’, comprising of both simulation and real-data examples, notably: • Structural detection in static nonlinear systems. • Controlling smoothness in LPV models. • Complexity tuning using structural penalties in NARX systems. • Internet traffic modelling using kernel methods

This thesis addresses the identification of stochastic systems operating under different conditions, based on data records corresponding to a sample of such operating conditions. This topic is very important, as systems operating under different, though constant conditions at different occasions (time intervals) are often encountered in practice. Typical examples include mechanical, aerospace or civil structures that operate under different environmental conditions (temperature or humidity, for instance) on different occasions (period of day, and so on). Such different operating conditions may affect the system characteristics, and therefore its dynamics. Given a set of data records corresponding to distinct operating conditions, it is most desirable to establish a single global model capable of describing the system throughout the entire range of admissible operating conditions. In the present thesis this problem is treated via a novel stochastic Functional Pooling (FP) identification framework which introduces functional dependencies (in terms of the operating condition) in the postulated model structure. The FP framework offers significant advantages over other methods providing global models by interpolating a set of conventional models (one for each operating condition), as it: (i) treats data records corresponding to different operating conditions simultaneously, and fully takes cross-dependencies into account thus yielding models with optimal statistical accuracy, (ii) uses a highly parsimonious representation which provides precise information about the system dynamics at any specified operating condition without resorting to customary interpolation schemes, (iii) allows for the determination of modeling uncertainty at any specified operating condition via formal interval estimates. To date, all research efforts on the FP framework have concentrated in identifying univariate (single excitation-single response) stochastic models. The present thesis aims at (i) properly formulating and extending the FP framework to the case of multivariate stochastic systems operating under multiple operating conditions, and (ii) introducing an approach based on multivariate FP modeling and statistical hypothesis testing for damage detection under different operating conditions. The case of multivariate modeling is more challenging compared to its univariate counterpart as the couplings between the corresponding signals lead to more complicated model structures, whereas their nontrivial parametrization raises issues on model identifiability. The main focus of this thesis is on models of the Functionally Pooled Vector AutoRegressive with eXogenous excitation (FP-VARX) form, and Vector AutoRegressive Moving Average (FP-VARMA) form. These models may be thought of as generalizations of their conventional VARX/VARMA counterparts with the important distinction being that the model parameters are explicit functions of the operating condition. Initially, the identification of FP-VARX models is addressed. Least Squares (LS) and conditional Maximum Likelihood (ML) type estimators are formulated, and their consistency along with their asymptotic normality is established. Conditions ensuring FP-VARX identifiability are postulated, whereas model structure specification is based upon proper forms of information criteria. The performance characteristics of the identification approach are assessed via Monte Carlo studies, which also demonstrate the effectiveness of the proposed framework and its advantages over conventional identification approaches based on VARX modeling. Subsequently, an experimental study aiming at identifying the temperature effects on the dynamics of a smart composite beam via conventional model and novel global model approaches is presented. The conventional model approaches are based on non-parametric and parametric VARX representations, whereas the global model approaches are based on parametric Constant Coefficient Pooled (CCP) and Functionally Pooled (FP) VARX representations. Although the obtained conventional model and global representations are in rough overall agreement, the latter simultaneously use all available data records and offer improved accuracy and compactness. The CCP-VARX representations provide an ``averaged'' description of the structural dynamics over temperature, whereas their FP-VARX counterparts allow for the explicit, analytical modeling of temperature dependence, and attain improved estimation accuracy. In addition, the identification of FP-VARMA models is addressed. Two-Stage Least Squares (2SLS) and conditional ML type estimators are formulated, and their consistency and asymptotic normality are established. Furthermore, an effective method for 2SLS model estimation featuring a simplified procedure for obtaining residuals in the first stage is introduced. Conditions ensuring FP-VARMA model identifiability are also postulated. Model structure specification is based upon a novel two-step approach using Canonical Correlation Analysis (CCA) and proper forms of information criteria, thus avoiding the use of exhaustive search procedures. The performance characteristics of the identification approach are assessed via a Monte Carlo study, which also demonstrates the effectiveness of the proposed framework over conventional identification approaches based on VARMA modeling. An approach based on the novel FP models and statistical hypothesis testing for damage detection under different operating conditions is also proposed. It includes two versions: the first version is based upon the obtained modal parameters, whereas the second version is based upon the discrete-time model parameters. In an effort to streamline damage detection, procedures for compressing the information carried by the modal or the discrete-time model parameters via Principal Component Analysis (PCA) are also employed. The effectiveness of the proposed damage detection approach is assessed on a smart composite beam with hundreds of experiments corresponding to different temperatures. In its present form, the approach relies upon response (output-only) vibration data, although excitation-response data may be also used. FP-VAR modeling is used identify the temperature dependent structural dynamics, whereas a new scheme for model structure selection is introduced which avoids the use of exhaustive search procedures. The experimental results verify the capability of both versions of the approach to infer reliable damage detection under different temperatures. Furthermore, alternative methods attempting removal of the temperature effects from the damage sensitive features are also employed, allowing for a detailed and concise comparison. Finally, some special topics on global VARX modeling are treated. The focus is on the identification of the Pooled (P) and Constant Coefficient Pooled (CCP) VARX model classes. Although both model classes are of limited scope, they are useful tools for global model identification. In analogy to the FP-VARX/VARMA model case, the LS and conditional ML type estimators are studied for both model classes, whereas conditions ensuring model identifiability are also postulated. The relationships interconnecting the P-VARX and CCP-VARX models to the FP-VARX models in terms of compactness and achievable accuracy are studied, whereas their association to the conventional VARX models is also addressed. The effectiveness and performance characteristics of the novel global modeling approaches are finally assessed via Monte Carlo studies. / Η παρούσα διατριβή πραγματεύεται την αναγνώριση πολυμεταβλητών στοχαστικών συστημάτων που παρουσιάζουν πολλαπλές συνθήκες λειτουργίας, βασιζόμενοι σε δεδομένα που αντιστοιχούν σε ένα δείγμα ενδεικτικών συνθηκών λειτουργίας. Η σπουδαιότητα του προβλήματος είναι μεγάλη, καθώς στην πράξη συναντώνται πολύ συχνά συστήματα όπου οι επιμέρους συνθήκες λειτουργίας παραμένουν σταθερές ανά χρονικά διαστήματα. Τυπικά παραδείγματα περιλαμβάνουν μηχανολογικές, αεροναυτικές και δομικές κατασκευές που λειτουργούν κάτω από διαφορετικές συνθήκες (π.χ. θερμοκρασίας και/ή υγρασίας) σε διαφορετικές συνθήκες (π.χ. περίοδος της ημέρας). Οι διαφορετικές συνθήκες λειτουργίας ενδέχεται να επηρεάσουν ένα σύστημα και ως εκ τούτου τα δυναμικά χαρακτηριστικά του. Λαμβάνοντας υπόψη ένα σύνολο δεδομένων που αντιστοιχούν σε διαφορετικές συνθήκες λειτουργίας, είναι επιθυμητή η εύρεση ενός "γενικευμένου" μοντέλου ικανού να περιγράψει το σύστημα σε όλο το φάσμα των αποδεκτών συνθηκών λειτουργίας. Στην παρούσα διατριβή το πρόβλημα αυτό αντιμετωπίζεται μέσω ενός καινοτόμου πλαισίου αναγνώρισης στοχαστικών μοντέλων Συναρτησιακής Σώρευσης (stochastic Functional Pooling Framework), το οποίο εισάγει συναρτησιακές εξαρτήσεις (αναφορικά με την κατάσταση λειτουργίας) στην δομή του μοντέλου. Το συγκεκριμένο πλαίσιο Συναρτησιακής Σώρευσης προσφέρει σημαντικά πλεονεκτήματα σε σχέση με άλλες μεθόδους εύρεσης γενικευμένων μοντέλων που χρησιμοποιούν μεθόδους παρεμβολής (interpolation) σε ένα σύνολο συμβατικών μοντέλων (ένα για κάθε συνθήκη λειτουργίας), όπως: (i) Η ταυτόχρονη διαχείριση δεδομένων που αντιστοιχούν σε διαφορετικές συνθήκες λειτουργίας, καθώς και η διευθέτηση των αλληλοεξαρτήσεων μεταξύ δεδομένων που ανήκουν σε διαφορετικές συνθήκες λειτουργίας παρέχοντας με τον τρόπο αυτό μοντέλα με βέλτιστη στατιστική ακρίβεια, (ii) η χρήση συμπτυγμένων μοντέλων τα οποία περιγράφουν με ακρίβεια τα δυναμικά χαρακτηριστικά του συστήματος σε κάθε κατάσταση λειτουργίας, αποφεύγοντας έτσι την χρήση συμβατικών μεθόδων παρεμβολής, (iii) ο προσδιορισμός των αβεβαιοτήτων στη μοντελοποίηση κάθε κατάστασης λειτουργίας μέσω εκτίμησης κατάλληλων διαστημάτων εμπιστοσύνης. Μέχρι στιγμής, η έρευνα πάνω στο πλαίσιο Συναρτησιακής Σώρευσης έχει επικεντρωθεί στα βαθμωτά στοχαστικά μοντέλα. Η παρούσα διατριβή σαν στόχο έχει (i) την κατάλληλη διαμόρφωση και επέκταση του πλαισίου Συναρτησιακής Σώρευσης για την περίπτωση πολυμεταβλητών στοχαστικών συστημάτων που λειτουργούν με πολλαπλές συνθήκες λειτουργίας , και (ii) την εισαγωγή μιας καινοτόμου μεθοδολογίας ανίχνευσης βλαβών για συστήματα που παρουσιάζουν πολλαπλές συνθήκες λειτουργίας βασιζόμενη σε πολυμεταβλητά μοντέλα Συναρτησιακής Σώρευσης και στον στατιστικό έλεγχο υποθέσεων. Η περίπτωση των πολυμεταβλητών μοντέλων παρουσιάζει τεχνικές δυσκολίες που δεν συναντώνται στα βαθμωτά μοντέλα, καθώς η δομή των μοντέλων είναι πιο περίπλοκη ενώ η παραμετροποίησή τους είναι μη-τετριμμένη θέτοντας έτσι ζητήματα αναγνωρισιμότητας (model identifiability). Η παρούσα διατριβή εστιάζει σε Συναρτησιακά Σωρευμένα Διανυσματικά μοντέλα ΑυτοΠαλινδρόμησης με εΞωγενή είσοδο (Functionally Pooled Vector AutoRegressive with eXogenous excitation; FP-VARX), και σε Διανυσματικά μοντέλα ΑυτοΠαλινδρόμησης με Κινητό Μέσο Όρο (Functionally Pooled AutoRegressive with Moving Average; FP-VARMA). Τα μοντέλα αυτά μπορεί να θεωρηθούν ως γενικεύσεις των συμβατικών μοντέλων VARX/VARMA με την σημαντική διαφοροποίηση ότι οι παράμετροι του μοντέλου είναι συναρτήσεις της συνθήκης λειτουργίας. Το πρώτο κεφάλαιο της διατριβής επικεντρώνεται στην αναγνώριση μοντέλων FP-VARX. Αναπτύσσονται εκτιμήτριες βασισμένες στις μεθόδους των Ελαχίστων Τετραγώνων (Least Squares; LS) και της Μέγιστης Πιθανοφάνειας (Maximum Likelihood; ML), ενώ στη συνέχεια μελετώνται η συνέπεια (consistency) και η ασυμπτωτική κατανομή (asymptotic distribution)τους. Επιπλέον, καθορίζονται συνθήκες που εξασφαλίζουν την αναγνωρισιμότητα (identifiability) των FP-VARX μοντέλων, ενώ ο προσδιορισμός της δομής τους βασίζεται σε κατάλληλα τροποποιημένα κριτήρια πληροφορίας (information criteria). Η αποτίμηση της μοντελοποίησης με FP-VARX, καθώς επίσης και η αποτελεσματικότητά τους έναντι των συμβατικών μοντέλων VARX εξακριβώνεται μέσω προσομοιώσεων Monte Carlo. Στο δεύτερο κεφάλαιο διερευνάται η αναγνώριση των θερμοκρασιακών επιρροών στα δυναμικά χαρακτηριστικά μιας ευφυούς δοκού από σύνθετο υλικό. Το πρόβλημα μελετάται χρησιμοποιώντας συμβατικά μοντέλα καθώς και "γενικευμένα" μοντέλα. Η συμβατική μοντελοποίηση περιλαμβάνει μη-παραμετρικές παραστάσεις που βασίζονται στην μέθοδο Welch (ανάλυση στο πεδίο συχνοτήτων), καθώς και παραμετρικές παραστάσεις βασισμένες στα μοντέλα VARX (ανάλυση στο πεδίο χρόνου). H "γενικευμένη" μοντελοποίηση περιλαμβάνει παραστάσεις Σώρευσης με Σταθερές Παραμέτρους (Constant Coefficient Pooled VARX; CCP-VARX), καθώς και VARX παραστάσεις Συναρτησιακής Σώρευσης (Functionally Pooled VARX; FP-VARX). Η ανάλυση υποδεικνύει ότι τα χαρακτηριστικά των "γενικευμένων" και των συμβατικών μοντέλων βρίσκονται σε γενική συμφωνία μεταξύ τους. Ωστόσο, τα "γενικευμένα" μοντέλα περιγράφουν τα δυναμικά χαρακτηριστικά του συστήματος με μικρότερο αριθμό παραμέτρων, γεγονός που προσδίδει μεγαλύτερη ακρίβεια στην εκτίμησή τους. Το μοντέλο CCP-VARX τείνει να σταθμίσει τα δυναμικά χαρακτηριστικά του συστήματος σε κάποιον "μέσο όρο" με σχετική ακρίβεια. Απεναντίας το μοντέλο FP-VARX υπερέχει σε ακρίβεια, καθώς επιδεικνύει μια εξομαλυμένη καθοριστική εξάρτηση των δυναμικών χαρακτηριστικών του συστήματος με την θερμοκρασία, γεγονός που είναι συμβατό με την φυσική του προβλήματος. Το τρίτο κεφάλαιο επικεντρώνεται στην αναγνώριση μοντέλων FP-VARMA. Αναπτύσσονται εκτιμήτριες βασισμένες στις μεθόδους των Ελαχίστων Τετραγώνων Δύο Σταδίων (Two Stage Least Squares; 2SLS) και της Μέγιστης Πιθανοφάνειας (Maximum Likelihood; ML), ενώ στην συνέχεια μελετώνται η συνέπεια και η ασυμπτωτική κατανομή τους. Επιπλέον, εισάγεται μια νέα μέθοδος για την εκτίμηση 2SLS που απλοποιεί σημαντικά την διαδικασία εξαγωγής υπολοίπων (residuals) από το πρώτο στάδιο. Επίσης, καθορίζονται οι συνθήκες που εξασφαλίζουν αναγνωρισιμότητα στα μοντέλα FP-VARMA. Ο προσδιορισμός της δομής των μοντέλων FP-VARMA πραγματοποιείται χάρη σε μια μεθοδολογία δύο σταδίων που βασίζεται στην Ανάλυση Κανονικοποιημένων Συσχετίσεων (Canonical Correlation Analysis; CCA) και κριτηρίων πληροφορίας, αποφεύγοντας έτσι την εκτεταμένη χρήση αλγορίθμων αναζήτησης. Η αποτίμηση της μοντελοποίησης με FP-VARMA, καθώς επίσης και η αποτελεσματικότητά τους έναντι των συμβατικών VARMA εξακριβώνεται μέσω προσομοιώσεων Monte Carlo. Το τέταρτο κεφάλαιο πραγματεύεται την ανίχνευση βλαβών σε συστήματα που παρουσιάζουν πολλαπλές συνθήκες λειτουργίας. Προτείνεται μια νέα μεθοδολογία που βασίζεται σε καινοτόμα μοντέλα Συναρτησιακής Σώρευσης και στον στατιστικό έλεγχο υποθέσεων. Παρουσιάζονται δυο εκδόσεις της μεθοδολογίας: η πρώτη βασίζεται στα μορφικά χαρακτηριστικά του μοντέλου ενώ η δεύτερη στις παραμέτρους του μοντέλου. Επιπλέον, χρησιμοποιούνται μέθοδοι συμπίεσης της πληροφορίας που περιέχουν τα μορφικά χαρακτηριστικά ή οι παράμετροι του μοντέλου μέσω της Ανάλυσης Κύριων Συνιστωσών (Principal Component Analysis; PCA) σε μια προσπάθεια απλοποίησης της διαδικασίας ανίχνευσης βλαβών. Η αποτελεσματικότητα της μεθοδολογίας επαληθεύεται πειραματικά σε μια "ευφυή" δοκό από σύνθετο υλικό, η οποία ταλαντώνεται σε διαφορετικές θερμοκρασίες. Στην παρούσα μορφή της η μεθοδολογία χρησιμοποιεί δεδομένα απόκρισης ταλάντωσης, ωστόσο δεδομένα διέγερσης-απόκρισης μπορούν να χρησιμοποιηθούν εφόσον κριθεί σκόπιμο. Η εξάρτηση των δυναμικών χαρακτηριστικών της δοκού με την θερμοκρασία περιγράφεται με τη χρήση μοντέλων FP-VAR, ενώ εισάγεται μια νέα μέθοδος καθορισμού της δομής του μοντέλου που αποφεύγει την χρήση αλγορίθμων αναζήτησης. Πλήθος πειραμάτων που καλύπτουν ένα ευρύ θερμοκρασιακό πεδίο, καθώς και συγκρίσεις με άλλες μεθοδολογίες ανίχνευσης βλαβών, πιστοποιούν την ικανότητα της προτεινόμενης μεθοδολογίας να διαγνώσει την κατάσταση της δοκού σε διάφορες θερμοκρασίες. Το πέμπτο κεφάλαιο ασχολείται με ειδικά θέματα μοντελοποίησης των "γενικευμένων" VARX . Ιδιαίτερη προσοχή δίνεται στην μελέτη Σωρευμένων VARX (P-VARX) και CCP-VARX μοντέλων. Σε αντιστοιχία με τα μοντέλα FP, αναπτύσσονται εκτιμήτριες LS και ML, ενώ στην συνέχεια μελετώνται οι ιδιότητές τους. Επιπλέον, καθορίζονται οι συνθήκες που εξασφαλίζουν την αναγνωρισιμότητα των μοντέλων P-VARX και CCP-VARX. Μελετώνται επίσης και οι σχέσεις που συνδέουν τις δομές των μοντέλων P-VARX και CCP-VARX με τα FP-VARX ως προς την παραμετροποίησή τους και την ακρίβεια που επιτυγχάνουν. Επιπλέον, μελετάται και η σχέση των παραπάνω μοντέλων με τα συμβατικά VARX. Η αποτίμηση των γενικευμένων μοντέλων VARX αναφορικά με το πλήθος των εκτιμώμενων παραμέτρων και την ακρίβεια που επιτυγχάνουν εξακριβώνεται μέσω προσομοιώσεων Monte Carlo.