On ne peut pas reproduire l'expérience d'une épidémie à l'échelle d'un pays ou d'une région. Or, en l'absence d'expérience reproductible, la notion usuelle de « validation » de modèle qui consiste à tester si le modèle A* d'un système A permet de reproduire le comportement de A, n'a aucun sens statistique.Marvin Minsky donne la définition suivante de ce qu'est un modèle: Pour un observateur B, un objet A* est un modèle d'un objet A s'il permet à B de répondre à une question qu'il se pose sur A. Nous appelons triade de Minsky, l'ensemble des trois objets A, B et A*. Nous proposons d'utiliser la Théorie de la Modélisation et de la Simulation (TMS) pour modéliser et simuler la triade de Minsky. Cela nous permet de modéliser la triade vue comme un système dynamique composée des objets A, B et A*. Nous pouvons ainsi nous interroger sur l'utilisation d'un modèle A* par un utilisateur B et sur l'impact que cette utilisation a sur la trajectoire du système A.Nous appliquons ce cadre à une triade de Minsky empruntée à notre contexte d'étude. Il s'agit d'un cas d'école où une épidémie (l'objet A) est observée et contrôlée par un système de surveillance et de contrôle (l'observateur B) et où un modèle épidémiologique (A*) est utilisé pour évaluer les mesures de contrôle. / The spread of a disease at national or international scale isn't a reproducible experiment. If experiment is not reproducible, the usual concept of model validation has no statistical meaning because it would involve the comparison between model behaviour and system behaviour.We use Marvin Minsky's definition of model: « to an observer B, an object A* is a model of an object A to the extent that B can use A* to answer questions that interest him about A ». The tree objects A, B and A* are the triad of Minsky. We propose to use the Theory of Modelling and Simulation (TMS) to model and simulate the triad seen as a dynamic system composed of the objects A, B and A*. We hence can answer questions about the use of A* and the impact it has on A.We apply this framework to a triad of Minsky in epidemiological surveillance in animal health. An epidemics (object A) is observed and controlled by a surveillance system and a control system (observer B) and an epidemiological model (model A*) is used to evaluate the control measures.

L’évaluation de performance de modèles est une étape fondamentale de leur développement et amélioration. Le travail de recherche présenté dans ce manuscrit est consacré l’évaluation des modèles de propagation des incendies des forêts. Une revue des travaux a montré que si de nombreux éléments étaient disponibles, aucune solution normalisée et automatisable était proposée dans ce champ applicatif. Une solution à ce problème est proposée en déclinant une approche formelle développée dans le cadre de la théorie de la modélisation et simulation. Cette étape a permis de déterminer conceptuellement quels composants devaient être développés et comment les interconnecter.La réalisation de ce cadre a requis premièrement la normalisation de données disponibles pour les incendies de forêts, aucun standard de fichier ou même nomenclature n’étant disponible et/ou utilisé par les modélisateurs ou ingénieurs (observations ou simulation). Un ensemble de nom, notation et format d’encodage des données dans un conteneur NetCDF a pour cela été proposée. Une seconde étape a consisté à déterminer les métriques nécessaires à quantifier les erreurs de simulation (score de simulation). Si quatre méthodes standard ont pu être identifiées dans la littérature, nous avons pu montrer qu’elles se limitaient à la comparaison à un instant donné, ne pouvant donc rendre compte de la performance de la dynamique d’une simulation incendie. Cette problématique a été traitée en proposant deux nouvelles méthodes de calcul de score spécifiques. Ces différentes méthodes d’évaluations ont étés implantées au sein d’une bibliothèque de calcul. Enfin la réalisation d’une évaluation de modèles a été réalisée à l’aide d’une implantation du cadre définit précédemment. Cette évaluation a consisté à confronter quatre formulations de modèles de vitesse de front de flammes effectué sur 80 simulations d’incendies réels de manière complètement automatique. L’automatisation, et le non ajustement de paramètres, a ainsi permis de se rapprocher au plus près du contexte opérationnel où peu d’information locale est disponible, peu de temps après l’alerte de l’éclosion d’un incendie. Les résultats ont démontrés que cette approche est de nature à laisser apparaître une hiérarchie des performances de paramétrisations ou formulation relativement à une autre, sans toutefois être en mesure de donner une mesure absolue et objective de l’erreur modèle. / Performance evaluation of models is a fundamental step towards an efficient development and improvement. The research work presented in this manuscript is devoted to the evaluation of forest fire simulation models. Review of current work showed that if many elements were available, there were not any standardized and automated solutions proposed in this field. A solution for this problem is thus proposed, built upon a formal approach from the theory of modelling and simulation. This formal framework allowed to identify conceptually which components should be developed and how they would be interconnected.Realization of this frame required to start with a normalization of available wildfires data, as no standardized file or even nomenclature were available and/or used by all modellers and engineers (observations or simulation). A set of standard notation and name as well as a standard encoding data format in a scientific container NetCDF is proposed along with associated software.A second step is devoted to the identification of the scoring methods required to quantify the simulation error. If four standard methods have been defined in the literature, we have shown that these methods were limited for the comparison at specific time, not reporting clearly the performance of the simulation dynamics. This issue has been solved by proposing two new specific score calculation. These different evaluations methods are implanted in an open source computation library.Eventually, the realization of models evaluation was performed using an implementation of the proposed experimental frame. This evaluation consisted to confront four formulations of flame front velocity models on 80 real wildfire simulations in a fully automatic way. Because it was automatic, it implied that no parameters adjustments could be performed by an operator after the fire was observed; being more representative of an operational context with little information available immediately after a fire has been reported.The results have shown that this approach, while unable to provide an absolute measure of the model error is capable to reveal a hierarchy of performances between parameterizations or formulations.

La modélisation informatique et la simulation sont des activités de plus en plus répandues lors de la conception de systèmes complexes et critiques tels que ceux embarqués dans les avions. Une proposition pour la conception et réalisation d'abstractions compatibles avec les objectifs de simulation est présentée basés sur la théorie de l'informatique, le contrôle et le système des concepts d'ingénierie. Il adresse deux problèmes fondamentaux de fidélité dans la simulation, c'est-à-dire, pour une spécification du système et quelques propriétés d'intérêt, comment extraire des abstractions pour définir une architecture de produit de simulation et jusqu'où quel point le comportement du modèle de simulation représente la spécification du système. Une notion générale de cette fidélité de la simulation, tant architecturale et comportementale, est expliquée dans les notions du cadre expérimental et discuté dans le contexte des abstractions de modélisation et des relations d'inclusion. Une approche semi-formelle basée sur l'ontologie pour construire et définir l'architecture de produit de simulation est proposée et démontrée sur une étude d'échelle industrielle. Une approche formelle basée sur le jeu théorique et méthode formelle est proposée pour différentes classes de modèles des systèmes et des simulations avec un développement d'outils de prototype et cas des études. Les problèmes dans la recherche et implémentation de ce cadre de fidélité sont discutées particulièrement dans un contexte industriel. / In using Modeling and Simulation for the system Verification & Validation activities, often the difficulty is finding and implementing consistent abstractions to model the system being simulated with respect to the simulation requirements. A proposition for the unified design and implementation of modeling abstractions consistent with the simulation objectives based on the computer science, control and system engineering concepts is presented. It addresses two fundamental problems of fidelity in simulation, namely, for a given system specification and some properties of interest, how to extract modeling abstractions to define a simulation product architecture and how far does the behaviour of the simulation model represents the system specification. A general notion of this simulation fidelity, both architectural and behavioural, in system verification and validation is explained in the established notions of the experimental frame and discussed in the context of modeling abstractions and inclusion relations. A semi-formal ontology based domain model approach to build and define the simulation product architecture is proposed with a real industrial scale study. A formal approach based on game theoretic quantitative system refinement notions is proposed for different class of system and simulation models with a prototype tool development and case studies. Challenges in research and implementation of this formal and semi-formal fidelity framework especially in an industrial context are discussed.