L'objectif de cette étude est de proposer une approche générale d'évaluation de la validité d'une Modélisation et Simulation (M&S) utilisée dans le cadre du développement des systèmes embarqués. Cette approche s'inscrit dans une démarche visant à améliorer la confiance en l'utilisation d'une simulation dont les résultats sont souvent remis en cause sans justification cohérente. Le cadre d'application de l'étude est l'ensemble des produits de simulation d'Airbus. Au regard d'un objectif de validation d'un système, une simulation doit être la plus proche possible du système qu'elle représente. Dans le cycle de développement d'un avion, les simulations doivent être disponibles avant les systèmes eux-mêmes. Si le niveau de validité est trop faible les résultats nécessaires à l'expérience ne peuvent être atteints. Si le niveau de validité est trop élevé, du temps de travail de modélisation et de calcul est inutilement dépensé. Nous avons assimilé le problème de niveau de validité à une hiérarchie d'abstraction de modèles. Nous proposons un modèle de description des propriétés d'abstractions qui permet de parler strictement des mêmes choses lorsque le terme de "validité" est évoqué et d'évaluer la compatibilité entre un niveau de validité attendu par l'expérience et un niveau de validité fourni par le produit de simulation. Puis, nous avons établi des règles formelles de mise en correspondance d'un objectif d'utilisation et du domaine d'usage d'un modèle. Le problème de la mise en correspondance est fondé sur le principe qu'un objectif d'utilisation et un domaine d'usage d'une simulation sont deux composants, au sens formel du terme. Nous avons adapté les techniques de l'ingénierie basée composants, pour enrichir, par des techniques itératives, nos deux composants. Enfin nous avons proposé une méthodologie permettant d'intégrer nos concepts formels au processus d'Ingénierie Systèmes. Nous illustrons cette démarche sur un système de communication avionique.

L’évaluation de performance de modèles est une étape fondamentale de leur développement et amélioration. Le travail de recherche présenté dans ce manuscrit est consacré l’évaluation des modèles de propagation des incendies des forêts. Une revue des travaux a montré que si de nombreux éléments étaient disponibles, aucune solution normalisée et automatisable était proposée dans ce champ applicatif. Une solution à ce problème est proposée en déclinant une approche formelle développée dans le cadre de la théorie de la modélisation et simulation. Cette étape a permis de déterminer conceptuellement quels composants devaient être développés et comment les interconnecter.La réalisation de ce cadre a requis premièrement la normalisation de données disponibles pour les incendies de forêts, aucun standard de fichier ou même nomenclature n’étant disponible et/ou utilisé par les modélisateurs ou ingénieurs (observations ou simulation). Un ensemble de nom, notation et format d’encodage des données dans un conteneur NetCDF a pour cela été proposée. Une seconde étape a consisté à déterminer les métriques nécessaires à quantifier les erreurs de simulation (score de simulation). Si quatre méthodes standard ont pu être identifiées dans la littérature, nous avons pu montrer qu’elles se limitaient à la comparaison à un instant donné, ne pouvant donc rendre compte de la performance de la dynamique d’une simulation incendie. Cette problématique a été traitée en proposant deux nouvelles méthodes de calcul de score spécifiques. Ces différentes méthodes d’évaluations ont étés implantées au sein d’une bibliothèque de calcul. Enfin la réalisation d’une évaluation de modèles a été réalisée à l’aide d’une implantation du cadre définit précédemment. Cette évaluation a consisté à confronter quatre formulations de modèles de vitesse de front de flammes effectué sur 80 simulations d’incendies réels de manière complètement automatique. L’automatisation, et le non ajustement de paramètres, a ainsi permis de se rapprocher au plus près du contexte opérationnel où peu d’information locale est disponible, peu de temps après l’alerte de l’éclosion d’un incendie. Les résultats ont démontrés que cette approche est de nature à laisser apparaître une hiérarchie des performances de paramétrisations ou formulation relativement à une autre, sans toutefois être en mesure de donner une mesure absolue et objective de l’erreur modèle. / Performance evaluation of models is a fundamental step towards an efficient development and improvement. The research work presented in this manuscript is devoted to the evaluation of forest fire simulation models. Review of current work showed that if many elements were available, there were not any standardized and automated solutions proposed in this field. A solution for this problem is thus proposed, built upon a formal approach from the theory of modelling and simulation. This formal framework allowed to identify conceptually which components should be developed and how they would be interconnected.Realization of this frame required to start with a normalization of available wildfires data, as no standardized file or even nomenclature were available and/or used by all modellers and engineers (observations or simulation). A set of standard notation and name as well as a standard encoding data format in a scientific container NetCDF is proposed along with associated software.A second step is devoted to the identification of the scoring methods required to quantify the simulation error. If four standard methods have been defined in the literature, we have shown that these methods were limited for the comparison at specific time, not reporting clearly the performance of the simulation dynamics. This issue has been solved by proposing two new specific score calculation. These different evaluations methods are implanted in an open source computation library.Eventually, the realization of models evaluation was performed using an implementation of the proposed experimental frame. This evaluation consisted to confront four formulations of flame front velocity models on 80 real wildfire simulations in a fully automatic way. Because it was automatic, it implied that no parameters adjustments could be performed by an operator after the fire was observed; being more representative of an operational context with little information available immediately after a fire has been reported.The results have shown that this approach, while unable to provide an absolute measure of the model error is capable to reveal a hierarchy of performances between parameterizations or formulations.