Le paradigme SIMDIAL propose d'évaluer les Systèmes de Dialogue Homme-Machine (SDHM) en simulant des utilisateurs. Ces utilisateurs simulés rendent possible l'observation des comportements des systèmes évalués en prennent dynamiquement part à des dialogues avec ces derniers. Le simulateur d'utilisateurs interagit avec les SDHM évalués au niveau du langage naturel afin d'être le plus générique possible par rapport à eux. Les critères d'évaluation utilisés dans le paradigme SIMDIAL sont la résolution des tâches par les systèmes évalués ainsi que le nombre de tours de parole pour mener à bien cette résolution. Par ailleurs les comportements des utilisateurs simulés varient en fonction de plusieurs paramètres, comme leur stratégie directive ou non, le nombre d'informations qu'ils fournissent par tour de parole, ou encore des phénomènes perturbateurs tels que les hésitations ou les ambiguïtés. Ces paramètres offrent des capacités de diagnostic des SDHM évalués sur les différents omportements générés. Les résultats obtenus face deux SDHM valident le paradigme SIMDIAL et ont notamment permis d'apprécier des différences d'efficacité entre les différentes stratégies de l'utilisateur simulé pour chacun des systèmes évalués, ainsi que leur résistance aux phénomènes perturbateurs générés par le simulateur.