Lors d'évaluations holistiques pancanadiennes de l'écriture, il existe une situation de bilinguisme où les différences inhérentes aux deux langues écrites se doivent d'être considérées lors de l'interprétation des résultats des évaluations. Ainsi, le but de cette recherche consiste à identifier des éléments qui permettraient de confirmer ou d'infirmer la légitimité des inférences faites à partir des comparaisons entre les scores d'élèves anglophones et francophones. À cet effet, plusieurs questions de recherche se répartissant en deux volets traitent respectivement et de façon inédite, (1) des liens entre les scores analytiques, orthographiques et holistiques et (2) de la validité des inférences provenant des comparaisons interlangues des résultats obtenus dans le contexte pancanadien. Plus de 3000 productions écrites par des filles et des garçons âgés de 13 et 16 ans étudiant dans différentes régions du Canada ont permis de donner suite à cette quête d'évidences empiriques de validité. Les résultats rapportent des corrélations positives entre les scores holistiques et analytiques ainsi que des corrélations négatives entre les scores holistiques et le nombre de fautes d'orthographe. Les résultats permettent également de dresser une liste d'évidences qui confirment qu'un score holistique ne représente pas les mêmes compétences d'une langue à l'autre et, par conséquent, que les inférences issues de la comparaison des scores holistiques interlangues en écriture manquent de validité. En plus d'informer les instances ministérielles et gouvernementales sur la validité des comparaisons entre des scores holistiques et de cerner la qualité des inférences faites à partir des scores, cette recherche permet d'identifier quelques différences en écriture entre francophones et anglophones et d'examiner sous un nouvel angle la pertinence des scores holistiques rendus par les juges. De plus, quelques recommandations émises à l'attention des responsables des évaluations visent à mieux les outiller lors de la préparation et de la réalisation des prochaines évaluations. Finalement, des suggestions constructives pavent la voie à des recherches futures dont certaines pourraient investiguer la mesure des compétences en écriture, la représentativité des scores et la validité des interprétations.