En reconnaissance automatique de la parole, les mesures de confiance tentent d'estimer la confiance qu'on peut accorder au résultat (phonème, mot, phrase) fourni par le moteur de reconnaissance. Dans cette thèse nous proposons des mesures de confiance capables de faire cette estimation dans le cas d'applications nécessitant une reconnaissance grand vocabulaire en flux continu. Nous avons défini deux types de mesure de confiance. Les premières, fondées sur des rapports de vraisemblance, sont des mesures trame-synchrones qui peuvent être calculées au fur et à mesure de la progression du moteur de reconnaissance au sein de la phrase à reconnaître. Les secondes, fondées sur une estimation de la probabilité a posteriori limitée à un voisinage local du mot considéré, nécessitent seulement un court délai avant de pouvoir être calculées. Ces mesures ont été évaluées et comparées à une mesure de l'état de l'art également fondée sur la probabilité a posteriori mais nécessitant la reconnaissance de toute la phrase. Cette évaluation a été faite d'une part dans une tâche de transcription automatique d'un corpus réel d'émissions radiophoniques et en utilisant le critère d'évaluation EER (Equal Error Rate) ; d'autre part dans une tâche de détection de mots clés sur le même corpus. Des performances très proches de celles de la mesure de l'état de l'art ont été obtenues par nos mesures locales avec un délai de moins d'une seconde. Nous avons également intégré l'une de nos mesures trame-synchrones dans le processus de décodage du moteur de reconnaissance afin d'améliorer la solution proposée par le système et ainsi diminuer le taux d'erreur en mots d'environ 6% en relatif. / In automatic speech recognition, confidence measures aim at estimating the confidence we can give to a result (phone, word, sentence) provided by the speech recognition engine. In this thesis, we propose several confidence measures which are able to provide this estimation for applications using large vocabulary and on-the-fly recognition, as keyword indexation, broadcast news transcription, and live teaching class transcription for hard of hearing childs. We have defined two types of confidence measures. The first, based on likelihood ratio, are frame-synchronous measures which can be computed simultaneously with the recognition process of the sentence. The second ones are based on an estimation of the posterior probability limited to a local neighborhood of the considered word, and need only a short delay before being computed on the sub word graph extracted from the recognition process. These measures were assessed and compared to a state-of-the-art one, which is also based on posterior probability but which requires the recognition of the whole sentence. Two evaluations were performed on a real broadcast news corpus. The first one used the Equal Error Rate criterion in an automatic transcription task. The second evaluation was performed in a keyword spotting task. We achieved performance close to our reference measure with our local measures and a delay of less than one second. We also integrated one of our frame-synchronous measures in the decoding process of the recognition engine in order to improve the solution provided by the system and then to decrease the word error rate. We achieved to decrease the word error rate of around 1%.

Le traitement automatique des documents écrits est un domaine très actif dans le monde industriel. En effet, devant la masse de documents écrits à traiter, l'analyse automatique devient une nécessité mais les performances des systèmes actuels sont très variables en fonction des types de documents traités. Par exemple, le traitement des documents manuscrits non contraints reste une problématique non encore résolue à ce jour car il existe toujours deux verrous technologiques qui freinent la mise en place de systèmes fiables de traitement automatique des documents manuscrits : - la première concerne la reconnaissance des écritures manuscrites ; - la seconde est liée à l'existence d'une grande variabilité de structures de documents. Cette thèse porte sur la résolution de ce deuxième verrou dans le cas de documents manuscrits non contraints. Pour cela, nous avons développé des méthodes fiables et robustes d'analyse de structures de documents basées sur l'utilisation de Champs Aléatoires Conditionnels. Le choix des Champs Aléatoires Conditionnels est motivé par la capacité de ces modèles graphiques à prendre en compte les relations entre les différentes entités du document (mots, phrases, blocs, ...) et à intégrer des connaissances contextuelles. De plus, l'utilisation d'une modélisation probabiliste douée d'apprentissage permet de s'affranchir de la variabilité inhérente des documents à traiter. L'originalité de la thèse porte également sur la proposition d'une approche hiérarchique permettant l'extraction conjointe des structures physique (segmentation du document en blocs, lignes, ...) et logique (interprétation fonctionnelle de la structure physique) en combinant des caractéristiques physiques de bas niveau (position, représentation graphique, ...) et logiques de haut niveau (détection de mots clés). Les expérimentations effectuées sur des courriers manuscrits montrent que le modèle proposé représente une solution intéressante de par son caractère discriminant et sa capacité naturelle à intégrer et à contextualiser des caractéristiques de différentes natures.

Cette thèse aborde les problèmes de variabilité et confusabilité phonémique du point de vue des modèles de prononciation pour un système de reconnaissance automatique de la parole. En particulier, plusieurs directions de recherche sont étudiées. Premièrement, on développe des méthodes de conversion automatique de graphème-phonème et de phonème-phonème. Ces méthodes engendrent des variantes de prononciation pour les mots du vocabulaire, ainsi que des prononciations et des variantes de prononciation, pour des mots hors-vocabulaire. Cependant, ajouter plusieurs prononciations par mot au vocabulaire peut introduire des homophones (ou quasi-homophones) et provoquer une augmentation de la confusabilité du système. Une nouvelle mesure de cette confusabilité est proposée pour analyser et étudier sa relation avec la performance d’un système de reconnaissance de la parole. Cette “confusabilité de prononciation” est plus élevée si des probabilités pour les prononciations ne sont pas fournies et elle peut potentiellement dégrader sérieusement la performance d’un système de reconnaissance de la parole. Il convient, par conséquent, qu’elle soit prise en compte lors de la génération de prononciations. On étudie donc des approches d’entraînement discriminant pour entraîner les poids d’un modèle de confusion phonémique qui autorise différentes facons de prononcer un mot tout en contrôlant le problème de confusabilité phonémique. La fonction objectif à optimiser est choisie afin de correspondre à la mesure de performance de chaque tâche particulière. Dans cette thèse, deux tâches sont étudiées: la tâche de reconnaissance automatique de la parole et la tâche de détection de mots-clés. Pour la reconnaissance automatique de la parole, une fonction objectif qui minimise le taux d’erreur au niveau des phonèmes est adoptée. Pour les expériences menées sur la détection de mots-clés, le “Figure of Merit” (FOM), une mesure de performance de la détection de mots-clés, est directement optimisée. / This thesis addresses the problems of phonemic variability and confusability from the pronunciation modeling perspective for an automatic speech recognition (ASR) system. In particular, several research directions are investigated. First, automatic grapheme-to- phoneme (g2p) and phoneme-to-phoneme (p2p) converters are developed that generate alternative pronunciations for in-vocabulary as well as out-of-vocabulary (OOV) terms. Since the addition of alternative pronunciation may introduce homophones (or close homophones), there is an increase of the confusability of the system. A novel measure of this confusability is proposed to analyze it and study its relation with the ASR performance. This pronunciation confusability is higher if pronunciation probabilities are not provided and can potentially severely degrade the ASR performance. It should, thus, be taken into account during pronunciation generation. Discriminative training approaches are, then, investigated to train the weights of a phoneme confusion model that allows alternative ways of pronouncing a term counterbalancing the phonemic confusability problem. The objective function to optimize is chosen to correspond to the performance measure of the particular task. In this thesis, two tasks are investigated, the ASR task and the KeywordSpotting (KWS) task. For ASR, an objective that minimizes the phoneme error rate is adopted. For experiments conducted on KWS, the Figure of Merit (FOM), a KWS performance measure, is directly maximized.

La reconnaissance automatique de la parole suscite actuellement un grand intérêt. En particulier, la détection de mots clés qui constitue une branche importante de l'interaction homme-machine vu le besoin de communiquer avec nos machines d'une façon naturelle et directe en utilisant la parole spontanée. Cette technique consiste à détecter dans une phrase prononcée, les mots clés caractérisant l'application et de rejeter les mots hors-vocabulaire ainsi que les hésitations, les faux départs etc.<br />Le travail que nous présentons dans ce manuscrit s'inscrit dans le cadre de la détection de mots clés dans un flux de parole. Tout d'abord, nous proposons de nouveaux modèles ``poubelles'' fondés sur la modélisation des mots hors-vocabulaire. Puis nous introduisons la reconnaissance à base de boucle de phonèmes, dans laquelle nous appliquons différentes fonctions de récompense favorisant la reconnaissance des mots clés.<br />Ensuite nous proposons l'utilisation des mesures de confiance afin de pouvoir prendre la décision de rejeter ou d'accepter un mot clé hypothèse. Les différentes mesures de confiance proposées sont basées sur la probabilité d'observation acoustique locale. En premier lieu, nous utilisons les moyennes arithmétique, géométrique et harmonique comme mesures de confiance pour chaque mot clé. En second lieu, nous proposons de calculer la mesure de confiance en se basant sur la méthode à base de boucle de phonèmes. <br />Enfin nous présentons le problème de détection comme un problème de classification où chaque mot clé peut appartenir à deux classes différentes, à savoir ``correct'' et ``incorrect''. Cette classification est réalisée en utilisant des Support Vector Machines (SVM) qui constituent une nouvelle technique d'apprentissage statistique. Chaque mot clé reconnu est représenté par un vecteur caractéristique qui constitue l'entrée du classifieur SVM. Pour déterminer ce vecteur, nous utilisons la probabilité d'observation acoustique locale et nous introduisons ensuite la durée de chaque état. Afin d'améliorer les performances, nous proposons des approches hybrides combinant les modèles poubelles avec mesure de confiance et mesure de confiance avec SVM.<br />Pour tester les performances de l'ensemble de ces modèles nous utilisons la base de données française SPEECHDAT. L'évaluation de tous les résultats a été réalisée en se basant sur les courbes ROC et les courbes rappel/précision. Les meilleurs résultats ont été obtenus par les méthodes basées sur l'utilisation des SVM. Les méthodes hybrides nous ont permis aussi de réaliser de bonnes performances.

En reconnaissance automatique de la parole, les mesures de confiance tentent d'estimer la confiance qu'on peut accorder au résultat (phonème, mot, phrase) fourni par le moteur de reconnaissance ; l'apport de la mesure de confiance permettant par exemple de mettre en évidence les mots mal reconnus ou hors vocabulaire.<br />Dans cette thèse nous proposons des mesures de confiance capables de faire cette estimation dans le cas d'applications nécessitant une reconnaissance "grand vocabulaire" en flux continu comme l'indexation en mots clés ou la transcription en ligne d'émissions radiophoniques et télévisuelles, ou bien encore la transcription du cours d'un enseignant dans une salle de classe pour des élèves malentendants.<br />Dans ce cadre, nous avons défini deux types de mesure de confiance. Les premières, fondées sur des rapports de vraisemblance, sont des mesures trame-synchrones qui peuvent être calculées au fur et à mesure de la progression du moteur de reconnaissance au sein de la phrase à reconnaître. Les secondes, fondées sur une estimation de la probabilité a posteriori limitée à un voisinage local du mot considéré, nécessitent seulement un court délai avant de pouvoir être calculées.<br />Ces mesures ont été évaluées et comparées à une mesure de l'état de l'art également fondée sur la probabilité a posteriori mais nécessitant la reconnaissance de toute la phrase. Cette évaluation a été faite d'une part dans une tâche de transcription automatique d'un corpus réel d'émissions radiophoniques issu de la campagne ESTER et en utilisant le critère d'évaluation EER (Equal Error Rate) ; d'autre part dans une tâche de détection de mots clés sur le même corpus. Des performances très proches de celles de la mesure de l'état de l'art ont été obtenues par nos mesures locales avec un délai de moins d'une seconde.<br />Nous avons également intégré l'une de nos mesures trame-synchrones dans le processus de décodage du moteur de reconnaissance afin d'améliorer la solution proposée par le système et ainsi diminuer le taux d'erreur en mots d'environ 6% en relatif.<br />Enfin, une de nos mesures de confiance a permis par la mise en valeur de mots de faible confiance d'améliorer la compréhension de malentendants.