L'émergence de l'informatique nomade a rendu indispensable l'utilisation des interfaces orientées stylo sur des petits périphériques mobiles disposant de ressources limitées : l'utilisateur écrit et dessine directement des textes, des croquis, des commandes, etc. sur l'écran tactile du système. Pour permettre une mise en oeuvre conviviale et efficace de ces nouvelles modalités de communication, il est nécessaire de concevoir des moteurs de reconnaissance robustes et performants pour interpréter l'écriture manuscrite et les tracés graphiques. L'objectif de ces travaux est donc d'améliorer les performances des systèmes de reconnaissance existants en étudiant deux axes de recherches, le rejet et l'adaptation. Le premier axe de recherche, le rejet, permet de décider si la réponse du classifieur peut être considérée comme pertinente ou non. Pour cela il s'agit de délimiter le domaine de validité des connaissances du classifieur. Nous définissons différentes notions de rejet qui représentent différents cas d'utilisation du rejet : - le rejet de distance : la forme à reconnaître ne correspond pas du tout à une forme que le classifieur a appris à reconnaître, la réponse du classifieur ne peut donc être pertinente et il faut la rejeter ; - le rejet d'ambiguïté : la forme peut appartenir à deux classes distinctes, le classifieur ne peut pas prendre de décision sûre, il faut donc rejeter la forme. Pour mettre en oeuvre ces rejets, nous définissons une option générique de rejet utilisant la notion de fonctions de confiance qui permet, grâce à des seuils, de décider du rejet. Nous proposons un algorithme générique nommé AMTL pour fixer ces seuils avec ou sans contre-exemples disponibles. Nous démontrons les capacités de généralisation de notre approche en la comparant avec les solutions plus classiques. Notre approche est particulièrement efficace dans un contexte de ressources limitées. Le principe du second axe de recherche, l'adaptation, est de spécialiser automatiquement un système de reconnaissance de caractères conçu pour reconnaître l'écriture de n'importe quel utilisateur (système omni-scripteur) en un système spécialisé dans la reconnaissance de l'écriture d'une seule personne (système mono-scripteur), l'utilisateur principal du périphérique mobile. Cette adaptation se fait à la volée, c'est-à-dire au fur et à mesure de l'utilisation du système par le scripteur. Nous proposons une approche nommée ADAPT permettant de réaliser cette adaptation sur les systèmes d'inférence floue. Les prototypes flous du système sont déplacés, déformés et crées à la volée en tenant compte de tous les paramètres du classifieur. Pour améliorer encore l'efficacité de l'adaptation, nous proposons d'augmenter la quantité de données disponibles lors de l'adaptation pour éviter à l'utilisateur de saisir plusieurs dizaines de fois chaque caractère. Pour cela nous synthétisons de nouveaux caractères à partir de ceux déjà entrés par l'utilisateur en considérant les propriétés particulières de l'écriture manuscrite. Pour valider nos approches, nous proposons une série d'expérimentations dans différents contextes, depuis des conditions expérimentales idéales jusqu'à une utilisation en conditions réelles sur un périphérique mobile.

Les interfaces de saisie et de reconnaissance automatique d'écriture manuscrite sur Pocket PC, bien que témoignant de performances théoriques élevées (McKenzie, 2002), ne sont pourtant pas jugés utilisables, et donc, acceptables, par leurs utilisateurs qui leur préfèrent le clavier virtuel (Ortelli, 2003, Költringer & Grechenig, 2004). Notre travail vise à comprendre ce problème d'acceptabilité, et s'articule autour de deux axes. Le premier consiste à améliorer la machine (ergonomie) tandis que le second consiste à comprendre l'utilisateur (efficience mentale et attitudes). Nous proposons tout d'abord une série de deux expériences et un test utilisateur dont le but est d'améliorer l'ergonomie d'une interface de saisie et de reconnaissance d'écriture manuscrite (DIGIME, développée en partenariat avec l'IRISA, Institut de Recherche en Informatique et Systèmes aléatoires), et ce afin d'en améliorer l'utilisabilité. Pour ce faire, nous mettons à contribution les modèles de la charge cognitive (Sweller, 1991), du format de présentation des illustrations (Mayer, 2001), ainsi que des critères ergonomiques (Bastien & Scapin, 2001). Les améliorations obtenues au niveau de l'ergonomie (expé 1) et du didacticiel (expé 2) ne s'avèrent pas suffisantes pour concurrencer les méthodes de saisies alternatives (expé 3). Par conséquent, dans un second temps, nous mettons en place trois autres expériences (dont un test de perception) qui tentent de mettre en relation processus rédactionnels, charge mentale (Kellogg, 1996) et acceptabilité (Davis, 1989). Les résultats montrent que s'il est vain de prendre en compte les avis des participants sans leur performance (expé 4), l'efficience mentale de l'écriture ne permet pas d'envisager de prévoir l'acceptabilité de DIGIME, de même que tout autre jugement porté sur cette interface (expé 5 et 5 bis). Ce cycle itératif de conception nous permet néanmoins de conclure que le défaut d'utilisabilité des logiciels de reconnaissance d'écriture est dû à un problème d'apprenabilité. L'acceptabilité s'en ressent, principalement du fait de la concurrence des claviers virtuels dont le fonctionnement, calqué sur les claviers matériels, est connu du plus grand nombre

Les travaux présentés dans le cadre de cette thèse portent sur l'étude, la conception, le développement et le test d'un système de reconnaissance de structures manuscrites bidimensionnelles. Le système proposé se base sur une architecture globale qui considère le problème de reconnaissance en tant qu'optimisation simultanée de la segmentation, de la reconnaissance de symboles, et de l'interprétation. Le premier cadre d'applications a été celui d'un système de reconnaissance d'expressions mathématiques manuscrites. La difficulté du problème se situe aux trois niveaux évoqués. La segmentation est complexe du fait de la grande liberté de composition d'une expression, avec notamment la possibilité de symboles multi-traits non séquentiels ; la reconnaissance doit affronter un nombre élevé de classes et en particulier, gérer les situations de formes non-apprises ; l'interprétation peut-être ambiguë du fait du positionnement spatial approximatif. La solution proposée repose sur la minimisation d'une fonction de coût global qui met en compétition des coûts de reconnaissance et des coûts structurels pour explorer un vaste espace de solutions. Les résultats obtenus sont très compétitifs et prometteurs comparés à ceux de la littérature. Nous avons finalement montré la généricité de notre approche en l'adaptant à la reconnaissance d'un autre type de langage 2D, celui des représentations graphiques de type organigramme.

Nos travaux concernent la reconnaissance de l'écriture manuscrite qui est l'un des domaines de prédilection pour la reconnaissance des formes et les algorithmes d'apprentissage. Dans le domaine de l'écriture en-ligne, les applications concernent tous les dispositifs de saisie permettant à un usager de communiquer de façon transparente avec les systèmes d'information. Dans ce cadre, nos travaux apportent une contribution pour proposer une nouvelle architecture de reconnaissance de mots manuscrits sans contrainte de style. Celle-ci se situe dans la famille des approches hybrides locale/globale où le paradigme de la segmentation/reconnaissance va se trouver résolu par la complémentarité d'un système de reconnaissance de type discriminant agissant au niveau caractère et d'un système par approche modèle pour superviser le niveau global. Nos choix se sont portés sur des Séparateurs à Vastes Marges (SVM) pour le classifieur de caractères et sur des algorithmes de programmation dynamique, issus d'une modélisation par Modèles de Markov Cachés (HMM). Cette combinaison SVM/HMM est unique dans le domaine de la reconnaissance de l'écriture manuscrite. Des expérimentations ont été menées, d'abord dans un cadre de reconnaissance de caractères isolés puis sur la base IRONOFF de mots cursifs. Elles ont montré la supériorité des approches SVM par rapport aux solutions à bases de réseaux de neurones à convolutions (Time Delay Neural Network) que nous avions développées précédemment, et leur bon comportement en situation de reconnaissance de mots.

La lecture et l'écriture sont traditionnellement considérées comme deux objets d'études distincts par les Neurosciences Cognitives. Pourtant, ces deux habiletés sont étroitement mises en relation au cours de leur apprentissage initial. Dans ce travail, nous avons tenté de mettre en évidence des interactions perceptivo-motrices dans l'écrit, c'est à dire de montrer que lorsque nous reconnaissons les lettres qui forment les mots, nous nous référons implicitement aux mouvements que nous produirions pour écrire ces mêmes lettres. Pour cela, nous avons adopté deux approches.<br /> <br />La première a consisté à mesurer, par Imagerie par Résonance Magnétique fonctionnelle (IRMf), l'activité cérébrale de sujets adultes qui lisaient ou qui écrivaient des lettres ou des symboles graphiques inconnus. Nous avons observé qu'une zone corticale prémotrice qui est activée pendant l'écriture, l'est aussi pendant la lecture de lettres, alors que les sujets sont immobiles. Un certain nombre d'arguments nous ont permis d'avancer l'idée que cette zone spécifique serait impliquée dans la représentation des mouvements nécessaires à écrire chaque lettre.<br />La seconde a consisté en une étude comportementale en école maternelle, auprès d'enfants qui ne savaient pas encore lire et écrire (3-5 ans). Nous avons comparé, chez ces enfants, l'apprentissage traditionnel de la lecture/écriture et l'apprentissage avec un clavier, dans le but de mesurer l'effet de ces deux méthodes sur les capacités subséquentes de reconnaissance visuelle des lettres. Après l'apprentissage, les enfants qui avaient appris à la main discriminaient mieux les lettres de leurs images en miroir que ceux qui avaient appris au clavier. Cet avantage de l'écriture manuscrite n'apparaissait qu'après une semaine et uniquement chez les enfants les plus âgés. Ces données indiquent que les mouvements d'écriture participent à la mémorisation de l'orientation des lettres.<br /><br />L'ensemble de ces résultats, discutés dans le cadre de la théorie motrice de la perception, suggère un couplage fonctionnel entre les versants perceptif et productif du langage écrit. Parce que nous apprenons simultanément à lire et à former les lettres en les traçant, nos aptitudes à la lecture pourraient en partie dépendre de notre manière d'écrire.

L'utilisation de commandes gestuelles est une nouvelle méthode d'interaction sur interface tactile. Une bonne méthode pour faciliter la mémorisation de ces commandes gestuelles est de laisser l'utilisateur les personnaliser. Ce contexte applicatif induit une situation d'apprentissage croisé, où l'utilisateur doit mémoriser le jeu de symboles elle système doit apprendre à reconnaître les différents symboles. Cela implique un certain nombre de contraintes, à la fois sur le système de reconnaissance de symboles ct sur le système de supervision de son apprentissage. Il faut par exemple que le classifieur puisse apprendre à partir de peu de données, continuer à apprendre pendant son utilisation et suivre toute évolution des données indéfiniment. Le superviseur doit quant à lui optimiser la coopération entre l'utilisateur et le système de reconnaissance pour minimiser les interactions tout en maximisant l'apprentissage. Cette thèse présente d'une part, le système d'apprentissage évolutif Evolve oo, capable d'apprendre rapidement il partir de peu de données et de suivre les changements de concepts. D'autre part, elle introduit le superviseur actif en-ligne lntuiSup qui permet d'optimiser la coopération entre le système et l'utilisateur, lors de l'utilisation de commandes gestuelles personnalisées notamment Evolve oo est un système d'inférence floue, capable d'apprendre rapidement grâce aux capacités génératrices des prémisses des règles, tout en permettant d'obtenir une précision élevée grâce aux capacités discriminantes des conclusions d'ordre un. L'intégration d'oubli dans le processus d'apprentissage permet de maintenir le gain de l'apprentissage indéfiniment, permettant ainsi l'ajout de classes à n'importe quel moment de l'utilisation du système ct garantissant son évolutivité « à vie». Le superviseur actif en-ligne lntuiSup permet d'optimiser les interactions avec l'utilisateur pour entraîner un système d'apprentissage lorsque l'utilisateur est dans la boucle. Il permet de faire évoluer la proportion de données que l'utilisateur doit étiqueter en fonction de la difficulté du problème et de l'évolution de l'environnement (changements de concepts). L'utilisation d'une méthode de« dopage» de l'apprentissage permet d'optimiser la répartition de ces interactions avec l'utilisateur pour maximiser leur impact sur l'apprentissage. / Using gesture commands is a new way of interacting with touch sensitive interfaces. In order to facilitate user memorization of several commands, it is essential to let the user customize the gestures. This applicative context gives rise to a crosslearning situation, where the user has to memorize the set of commands and the system has to learn and recognize the different gestures. This situation implies several requirements, from the recognizer and from the system that supervizes its learning process. For instance, the recognizer has to be able to learn from few data samples, to keep learning during its use and to follow indefinitely any change of the data now. The supervisor has to optimize the cooperation between the recognizer and the system to minimize user interactions while maximizing recognizer learning. This thesis presents on the one hand the evolving recognition system Evolve oo, that is capable of fast teaming from few data samples, and that follows concept drifts. On the other hand, this thesis also presents the on line active supervisor lntuiSup, that optimizes user-system cooperation when the user is in the training loop, as during customized gesture command use for instance. The evolving classifier Evolve oo is a fuzzy inference system that is fast learning thanks to the generative capacity of rule premises, and at the same time giving high precision thanks to the discriminative capacity of first order rule conclusion. The use of forgetting in the learning process allows to maintain the learning gain indefinitely, enabling class adding at any stage of system learning, and guaranteeing lifelong evolving capacity. The on line active supervisor IntuiSup optimizes user interactions to train a classifier when the user is in the training loop. The proportion of data that is labeled by the user evolves to adapt to problem difficulty and to follow environment evolution (concept drift s). The use of a boosting method optimizes the timing of user interactions to maximize their impact on classifier learning process.

Malgré les avancées technologiques, l’écriture manuscrite continue d’être une habileté hautement sollicitée dans le cadre scolaire et constitue en partie les bases d’une intégration et d’une participation à une vie communautaire réussie. A ce jour, l’étude de l’écriture manuscrite chez des personnes porteuses de trisomie 21 (T21) reste un domaine peu abordé par la communauté scientifique. L’objectif de cette recherche est d’étudier les habiletés d’écriture chez des enfants et adultes T21 comparativement à la population typique de même âge de développement et âge chronologique. Une tâche de copie de texte et l’écriture de lettres isolées sur une tablette graphique mettent en évidence une similarité des capacités d’écriture entre le groupe T21 et le groupe d’enfants typiques de même âge de développement. Différents facteurs individuels influençant l’écriture sont également mis en évidence parmi la coordination de la motricité fine et le contrôle visuo-moteur dans la population T21. Enfin, la présentation de lettres selon différentes modalités induit une amélioration de la fluidité et de la trajectoire d’écriture lors d’une présentation visuelle du tracé et d’instructions verbales. L’ensemble des résultats va dans le sens de l’hypothèse d’un retard de développement ne mettant pas en évidence de déficit spécifique dans la population T21. Nos résultats suggèrent de s’intéresser à l’impact de rééducations ciblées sur la coordination motrice fine et l’intégration visuo-motrice et d’un entraînement visuel et verbal pour tenter d’améliorer la trace écrite ainsi que l’exécution des mouvements d’écriture chez les personnes T21. / Despite technological advances, handwriting continues to be a highly solicited skill in the school setting and constitutes, in part, the basis of successful integration and participation in community life. To this day, the study of handwriting in people with Down syndrome (DS) remains a field of study that is not well addressed by the scientific community. The objective of the current research is therefore to study writing skills in children and adults with DS compared to mental-age-matched and chronological-age-matched typically developing population. A task of copying text and writing single cursive letters on a graphics tablet reveal similar handwriting capacities between the DS group and the group of typical children of the same developmental age. Different individual factors influencing writing are also highlighted among fine motor skill and visuo-motor control in the DS population. Finally, letters presentation in different modalities shows evidence of improvement of letter writing in fluidity and trajectory through visualization of tracing and verbal instructions. Overall, the results are consistent with the hypothesis of a developmental delay and do not underline in the DS population. Our results encourage further investigation into the impact of tasks that lend themselves to fine motor skill and visuo-motor control and also training on the trajectory of writing with the aid of visual and verbal cues in order to attempt to improvement of quality and speed of writing as well as movement execution involved in writing in persons with DS.

Notre démarche repose sur le constat que de plus en plus d'enfants sont en difficulté d'écriture. Elle vise à proposer une base de réflexion sur laquelle pourrait s'appuyer un enseignement structuré de l'écriture. Notre recherche porte sur l'écriture des lettres minuscules cursives manuscrites latines en usage dans les écoles françaises. Nous avons fait l'hypothèse que cette écriture, produit de l'école française, constitue un système dont nous pouvons désigner les éléments et définir le fonctionnement. Cette hypothèse ouvre sur la perspective que la prise en compte de ce système pourrait être une aide à l'apprentissage de l'écriture. Notre choix est conforté par les résultats des neurosciences qui montrent qu'écrire à la main serait une aide à l'apprentissage de la lecture. A partir de l'analyse de commentaires sur la lisibilité d'un corpus d'écritures manuscrites, nous montrerons comment est construit ce système et quelles relations hiérarchiques et fonctionnelles ses éléments entretiennent entre eux. Nous y verrons que le cœur du système s'organiserait en deux unités minimales, déclinées chacune en une forme de base et deux dérivées pour l'une, trois dérivées pour l'autre. Le système constitué par l'ensemble de ces sept formes permettrait d'écrire toutes les lettres minuscules cursives latines en usage en France.En ouverture vers d'autres projets, nous avons mis ce système à l'épreuve de la reconnaissance des lettres par des enfants d'école maternelle. Nous avons constaté une amélioration du score entre avant et après une séance d'observation commentée collective. Cette recherche sur le système d'écriture des lettres minuscules cursives latines nous a conduite à avancer des propositions pédagogiques pour l'enseignement de l'écriture.

L'étude de l'apprentissage de l'orthographe vise à analyser les mécanismes cognitifs et les structures le rendant possible. Cette acquisition s'effectue au travers de tâches comme la dictée et la copie, utilisées en recherche et à l'école. Si des modèles propres aux tâches rendent compte des processus de la production verbale écrite, ils n'intègrent pas de dimension comparative. L'objectif de cette thèse est d'examiner comment la dictée et la copie participent à cet apprentissage. Le modèle que nous proposons intègre les deux tâches et les instances mémorielles sous-jacentes. Les performances en dictée d'élèves de C.P. et de C.E.1 ont été analysées selon 4 conditions d'entraînement : aucune préparation, lecture à haute voix, lecture à haute voix et copie, copie seule. Les items utilisés sont soit des mots sélectionnés en fonction de leur complexité orthographique et de leur familiarité ou leur fréquence, soit des pseudomots de complexité variable. Globalement les expériences 1, 2, 3 font état d'effets du niveau scolaire et de l'entraînement. Toutefois, dans l'expérience 4, la supériorité de la copie sur la lecture disparaît : la copie ne serait efficace que si elle est combinée à une lecture à haute voix. Si la copie associée au déchiffrage semble l'entraînement le plus efficace en termes d'apprentissages orthographiques, la présence en mémoire à long terme d'une représentation graphomotrice connectée à la représentation lexicale est envisageable. Ceci expliquerait pourquoi, face à un mot que nous lisons mais dont nous doutons de l'orthographe, nous éprouvons le besoin de l'écrire manuellement afin d'en récupérer la forme orthographique normée.

L’étude de l’apprentissage de l’orthographe vise à analyser les mécanismes cognitifs et les structures le rendant possible. Cette acquisition s’effectue au travers de tâches comme la dictée et la copie, utilisées en recherche et à l’école. Si des modèles propres aux tâches rendent compte des processus de la production verbale écrite, ils n’intègrent pas de dimension comparative. L’objectif de cette thèse est d’examiner comment la dictée et la copie participent à cet apprentissage. Le modèle que nous proposons intègre les deux tâches et les instances mémorielles sous-jacentes. Les performances en dictée d’élèves de C.P. et de C.E.1 ont été analysées selon 4 conditions d’entraînement : aucune préparation, lecture à haute voix, lecture à haute voix et copie, copie seule. Les items utilisés sont soit des mots sélectionnés en fonction de leur complexité orthographique et de leur familiarité ou leur fréquence, soit des pseudomots de complexité variable. Globalement les expériences 1, 2, 3 font état d’effets du niveau scolaire et de l’entraînement. Toutefois, dans l’expérience 4, la supériorité de la copie sur la lecture disparaît : la copie ne serait efficace que si elle est combinée à une lecture à haute voix. Si la copie associée au déchiffrage semble l’entraînement le plus efficace en termes d’apprentissages orthographiques, la présence en mémoire à long terme d’une représentation graphomotrice connectée à la représentation lexicale est envisageable. Ceci expliquerait pourquoi, face à un mot que nous lisons mais dont nous doutons de l’orthographe, nous éprouvons le besoin de l’écrire manuellement afin d’en récupérer la forme orthographique normée. / Studies on lexical spelling acquisition have two aims: analyzing the cognitive mechanisms involved in this learning and understanding the processes on which they are based. Dictation and copying are known to be tasks leading to acquire orthographic knowledge. They are used by teachers and researchers. If some specific task models report on cognitive processes involved in verbal written production, they do not allow to get a comparative vision. This thesis aims at examining dictation and copying in the process of lexical orthographic learning. The model we propose includes the two tasks (dictation and copying) and the different underlying memories. We analysed the productions of children of 1st and 2nd grades under dictation according to 4 training conditions: dictation without training, reading aloud, reading aloud and copying, just copying. Children were asked to produce words or pseudowords. Words were selected according to their orthographic complexity and familiarity or their frequency, and pseudowords were more or less complex. Overall, experiments 1, 2 and 3 point out an effect of both grade and training. But, in experiment 4, copying doesn’t seem better than reading aloud: copying could be efficient only when combined with reading aloud. If the association of decoding and copying seems to be the best training to get orthographic knowledge, one might wonder about the presence of a graphomotor representation linked with lexical representation in Long Term Memory. This presence could explain why we need to write a word when we are sceptical about its spelling.