Dans ce travail je présente une étude unifiée basée sur l'estimation du maximum de vraisemblance pour des modèles markoviens, semi-markoviens et semi-markoviens cachés. Il s'agit d'une étude théorique des propriétés asymptotiques de l'EMV des modèles mentionnés ainsi que une étude algorithmique. D'abord, nous construisons l'estimateur du maximum de vraisemblance (EMV) de la loi stationnaire et de la variance asymptotique du théorème de la limite centrale (TLC) pour des fonctionnelles additives des chaînes de Markov ergodiques et nous démontrons sa convergence forte et sa normalité asymptotique. Ensuite, nous considérons un modèle semi-markovien non paramétrique. Nous présentons l'EMV exact du noyau semi-markovien qui gouverne l'évolution de la chaîne semi-markovienne (CSM) et démontrons la convergence forte, ainsi que la normalité asymptotique de chaque sous-vecteur fini de cet estimateur en obtenant des formes explicites pour les matrices de covariance asymptotiques. Ceci a été appliqué pour une observation de longue durée d'une seule trajectoire d'une CSM, ainsi que pour une suite des trajectoires i.i.d. d'une CSM censurée à un instant fixe. Nous introduisons un modèle semi-markovien caché (MSMC) général avec dépendance des temps de récurrence en arrière. Nous donnons des propriétés asymptotiques de l'EMV qui correspond à ce modèle. Nous déduisons également des expressions explicites pour les matrices de covariance asymptotiques qui apparaissent dans le TLC pour l'EMV des principales caractéristiques des CSM. Enfin, nous proposons une version améliorée de l'algorithme EM (Estimation-Maximisation) et une version stochastique de cet algorithme (SAEM) afin de trouver l'EMV pour les MSMC non paramétriques. Des exemples numériques sont présentés pour ces deux algorithmes.