L'objet de cette thèse est l'étude de diverses propriétés d'apprentissage à partir d'exemples par des méthodes de Physique Statistique, notamment, par la méthode des répliques. Des tâches supervisées, correspondant à la classification binaire de données, ainsi que des tâches non supervisées, comme l'estimation paramétrique d'une densité de probabilité, sont considérées. Dans la première partie, une approche variationnelle permet de déterminer la performance de l'apprentissage optimal d'une direction d'anisotropie, et de déduire une fonction de coût permettant d'obtenir ces performances optimales. Dans le cas de l'apprentissage supervisé d'une tâche linéairement séparable, des simulations numériques confirmant nos résultats théoriques ont permis de déterminer les effets de taille finie. Dans le cas d'une densité de probabilité constituée de deux gaussiennes, la performance de l'apprentissage optimal présente de nombreuses transitions de phases en fonction du nombre de données. Ces résultats soulèvent une controverse entre la théorie variationnelle et l'approche bayesienne de l'apprentissage optimal. Dans la deuxième partie, nous étudions deux approches différentes de l'apprentissage de tâches de classification complexes. La première approche considérée est celle des machines à exemples supports. Nous avons étudié une famille de ces machines pour laquelle les séparateurs linéaire et quadratique sont deux cas particuliers. La capacité, les valeurs typiques de la marge et du nombre d'exemples supports, sont déterminées. La deuxième approche considérée est celle d'une machine de parité apprenant avec un algorithme incrémental. Cet algorithme construit progressivement un réseau de neurones à une couche cachée. La capacité théorique obtenue pour l'algorithme considéré est proche de celle de la machine de parité.

Dans la première partie, nous avons étudié l'effet du bruit sur la vitesse d'un front décrit par une équation de type Fisher-Kolmogorov. Ces équations interviennent souvent comme la limite d'un modèle aléatoire faisant intervenir N particules quand N devient grand. Elles ont beaucoup de solutions, mais c'est la vitesse marginalement stable v^* qui est sélectionnée pour une condition initiale localisée. Nous avons montré que si l'on prend en compte l'aspect discret du modèle microscopique en ajoutant un cut-off d'ordre 1/N dans la queue du front, alors, quelles que soient les conditions initiales, la vitesse de propagation v_N est proche de v^* et la différence v^* - v_N est d'ordre (log N)^(-2). Ces résultats peuvent s'appliquer au modèle aléatoire: grâce à des simulations faisant intervenir jusqu'à 10^14 particules, nous avons observé une correction de la vitesse compatible avec celle obtenue dans le modèle avec \textit{cut-off}. La méthode que nous avons employée permet également de retrouver les résultats de Bramson sur l'influence des conditions initiales sur la vitesse d'un front. La seconde partie est consacrée aux polymères dirigés dans un milieu aléatoire de largeur finie. La méthode des répliques permet de ramener le calcul des fluctuations de l'énergie libre d'un tel polymère à un problème de mécanique quantique avec n particules en interaction. Ce modèle peut être résolu grâce à l'Ansatz de Bethe, mais il faut extrapoler les solutions à des n non-entiers pour faire le lien avec l'énergie libre d'un polymère. Nous avons présenté une méthode qui nous a permis de calculer exactement les premiers cumulants de cette énergie libre. De plus, pour une dimension transversale périodique, on peut calculer tous ces cumulants dans la limite où la largeur du système devient grande et déterminer ainsi la distribution de l'énergie libre. Cette distribution est la même que celle obtenue dans le modèle ASEP et semble donc être une propriété universelle de l'équation KPZ.