On se place dans le cadre de l'estimation non paramétrique dans le modèle de régression. Dans un premier temps, on dispose des observations Y dont la densité $g$ est connue et dépend d'une fonction de régression $f(X)$ inconnue. Dans cette thèse, cette fonction est supposée régulière, i.e. appartenant à une boule de Hölder. Le but est d'estimer la fonction $f$ à un point $y$ (estimation ponctuelle). Pour cela, nous développons un estimateur local de type {\it bayésien}, construit à partir de la densité $g$ des observations. Nous proposons une procédure adaptative s'appuyant sur la méthode de Lepski, qui permet de construire un estimateur adaptatif choisi dans la famille des estimateurs bayésiens locales indexés par la fenêtre. Sous certaines hypothèses suffisantes sur la densité $g$, notre estimateur atteint la vitesse adaptative optimale (en un certain sens). En outre, nous constatons que dans certains modèles, l'estimateur bayésien est plus performant que les estimateurs linéaires. Ensuite, une autre approche est considérée. Nous nous plaçons dans le modèle de régression additive, où la densité du bruit est inconnue, mais supposée symétrique. Dans ce cadre, nous développons un estimateur dit de {\it Huber} reposant sur l'idée de la médiane. Cet estimateur permet d'estimer la fonction de régression, quelque soit la densité du bruit additif (par exemple, densité gaussienne ou densité de Cauchy). Avec la méthode de Lepski, nous sélectionnons un estimateur qui atteint la vitesse adaptative classique des estimateurs linéaires sur les espaces de Hölder.