La méthode d'optimisation d'un portefeuille issue de la minimisation du DownSide Risk a été mise au point pour suppléer les carences de la méthode classique de Markowitz dont l'hypothèse de la normalité de la distribution des rendements se trouve défaillante très souvent. Dans cette thèse, nous proposons d'introduire des estimateurs non paramétriques de la moyenne ou de la médiane conditionnelle pour remplacer les rendements observés d'un portefeuille ou des actifs constituant un portefeuille dans le cas du DownSide Risk. Ces estimateurs nous permettent d'obtenir des frontières efficientes lisses et facilement interprétables. Nous développons des algorithmes itératifs pour résoudre les différents problèmes d'optimisation permettant d'obtenir des portefeuilles optimaux. Nous proposons aussi une nouvelle mesure de risque dit risque conditionnel qui tient compte des anticipations des valeurs futures des différents rendements. Pour le définir nous avons fait appel aux prédicteurs non paramétriques basés sur l'estimation de la moyenne conditionnelle. Enfin, nous avons testé et validé toutes nos méthodes sur des données issues de différents marchés et nous avons montré leur performance et leur efficacité comparées aux méthodes classiques / The DownSide Risk (DSR) model for portfolio optimization allows to overcome the drawbacks of the classical Mean-Variance model concerning the asymmetry of returns and the risk perception of investors. This optimization model deals with a positive definite matrix that is endogenous with respect to the portfolio weights and hence leads to a non standard optimization problem. To bypass this hurdle, we developed a new recursive minimization procedure that ensures the convergence to the solution and gives a smooth portfolio efficient frontier. Our method consists in replacing all the returns by their nonparametric estimators counterpart using kernel mean or median regressions. This technique provides an effect similar to the case where an infinite number of observations is available. We also develop a new portfolio optimization model where the risks are measured through conditional variance or semivariance. This strategy allows us to take advantage from returns prediction which are obtained by nonparametric univariate methods. The prediction step uses kernel estimation of the conditional mean. Data from different markets are used to test and validate the proposed approaches, and results indicate better overall performance