Une large classe de systèmes physiques peut être représentée à l'aide du modèle de Volterra. Il a notamment été montré que tout système non-linéaire, invariant dans le temps et à mémoire évanouissante peut être représenté par un modèle de Volterra de mémoire et d¤ordre finis. Ce modèle est donc particulièrement attrayant pour les besoins de modélisation et d'identification de systèmes non-linéaires. Un des atouts majeurs du modèle de Volterra est la linéarité par rapport à ses paramètres, c¤est à dire les coefficients de ses noyaux. Cette caractéristique permet d'étendre à ce modèle certains résultats établis pour l'identification des modèles linéaires. Il est à noter que le modèle de Volterra peut, par ailleurs, être vu comme une extension naturelle de la notion de réponse impulsionnelle des systèmes linéaires aux systèmes non-linéaires. Toutefois, certaines limitations sont à circonvenir: un nombre de paramètres qui peut être très élevé et un mauvais conditionnement de la matrice des moments de l'entrée intervenant dans l¤estimation du modèle au sens de l¤erreur quadratique moyenne minimale (EQMM). Il est à noter que ce mauvais conditionnement est aussi à l¤origine de la lenteur de convergence des algorithmes adaptatifs de type LMS (Least Mean Squares). Cette thèse traite principalement de ces deux questions. Les solutions apportées sont essentiellement basées sur la notion d'orthogonalité. D'une part, l'orthogonalité est envisagée vis à vis de la structure du modèle en développant les noyaux de Volterra sur une base orthogonale de fonctions rationnelles. Ce développement est d'autant plus parcimonieux que la base est bien choisie. Pour ce faire, nous avons développé de nouveaux outils d'optimisation des bases de Laguerre et BFOR (Base de Fonctions Orthonormales Rationnelles) pour la représentation des noyaux de Volterra. D'autre part, l'orthogonalité est envisagée en rapport avec les signaux d'entrée. En exploitant les propriétés statistiques de l¤entrée, des bases de polynômes orthogonaux multivariables ont été construites. Les paramètres du modèle de Volterra développé sur de telles bases sont alors estimés sans aucune inversion matricielle, ce qui simplifie significativement l¤estimation paramétrique au sens EQMM. L¤orthogonalisation des signaux d¤entrée a aussi été envisagée via une procédure de Gram-Schmidt. Dans un contexte adaptatif, il en résulte une accélération de la convergence des algorithmes de type LMS sans un surcoût de calcul excessif. Certains systèmes physiques peuvent être représentés à l¤aide d¤un modèle de Volterra simplifié, à faible complexité paramétrique, tel que le modèle de Hammerstein et celui de Wiener. C¤est le cas d¤un canal de communication représentant l'accès à un réseau sans fil via une fibre optique. Nous montrons notamment que les liaisons montante et descendante de ce canal peuvent respectivement être représentées par un modèle de Wiener et par un modèle de Hammerstein. Dans le cas mono-capteur, en utilisant un précodage de la séquence d'entrée, nous développons une solution permettant de réaliser l'estimation conjointe du canal de transmission et des symboles transmis de manière semiaveugle. Il est à noter que, dans le cas de la liaison montante, une configuration multi-capteurs peut aussi être envisagée. Pour une telle configuration, grâce à un précodage spécifique de la séquence d¤entrée, nous exploitons la diversité spatiale introduite par les capteurs et la diversité temporelle de sorte à obtenir une représentation tensorielle du signal reçu. En appliquant la technique de décomposition tensorielle dite PARAFAC, nous réalisons l'estimation conjointe du canal et des symboles émis de manière aveugle. Mots clés: Modélisation, Identification, Bases orthogonales, Base de Laguerre, Base de fonctions orthonormales rationnelles, Polynômes orthogonaux, Optimisation de pôles, Réduction de complexité, Egalisation, Modèle de Volterra, Modèle de Wiener, Modèle de Hammerstein, Décomposition PARAFAC.