L'objectif de cette thèse est d'étudier le problème de la détection de données dans le système de communication sans fil, à la fois pour le cas de l'information d'état de canal parfaite et imparfaite au niveau du récepteur. Comme on le sait, la complexité de MLSE est exponentielle en la mémoire de canal et la cardinalité de l'alphabet symbole est rapidement ingérable, ce qui force à recourir à des approches sousoptimales. Par conséquent, en premier lieu, nous proposons une nouvelle égalisation itérative lorsque le canal est inconnu à l'émetteur et parfaitement connu au niveau du récepteur. Ce récepteur est basé sur une approche de continuation, et exploite l'idée d'approcher une fonction originale de coût d'optimisation par une suite de fonctions plus dociles et donc de réduire la complexité de calcul au récepteur.En second lieu, en vue de la détection de données sous un canal dynamique linéaire, lorsque le canal est inconnu au niveau du récepteur, le récepteur doit être en mesure d'effectuer conjointement l'égalisation et l'estimation de canal. De cette manière, on formule une représentation de modèle état-espace combiné du système de communication. Par cette représentation, nous pouvons utiliser le filltre de Kalman comme le meilleur estimateur des paramètres du canal. Le but de cette section est de motiver de façon rigoureuse la mise en place du filltre de Kalman dans l'estimation des sequences de Markov par des canaux dynamiques Gaussien. Par la présente, nous interprétons et explicitons les approximations sous-jacentes dans les approaches heuristiques.Enfin, si nous considérons une approche plus générale pour le canal dynamique non linéaire, nous ne pouvons pas utiliser le filtre de Kalman comme le meilleur estimateur. Ici, nous utilisons des modèles commutation d’espace-état (SSSM) comme modèles espace-état non linéaires. Ce modèle combine le modèle de Markov caché (HMM) et le modèle espace-état linéaire (LSSM). Pour l'estimation de canal et la detection de données, l'approche espérance et maximisation (EM) est utilisée comme approche naturelle. De cette façon, le filtre de Kalman étendu (EKF) et les filtres à particules sont évités. / The aim of this thesis is to study the problem of data detection in wireless communication system, for both case of perfect and imperfect channel state information at the receiver. As well known, the complexity of MLSE being exponential in the channel memory and in the symbol alphabet cardinality is quickly unmanageable and forces to resort to sub-optimal approaches. Therefore, first we propose a new iterative equalizer when the channel is unknown at the transmitter and perfectly known at the receiver. This receiver is based on continuation approach, and exploits the idea of approaching an original optimization cost function by a sequence of more tractable functions and thus reduce the receiver's computational complexity. Second, in order to data detection under linear dynamic channel, when the channel is unknown at the receiver, the receiver must be able to perform joint equalization and channel estimation. In this way, we formulate a combined state-space model representation of the communication system. By this representation, we can use the Kalman filter as the best estimator for the channel parameters. The aim in this section is to motivate rigorously the introduction of the Kalman filter in the estimation of Markov sequences through Gaussian dynamical channels. By this we interpret and make clearer the underlying approximations in the heuristic approaches. Finally, if we consider more general approach for non linear dynamic channel, we can not use the Kalman filter as the best estimator. Here, we use switching state-space model (SSSM) as non linear state-space model. This model combines the hidden Markov model (HMM) and linear state-space model (LSSM). In order to channel estimation and data detection, the expectation and maximization (EM) procedure is used as the natural approach. In this way extended Kalman filter (EKF) and particle filters are avoided.