La recherche dans le domaine des communications sur fibres optiques avance à un rythme rapide afin de satisfaire des demandes croissantes de communications à débits élevés. Les principaux moteurs de ces avancements sont la multitude de degrés de liberté offerts par la fibre permettant ainsi la transmission de plus de données: l'amplitude, la phase et l'état de polarisation du champ optique, ainsi que le temps et la longueur d'onde sont déjà utilisés dans les systèmes de transmission optique déployés. Pourtant, ces systèmes s'approchent de leur limite fondamentale de capacité et un degré supplémentaire: "la dimension spatiale" est étudié pour réaliser un saut qualitatif majeur en termes de capacité de transmission. Cependant, l'insertion de plusieurs flux de données dans le même canal de propagation induit également des pertes différentielles et de la diaphonie entre les flux, ce qui peut fortement réduire la qualité du système de transmission. Dans cette thèse, nous nous concentrons sur les systèmes de transmission optique de type MIMO basés sur un multiplexage en polarisation ou en modes de propagation. Dans les deux cas, nous évaluons la dégradation de la performance provoquée par une interférence inter-canaux non-unitaire et des disparités de gain entre les canaux engendrées par des imperfections dans les composants optiques utilisés (fibres, amplificateurs, multiplexeurs...), et proposons pour les combattre, de nouvelles techniques de codage pour les systèmes MIMO nommées "codes Spatio-Temporels" (ST), préalablement conçues pour les systèmes radios multi-antennaires. / Research in the field of optical fiber communications is advancing at a rapid pace in order to meet the growing needs for higher data rates. The main driving forces behind these advancements are the availability of multiple degrees of freedom in the optical fiber allowing for multiplexing more data: amplitude, phase and polarization state of the optical field, along with time and wavelength are already used in the deployed optical transmission systems. Yet, these systems are approaching their theoretical capacity limits and an extra dimension "space" is investigated to achieve the next capacity leap. However, packing several data channels in the same medium brings with it differential impairments and crosstalk that can seriously deteriorate the performance of the system. In this thesis, we focus on recent optical MIMO schemes based on polarization division multiplexing (PDM) and space division multiplexing (SDM). In both, we assess the performance penalties induced by non-unitary crosstalk and loss disparities among the channels arising from imperfections in the used optical components (fibers, amplifiers, multiplexers...), and suggest novel MIMO coding techniques known as Space-Time (ST) codes, initially designed for wireless multi-antenna channels, to mitigate them.