Récemment, nombres d'alternatives à la traditionnelle modulation d'intensité ont été proposées dans le contexte des télécommunications optiques. Les systèmes dits cohérents, utilisant la phase de l'onde optique, présentent de nombreux avantages : meilleure sensibilité, resistance à divers effets non-linéaires. Ils montrent néanmoins un comportement différent vis à vis du bruit accumulé lors de la propagation. L'effet Kerr dans la fibre induit un bruit de phase non-linéaire qui limite les performances de ces systèmes.<br />Dans une première partie, l'estimation rapide, analytique ou semi-analytique, de ces fluctuations est proposée dans deux contextes différents. Les résultats alors obtenus par application de la méthode des moments et de la théorie des perturbations sont validés par des simulations numériques de la propagation. Nous menons également une étude expérimentale de l'influence de la carte de dispersion sur le bruit de phase.<br />Dans une deuxième partie, nous proposons et étudions un format de modulation basé sur la modulation de phase différentielle continue, dans le but d'améliorer l'efficacité spectrale. Ce format est obtenu en modulant la phase optique par un signal à trois niveaux de type duobinaire. Ses performances sont comparées à celles des formats standards au débit de 10 Gbit/s lors d'une expérience utilisant une boucle à recirculation.