La demande en bande passante des systèmes de communication optique ne cesse de croitre. Des débits de données de l’ordre de plusieurs centaines de TBit/s sont attendus dans un futur proche. La photonique silicium est une technologie majeure pour faire face à ces besoins croissants. Sa compatibilité avec les technologies CMOS permet naturellement une co-intégration photonique/électronique sur les mêmes circuits. A court terme, l’augmentation des débits de données dans les générations futures de système de communication optique passe par l’utilisation de formats de modulation avancés, et l’augmentation du nombre de bits par symbole transmis. A plus long terme, de nouvelles techniques de multiplexage sont nécessaires. Le multiplexage de modes est actuellement une solution attractive à l’étude dans ce but.Dans ce travail de thèse, différents moyens pour implémenter ces nouveaux systèmes de communication optiques sont étudiés au niveau de l’émetteur. Ces travaux incluent dans une première partie la modélisation, conception et caractérisation des modulateurs silicium. Dans une seconde partie, de nouveaux composants pour manipuler les modes sur circuits intégrés photoniques sont proposés, conçus et caractérisés, avec pour application le multiplexage de modes.Une nouvelle méthode a été proposée pour la modélisation des modulateurs optiques silicium. Cette méthode permet de réduire le temps de simulation de 2 ordres de grandeur, en maintenant un bon niveau de précision. En utilisant ce modèle, des modulateurs basés sur des diodes PN latérales et interdigitées ont été conçus pour fonctionner en bande O des communications optiques. Les résultats expérimentaux ont permis la mise en évidence de diagrammes de l’œil avec des taux d’extinction de 10 dB pour des modulations de type OOK (ON-OFF Keying) à 10Gbit/s. De plus des modulations de type BPSK (Binary Phase Shift Keying) ont également été démontrées à 10Gbit/s.De nouveaux convertisseurs de modes et multiplexeurs ont été proposés, conçus, fabriqués et caractérisés, pour être utilisés dans des systèmes de multiplexage modal. Les résultats expérimentaux ont permis de mettre en évidence des fonctionnements large bande passante avec de grands taux d’extinction. / Bandwidth demand in optical communication systems is continually growing. Data rate values in the order of several hundreds of TBps are expected in the near future. In order to cope with those expectations silicon based technologies are believed to be the best suited. Its naturally compatibility with CMOS easily enables the electronics and photonics co-integration. In the short-term the way increase data rates in next generation optical communication systems goes through using advanced modulation format and increase symbol rates. In the long-term view, new multiplexing techniques will be required. In this sense, mode division multiplexing is nowadays an attractive approach under consideration.In this Thesis work, the way to implement these new optical communication schemes is studied from the transmitter point of view. It includes, on a first part the modeling, design and characterization of silicon modulators. And in a second part, it includes the proposition, design and characterization of novel mode handling devices for mode division multiplexing.A new way of modeling silicon modulators has been developed. This new model permits to reduce the computation time of modulator analysis up to two orders of magnitude, while maintaining a good level of accuracy. Using the model, modulators based on lateral PN junctions and interdigitated PN junctions were designed to work in the O-Band of optical communications. Characterization work has been performed on these modulators with good results. Wide-open OOK (On Off Keying) eye diagrams with 10 dB extinction ratio were obtained at 10GBps. Furthermore, BPSK (Binary Phase Shift Keying) modulation was also demonstrated at 10GBps.New kind of mode converters and multiplexers, intended to work as mode division multiplexing subsystems have been proposed, designed, fabricated and characterized. Measured results show broad bandwidth operation with high extinction ratio.