L’essor des télécommunications par fibre optique nécessite l’insertion en sortie des lasers d’un isolateur optique intégré protégeant celui-ci des réflexions qui le déstabilisent. Ce composant existe à l’heure actuelle sous forme massive, mais son intégration sur la même plaquette que le laser pose problème du fait de la difficulté à intégrer les bons matériaux magnétooptiques sur les substrats usuels de l’optique guidée. Dans cette perspective, l’intégration de nanoparticules magnétiques dans un sol-gel déposé sur les guides optiques est une voie prometteuse, développée par le laboratoire Hubert Curien. Cette thèse a eu pour but d’étudier de manière plus systématique le composant non-réciproque qui entre dans la fabrication des isolateurs à conversion de mode, à savoir le rotateur non-réciproque. Deux études poussées, l’une théorique, l’autre expérimentale, recoupées entre elles par des modèles numériques, ont été mises en oeuvre au cours des années de cette thèse. L’étude théorique a permis de tenir compte tous les paramètres ayant une influence sur l’état de polarisation de la lumière dans un guide magnétooptique, y compris les dichroïsmes souvent négligés. L’étude pratique, à partir d’échantillons sur verre réalisés en collaboration avec l’IMEP-LAHC et le laboratoire PHENIX, a abouti à une caractérisation quasi complète des effets magnétooptiques — longitudinaux et transverses — dans les guides et de l’influence des paramètres de fabrication sur ceux-ci. Au final, ces résultats nous ont donné une compréhension plus complète du fonctionnement des guides magnétooptiques, et nous ont permis de prédire les paramètres optimaux qu’il faudra mettre afin de fabriquer, dans un futur proche, l’isolateur complet sur une seule plaque de verre / The development of optical-fiber telecommunications requires the insertion of optical isolator between lasers and fibers, in order to protect them against perturbating reflexions. This component is currently inserted in a bulk form, but the goal is to integrate it on the same wafer than the laser; nevertheless, this is problematic due to the difficulty to integrate good magnetooptical materials on usual substrates as glass or silicon. One of the promising way to achieve this, developped by the Laboratoire Hubert Curien, is the embedding of magnetic nanoparticles into a sol-gel matrix deposited above the optical guides. This thesis aimed at studying more deeply the main non-reciprocal component of integrated mode conversion optical isolators: the non-reciprocal rotator. A theorical and a practical study have both been performed, with numerical simulations to confront them. The theorical study aimed at describing the evolution of propagation in magnetooptical waveguides with respect to all effects, even absorption and dichroïsm. Then a practical study was performed on glass samples engineered in collaboration with IMEP-LAHC and the PHENIX laboratory, and lead to a full measurement of longitudinal and transverse magnetooptical effects, and their evolution related to the fabrication parameters of the samples. Finally, these results gave us a comprehensive view of how magnetooptical waveguides behave, and we were able to predict the good parameters to choose in order to construct, in a close future, a glass-integrated optical isolator