Cette thèse rapporte les premières études exploratoires menées en vue de réaliser un amplificateur optique fonctionnant dans la bande S des télécommunications (autour de 1470 nm) dans une fibre en silice dopée au thulium dans le but d'augmenter la bande passante utilisable par le procédé de multiplexage en longueur d'onde (WDM) des réseaux optiques en silice standard. Pour permettre d'amplifier un signal optique à l'aide des ions de thulium dans une fibre composé d'un verre à haute énergie de phonon comme la silice, nous avons adapté les processus de fabrication des préforme par MCVD de manière à modifier de moins de 10% mol la composition du cœur de silice de la fibre. Ainsi, l'apport d'Al2O3 permet, en modifiant l'environnement des terres rares, de réduire les désexcitations non radiatives entre les niveaux 3H4 et 3H5 des ions de thulium. Le temps de vie du niveau 3H4 est ainsi multiplié par 3, de 14us pour la silice pure à 50us pour 8,7 %mol d'al2O3. L'efficacité quantique passe alors de 2% à plus de 8%. Grâce à cette amélioration du matériau et à l'optimisation des paramètres optogéométriques de la fibre optique à l'aide d'un modèle numérique, nous avons pu mesurer l'amplification en bande S d'un signal lumineux sur un échantillon majoritairement composé de silice fabriqué au laboratoire. Ce gain, de plus de 1dB pour 1400mW de puissance de pompe optique, est un résultat de premier ordre pour ce type de dispositif, validant l'approche de la modification de l'environnement du thulium dans la silice. De plus les simulations numériques prédisent un gain supérieur à 20 dB pour 1W de puissance de pompe pour le matériau élaboré, avec un schéma de pompage plus efficace.

La détection optique cohérente et le traitement numérique du signal sont au coeur de la nouvelle génération de systèmes de transmission sur fibre. Ces systèmes utilisent des formats de modulation à grande efficacité spectrale et sont très robustes à la propagation sur le canal de transmission optique. Ils offrent ainsi aux opérateurs de télécommunications les moyens de décupler la capacité de leurs réseaux de transport tout en conservant leurs infrastructures fibre existantes. Cette thèse développe différentes problématiques relatives à la conception de fonctions numériques pour les récepteurs optiques à détection cohérente fonctionnant aux débits de 100 Gbit/s et au-delà. Elle aborde les aspects de complexité calculatoire de l'égalisation numérique du canal optique, puis évalue l'apport des techniques dans le domaine fréquentiel en vue de rendre les traitements compatibles avec les contraintes matérielles de la mise en oeuvre à très haut débit. Le second point étudié concerne les difficultés potentielles de l'utilisation du multiplexage en polarisation. La dernière partie de la thèse traite de l'étude conjointe des fonctions d'égalisation et de synchronisation porteuse et phase pour l'application aux formats de modulation à très grande efficacité spectrale.