Les effets Pockels de deuxième ordre et les effets Kerr de troisième ordre font partie des effets importants exploités pour la modulation de la lumière et la génération de sources dans les plateformes technologiques de la photonique intégrée. Pour tirer parti de ces non-linéarités en photonique au silicium, l'utilisation de structures optiques sub-longueurs d'onde a été explorée. Dans ce contexte, ce travail de thèse s'est concentré sur deux aspects principaux, notamment : 1) L’exploration d'un nouveau schéma de cavité photonique pour tirer profit de l'effet Pockels électro-optique dans les structures de silicium contraint pour la réalisation de modulateurs ultra-rapides à faible consommation ; 2) L’exploration d'une nouvelle famille de guides d'ondes conduisant à une satisfaction automatique des lois de conservation énergie/vecteur d’onde pour la génération de peignes de fréquence Kerr au sein des plateformes photoniques intégrées (notamment silicium).Pour améliorer les performances des modulateurs optiques Si résonants intégrés, nous avons mis au point un nouveau résonateur à cavité de Fano qui, grâce à une ingénierie sub-longueur d'onde (λ=1.55µm), a permis d'obtenir simultanément un taux d'extinction élevé (23 dB) avec un faible facteur Q de seulement 5600, et caractérisé par une très faible consommation électrique inférieure à 5 fj/bit quand on utilise l'effet de modulation par dispersion plasma des porteurs libres. Nous avons étendu la méthode à la conception d'une structure de modulation Fano en silicium contraint dont les performances souffrent traditionnellement de la faible amplitude de l'effet Pockels induit par la déformation exploitée et des pertes micro-ondes considérables dues à des composants de grande surface. Au moyen du résonateur Fano ultra-compact à structuration sub-longueur d'onde, une amélioration d'environ 200 fois/60 fois (facteurs Q de 32000/5600) du rapport d'extinction de modulation avec la même tension de commande a été théoriquement prévue. Pour améliorer l'exploitation des non-linéarités Kerr des structures silicium, nous avons proposé une nouvelle famille de guides d'ondes optiques pour satisfaire automatiquement les lois de conservation de l'énergie et du vecteur d’onde des procédés de mélange à quatre ondes (FWM). La conception de la section des guides d'ondes est basée sur un principe hérité des puits quantiques et des concepts hérités des structures sub-longueur d'onde pour la réalisation des profils d'indice particuliers. En nous basant sur ces guides d'ondes spécifiques en terme de dispersion chromatique, nous les avons appliqués à la modélisation des micro peignes de fréquence (en utilisant des résonateurs à micro anneaux) en résolvant l’équation non linéaire pertinente (Lugiato-Lefever) pour analyser de façon dynamique le processus de génération du spectre des peignes à solitons dans diverses configurations. En complément de ce modèle, les guides d'ondes sub-longueur d'onde à accord de phase automatique ont été considérés pour étendre la largeur de bande des peignes de fréquence à solitons, démontrant une largeur de bande élargie et une meilleure flexibilité dans la réalisation des peignes de fréquence relativement aux démonstrations des travaux précédents. Dans l'ensemble, l'une des caractéristiques dominantes de notre étude a été de contribuer à montrer que les structures photoniques sub-longueur d'onde pouvaient apporter des solutions concrètes aux problèmes utiles à la réalisation de fonctions non linéaires sur puce. Les nano-structures sub-longueur d’onde permettent non seulement une amélioration des circuits photoniques passifs, sujet intensivement développé depuis dix ans, mais ont également un fort potentiel pour la réalisation des fonctions actives. Cette boîte à outils de structures sub-longueur d'onde est décisive dans la pratique pour la réalisation concrète de fonctions optiques nonlinéaires intégrées, en particulier en photonique silicium. / Second-order Pockels and the third-order Kerr effects are among the important effects exploited for light modulation and light generation in integrated photonic platforms. To take advantage of these nonlinearities in silicon photonics, especially due to the lack of second order effect in bulk Si, the use of subwavelength optical structures is explored. In this context, this thesis work has focused on two main aspects, including: 1) Exploration of a novel photonic cavity scheme to take benefit of the electro-optical Pockels effect in strained Si structures for the realization of ultra-fast lower-consumption compact silicon modulators; 2) Exploration of a new family of waveguides leading to an automatic satisfaction of energy/momentum conservation for the purpose of Kerr frequency comb generation in integrated photonic platforms. For improving the performances of integrated silicon resonant optical modulators, we have developed a novel Fano cavity resonator enabled by sub-wavelength engineering, leading simultaneously to high extinction ratio (23 dB) with a small Q factor of only 5600, and characterized by an ultra-low power consumption of less than 5 fj/bit when relying on the free carrier plasma dispersion effect. We have further extended the method to design a strained silicon Fano modulation structure which performances traditionally suffer from the weak amplitude of the exploited strain-induced Pockels effect and from considerable microwave losses due to large footprint components. By means of the proposed ultra-compact subwavelength structured Fano resonator, around 200-fold/60-fold (Q factor of 32000/5600) improvement on the modulation extinction ratio with the same driven voltage was theoretically predicted. For improving the exploitation of silicon Kerr nonlinearities, we have proposed a novel family of graded index optical waveguides intending to automatically fulfill the energy and momentum conservation laws of four-wave mixing processes. The design of the waveguide section is based on a principle inherited from quantum wells of wave mechanics and concepts inherited from subwavelength structures for the practical realization of the rather particular index profiles. Standing on these specific waveguides in term of light dispersion, we have applied them to the modeling of frequency micro-combs (e.g. frequency combs generated using micro-ring resonators and a CW light source) by solving the nonlinear relevant equations (Lugiato-Lefever) to dynamically analyze the soliton comb spectrum generation process in various configurations. On top of this model, the specifically automatically phase-matched sub-wavelength-enabled graded-index waveguides were considered to trim and extend the bandwidth of silicon soliton frequency combs, demonstrating enlarged bandwidth and improved spectrum design flexibility with respect to previous works. Overall, one of the dominant features of our study was to contribute to showing that sub-long wavelength photonic structures could provide concrete solutions to problems useful for the realization of on-chip non-linear functions. Subwavelength/nano structures not only benefit to passive photonic circuits which have been intensively developed in the past ten years, but also show strong potentials in the realization of active functions. This subwavelength toolbox is decisive in practice for the concrete achievement of the objectives pursued.