The integration of organic solvent nanofiltration in processes of fine chemistry involving homogeneous metal catalysts has a great potentiel because this eco-friendly process, efficient at molecular scale, does not desactivate the catalyst contrary to conventionnal distillation. The aim of this study is to integrate organic solvent nanofiltration in the process of 10-undecenitrile hydroformylation in toluene. A one-step nanofiltration does not permit to fulfill the goals of the separation, which are to extract the product and to recycle the catalytic system (Rh, biphephos). Simulations of membrane cascades based on experimental data of flux and retention according to the concentration (acquired in the first part of the thesis) highlighted that a four stages cascades with recycling is realistic and competitive for an industrial plant. / L'intégration de la nanofiltration organique dans les procédés de chimie fine impliquant des catalyseurs organométalliques solubles a un fort potentiel car ce procédé éco-efficace de séparation à l'échelle moléculaire ne désactive pas les catalyseurs contrairement à la distillation classiquement utilisée. L'objectif de cette thèse est d'intégrer la nanofiltration organique dans le procédé d'hydroformylation du 10-undecenitrile dans le toluène. Un procédé en une étape de nanofiltration ne permet pas de remplir les objectifs de séparation qui sont l'extraction du produit et le recyclage du système catalytique (Rh, biphephos). Des simulations de cascades de membranes basées sur les données expérimentales de flux et de rétentions variables en fonction de la concentration, acquises en première partie de thèse, ont permis d'identifier un design de cascade à 4 étages avec recyclages réaliste et compétitif pour une conception industrielle.