Cette thèse vise à investiguer des moyens d'optimiser les performances de l'imagerie à haut contraste dans l'optique et le proche infrarouge pour la détection d'exo-planètes. L'étude principale a été menée sur le contraste à faible séparation permettant l'imagerie d'exo-planètes dans leur zone habitable. Cette détection directe est rendue possible par le développement des futurs grands télescopes et de coronographes de plus en plus performants à faible séparation. L'approche retenue permet de créer une zone sombre à haut contraste grâce à la coronographie et au « wavefront shaping » (contrôle de l'amplitude et de la phase avec 2 miroirs déformables), mais qui est limité par les effets de propagation de Fresnel. Les résultats obtenus ont déterminé les limitations de configuration optique pour le « wavefront shaping ». Grâce à une approche semi-analytique soutenue par des simulations numériques et une approche Monte-Carlo, ces limitations ont été analysées et quantifiées pour extraire les configurations optimales. Les résultats ont été appliqués au banc SPEED dont l'objectif est d'optimiser et de tester le haut contraste à faible séparation. Une deuxième étude a été une contribution à une étude générale de stabilité, en traitant la stabilité temporelle comme un paramètre indispensable dans la conception en amont d'instrument haut contraste. Un travail préliminaire a été initié sur la stabilité des instruments de mesure eux-mêmes à travers l'étude thermique d'un système de métrologie. Enfin, un dernier volet a été une étude de simulation de performances d'un nouveau concept d'imagerie différentielle basé sur l'acquisition d'images réalisées avec différentes tailles de pupilles. / This thesis aims to optimize high-contrast imaging performance in visible and near infrared for exoplanet detection. The main study focuses on high-contrast at small separation, to image exoplanets in their habitable zone. This direct detection is achievable with the next Extremely Large Telescopes and with the development of coronagraph providing high performance at small separation. The approach adopted for this study creates a high-contrast region (a dark hole) with the combination of coronagraphy and wavefront shaping (wavefront control of both phase and amplitude with 2 deformable mirrors) but is limited by the Fresnel propagation of phase aberrations. The goal of this work is to define the wavefront shaping limitation in optical configuration (deformable mirrors location, component optical quality, beam diameter). A semi-analytic approach followed by a Monte-Carlo analysis of numerical end-to-end simulations is studied, resulting in the definition of the optimal configuration. Results are then applied to SPEED, a test bench to optimize and test high-contrast imaging at small separation with a segmented pupil. Another aspect of this thesis is a contribution to a stability study to treat the temporal stability as a crucial parameter in high-contrast imaging instrumentation, at the conception level. A preliminary work is initiated during the thesis to analyse the stability of the measuring instrument itself. A metrology tool and its thermal behaviour are thus studied. Finally, the last part of this thesis is a performance analysis of a new differential imaging technique, developed to improve high contrast with observations with different diaphragm sizes.