Les avancées récentes en physique nucléaire expérimentale permettent d'étudier les systèmes nucléaires a la limite de la vallée de stabilité. La découverte de nouveaux phénomènes, comme les halos et les peaux de neutrons, nécessite le développement de nouveaux outils théoriques permettant d'étudier ces systèmes. Le développement et les applications du modèle en couches avec couplages au continuum constituent la première partie de ce travail. Ce formalisme nouveau permet de prendre en compte les corrélations entre les états lies et les états de diffusion des noyaux faiblement liés. Nous l'avons applique a l'étude de la spectroscopie des noyaux miroir 8B- 8Li et 17F- 17O. Il permet également de calculer les sections efficaces de diffusion élastique, de dissociation coulombienne et de capture radiative. Nous présentons notamment les résultats concernant les réactions d'intérêt astrophysique : 16O(p,$\gamma$) 17F et 7Be(p,$\gamma$)8B. Cette dernière réaction est particulièrement importante pour la compréhension des modèles solaires car la désintégration du 8B fournit l'essentiel du flux de neutrinos solaires de haute énergie. La seconde partie de ce travail porte sur l'analyse de l'interaction d'appariement loin de la vallée de stabilité. Nous avons développé une approche, basée sur la méthode de Hartree-Fock-Bogolyubov (HFB), permettant d'étudier les corrélations d'appariement entre états liés et états de diffusion, résonnant ou non. Le potentiel particule-trou est remplacé par un potentiel dont les solutions sont connues analytiquement. Cette méthode permet d'analyser l'effet de l'appariement sur des états de particule liés ou résonnant situes à des énergies arbitraires. Nous avons ainsi pu démontrer que le continuum non résonnant peut jouer un rôle crucial dans les noyaux faiblement lies et que la résolutions des équations de HFB en base position est une des seule méthode permettant de traiter correctement ce problème.

Une campagne d'expériences a été réalisée à l'automne 2007 au GANIL dans le but d'étudier la structure des noyaux riches en neutrons des chaînes isotopiques de l'oxygène et du néon pour déceler l'évolution des fermetures de couches et des nombres magiques en fonction de l'isospin. La technique de séparation en ligne des isotopes a été employée pour produire par l'ensemble SPIRAL deux faisceaux exotiques d'20O et de 26Ne accélérés à 10 A.MeV. Les spectres des noyaux 21O, 19O, 27Ne et 25Ne produits par les réactions de transfert d'un neutron (d,p) et (d,t) des faisceaux radioactifs sur une cible de CD2 ont été étudiés. Le dispositif expérimental réunissant pour la première fois les détecteurs TIARA, MUST2, VAMOS, EXOGAM et un détecteur de faisceau permettait la détection en coïncidence des noyaux légers de recul, des fragments lourds et des gammas de décroissance. Les spectres en énergie d'excitation ont été reconstruits par la méthode de la masse manquante grâce aux détecteurs TIARA et MUST2. La grande couverture angulaire de ces détecteurs permettait l'étude simultanée des réactions de pickup (d,t) et de stripping (d,p). L'étude de la réaction (d,t) produisant l'19O et le 25Ne a permis de construire les schémas de niveaux de ces noyaux et de préciser les énergies, moments angulaires et facteurs spectroscopiques des états observés. Nous avons ainsi pu établir l'absence de fermeture de couche N=14 dans l'20O. Les résultats obtenus sur l'occupation des couches neutrons du 26Ne tendent à prouver l'existence d'une fermeture de couche N=16 dans ce noyau.

L'étude des résonances géantes monopolaires isoscalaires (ISGMR) et des résonances géantes quadrupolaires isoscalaires (ISGQR) dans les noyaux stables, a permis d'obtenir ces dernières décennies des informations fondamentales sur la structure et la matière nucléaire. En particulier, le centroïde de la ISGMR peut être relié au module d'incompressibilité de la matière nucléaire infinie. Des données dans les noyaux exotiques nous aideraient à contraindre ce module d'incompressibilité. Dans les noyaux instables, une seule mesure a, à l'heure actuelle, été réalisée (56Ni). Afin d'étudier l'évolution de la ISGMR et de la ISGQR le long d'une chaîne isotopique, des mesures dans un noyau exotique riche en neutrons sont donc nécessaires.L'expérience étudiée dans cette thèse a été réalisée au Grand Accélérateur National d'Ions Lourds (GANIL) à Caen en septembre 2010. Un faisceau de 68Ni à 50 AMeV et d'une intensité de 10^4 pps a été produit et purifié sur la ligne LISE. Les réactions de diffusion inélastique de particules alpha (alpha, alpha') et de deutons (d,d') sur 68Ni en cinématique inverse ont été étudiées avec la cible active Maya. Il s'agit de la première mesure de la ISGMR et de la ISGQR dans un noyau instable riche en neutrons.Pour chaque expérience, le spectre en énergie d'excitation a été reconstruit et les distributions angulaires étudiées par deux méthodes indépendantes. Les sections efficaces expérimentales ont été comparées à celles issues de calculs DWBA utilisant des densités de transition RPA. L'analyse en (alpha, alpha') a permis l'observation d'une ISGMR fragmentée avec un épaulement à 21.1+/-0.6 MeV, d'une ISGQR concentrée à 16.9+/-0.8 MeV qui épuise 61+/-17% de la règle de somme pondérée en énergie (EWSR). De plus, un mode " soft GMR ", prédit mais jamais observé, a été identifié à 13.4+/-0.5 MeV. Tous ces résultats sont confirmés par l'analyse en (d,d'), à l'exception de l'observation de la ISGQR pour laquelle les conditions de fonctionnement n'étaient pas favorables.

L’étude des résonances géantes monopolaires isoscalaires (ISGMR) et des résonances géantes quadrupolaires isoscalaires (ISGQR) dans les noyaux stables, a permis d’obtenir ces dernières décennies des informations fondamentales sur la structure et la matière nucléaire. En particulier, le centroïde de la ISGMR peut être relié au module d’incompressibilité de la matière nucléaire infinie. Des données dans les noyaux exotiques nous aideraient à contraindre ce module d’incompressibilité. Dans les noyaux instables, une seule mesure a, à l’heure actuelle, été réalisée (56Ni). Afin d’étudier l’évolution de la ISGMR et de la ISGQR le long d’une chaîne isotopique, des mesures dans un noyau exotique riche en neutrons sont donc nécessaires.L’expérience étudiée dans cette thèse a été réalisée au Grand Accélérateur National d’Ions Lourds (GANIL) à Caen en septembre 2010. Un faisceau de 68Ni à 50 AMeV et d’une intensité de 10^4 pps a été produit et purifié sur la ligne LISE. Les réactions de diffusion inélastique de particules alpha (alpha, alpha’) et de deutons (d,d’) sur 68Ni en cinématique inverse ont été étudiées avec la cible active Maya. Il s’agit de la première mesure de la ISGMR et de la ISGQR dans un noyau instable riche en neutrons.Pour chaque expérience, le spectre en énergie d’excitation a été reconstruit et les distributions angulaires étudiées par deux méthodes indépendantes. Les sections efficaces expérimentales ont été comparées à celles issues de calculs DWBA utilisant des densités de transition RPA. L’analyse en (alpha, alpha’) a permis l’observation d’une ISGMR fragmentée avec un épaulement à 21.1+/-0.6 MeV, d’une ISGQR concentrée à 16.9+/-0.8 MeV qui épuise 61+/-17% de la règle de somme pondérée en énergie (EWSR). De plus, un mode « soft GMR », prédit mais jamais observé, a été identifié à 13.4+/-0.5 MeV. Tous ces résultats sont confirmés par l’analyse en (d,d’), à l’exception de l’observation de la ISGQR pour laquelle les conditions de fonctionnement n’étaient pas favorables. / The study of the Isoscalar Giant Monopole Resonance (ISGMR) and the Isoscalar Giant Quadrupole Resonance (ISGQR) in stable nuclei provided relevant information on both nuclear matter and nuclear structure in past decades. For instance the centroid of the ISGMR can be linked to the incompressibility modulus of the infinite nuclear matter. Values for exotic nuclei would help in constraining it. In unstable nuclei, only one measurement has been performed so far (56Ni) and in order to study the evolution of the ISGMR and the ISGQR along an isotopic chain, measurements in neutron-rich Ni are called for.To reach this goal, a dedicated experiment was performed at GANIL in Septembre 2010. A 68Ni beam at 50 AMeV and with an intensity of 10^4 pps has been produced on LISE beamline. The inelastic scattering of alpha (alpha, alpha’) and deuteron particles (d,d’) on 68Ni in inverse kinematics has been studied with the active target Maya. It is the first attempt to measure the ISGMR and ISGQR in an unstable neutron-rich nucleus. For each experiment, the excitation energy spectrum has been reconstructed and the angular distributions have been studied with two independant methods. Experimental differential cross sections have been compared to DWBA calculations using RPA transition density in order to deduce the properties of the states observed. Concerning the analysis in (alpha, alpha’), the ISGMR is fragmented with a shoulder at 21.1+/-0.6 MeV, the ISGQR is concentred at 16.9+/-0.8 MeV and exhausted 61+/-17% of the Energy Weighted Sum Rule (EWSR). Moreover, a « soft GMR », predicted but never observed, is identified at 13.4+/-0.5 MeV. All these results are confirmed with the experiment in (d,d’), with the exception of the ISGQR due to unadapted experimental conditions.