Près d'un siècle après leur découverte, les rayons cosmiques sont encore sujets à de nombreuses interrogations. À ultra-haute énergie (UHE), leur nature, leur origine et leur mécanisme de production restent encore inconnus malgré les avancées expérimentales. L'observatoire Pierre Auger est actuellement l'expérience incontournable pour tenter de répondre à ces questions. Dans ce contexte, l'étude et la recherche de neutrinos à UHE sont susceptibles d'apporter des informations encore manquantes au puzzle des rayons cosmiques d'ultra-haute énergie, notamment quant à leur mécanisme de production ou leur origine. C'est dans ce cadre que s'inscrit cette thèse, centrée sur la recherche de neutrinos à UHE à l'observatoire Pierre Auger et plus particulièrement sur l'étude des neutrinos arrivant sous l'horizon (i.e. à incidence rasante) et interagissant dans la croûte terrestre. Dans une première partie, le contexte phénoménologique et expérimental dans lequel s'inscrit cette thèse est introduit. Dans une seconde partie, nous présenterons tout d'abord notre étude des incertitudes systématiques sur les modèles d'interactions à UHE des neutrinos et des leptons tau à travers une analyse revisitée des neutrinos tau à incidence rasante. Cette étude s'inscrit dans le cadre de la combinaison des résultats des différents canaux de détection de l'observatoire qui a permis de poser une limite compétitive sur les flux de neutrinos à UHE, au delà de la limite de Waxman et Bahcall. Nous présenterons ensuite notre travail effectué sur les neutrinos électroniques à incidence rasante. Ces derniers engendrent, en interagissant dans la croûte terrestre, des gerbes électromagnétiques souterraines soumises à l'effet LPM (Landau, Pomeranchuk et Migdal) qui entraîne un retard de leur développement et augmente leur probabilité de détection. Une chaîne complète de simulation de ce canal a été développée afin d'évaluer la sensibilité de l'observatoire à ces évènements. Enfin, dans le cadre de propositions d'améliorations de l'observatoire en vue d'accroître ses performances à partir de 2015, nous présentons l'étude que nous avons effectuée sur l'impact d'une nouvelle électronique d'acquisition et de nouveaux modes de déclenchements sur l'efficacité de détection des neutrinos à incidence rasante par les stations du réseau au sol. / Nearly one century after their discovery, cosmic rays are still subject to many questions. In particular at ultra-high energy (UHE) where their nature, origin and production mechanism are still unknown despite numerous experimental advances. The Pierre Auger observatory is currently the key experiment to try to answer these questions. In this context, the search for UHE neutrinos remains a major challenge for astroparticle physics. Their study is likely to bring informations that are still missing to the ultra-high energy cosmic ray puzzle regarding their origin and production mechanism. This thesis focuses on the search for UHE neutrinos at the Pierre Auger observatory and particularly on neutrinos arriving below the horizon (i.e. earth skimming) and interacting in the earth crust. In a first part, the phenomenological and experimental context is introduced. In a second part, we first present our study of systematic uncertainies on interactions models of UHE neutrinos and tau lepton through a revisited analysis of earth skimming tau neutrinos in the context of the combination of the results of the different observatory's detection channels. This combination allowed to put a competitive limit on the UHE neutrinos flux, beyond the Waxman and Bachal limit. We will then show our work on earth skimming electron neutrinos. They produce, by interacting in the earth crust, underground electromagnetic showers subject to the LPM (Landau, Pomeranchuk and Migdal) effet which causes a delay in their development and increaase their detection probability. A complete simulation chain of this channel was developed in order to estimate the sensitivity of the observatory to such events. Finally, in the context of proposals to upgrade the observatory in order to improve its performance beyond 2015, we present the study we have performed about the impact of a new acquisition electronic and new triggers on the earth skimming neutrinos detection efficiency by the stations of the ground array.

L’objectif de cette thèse est d’améliorer la détermination de la masse des rayons cosmiques d’ultra haute énergie faite à l’Observatoire Pierre Auger. Aujourd’hui cette mesure est faite à travers l’utilisation de télescopes à fluorescence qui nécessitent des conditions de luminosité spéciales réduisantle cycle utile à environ 10%. Trois approches différentes sont proposées:La première approche est une nouvelle analyse. Les muons issus des gerbes horizontales sont déviés par le champ magnétique terrestre. Cette déviation modifie l’empreinte au sol des gerbes atmosphériques et est fonction de la longueur de parcours des muons. Un estimateur de Xμmax, leur point de productionmaximum, qui dépend de la masse du primaire peut être construit.La deuxième approche explore la détection du rayonnement radio émis par les gerbes atmosphériques, une technique similaire à la fluorescence mais sans limitation du cycle utile. La détection du rayonnement de Bremsstrahlung moléculaire est revue et explorée de différentes manières.La troisième approche propose un nouveau type de détecteur pour le réseau de surface, ces détecteurs ayant une réponse distincte aux différentes composantes des gerbes atmosphériques : électromagnétique et muonique. La mesure de la composante muonique est aussi un moyen d’accéder à la nature du primaire.La nouvelle analyse semble un outil prometteur qui peut s’appliquer à tout lot de données. La radio-détection en revanche n’apparaît pas comme une alternative compétitive face aux techniques traditionnelles. Le nouveau détecteur offre de belles perspectives et devrait être considéré pour l'équipementdes futurs observatoires. / The motivation of this PhD thesis is to improve the capabilities to determine the mass composition of the ultra-high energy cosmic rays in the Pierre Auger Observatory. The measure of their mass composition is done with the fluorescence technique, that needs special luminosity conditions that reduce the exposure time to about 10% of the time. Three different approaches are proposed.The first approach is a new analysis. Muons in the horizontal showers are deviated by the magnetic field of the Earth. This deflection is related with different characteristics of the extensive air shower that allow the construction of an estimator to obtain an alternative measure of Xμmax, an observable sensitive to the mass of the primary.The second approach is to explore the detection of the radio emission produced in the extensive air showers, a technique similar to the fluorescente one, but without the limitations in the duty cycle. The detection of the Molecular Bremsstrahlung Radiation emission is revised and investigated from different points of view.The third approach is to propose a new surface detector that obtains different responses to the different components of the extensive air shower: electromagnetic and muonic. The access to the muonic component is another way to access to the composition of the primary particle.The new method of analysis proposed appears as a promising tool to be applied in any data set. The technique of the radio detection did not show clear indications of being an alternative to traditional techniques. The new detector represents a promising alternative to be considered in any future ultra-high energy cosmic rays experiment.