This thesis presents neutron and x-ray scattering measurements on quasi-two-dimensional honeycomb antiferromagnets A2IrO₃ (A=Na, Li) and the solid-solution intermediate material (Na_1-xLi_x)₂IrO₃. The aim is to study the magnetic order and excitations of 5d Ir⁴⁺ ions in a honeycomb lattice, where unusual magnetic properties have been theoretically predicted to be stabilised by the combinations of strong spin-orbit coupling and honeycomb lattice geometry with 90 degree Ir-O-Ir bonding. By using an optimised setup to minimise the strong neutron absorption by Ir nuclei, inelastic neutron scattering measurements on powder sample of Na₂IrO₃ observed dispersive excitations below 5meV with a dispersion that can be accounted for by including substantial further-neighbor exchanges that stabilize zigzag magnetic order. The onset of long-range magnetic order was confirmed by the observation of oscillations in zero-field muon-spin rotation experiments. Higher-resolution inelastic neutron data found features consistent with a spin gap of 1.8meV and the data was parameterised by including Ising-type exchange anisotropy. Combining single-crystal diffraction and density functional calculations, a revised crystal structure model with significant departures from the ideal 90 degree Ir-O-Ir bonds required for dominant Kitaev exchange was proposed. Various "idealised'' crystal structures were constructed to emphasize the departures between the actual structure and structures with cubic IrO₆ octahedra. The magnetic excitations from the isostructural Li₂IrO₃ revealed strongly dispersive magnetic excitations, qualitatively different from Na₂IrO₃. Elastic neutron diffraction detected a magnetic Bragg peak with a wavevector consistent with spiral orders. To explain the observed neutron data, the spiral H2 phase in the Heisenberg J₁-J₂-J₃ model was proposed, and a full calculation was performed with strong in-plane anisotropic interaction. A further measurement for improving the lower-energy excitation found no clear evidence for a spin gap down to E=0.7meV. Lastly, the crystal structure of (Na_1-xLi_x)₂IrO₃ was investigated with single-crystal x-ray diffraction, revealing a site-mixing of Ir and Na ions in the honeycomb lattice and insensitivity of the refinement to the Li positions. Ab initio calculations suggested that up to x=0.25 Li ions replaced Na in the honeycomb centre and phase separation occurred beyond that, which is consistent with the evolution of observed lattice parameters.

Ce manuscrit présente l’étude de transitions de phase quantiques dans l’oxyde BaCo2V2O8, un système antiferromagnétique quasi-unidimensionnel constitué de chaînes d’ions cobalt portant un spin effectif S = 1/2 caractérisé par une forte anisotropie de type Ising. Lors de ce travail, nous avons étudié les propriétés statiques et dynamiques de BaCo2V2O8 sous l’effet de différents paramètres physiques.Notre première étude a porté sur l’effet d’un champ magnétique transverse, i.e. appliqué perpendiculairement à l’axe Ising. Il a été proposé que lors de l’application d’un tel champ, un champ magnétique alterné effectif est induit perpendiculairement à l’axe d’anisotropie et au champ uniforme appliqué. La comparaison d'expériences de diffusion (élastique et inélastique) de neutrons et de calculs numériques nous a permis de montrer que ce champ alterné entre en compétition avec l’anisotropie. Ceci aboutit à une transition de phase originale, dite topologique, que l'on peut modéliser par une théorie quantique des champs nommée « modèle de double sine-Gordon » qui décrit la compétition entre deux excitations topologiques duales. Nous avons pu montrer que BaCo2V2O8 sous champ magnétique transverse était la première réalisation d'une telle théorie.La seconde étude était consacrée à BaCo2V2O8 sous champ magnétique longitudinal, i.e. un champ appliqué parallèlement à l’axe Ising. La dynamique de spins a été sondée grâce à la diffusion inélastique de neutrons et nous avons montré qu’au-dessus d’un champ critique de 4 T, celle-ci semble en accord avec le spectre des fluctuations de spin attendu pour un liquide de Tomonaga Luttinger (TLL). De plus, les calculs numériques ont confirmé que, du fait de l’anisotropie de type Ising dans ce système, la majorité du poids spectral du spectre en énergie est porté par les fluctuations de spins de type longitudinales. Ce résultat est la signature d'un comportement quantique sans analogue classique avec des fluctuations de basses énergies essentiellement longitudinales pilotant la physique du système. Enfin, c’est la première fois que la dynamique de spin dans des chaînes de type Ising a pu être sondée dans cette phase TLL.Les deux dernières études sont préliminaires. Le diagramme de phase de BaCo2V2O8 a été sondé par des mesures calorimétriques sous l’application d’une pression hydrostatique et d’un champ magnétique longitudinal. Afin d’obtenir des pressions allant jusqu’à 10 GPa, nous avons utilisé une cellule à enclumes de diamant. Nous avons effectué des mesures de chaleur spécifique qui nous ont permis de sonder l'effet de la pression sur le Hamiltonien de BaCo2V2O8 au travers de son diagramme de phase $(H, P, T)$. Enfin, nous avons étudié l’effet de la substitution des ions magnétiques Co2+ par des impuretés non-magnétiques Mg2+. Les expériences de diffraction neutronique sous champ longitudinal ont montré que la température et le champ critiques diminuent proportionnellement à la concentration en impuretés. La dynamique de spins à champ magnétique nul a aussi été sondée et révèle l’apparition de modes non-dispersifs, provenant possiblement de l’effet de segmentation des chaînes par les impuretés.En conclusion, nos études expérimentales couplées à des calculs numériques nous ont permis de dévoiler une physique extrêmement riche dans ce composé modèle pour l'étude du magnétisme quantique et des transitions de phase quantiques. / This manuscript is devoted to the study of quantum phase transitions in the BaCo2V2O8 oxide, a quasi-one dimensional antiferromagnet consisting of spin chains of cobalt magnetic ions carrying an effective spin S = 1/2 showing a strong Ising-like anisotropy. To achieve this, we have studied BaCo2V2O8 under the effect of different physical parameters.Our first study concerned the effect of a transverse magnetic field, i.e. applied perpendicularly to the Ising axis. It has been shown that when BaCo2V2O8 is subjected to such a field, an effective staggered magnetic field is induced perpendicularly to both the Ising-axis and the uniform applied field. Using neutron scattering experiments (both elastic and inelastic) compared to numerical calculations, we have proved that this staggered field competes with the Ising-like anisotropy. This leads to a very original quantum phase transition. Our system can actually be mapped onto a quantum field theory called “double sine-Gordon model”, describing the competition between two dual topological excitations. We have thus shown that BaCo2V2O8 under a transverse magnetic field is the first experimental realization of such a theory.The second study was devoted to the effect of a longitudinal magnetic field, i.e. a field applied parallel to the Ising-axis. The spin-dynamics have been investigated by means of inelastic neutron scattering experiments and it has been shown that above a critical field of 4 T, it corresponds to the one expected for a Tomonaga Luttinger liquid phase (TLL). Moreover, numerical calculations have shown that, because of the Ising-like anisotropy in this system, the majority of the spectral weight in the energy spectrum is carried by longitudinal spin fluctuations. This result is the signature of a quantum behavior without classical analogous with low energy longitudinal fluctuations driving the physics of the system. Finally, this is the first time that the dispersion spectrum for an Ising-like spin 1/2 chain could be probed in this TLL phase.The last two studies are preliminary work. The phase diagram of BaCo2V2O8 has been probed by calorimetric measurements under pressure and under a longitudinal magnetic field. Pressures up to 10 GPa have been obtained using a diamond anvil cell. We have then performed specific heat measurements allowing us to investigate the effect of pressure on the Hamiltonian of BaCo2V2O8 through its (H, P, T) phase diagram. Finally, we have also started to study the effect of the substitution of magnetic ions Co2+ by non-magnetic impurities Mg2+. The neutron diffraction experiments under a longitudinal magnetic field have shown that the critical temperature and critical field decrease proportionally to the concentration of impurities. The spin-dynamics at zero-field has also been investigated and reveals the appearance of non-dispersive magnetic modes, which possibly comes from the finite size effect of the spin chains segmented by the non-magnetic impurities.In conclusion, our experimental studies associated to numerical calculations allowed us to unveil a very rich physics in this model compound for the study of quantum magnetism and quantum phase transitions.