De nombreux corps du système solaire possèdent des enveloppes liquides internes, comme par exemple les noyaux métalliques des planètes telluriques et les océans profonds des satellites de glace de Jupiter et Saturne, dans lesquelles se produisent des courants de convection. La modélisation de la dynamique de ces enveloppes est cruciale pour comprendre la génération des champs magnétiques planétaires (pour les noyaux) et pour mieux déterminer l’habitabilité potentielle des satellites joviens. La convection dans ces enveloppes est généralement produite par la combinaison d’au moins deux sources de flottabilité : une source thermique et une source solutale. Une telle situation est plus complexe qu’un régime de convection purement thermique ou purement solutale, d’une part en raison de l’existence d’un couplage thermochimique lorsqu’un processus de fusion ou de cristallisation se produit à l’une des frontières de l’enveloppe, et d’autre part à cause de la forte différence de diffusivité moléculaire entre les champs thermique et compositionnel qui permet potentiellement le développement d’instabilités double-diffusives. Classiquement, ces complexités ont été ignorées dans les simulations numériques de la dynamo terrestre ; les champs thermique et compositionnel ayant été combinés en une seule variable nommée « codensité ». Cette approche est sans doute simpliste mais permet d’esquiver une difficulté technique liée à la description du champ compositionnel dont la très faible diffusivité nécessite de recourir à des méthodes numériques adaptées. Cette thèse présente d’abord l’implémentation d’une méthode semi-Lagrangienne du type « particle-in-cell » dans un code de dynamo pré-existant, permettant ainsi de traiter de manière plus réaliste le champ de composition dans les enveloppes liquides internes des planètes. Les optimisations réalisées sont détaillées ainsi que les résultats de tests sur des cas de benchmark qui valident cet outil. Une comparaison avec des méthodes Eulériennes est également présentée. Une première exploration de la physique de la convection compositionnelle et thermochimique en rotation dans la limite d’un nombre de Prandtl compositionnel infini est ensuite conduite dans le contexte du noyau liquide terrestre. Il est montré que la dynamique convective est très différente de celle de la convection thermique pure. Notamment, les matériaux légers injectés à la frontière graine/noyau liquide sont capables d’atteindre la frontière noyau/manteau et de s’y accumuler pour former une couche chimiquement stratifiée, dont l’existence a été évoquée théoriquement mais qui n’a jamais pu être produite dans de précédentes simulations. Enfin, la dynamique double-diffusive des couches stratifiées est également discutée, et de premières simulations de « salt fingers » sont présentées. / Numerous planetary bodies contain internal liquid layers in which convective currents are generated by the combination of buoyancy sources of thermal and compositional origin. The strong difference between the thermal and chemical molecular diffusivities and the possibility of thermo-chemical coupling at melting or freezing boundaries create a convective regime that is much more complex than pure thermal convection, partly due to the potential occurrence of double-diffusive instabilities. Traditionally, numerical simulations have modeled the dynamics of the liquid part of planetary cores in a more simplistic way by neglecting the diffusivity difference and combining both fields into one single variable, an approximation that is convenient but maybe not relevant. However, distinguishing both fields and dealing with a large or infinite diffusivity ratio makes it compulsory to use numerical methods that minimize numerical diffusion as much as possible. In this thesis, I adapted a semi-Lagrangian particle-in-cell method into a pre-existing dynamo code to describe the weakly diffusive compositional field. I optimized the code for massively parallel computing and validated it on two different benchmarks. I compared the particle-in-cell method to Eulerian schemes and showed that its advantages extend beyond its lower numerical dissipation. Using this new tool, I performed first numerical simulations of rotating pure compositional and thermochemical convection in the limit of null chemical diffusivity. I explored the physics of pure compositional convection and addressed questions related to the existence and the dynamics of a stratified layer below the Earth’s core mantle boundary. In particular, I showed that the stratification could potentially be of chemical origin and proposed some mechanisms to explain its formation. In the case of a thermally stratified layer, I performed a scaling analysis of fingering instabilities, wrote the first steps of a linear stability analysis and ran a few simulations of fingering instabilities in the rotating case. The potential effects of the magnetic field and the coupling of thermochemical boundary conditions in planetary cores are finally discussed in this thesis.