Les collisions d'ions lourds ultra-relativistes ont pour objectif l'étude d'un état de matière en interaction forte dans des conditions extrêmes de densité d'énergie et température, le plasma de quarks et gluons (QGP). Les saveurs lourdes (charme et beauté) sont produites principalement lors de processus durs aux premiers instants de la collision et participent aux différentes étapes de la collision. Par conséquent, la mesure des saveurs lourdes ouvertes devrait permettre d'extraire des informations importantes concernant le système créé aux premiers instants de la collision. L'étude des collisions proton-proton (pp) fournit la référence indispensable pour la mesure des saveurs lourdes dans les systèmes lourds. Cette thèse est dédiée à l'étude de la production des muons de décroissance des hadrons charmés et beaux aux rapidités avant (2.5 < y < 4) dans les collisions pp sqrt (s) = 5.02 TeV, Pb-Pb à sqrt (sNN) = 2.76 et 5.02 TeV et Xe-Xe à sqrt (sNN) = 5.44 TeV enregistrées avec le détecteur ALICE au CERN-LHC. La mesure des sections efficaces différentielles de production des muons de décroissance des hadrons charmés et beaux dans les collisions pp à sqrt (s) = 5.02 TeV couvre un grand domaine en impulsion transverse de 2 à 20 GeV/c et ont une meilleure précision par rapport aux résultats publiés à sqrt (s) = 2.76 et 7 TeV. Les résultats sont en bon accord avec les calculs perturbatifs de QCD. Une importante suppression de la production des muons de décroissance des hadrons charmés et beaux est observée dans les collisions centrales (0-10%) Pb-Pb à sqrt (sNN) = 2.76 et 5.02 TeV. Cette suppression est attribuée au milieu dense et chaud formé dans ces collisions. L'influence de la taille du système est étudiée avec le système Xe-Xe à sqrt (sNN) = 5.44 TeV. La suppression est similaire à celle mesurée dans les collisions Pb-Pb. Les résultats obtenus dans les collisions Pb-Pb et Xe-Xe apportent des contraintes fortes aux paramètres des modèles. / The study of ultra-relativistic heavy-ion collisions aims at investigating a state of strongly-interacting matter at high energy density and temperature, the Quark-Gluon Plasma (QGP). Heavy quarks (charm and beauty) are predominantly produced in initial hard scattering processes during the early stage of the collisions and experience the full evolution of the medium. Therefore, the measurement of open heavy flavours should provide essential information on the QGP properties. Similar measurements in small systems are also essential for a comprehensible understanding of the QGP properties. The study of open heavy flavours in proton-proton (pp) collisions provides the mandatory reference for measurements in heavy-ion collisions. This thesis presents measurements of the production of muons from heavy-flavour hadron decays at forward rapidity (2.5 < y < 4) in pp collisions at sqrt (s) = 5.02 TeV, Pb-Pb collisions at sqrt (sNN) = 2.76 and 5.02 TeV and Xe-Xe collisions at sqrt (sNN) = 5.44 TeV collected with the ALICE detector at the CERN-LHC. The differential production cross sections of muons from heavy-flavour hadron decays in pp collisions at sqrt (s) = 5.02 TeV are obtained in a wide transverse momentum interval, 2 < pT < 20 GeV/c, and with an improved precision compared to the previously published measurements at sqrt (s) = 2.76 and 7 TeV. The measurements are described within uncertainties by predictions based on perturbative QCD. A strong suppression of the yield of muons from heavy-flavour decays is observed in the 10% most central Pb-Pb collisions at both sqrt (sNN) = 2.76 and 5.02 TeV. This suppression is due to final-state effects induced by the hot and dense medium. The suppression in Xe-Xe collisions is similar to that observed with Pb-Pb collisions. The comparison in the two colliding systems provides insight in the path-length dependence of medium-induced parton energy loss. The results constrain model calculations.