La formation et la morphologie des boîtes quantiques est un sujet d'un grand intérêt, ces structures ayant de nombreuses application potentielles, en particulier en microélectronique et optoélectronique. Cette thèse porte sur l'étude théorique et numérique de la croissance et de la morphologie d'ilots par épitaxie par jet moléculaire. Un premier modèle de croissance est une étude non-linéaire de l'instabilité de type Asaro-Tiller-Grinfeld, il convient pour les systèmes à faibles désaccords de maille, et est plus spécifiquement appliquée au cas où le désaccord de maille est anisotrope (voir le cas du GaN sur AlGaN). Le calcul de l'instabilité que nous avons effectué prend en compte les effets élastiques causés par le désaccord de maille, les effets de mouillage et les effets d'évaporation. La résolution numérique de l'instabilité nous permet de constater une croissance plus rapide dans le cas anisotrope comparé au cas isotrope, ainsi que la croissance d'ilots fortement anisotropes.Le deuxième modèle est basé sur des simulations Monte Carlo cinétiques, qui permettent de décrire la nucléation d'ilots 3D. Ces simulations sont utilisées pour les systèmes à fort désaccord de maille, comme Ge sur Si. Nos simulations prennent en compte la diffusion des adatomes, les effets élastiques, et un terme simulant la présence de facettes (105). Des ilots pyramidaux se formaent, conformément aux expériences et subissent un mûrissement interrompu. Les résultats obtenus ont été comparés au cas de la nucléation 2D, et on retrouve en particulier une densité d'ilots en loi de puissance par rapport au rapport D/F du coefficient de diffusion et du flux de déposition. / The growth and morphology of quantum dots is currently a popular subject as these structures have numerous potential uses, specifically in microelectronics and optoelectronics. Control of the size, shape and distribution of these dots is of critical importance for the uses that are being considered. This thesis presents a theoretical and numerical study of the growth of islands during molecular beam epitaxy. In order to study these dots, we used two models : a nonlinear study of an Asaro-Tiller-Grinfeld like instability, and kinetic Monte Carlo simulations. The first model is appropriate for low misfit systems, and is detailed in the case where misfit is anisotropic (this is the case when depositing GaN on AlGaN). In this case we took into account elastic effects, wetting effects and evaporation. Numerical calculations show faster growth, compared to the isotropic misfit case, and the growth of strongly anisotropic islands.The second model is based on kinetic Monte Carlo simulations that can describe 3D island nucleation. We use these simulations to study systems with high misfits, specifically Ge on Si. Adatom diffusion on a surface is considered and takes into account elastic effects, and surface energy anisotropy, that allows us to stabilize (105) facets. Simulation results show the growth of pyramid-shaped 3D islands, as observed in experiments, and their ripening is interrupted. The results of these simulations are then compared to the case of 2D nucleation, and we find that several of the known 2D properties also apply to 3D islands. Specifically, island density depends on a power law of D/F, the diffusion coefficient divided by the deposition flux.