L'optimisation topologique vise à concevoir une structure en recherchant la disposition optimale du matériau dans un espace de conception donné, permettant ainsi de proposer des designs optimaux innovants. Cette thèse est centrée sur l'optimisation topologique pour des problèmes de conception de structures prenant en compte des contraintes de flambage. Dans une large variété de domaines de l'ingénierie, la conception innovante de structures est cruciale. L'allègement des structures lors la phase de conception tient une place prépondérante afin de réduire les coûts de fabrication. Ainsi l'objectif est souvent la minimisation de la masse de la structure à concevoir. En ce qui concerne les contraintes, en plus des contraintes mécaniques classiques (compression, tension), il est nécessaire de prendre en compte des phénomènes dits de flambage, qui se caractérisent par une amplification des déformations de la structure et une potentielle annihilation des capacités de la structure à supporter les efforts appliqués. Dans le but d'adresser un large panel de problèmes d'optimisation topologique, nous considérons les deux types de représentation d'une structure : les structures treillis et les structures continues. Dans le cadre de structures treillis, l'objectif est de minimiser la masse en optimisant le nombre d'éléments de la structure et les dimensions des sections transversales associées à ces éléments. Nous considérons les structures constituées d'éléments poutres et nous introduisons une formulation du problème comme un problème d'optimisation non-linéaire en variables mixtes. Afin de prendre en compte des contraintes de manufacturabilité, nous proposons une fonction coût combinant la masse et la somme des seconds moments d'inertie de chaque poutre. Nous avons développé un algorithme adapté au problème d'optimisation considéré. Les résultats numériques montrent que l'approche proposée mène à des gains de masses significatifs par rapport à des approches existantes. Dans le cas des structures continues, l'optimisation topologique vise à discrétiser le domaine de conception et à déterminer les éléments de ce domaine discrétisé qui doivent être composés de matière, définissant ainsi un problème d'optimisation discret. [...] / Topology optimization aims to design a structure by seeking the optimal material layout within a given design space, thus making it possible to propose innovative optimal designs. This thesis focuses on topology optimization for structural problems taking into account buckling constraints. In a wide variety of engineering fields, innovative structural design is crucial. The lightening of structures during the design phase holds a prominent place in order to reduce manufacturing costs. Thus the goal is often the minimization of the mass of the structure to be designed. Regarding the constraints, in addition to the conventional mechanical constraints (compression, tension), it is necessary to take into account buckling phenomena which are characterized by an amplification of the deformations of the structure and a potential annihilation of the capabilities of the structure to support the applied efforts. In order to adress a wide range of topology optimization problems, we consider the two types of representation of a structure: lattice structures and continuous structures. In the framework of lattice structures, the objective is to minimize the mass by optimizing the number of elements of the structure and the dimensions of the cross sections associated to these elements. We consider structures constituted by a set of frame elements and we introduce a formulation of the problem as a mixed-integer nonlinear problem. In order to obtain a manufacturable structure, we propose a cost function combining the mass and the sum of the second moments of inertia of each frame. We developed an algorithm adapted to the considered optimization problem. The numerical results show that the proposed approach leads to significant mass gains over existing approaches. In the case of continuous structures, topology optimization aims to discretize the design domain and to determine the elements of this discretized domain that must be composed of material, thus defining a discrete optimization problem. [...]