La première partie de la thèse traite des déformations et quantification de bialgèbres de Lie. L'existence d'une quantification pour chaque bialgèbre de Lie a été démontrée par Etingof et Kazhdan. Dans ce travail, on s'intéresse au cas des bialgèbres de Lie colorée, c'est à dire une structure de bialgèbres de Lie sur un espace gradué par un groupe quelconque et un bicaractère. A cet effet, on adapte la preuve de Etingof et Kazhdan et on introduit une généralisation au cas coloré du grand crochet introduit par Lecomte et Roger. Par ailleurs nous définissons une cohomologie pour les algèbres et bialgèbres de Lie colorées. Dans le deuxième partie de la thèse, on considère les algèbres Hom-associatives et algèbres Hom-Lie. Une algèbre Hom-associative est définie par une multiplication et une application linéaire alpha modifiant l'associativité. On commence cette partie par rappeler des définitions et propriétés des algèbres de type Hom. Ensuite, on définit la cohomologie de Hochschild de type alpha, en donnant ses propriétés. Une étude similaire est faite dans le cas des algèbres Hom-Lie et la cohomologie de Chevalley-Eilenberg, ainsi que pour les Hom-bialgèbres et bialgèbres Hom-Lie. La théorie de déformations formelles introduite par Gerstenhaber met en lien les déformations et la cohomologie. Dans cette thèse on établit une théorie de déformations des algèbres Hom-associatives basée sur la cohomologie de Hochschild de type alpha. Il s'agit de déformer simultanément la multiplication et l'application linéaire. Par ailleurs, on explore la structure d’algèbre de Lie à homotopie près correspondante, telle que les éléments de Maurer-Cartan sont des Hom-algèbres. / In the first part of this thesis, we provide a proof that any color Lie bialgebra can be quantized. This was proved for Lie bialgebras by Etingof and Kazhdan. Here we generalize this proof to color Lie bialgebras, which are Lie bialgebras graded by an arbitrary abelian group and symmetry given by a bicharacter. Before giving the details of the proof, we first recall the definitions and basic properties of color Lie algebras and bialgebras. Also a generalization of the Grand Crochet introduced by Lecomte and Roger to the color setting is given. Using the Grand Crochet, we also provide a cohomology for color Lie bialgebras. In the second part, we study different type of Hom-algebras, especially Hom-Lie and Hom-associative algebras. Hom-algebras are algebras were the defining relations, e.g. the associativity, are twisted by a linear map alpha called structure map. We first recall the relevant definitions. Then we define a new cohomology for Hom-associative and Hom-Lie algebras called alpha-type Hochschild and Chevalley-Eilenberg cohomology respectively. We also show how these cohomologies can be used to study formal deformations, in the sense of Gerstenhaber, of Hom-associative and Hom-Lie algebras. We allow the deformation of the multiplication and the structure map. We also consider alpha type cohomologies for Hom-bialgebras. Moreover, we explore the corresponding homotopy Lie algebra structure such that the Maurer-Cartan elements are Hom-algebras.

L’objet de cette thèse est l’étude de l’existence d’une quantification pour les sous-algèbres de Lie coisotropes des bigèbres de Lie. Une sous-algèbre de Lie coisotrope d’une bigèbre de Lie est une sous-algèbre de Lie qui est aussi un coidéal. Le problème de quantifications d’une sous-algèbre de Lie coisotrope fut posé par V. Drinfeld, lors de son étude de la quantification des espaces de Poisson homogènes G/C. Ces deux problèmes sont liés par le principe de dualité établi par N. Ciccoli et F. Gavarini. Dans cette thèse, nous cherchons à résoudre ce problème de quantification dans différents cadres. Premièrement, nous montrons qu’une quantification existe dans le cadre des bigèbres de Lie simple. Nous trouvons une quantification aux sous-algèbres de Lie coisotropes construites par M. Zambon. Puis nous établissons un lien entre ces quantifications et une classification des sous- algèbres coidéales à droite établie par I. Heckenberger et S. Kolb. Deuxièmement, nous trouvons une obstruction à la quantification universelle en utilisant une quantification d’ordre trois construite par V. Drinfeld. Nous montrons que cette obstruction disparait dans les exemples étudiés précédemment. Finalement, nous généralisons un résultat établi par P. Etingof et D. Kazhdan sur la quantification d’espaces de Poisson homogènes, liés aux sous-algèbres Lagrangiennes du double de Drinfeld. / The aim of this thesis is the study of quantization of coisotropic Lie subalgebras of Lie bialgebras.A coisotropic Lie subalgebra of a Lie bialgebra is a Lie subalgebra which is also a Lie coideal. The problem of quantization of coisotropic Lie subalgebra was set forth by V. Drinfeld, in his study of quantization of Poisson homogeneous spaces G/C. These problems are closely related to the duality principle established by N. Ciccoli and F. Gavarini.In this thesis, we search for an answer to this quantization problem in different settings. Firstly, we show that a quantization exists for simple Lie bialgebras by constructing a quantization of examples provided by M. Zambon. We then establish a link between the quantization which we constructed and a classification of subalgebras right coideals established by I. Heckenberger and S. Kolb. Secondly, we find an obstruction to the quantization in the universal setting by using a third-order quantization constructed by V. Drinfeld. We show that this obstruction vanishes in the examples studied earlier. Finally, we generalize a result of P. Etingof and D. Kazhdan on the quantization of poisson homogeneous spaces, linked to Lagrangian Lie subalgebras of Drinfeld's double.