En topologie de dimension trois, les invariants de type fini se caractérisent par leur comportement polynomial vis-à-vis de certaines opérations chirurgicales qui préservent l'homologie des variétés. Motivée par l'approche perturbative des "invariants quantiques", la notion d'invariant de type fini a été initialement formulée par T. Ohtsuki qui en contruisit les premiers exemples ; les fondements théoriques des invariants de type fini ont ensuite été posés par plusieurs auteurs dont M. Goussarov et K. Habiro. Grâce à une construction de T. Le, J. Murakami & T. Ohtsuki basée sur l'intégrale de Kontsevich, on dispose pour les sphères d'homologie d'un invariant de type fini universel à valeurs diagrammatiques. Ce mémoire expose d'une manière synthétique certains aspects de la théorie des invariants de type fini, pour les variétés de dimension trois en général, et pour les cylindres d'homologie en particulier. Nous présentons notamment une extension fonctorielle de l'invariant LMO à une certaine catégorie de cobordismes, et nous appliquons ce foncteur à l'étude du monoïde des cylindres d'homologie. Nous expliquons comment nos constructions et résultats se relient aux travaux antérieurs de D. Johnson, S. Morita et R. Hain sur le groupe de Torelli d'une surface. Nous concluons par quelques problèmes et perspectives de recherche. Certains des travaux exposés dans ce mémoire ont été réalisés en collaboration avec D. Cheptea, K. Habiro et J.-B. Meilhan.

Une théorie des champs quantique topologique (TQFT) en dimension 3 est un foncteur monoidal symétrique de la catégorie des cobordismes de dimension 3 vers celle des espaces vectoriels. Une TQFT fournit en particulier un invariant scalaire des variétés fermées de dimension 3 ainsi que des représentations du groupe de difféotopie des surfaces fermées.Turaev explique en 1994 comment construire à partir d'une catégorie modulaire une TQFT qui étend l'invariant scalaire de 3-variétés fermées introduit en 1991 par Reshetikhin et Turaev. Dans cette thèse, nous généralisons cette construction à l'aide d'une catégorie C en ruban avec coend. On représente un cobordisme par un enchevêtrement d'un type particulier (enchevêtrement de cobordisme) et on associe à celui-ci un morphisme défini entre puissances tensorielles de la coend comme décrit par Lyubashenko en 1995. A l'aide de l'extension du calcul de Kirby aux cobordismes de dimension 3, cette construction nous permet de produire un invariant de cobordismes puis une TQFT à valeurs dans la sous-catégorie monoïdale symétrique des objets transparents de C.Dans le cas où C est une catégorie modulaire, cette sous-catégorie s'identifie à celle des espaces vectoriels et on retrouve ainsi la TQFT de Turaev. Dans le cas où C est une catégorie prémodulaire modularisable, notre TQFT est un relèvement de la TQFT de Turaev associée à la modularisée de C. / A 3-dimensional topological quantum field theory (TQFT) is a symmetric monoidal functor from the category of 3-cobordisms to the category of vector spaces. Such TQFTs provide in particular numerical invariants of closed 3-manifolds and representations of the mapping class group of closed surfaces.In 1994, Turaev explains how to construct a TQFT from a modular category; the scalar invariant is then the Reshethikhin-Turaev invariant introduced in 1991. In this thesis, we describe a generalization of this construction starting from a ribbon category C with coend. We present a cobordism by a certain type of tangle (cobordism tangle) and we associate to such a tangle a morphism between tensor products of the coend as described by Lyubashenko in 1994. Extending the Kirby calculus to 3-cobordisms, we obtain in this way an invariant of cobordisms and a TQFT which takes values in the symmetric monoidal subcategory of transparent objects of C. If the category C is modular, this subcategory can be identified with the category of vector spaces, and we recover Turaev's TQFT. If the category C is modularizable, our TQFT is a lift of the Turaev TQFT for the modularization of C.