On étudie les déformations des applications harmoniques $f$ tordues par rapport à une représentation. Après avoir construit une application harmonique tordue "universelle", on donne une construction de toute déformations du premier ordre de $f$ en termes de la théorie de Hodge ; on applique ce résultat à l'espace de modules des représentations réductives d'un groupe de Kähler, pour démontrer que les points critiques de la fonctionnelle de l'énergie $E$ coïncident avec les représentations de monodromie des variations complexes de structures de Hodge. Ensuite, on procède aux déformations du second ordre, où des obstructions surviennent ; on enquête sur l'existence de ces déformations et on donne une méthode pour le construire. En appliquant ce résultat à la fonctionnelle de l'énergie comme ci-dessus, on démontre (pour n'importe quel groupe de présentation finie) que la fonctionnelle de l'énergie est strictement pluri sous-harmonique sur l'espace des modules des représentations. En assumant de plus que le groupe soit de Kähler, on étudie les valeurs propres de la matrice hessienne de $E$ dans les points critiques. / We study the deformations of twisted harmonic maps $f$ with respect to a representation. After constructing a continuous ``universal'' twisted harmonic map, we give a construction of every first order deformation of $f$ in terms of Hodge theory; we apply this result to the moduli space of reductive representations of a K\"ahler group, to show that the critical points of the energy functional $E$ coincide with the monodromy representations of polarized complex variations of Hodge structure. We then proceed to second order deformations, where obstructions arise; we investigate the existence of such deformations, and give a method for constructing them, as well. Applying this to the energy functional as above, we prove (for every finitely presented group) that the energy functional is strictly pluri sub-harmonic on the moduli space of representations; assuming furthermore that the group is Kähler, we study the eigenvalues of the Hessian of $E$ at critical points.