Les travaux de recherche de cette thèse portent sur l'amélioration des capacités sociales d'un système conversationnel en interaction avec un humain. Lorsque le système n'est pas dédié à une tâche particulière, il doit tenir compte de difficultés relevant de l'interaction sociale elle-même. L'humour est un mécanisme naturel dans les interactions sociales. Nous considérons un humour-machine comme une simulation de comportements simplifiés des capacités humoristiques humaines: dérision, blagues, jeux de mots. Les travaux de cette thèse s'appuient sur des théories issues de domaines variés en sociologie, psychologie, neurosciences et linguistique pour l'intégration de cet humour-machine dans un système robotique. Implémentées dans certains systèmes de dialogue, ces capacités humoristiques sont cependant rarement utilisées pour pouvoir choisir les comportements à générer du robot. Dans nos travaux, la mise en œuvre des comportements humoristiques du système en conversation est réalisée en utilisant la théorie des rites d'interaction. L'estimation de la face de l'interlocuteur permet de diriger le comportement du robot dans la conversation casuelle humoristique. Les facteurs expressifs d'une perte ou d'une valorisation de la face sont liés à des états mentaux exprimés dans une situation donnée. Pour réaliser cette estimation de la face, nous étudions, à partir de corpus créés à cet effet, les réactions comportementales, affectives et expressives des participants à différents types d'humour réalisés par le robot et ayant des impacts variables sur celle-ci (l'humour prenant pour cible le robot, le participant ou un autre sujet). Les réactions des participants à l'humour sont établies sur une représentation multi-niveaux d'indices émotionnels, comportementaux et linguistiques, extraits à partir de l'audio.Des règles sont ainsi construites à partir de l'apprentissage automatique de ces indices issus des corpus, concernant l'appréciation de la réaction des participants à l'humour et la mise à jour de l'estimation de la face présentée du participant. Leur implémentation dans un système automatique nous permet de les évaluer. De nombreuses expérimentations ont été menées avec des publics variés : personnes âgées, adultes, adolescents. Enfin, l'utilisation des préférences du participant à l'humour dans la conversation fait émerger des questions éthiques, notamment face au pouvoir persuasif et manipulateur de l'humour. / This doctoral dissertation is about the improvement of social capacities of a conversationnal system to interact with humans. When the system is not dedicated to one particular task, it must take into account the inherent difficulties of social interaction it-self. Humor is a natural mechanism present in social interactions. We consider humour in a robotic system as a simulation of simplified behaviors from human humor : derision, jokes, puns. This work is based on theories issued from various research domains as sociology, psychology, neurosciences and linguistics to enable integration of humor in a robotic system. Implemented in some dialog systems, humorous capacities are however rarely used when programming the robot’s behavior. In our study, the humourous behavior is implemented in the system by using the ritual theory of face-work. The face analysis of the interlocutor can be used to direct the robot’s reactions during a casual humorous talk. In order to evaluate the faces of participants in interaction, we study, using data collections created for this purpose, the participant’s behavior, emotionnal and expressive responses to different types of humor (humorous act targeting the robot, the participant or a neutral subject). Participant's reaction to humor are made upon a multi-level processing of emotionnal, linguistic and behavioral cues.Machine learning is used to extract rules defining appreciation or not and update the participant's face evaluation in regards of the humorous act produced by the robot. An implementation of these rules in an automatic dialog system allows us to evaluate their accuracy. Numerous experiments were carried out on various populations : elderly persons, adults, teenagers. Finally, the use of the participant’s preferences in the conversation raises ethical questions, in particular against the persuasive and manipulative power of humor.