Dans cette thèse, nous avons étudié la reconnaissance des actions qui incluent l'intéraction avec l’objet à partir des données du skeleton et des informations de profondeur fournies par les capteurs RGB-D. Il existe deux principales applications que nous abordons dans cette thèse: la reconnaissance de l'interaction humaine avec l'objet et la reconnaissance d'une activité anormale. Nous proposons, dan un premier temps, une modélisation spatio-temporelle pour la reconnaissance en ligne et hors ligne des interactions entre l’humain et l’objet. Ces caractéristiques ont été adoptées pour la reconnaissance en ligne des interactions humaines avec l’objet et pour la détection de la démarche anormale. Ensuite, nous proposons des caractéristiques liées à d'objet qui décrivent approximativement la forme et la taille de l’objet. Ces caractéristiques sont fusionnées avec les caractéristiques bas-niveau pour la reconnaissance en ligne des interactions humaines avec l’objet. Les expériences menées sur deux benchmarks démontrent l’efficacité de la méthode proposée. Dans le deuxième volet de ce travail, nous étendons l'étude à la détection de la démarche anormale en utilisant le cadre en ligne l’approche. Afin de valider la robustesse de l’approche à la pose, nous avons collecté une base multi-vue pour des interactions humaines avec l’objet, de façon normale et anormale. Les résultats expérimentaux sur le benchmark des actions anormales frontales et sur la nouvelles base prouvent l’efficacité de l’approche. / In this thesis, we have investigated the human object interaction recognition by using the skeleton data and local depth information provided by RGB-D sensors. There are two main applications we address in this thesis: human object interaction recognition and abnormal activity recognition. First, we propose a spatio-temporal modeling of human-object interaction videos for on-line and off-line recognition. In the spatial modeling of human object interactions, we propose low-level feature and object related distance feature which adopted on on-line human object interaction recognition and abnormal gait detection. Then, we propose object feature, a rough description of the object shape and size as new features to model human-object interactions. This object feature is fused with the low-level feature for online human object interaction recognition. In the temporal modeling of human object interactions, we proposed a shape analysis framework based on low-level feature and object related distance feature for full sequence-based off-line recognition. Experiments carried out on two representative benchmarks demonstrate the proposed method are effective and discriminative for human object interaction analysis. Second, we extend the study to abnormal gait detection by using the on-line framework of human object interaction classification. The experiments conducted following state-of-the-art settings on the benchmark shows the effectiveness of proposed method. Finally, we collected a multi-view human object interaction dataset involving abnormal and normal human behaviors by RGB-D sensors. We test our model on the new dataset and evaluate the potential of the proposed approach.

Cette thèse vise à améliorer la conception des systèmes multi-agents, par l'étude et la modélisation des capacités humaines de planification et d'interaction. Elle s'appuie sur une expérimentation psychologique durant laquelle des sujets humains avaient à résoudre un problème de planification en connaissances incomplètes.<br /><br />Les protocoles collectés au cours de cette expérimentation ont été analysés du point de vue de la planification et du point de vue des interactions. Ainsi, un modèle de la planification humaine et un modèle de l'interaction humaine ont pu être conçus.<br /><br />Ces deux modèles sont intégrés de façon homogène à une nouvelle architecture d'agent appelée BDIGGY. Parmi les modèles d'agents existants, le modèle BDI (Belief, Desire, Intention) offre un cadre intéressant pour la conception d'agents délibératifs capables de planifier et<br />d'interagir selon leurs états mentaux. Ainsi, l'architecture BDIGGY est née d'une fusion entre le système IGGY (un système pré-existant de planification humaine) et une architecture BDI étendue à la résolution coopérative de problèmes.<br /><br />Le modèle de l'interaction humaine introduit dans BDIGGY est sur deux niveaux :<br />1. il s'appuie sur la théorie des actes de langage pour modéliser les énoncés, à l'aide d'un ensemble de performatives (comme c'est le cas dans les ACL classiques) appliquées à des états mentaux ;<br />2. il utilise un modèle du discours, représenté par des automates temporisés, pour décrire la dynamique des conversations humaines, en remplacement des protocoles de communication jugés trop rigides.<br /><br />Les niveaux de l'énoncé et du discours sont liés par une sémantique des performatives. Cette sémantique décrit les pré-conditions et les post-conditions portant sur les états mentaux des agents, à la réception et à l'envoi de messages.<br /><br />Dans BDIGGY, l'interaction, la planification et les connaissances s'entrelacent grâce auxconcepts BDI.<br />L'architecture BDIGGY est validée en comparant au cours d'un test "à la Turing", les protocoles expérimentaux provenant de l'expérimentation psychologique et les protocoles générés par des agents BDIGGY, durant une simulation de la résolution du problème.