Cette thèse vise à étudier deux problématiques différentes: 1) la reconnaissance des activités de la vie quotidienne des personnes dans un habitat intelligent, et 2) la construction du profil comportemental de la personne. Nos contributions sont présentées dans deux chapitres illustrant les solutions proposées. La première contribution de cette thèse est liée à l'introduction d'une nouvelle approche non supervisée de reconnaissance d'activités nommée ADR-SPLDA (Activity Discovery and Recognition using Sequential Patterns and Latent Dirichlet Allocation). Contrairement aux approches existantes, ADR-SPLDA permet la découverte et la reconnaissance des activités de façon non supervisée sans faire nécessairement recours à l'annotation des données. En outre, ADR-SPLDA est basée sur l'analyse de patrons fréquents, ce qui permet de réduire significativement la quantité du bruit dans les données. La fiabilité de ADR-SPLDA est illustrée à travers une série de tests et de comparaisons avec les approches existantes sur une variété de données réelles. Le deuxième travail vise la construction du profil comportemental de la personne en se basant sur ses activités. Nous avons développé une approche qui permet de découvrir les différents comportements dans les séquences, et d'extraire les relations causales entre les différents comportements. Notre contribution inclut l'introduction de l'analyse causale dans la construction du profil, ce qui nous a permis aussi de découvrir les relations causales entre les différentes activités. Une série de tests a été également effectuée pour illustrer la fiabilité de notre approche sur une variété de données. Le travail de recherche entrepris dans cette thèse constitue l'une des nombreuses étapes importantes dans l'accomplissement d'un système d'assistance efficace dans l'objectif d'assurer le bien-être des personnes.

Le vieillissement actuel de la population provoque un accroissement de problèmes dans les systèmes de santé, dont une pénurie de personnel médical pour les soins à domicile. Le vieillissement de la population a également pour effet d'augmenter le nombre de personnes avec troubles cognitifs. Les comportements incohérents induits par les symptômes des troubles cognitifs limitent la capacité de ces personnes à réaliser leurs activités de la vie quotidienne (AVQ). L'un des axes de recherche prometteurs de cette problématique est l'amélioration et le maintien de la qualité de vie des personnes avec troubles cognitifs dans leurs domiciles. Pour répondre à cette problématique, plusieurs laboratoires de recherche, dont le laboratoire de DOmotique et d'informatique Mobile de l'Université de Sherbrooke (DOMUS), explorent les différents moyens de soutenir, à l'intérieur d'un habitat intelligent, un occupant avec troubles cognitifs dans l'accomplissement de ses AVQ. Cette approche s'inscrit dans le récent courant de pensée issu de l'intelligence ambiante, qui fait référence à une tendance où les environnements sont enrichis avec des technologies (capteurs, effecteurs et autres dispositifs interconnectés par un réseau), dans le but de concevoir un système pouvant planifier une assistance ponctuelle aux occupants en fonction des informations recueillies et de l'historique des données accumulées. L'une des difficultés majeures inhérentes à ce contexte est la reconnaissance et la prédiction des comportements anormaux lorsque les occupants effectuent leurs AVQ à l'intérieur d'un habitat intelligent. Cette thèse vise à contribuer à l'amélioration du processus de reconnaissance de comportements d'un occupant avec troubles cognitifs. Notre proposition consiste en une approche de reconnaissance et prédiction de comportements fondée sur une formalisation des actions basée sur la théorie des possibilités, une alternative à la théorie des probabilités. Les actions sont inférées à partir de l'état actuellement observé de l'habitat intelligent obtenu grâce aux évènements envoyés par les capteurs présents dans l'appartement, lesquelles peuvent fournir une information incomplète et imparfaite. À partir de la séquence d'actions observées plausibles, l'approche proposée utilise une formalisation des activités en structure de plans d'actions pour inférer le comportement observé de l'occupant. Cette approche est en mesure de considérer les comportements erronés, où l'occupant effectue de façon erronée certaines activités tandis que d'autres peuvent être effectuées de façon cohérente, et les comportements cohérents, où l'occupant effectue une ou plusieurs activités de façon cohérente. Les hypothèses sur le comportement observé sont ensuite utilisées pour déterminer les opportunités d'assistance que l'habitat intelligent peut offrir. L'approche proposée a été implémentée et validée au sein de l'infrastructure du projet"Ambient Intelligence for Home-based Elderly Care" à l'"Institute for Infocomm Research" de Singapour et présente des résultats prometteurs pour des scénarios de cas réels effectués dans l'infrastructure. Le développement d'un habitat intelligent capable de maintenir et d'améliorer la qualité de vie des personnes avec troubles cognitifs permettrait de diminuer le fardeau des aidants naturels et professionnels, facilitant le choix des ces personnes de rester à domicile. Ce type de technologie pourrait constituer une solution viable aux problèmes des systèmes de santé associés au vieillissement de la population. De plus, ce type d'approche peut également être utilisé dans des contextes où les comportements anormaux et les situations à risque doivent être évités comme, par exemple, dans le domaine de l'aviation.

Scene understanding is the process, often real time, of perceiving, analysing and elaborating an interpretation of a 3D dynamic scene observed through a network of sensors. This process consists mainly in matching signal information coming from sensors observing the scene with models which humans are using to understand the scene. Based on that, scene understanding is both adding and extracting semantic from the sensor data characterizing a scene. This scene can contain a number of physical objects of various types (e.g. people, vehicle) interacting with each others or with their environment (e.g. equipment) more or less structured. The scene can last few instants (e.g. the fall of a person) or few months (e.g. the depression of a person), can be limited to a laboratory slide observed through a microscope or go beyond the size of a city. Sensors include usually cameras (e.g. omni directional, infrared), but also may include microphones and other sensors (e.g. optical cells, contact sensors, physiological sensors, radars, smoke detectors). Scene understanding is influenced by cognitive vision and it requires at least the melding of three areas: computer vision, cognition and software engineering. Scene understanding can achieve four levels of generic computer vision functionality of detection, localisation, recognition and understanding. But scene understanding systems go beyond the detection of visual features such as corners, edges and moving regions to extract information related to the physical world which is meaningful for human operators. Its requirement is also to achieve more robust, resilient, adaptable computer vision functionalities by endowing them with a cognitive faculty: the ability to learn, adapt, weigh alternative solutions, and develop new strategies for analysis and interpretation. The key characteristic of a scene understanding system is its capacity to exhibit robust performance even in circumstances that were not foreseen when it was designed. Furthermore, a scene understanding system should be able to anticipate events and adapt its operation accordingly. Ideally, a scene understanding system should be able to adapt to novel variations of the current environment to generalize to new context and application domains and interpret the intent of underlying behaviours to predict future configurations of the environment, and to communicate an understanding of the scene to other systems, including humans. Related but different domains are robotic, where systems can interfere and modify their environment, and multi-media document analysis (e.g. video retrieval), where limited contextual information is available.

La reconnaissance d’activités humaines est un sujet de recherche d’actualité comme en témoignent les nombreux travaux de recherche sur le sujet. Dans ce cadre, la reconnaissance des activités physiques humaines est un domaine émergent avec de nombreuses retombées attendues dans la gestion de l’état de santé des personnes et de certaines maladies, les systèmes de rééducation, etc.Cette thèse vise la proposition d’une approche pour la reconnaissance automatique et non-intrusive d’activités physiques quotidiennes, à travers des capteurs inertiels de type accéléromètres, placés au niveau de certains points clés du corps humain. Les approches de reconnaissance d’activités physiques étudiées dans cette thèse, sont catégorisées en deux parties : la première traite des approches supervisées et la seconde étudie les approches non-supervisées. L’accent est mis plus particulièrement sur les approches non-supervisées ne nécessitant aucune labellisation des données. Ainsi, nous proposons une approche probabiliste pour la modélisation des séries temporelles associées aux données accélérométriques, basée sur un modèle de régression dynamique régi par une chaine de Markov cachée. En considérant les séquences d’accélérations issues de plusieurs capteurs comme des séries temporelles multidimensionnelles, la reconnaissance d’activités humaines se ramène à un problème de segmentation jointe de séries temporelles multidimensionnelles où chaque segment est associé à une activité. L’approche proposée prend en compte l’aspect séquentiel et l’évolution temporelle des données. Les résultats obtenus montrent clairement la supériorité de l’approche proposée par rapport aux autres approches en termes de précision de classification aussi bien des activités statiques et dynamiques, que des transitions entre activités. / Human activity recognition is currently a challengeable research topic as it can be witnessed by the extensive research works that has been conducted recently on this subject. In this context, recognition of physical human activities is an emerging domain with expected impacts in the monitoring of some pathologies and people health status, rehabilitation procedures, etc. In this thesis, we propose a new approach for the automatic recognition of human activity from raw acceleration data measured using inertial wearable sensors placed at key points of the human body. Approaches studied in this thesis are categorized into two parts : the first one deals with supervised-based approaches while the second one treats the unsupervised-based ones. The proposed unsupervised approach is based upon joint segmentation of multidimensional time series using a Hidden Markov Model (HMM) in a multiple regression context where each segment is associated with an activity. The model is learned in an unsupervised framework where no activity labels are needed. The proposed approach takes into account the sequential appearance and temporal evolution of data. The results clearly show the satisfactory results of the proposed approach with respect to other approaches in terms of classification accuracy for static, dynamic and transitional human activities

Dans cette thèse, une approche combinant des données issues de capteurs hétérogènes pour la reconnaissance d'activités des personnes âgées à domicile est proposée. Cette approche consiste à combiner les données fournies par des capteurs vidéo avec des données fournies par des capteurs environnementaux pour suivre l'interaction des personnes avec l'environnement. La première contribution est un nouveau modèle de capteur capable de donner une représentation cohérente et efficace des informations fournies par différents types de capteurs physiques. Ce modèle inclue l'incertitude sur la mesure. La deuxième contribution est une approche, basée sur une fusion multicapteurs, pour la reconnaissance d'activités. Cette approche consiste à détecter la personne, suivre ses mouvements, reconnaître ses postures et ses activités d'intérêt, par une analyse multicapteurs et une reconnaissance d'activités humaines. Pour résoudre le problème de la présence de capteurs hétérogènes, nous avons choisi de réaliser la fusion à haut niveau (niveau événement) des différentes données issues des différents capteurs, en combinant les événements vidéo avec les événements environnementaux. La troisième contribution est l'extension d'un langage de description qui permet aux utilisateurs (ex. le corps médical) de décrire les activités d'intérêt dans des modèles formels. Les résultats de cette approche sont montrés pour la reconnaissance des AVQ pour de vraies personnes agées évoluant dans un appartement expérimental appelé GERHOME équipé de capteurs vidéo et de capteurs environnementaux. Les résultats obtenus de la reconnaissance des différentes AVQ sont encourageants.

Dans cette thèse, nous nous intéressons à la caractérisation et la reconnaissance d'activités humaines dans des vidéos. L'intérêt grandissant en vision par ordinateur pour cette thématique est motivé par une grande variété d'applications telles que l'indexation automatique de vidéos, la vidéo-surveillance, ou encore l'assistance aux personnes âgées. Dans la première partie de nos travaux, nous développons une méthode de reconnaissance d'actions élémentaires basée sur l'estimation du mouvement dans des vidéos. Les points critiques du champ vectoriel obtenu, ainsi que leurs trajectoires, sont estimés à différentes échelles spatio-temporelles. La fusion tardive de caractéristiques d'orientation de mouvement et de variation de gradient, dans le voisinage des points critiques, ainsi que la description fréquentielle des trajectoires, nous permet d'obtenir des taux de reconnaissance parmi les meilleurs de la littérature. Dans la seconde partie, nous construisons une méthode de reconnaissance d'activités en considérant ces dernières comme un enchainement temporel d'actions élémentaires. Notre méthode de reconnaissance d'actions est utilisée pour calculer la probabilité d'actions élémentaires effectuées au cours du temps. Ces séquences de probabilité évoluent sur une variété statistique appelée simplexe sémantique. Une activité est finalement représentée comme une trajectoire dans cet espace. Nous introduisons un descripteur fréquentiel de trajectoire pour classifier les différentes activités humaines en fonction de la forme des trajectoires associées. Ce descripteur prend en compte la géométrie induite par le simplexe sémantique. / This thesis focuses on the characterization and recognition of human activities in videos. This research domain is motivated by a large set of applications such as automatic video indexing, video monitoring or elderly assistance. In the first part of our work, we develop an approach based on the optical flow estimation in video to recognize human elementary actions. From the obtained vector field, we extract critical points and trajectories estimated at different spatio-temporal scales. The late fusion of local characteristics such as motion orientation and shape around critical points, combined with the frequency description of trajectories allow us to obtain one of the best recognition rate among state of art methods. In a second part, we develop a method for recognizing complex human activities by considering them as temporal sequences of elementary actions. In a first step, elementary action probabilities over time is calculated in a video sequence with our first approach. Vectors of action probabilities lie in a statistical manifold called semantic simplex. Activities are then represented as trajectories on this manifold. Finally, a new descriptor is introduced to discriminate between activities from the shape of their associated trajectories. This descriptor takes into account the induced geometry of the simplex manifold.

La Maison Intelligente est une résidence équipée de technologie informatique qui assiste ses habitants dans les situations diverses de la vie domestique en essayant de gérer de manière optimale leur confort et leur sécurité par action sur la maison. La détection des situations anormales est un des points essentiels d'un système de surveillance à domicile. Ces situations peuvent être détectées en analysant les primitives générées par les étages de traitement audio et par les capteurs de l'appartement. Par exemple, la détection de cris et de bruits sourds (chute d'un objet lourd) dans un intervalle de temps réduit permet d'inférer l'occurrence d'une chute. Le but des travaux de cette thèse est la réalisation d'un contrôleur intelligent relié à tous les périphériques de la maison et capable de réagir aux demandes de l'habitant (par commande vocale) et de reconnaître des situations à risque ou de détresse. Pour accomplir cet objectif, il est nécessaire de représenter formellement et raisonner sur des informa- tions, le plus souvent temporelles, à des niveaux d'abstraction différents. Le principal défi est le traitement de l'incertitude, de l'imprécision, et de l'incomplétude, qui caractérisent les informations dans ce domaine d'application. Par ailleurs, les décisions prises par le contrôleur doivent tenir compte du contexte dans lequel un ordre est donné, ce qui nous place dans l'informatique sensible au contexte. Le contexte est composé des informations de haut niveau telles que la localisation, l'activité en cours de réalisation, la période de la journée. Les recherches présentées dans ce manuscrit peuvent être divisées principalement en trois axes : la réalisation des méthodes d'inférence pour acquérir les informations du contexte (notamment, la localisation de l'habitant et l'activité en cours) à partir des informations incertaines, la représentation des connaissances sur l'environnement et les situations à risque, et finalement la prise de décision à partir des informations contextuelles. La dernière partie du manuscrit expose les résultats de la validation des méthodes proposées par des évaluations menées sur la plateforme expérimentale Domus.