Due to the continuous ageing of our society, both the care and the health sector will encounter challenges in maintaining the quality of human care and health standards. While the number of people with diseases such as dementia and physical illness will be rising, we are simultaneously recording a lack of medical personnel such as caregivers and therapists. One possible approach that tackles the described problem is the employment of technical assistance systems that support both medical personnel and elderly living alone at home. This thesis presents approaches to provide assistance for these target groups. In this work, algorithms that are integrated in prototypical assistance systems for vision-based human daily activity, mobility and motion analysis have been developed. The developed algorithms process 3-D point clouds as well as skeleton joint positions to generate meta information concerning activities and the mobility of elderly persons living alone at home. Such type of information was not accessible so far and is now available for monitoring. By generating this meta information, a basis for the detection of long-term and short-term health changes has been created. Besides monitoring meta information, mobilisation for maintaining physical capabilities, either ambulatory or at home, is a further focus of this thesis. Algorithms for the qualitative assessment of physical exercises were therefore investigated. Thereby, motion sequences in the form of skeleton joint trajectories as well as the heat development in active muscles were considered. These algorithms enable an autonomous physical training under the supervision of a virtual therapist even at home. / Aufgrund der voranschreitenden Überalterung unserer Gesellschaft werden sowohl der Pflege- als auch der Gesundheitssektor vor enorme Herausforderungen gestellt. Während die Zahl an vorrangig altersbedingten Erkrankungen, wie Demenz oder physische Erkrankungen des Bewegungsapparates, weiterhin zunehmen wird, stagniert die Zahl an medizinischem Fachpersonal, wie Therapeuten und Pflegekräften. An dieser Stelle besteht das Ziel, die Qualität medizinischer Leistungen auf hohem Niveau zu halten und dabei die Einhaltung von Pflege- und Gesundheitsstandards sicherzustellen. Ein möglicher Ansatz hierfür ist der Einsatz technischer Assistenzsysteme, welche sowohl das medizinische Personal und Angehörige entlasten als auch ältere, insbesondere allein lebende Menschen zu Hause unterstützen können. Die vorliegende Arbeit stellt Ansätze zur Unterstützung der genannten Zielgruppen vor, die prototypisch in Assistenzsystemen zur visuellen, kamerabasierten Analyse von täglichen Aktivitäten, von Mobilität und von Bewegungen bei Trainingsübungen integriert sind. Die entwickelten Algorithmen verarbeiten dreidimensionale Punktwolken und Gelenkpositionen des menschlichen Skeletts, um sogenannte Meta-Daten über tägliche Aktivitäten und die Mobilität einer allein lebenden Person zu erhalten. Diese Informationen waren bis jetzt nicht verfügbar, können allerdings für den Patienten selbst, für medizinisches Personal und Angehörige aufschlussreich sein, denn diese Meta-Daten liefern die Grundlage für die Detektion kurz- und langfristiger Veränderungen im Verhalten oder in der Mobilität, die ansonsten wahrscheinlich unbemerkt geblieben wären. Neben der Erfassung solcher Meta-Informationen liegt ein weiterer Fokus der Arbeit in der Mobilisierung von Patienten durch angeleitetes Training, um ihre Mobilität und körperliche Verfassung zu stärken. Dabei wurden Algorithmen zur qualitativen Bewertung und Vermittlung von Korrekturhinweisen bei physischen Trainingsübungen entwickelt, die auf Trajektorien von Gelenkpositionen und der Wärmeentwicklung in Muskeln beruhen. Diese Algorithmen ermöglichen aufgrund der Nachahmung eines durch den Therapeuten gegebenen Feedbacks ein autonomes Training.

L'Assistance Ambiante est un domaine de recherche prometteur qui vise à utiliser les technologies de l'information pour venir en aide aux personnes dépendantes durant leur vie quotidienne. L'impact de ces recherches pourrait être déterminant pour de nombreux séniors ainsi que pour leurs proches. Cette discipline s'est développée régulièrement au cours des dernières années, mais tout de même plus lentement que la plupart des autres applications de l'internet des objets. Cela est dû à la complexité inhérente à l'Assistance Ambiante, qui nécessite une compréhension dynamique du contexte, ainsi que la mise en place de nombreux média de communication dans le lieu de vie de l'utilisateur. Plus précisément, les chercheurs rencontrent des difficultés avec l'étape déterminante de la reconnaissance d'activité, comme nous le montre la littérature.Mon équipe de recherche a déployé notre système dans plusieurs environnements, le plus récent consistant en une maison de retraite et trois maisons individuelles en France.Nous adoptons une approche centrée sur l'utilisateur, où l'utilisateur final définit ce qu'il attend, et nous fournit des réactions et conseils sur notre système.De cette manière, nous pouvons apprendre de nos déploiements, et obtenir des informations pour répondre aux défis de l'Assistance Ambiante, y compris la reconnaissance d'activité.Ainsi, la ligne directrice de cette thèse émerge des défis que nous avons rencontré durant nos déploiements.Au commencement de cette thèse, j'ai été confronté à la problématique concrète d'un déploiement réel de notre système.Je relate donc les besoins que nous avons vu émerger, par nos propres observations et par les retours des utilisateurs, ainsi que les problèmes techniques que nous avons rencontrés.Pour chacun de ces problèmes et besoins, je décris la solution que nous avons retenu et implémenté.Une fois le système installé, mon équipe et moi-même avons pu récolter de nombreuses données sur son fonctionnement.J'ai tout d'abord mis en place une plate-forme d'analyse de données en Assistance Ambiante, permettant un prototypage rapide lié à la reconnaissance d'activité.En tirant profit de cette plate-forme, j'ai observé le problème posé par la reconnaissance d'activité, qui est une étape critique, mais trop souvent inexacte dans ses conclusions.Pour faire face aux erreurs dans le raisonnement, je formalise la notion d'exactitude pour la reconnaissance d'activité, et fournit une méthode pour mesurer l'exactitude de notre moteur de raisonnement.Cela requiert d'abord d'observer une vérité terrain sur l'activité en cours, ou à défaut une estimation sur cette activité, d'une source autre que le raisonneur lui-même.Je cherche ensuite à améliorer la qualité de notre moteur de raisonnement.Pour y parvenir, je m'attache à regarder plus précisément certains raisonnements incorrects.J'y observe que les erreurs de raisonnement viennent parfois du fait que le raisonneur essaie d'être trop précis, ou qu'à l'inverse, il est parfois trop imprécis dans les activités qu'il infère.Je propose donc une méthode pour optimiser le moteur de raisonnement, de telle manière à ce qu'il conclue de la meilleure façon possible parmi plusieurs activités suspectées, en choisissant l'activité qui offre le meilleur compromis entre sa Précision et le risque d'Inexactitude de la part du moteur de raisonnement.Cette contribution me mène à introduire une hiérarchie entre les activités.En effet, en appliquant la méthode précédente sur un modèle hiérarchique d'activités, le raisonneur est calibré automatiquement, pour choisir à quel niveau de précision il pourra reconnaître une activité.Il va de soi que ces travaux sont validés formellement au sein de cette dissertation. / Ambient Assisted Living is a promising research area.It aims to use information technologies to assist dependent elderly people on their daily life.The impact of these technologies could be dramatic for millions of elderly people and for their caregivers.This research area has developed consistently over the past few years, although slower than most other applications of the Internet of Things.This is caused by the inner complexity of Ambient Assisted Living.Indeed, Ambient Assisted Living requires a dynamic understanding of the context, as well as the disposal of numerous communication media in the environment surrounding the end-user.More precisely, researchers face difficulties in recognizing end-users' activities, as we can observe in the literature.My research team have deployed our system in several environments, of which the most recent includes a nursing home and three houses in France.We adopt a user-centric approach, where end-users describe what they expect, and share with us their feedbacks and advices about our system.This approach guided me to identify activity recognition as a critical challenge that needs to be addressed for the usability and acceptability of Ambient Assisted Living solutions.Thus, the guiding line of this thesis work emerges naturally from the challenges we encountered during our deployments.In the beginning of this thesis, I have been facing the practical problem of putting into place an actual deployment of our system.In this document, I describe the needs that emerged from our own observations and from the users feedbacks, as well from as the technical problems we encountered.For each of these problems and needs, I describe the solution we have selected and implemented.From our deployments, my team and I were able to collect a large amount of operating data.I have created a platform to analyze Ambient Assisted Living data, also to allow rapid prototyping for activity recognition.By using this platform, I have observed problems with activity recognition, which is too often misleading and inaccurate.A first observation is that the sensor events are sometimes disturbed by multiuser situations, when several persons are active in the home.Activity recognition in these conditions is extremely difficult, and during this thesis my scope is solely focused on detecting multiuser situations, not recognizing activities in such situations.I then seek to improve the quality of our reasoning engine.To do so, I have looked more precisely at some incorrect reasoning.I observed that the errors in reasoning come from the fact that the reasoner tries to be too precise or that, conversely, it infers too imprecise activities.I therefore propose a method to optimize the reasoning engine, so that it concludes with the best possible activity among several possible activities, by choosing the one that offers the best compromise between Precision and the risk of Inaccuracy in activity recognition.It should be noted that this contribution is independent of the method used for activity recognition, and can work with any type of reasoning.I have formalized the concept of Accuracy, and provided a method to measure the Accuracy of a reasoning engine.This requires first to observe a ground-truth on the activity being performed.This contribution brought me to introduce a hierarchical model for activities.Indeed, by applying the method described above on a hierarchical model of activities, the reasoning engine can be calibrated automatically to choose how precise it should be at recognizing an activity.It goes without saying that these contributions are formally validated through this dissertation.

Comme les gens vieillissent, ils sont souvent confrontés à un certain degré de diminution des capacités cognitives ou de la force physique. Isolement de la vie sociale, mauvaise qualité de la vie, et risque accru de blessures en sont les principales conséquences. Ambient Assisted Living (AAL) est une vision de la façon dont les gens vivent leur vie dans leur propre maison, à mesure qu'ils vieillissent : handicaps ou limitations sont compensées par la technologie, là où le personnel de prestation de soins est rare ou des proches ne sont pas en mesure d'aider. Les personnes concernées sont assistés par la technologie. Le terme "ambiante" en AAL exprime, ce que cette technologie doit être, au- delà de l’assistance. Elle doit être intégrée dans l’environnement de manière à ce qu'elle ne soit pas reconnue en tant que tel. L'interaction avec les résidents doit être intuitive et naturelle. L'équipement technique doit être discret ct bien intégré. Les domaines d'application ciblés dans cette thèse sont le suivi de l’activité et la recherche de profils d'activités dans des appartements ou des petites maisons. L'acquisition d’informations concernant l’activité des résidents est vitale pour le succès de toute la technologie d’assistance. Dans de nombreux domaines de la vie quotidienne, ceci est déjà de la routine. L’état de l’art en matière de technologie de détection comprend des caméras, des barrières lumineuses, des capteurs RFID, la radiolocalisation de signal en utilisant des transpondeurs et des planchers sensibles à la pression. En raison de leurs principes de fonctionnement, ils ont malheureusement un impact important sur les environnements domestiques et de vie. Par conséquent, cette thèse est consacrée à la recherche de technologies d’acquisition d’informations de l’activité non-intrusive ayant un impact minimal sur la vie quotidienne. Deux technologies de base, la détection de présence passive sans dispositif et le suivi de charges de manière non-intrusive, sont prises en compte dans cette thèse. / As people grow older, they are often faced with some degree of decreasing cognitive abilities or physical strength. Isolation from social life, poor quality of life, and increased risk or injuries are the consequence. Ambient Assisted Living (AAL) is a vision for the way people live their life in their own home, as they grow older: disabilities or limitations are compensated for by technology, where care-giving personnel is scarce or relatives are unable to help. Affected people are assisted by technology. The term "Ambient" in AAL expresses, what this technology needs to be, beyond assistive. It needs to integrate into the living environment in such a way that it is not recognized as such any more. Interaction with residents needs to be intuitive and natural. Technical equipment should be unobtrusive and well integrated. The areas of application targeted in this thesis are activity monitoring and activity pattern discovery in apartments or small houses. The acquisition of information regarding the residents' activity is vital for the success of any assistive technology. In many areas of daily life, this is routine already. State-of-the-art sensing technology includes cameras, light barriers, RFID sensors, radio signal localization using transponders, and pressure sensitive Floors. Due to their operating principles, they have a big impact on home and living environments. Therefore, this thesis is dedicated to research for non-intrusive activity information acquisition technology, that has minimal impact on daily life. Two base technologies are taken into account in this thesis.

Internet des objets (IoT) est actuellement à notre portée. De nombreux domaines ont bénéficié de cette technologie. Cela va d'une application simple, comme l'identification d'un objet jusqu'à la gestion d'un système plus complexe. L'identification par radiofréquence (RFID) est l'une des technologies a une part importante dans l’IoT aujourd'hui. C’est une technologie embarqué, pas cher et ne nécessite aucune source d'alimentation supplémentaire dans le cas de tag passif. Avec sa fonctionnalité omniprésente, cette technologie permet de positionner un objet dans une zone spécifique. L’Assistance et l'Autonomie des personnes à Domicile (AAL) est l'un des nombreux domaines qui bénéficient de l'IoT. Il vise à aider les personnes âgées dans leurs routines quotidiennes en fournissant de nouveaux services d'assistance dans les maisons intelligentes (smart home). La présence de RFID dans une maison intelligente sont d'une grande aide pour une personne âgée et/ou déficiente, par exemple, pour l’aider à trouver un objet dans son environnement quotidien. Cependant, même avec tous ces avantages d’assistance dans notre vie, il est malheureusement à double tranchant où l'avantage qu'il apporte à un objet pourrait à son tour se tourner contre lui-même. En effet, pour pouvoir aider les personnes âgées à localiser un objet, le système nécessite certaines données relatives au positionnement de l'objet, tout au moins son identification. Étant donné que la couverture de l'étiquette RFID passive est très faible, une fois sa présence détectée, il est difficile de la cacher. La capacité de cette technologie à localiser des objets donne l'occasion à une tierce personne de profiter du système. Parallèlement au besoin persistant et constant de confidentialité par les utilisateurs, l'objectif de cette thèse consiste à améliorer la confidentialité dans la localisation d'un objet grâce à un nouveau protocole basé sur la deuxième génération de RFID passive. Le protocole proposé doit pouvoir empêcher un objet d'être identifié et localisé par des parties non autorisées ou par un lecteur malveillant. La première contribution de ce travail est l'évaluation de la gestion anti-collision RFID. Elle est réalisée par la création d'un modèle OMNET++, construit sur la base de la dernière norme RFID développée par GS1 et adaptée par ISO / IEC appelé Gen2V2 (RFID classe 2 Génération 2 Version 2). Dans cette norme une étiquette RFID passive ne nécessite aucune source d'alimentation interne. Il communique en utilisant la fréquence UHF. La norme Gen2V2 propose une liste de suites cryptographiques qui peuvent être utilisées comme méthodes pour authentifier une étiquette et un lecteur. Cette nouvelle génération d'étiquettes est soutenue par une alliance de fabricants appelée RAIN (RAdio frequency IdentifatioN) qui favorise l'adoption du Gen2V2. Nous évaluons les performances globales du protocole anti-collision et nous comparons ensuite quatre de ses suites cryptographiques, à savoir PRESENT80, XOR, AES128 et cryptoGPS pour garantir l’authentification lecteur/tag. Parmi les performances évaluées dans ce modèle, nous nous sommes intéressé au nombre de collisions et à la durée requise pour interroger un groupe d'étiquettes. Nous avons intégré en fonctionnalité de localisation dans le modèle en s’appuyant sur les messages échangés avant l’authentification, ce qui peut conduire à une localisation malveillante d'un objet. Pour augmenter la confidentialité de la localisation au sein des applications AAL, nous proposons donc une deuxième contribution qui est une nouvelle méthode de localisation basée sur les échanges standard Gen2V2 en anonymisant l'identité de l'étiquette. / Internet of things (IoT) is currently on our doorsteps. Numerous domains have beneted from this technology. It ranges from a simple application such as identifying an object up to handling a more complex system. The Radio Frequency IDentication (RFID) is one of the enabling technologies that drive the IoT to its position today. It is small, cheap and does not require any additional power sources. Along with its ubiquitous functionality, this technology enables the positioning of an object within a specic area. Ambient Assisted Living (AAL) is one of the many domains that benet from the IoT. It aims at assisting elderly people in their daily routines by providing new assistive services in smart homes for instance. RFIDs in a smart home come as a great help to an elderly person, for example, to nd an object that they misplaced. However, even with all its benets in simplifying our lives, it is unfortunately double-edged where the advantage that it brings to an object could in turn go against itself. Indeed to be able to help the older adults to locate an object, the system requires certain data in relation to the positioning of the object and its identication. As the passive RFID tag coverage is very small, once its presence is detected, it is dicult to hide it. The ability of this technology in localizing objects gives an opportunity to a third person to take an advantage of the system. In parallel with the persistent and constant need of privacy and secrecy by the users, the objective of this thesis consists of improving the privacy in localizing an object through a new protocol based on the latest version of the RFID second generation passive tag. The proposed protocol must be able to prevent an object from being identied and located by unauthorized parties or a malicious reader. The rst contribution of this work is the assessment of the RFID anti collision management. It is performed through the creation of an OMNET++ framework, modelled and built based on the latest RFID standard developed by GS1 and incorporated by ISO/IEC called Gen2V2 (RFID class 2 Generation 2 Version 2). It is a passive RFID tag that does not require any internal power sources to operate. It communicates using the UHF frequency. The Gen2V2 standard provides a list of cryptographical suites that can be used as a method to authenticate a tag and a reader. This new generation of tags is supported by an alliance of manufacturers called RAIN (RAdio frequency IdenticatioN) that promotes the adoption of the Gen2V2. The anti collision management overall performance is then compared with its theoretical value and four of its cryptographical suites namely PRESENT80, XOR, AES128 and cryptoGPS. Among the performances evaluated within the framework is the number of collisions and the duration required to interrogate a group of tags. Note that an addition of a localization functionality within the framework reveals that exchanged messages through wireless channel prior to the authentication can lead to a malicious localization of an object. To increase the localization privacy within AAL application, we propose therefore a second contribution which is a new localization method that is based on the current Gen2V2 standard exchanges by anonymizing the tag identity.

L'instrumentation permet à notre environnement, maison ou bâtiment, de devenir intelligent en s'adaptant à nos modes de vie et en nous assistant au quotidien. Un environnement intelligent est sensible et réactif à nos activités, afin d'améliorer notre qualité de vie. La fiabilité d'identification des activités est ainsi essentielle pour cette intelligence ambiante : elle est directement dépendante du positionnement des capteurs au sein de l'environnement. Cette question essentielle du placement des capteurs est très peu considérée par les systèmes ambiants commercialisés ou même dans la littérature. Pourtant, elle est la source principale de leurs dysfonctionnements où une mauvaise reconnaissance des activités entraîne une mauvaise assistance fournie. Le placement de capteurs consiste à choisir et à positionner des capteurs pertinents pour une identification fiable des activités. Dans cette thèse, nous développons et détaillons une méthodologie de placement de capteurs axée sur l'identifiabilité des activités d'intérêt. Nous la qualifions en nous intéressant à deux évaluations différentes : la couverture des intérêts et l'incertitude de mesures. Dans un premier temps, nous proposons un modèle de l'activité où nous décomposons l'activité en actions caractérisées afin d'être indépendant de toute technologie ambiante (axée connaissances ou données). Nous représentons actions et capteurs par un modèle ensembliste unifiant, permettant de fusionner des informations homogènes de capteurs hétérogènes. Nous en évaluons l'identifiabilité des actions d'intérêt au regard des capteurs placés, par des notions de précision (performance d'identification) et de sensibilité (couverture des actions). Notre algorithme de placement des capteurs utilise la Pareto-optimalité pour proposer une large palette de placements-solutions pertinents et variés, pour ces multiples identifiabilités à maximiser. Nous illustrons notre méthodologie et notre évaluation en utilisant des capteurs de présence, et en choisissant optimalement la caractéristique à couvrir pour chaque action. Dans un deuxième temps, nous nous intéressons à la planification optimale des expériences où l'analyse de la matrice d'information permet de quantifier l'influence des sources d'incertitudes sur l'identification d'une caractéristique d'action. Nous représentons les capteurs continus et l'action caractérisée par un modèle analytique, et montrons que certaines incertitudes doivent être prises en compte et intégrées dans une nouvelle matrice d'information. Nous y appliquons les indices d'observabilité directement pour évaluer l'identifiabilité d'une action caractérisée (incertitude d'identification). Nous illustrons cette évaluation alternative en utilisant des capteurs d'angle, et nous la comparons à la matrice d'information classique. Nous discutons des deux évaluations abordées et de leur complémentarité pour la conception d’environnement instrumenté pour la veille à la personne. / Instrumentation enables our environment, house or building, to get smart through self-adjustment to our lifestyles and through assistance of our daily-life. A smart environment is sensitive and responsive to our activities, in order to improve our quality of life. Reliability of activities' identification is absolutely necessary to such ambient intelligence: it depends directly on sensors' positioning within the environment. This fundamental issue of sensor placement is hardly considered by marketed ambient systems or even into the literature. Yet, it is the main source of ambient systems' malfunctions and failures, because a bad activity recognition leads to a bad delivered assistance. Sensor placement is about choosing and positioning relevant sensors for a reliable identification of activities. In this thesis, we develop and detail a sensor placement methodology driven by identifiability of activities of interest. We quantify it by looking at two different evaluations: coverage of interests and uncertainty of measures. First, we present an activity model that decomposes each activity into characterised actions to be technology-free (either knowledge or data driven one). We depict actions and sensors by a set theoretic model, enabling to fuse homogeneous informations of heterogeneous sensors. We then evaluate each action of interest's identifiability regarding placed sensors, through notions of precision (identification's performance) and sensitivity (action's coverage). Our sensor placement algorithm use Pareto-optimality to offer a wide range of relevant solution-placements, for these multiple identifiabilities to maximise. We showcase our methodology and our evaluation through solving a problem featuring motion and binary sensors, by optimally choosing for each action the characteristic to cover. Finally, we look into optimal design of experiments by analysing the information matrix to quantify how sources of uncertainties influence the identification of an action's characteristic. We depict continuous sensors and the characterised action by an analytical model, and we show that some uncertainties should be considered and included in a new information matrix. We then apply directly observability indexes to evaluate identifiability of a characterised action (uncertainty of identification), and compare our new information matrix to the classical one. We showcase our alternate evaluation through solving a sensor placement problem featuring angular sensors. We discuss both covered evaluations and their complementarity towards the design of instrumented environment for human monitoring.

Tirant parti de notre expérience avec une approche traditionnelle des environnements d'assistance ambiante (AAL) qui repose sur l'utilisation de nombreuses technologies hétérogènes dans les déploiements, cette thèse étudie la possibilité d'une approche simplifiée et complémentaire, ou seul un sous-ensemble hardware réduit est déployé, initiant un transfert de complexité vers le côté logiciel. Axé sur les aspects de raisonnement dans les systèmes AAL, ce travail a permis à la proposition d'un moteur d'inférence sémantique adapté à l'utilisation particulière à ces systèmes, répondant ainsi à un besoin de la communauté scientifique. Prenant en compte la grossière granularité des données situationnelles disponible avec une telle approche, un ensemble de règles dédiées avec des stratégies d'inférence adaptées est proposé, implémenté et validé en utilisant ce moteur. Un mécanisme de raisonnement sémantique novateur est proposé sur la base d'une architecture de raisonnement inspiré du système cognitif. Enfin, le système de raisonnement est intégré dans un framework de provision de services sensible au contexte, se chargeant de l'intelligence vis-à-vis des données contextuelles en effectuant un traitement des événements en direct par des manipulations ontologiques complexes. L’ensemble du système est validé par des déploiements in-situ dans une maison de retraite ainsi que dans des maisons privées, ce qui en soi est remarquable dans un domaine de recherche principalement cantonné aux laboratoires / Leveraging our experience with the traditional approach to ambient assisted living (AAL) which relies on a large spread of heterogeneous technologies in deployments, this thesis studies the possibility of a more “stripped down” and complementary approach, where only a reduced hardware subset is deployed, probing a transfer of complexity towards the software side, and enhancing the large scale deployability of the solution. Focused on the reasoning aspects in AAL systems, this work has allowed the finding of a suitable semantic inference engine for the peculiar use in these systems, responding to a need in this scientific community. Considering the coarse granularity of situational data available, dedicated rule-sets with adapted inference strategies are proposed, implemented, and validated using this engine. A novel semantic reasoning mechanism is proposed based on a cognitively inspired reasoning architecture. Finally, the whole reasoning system is integrated in a fully featured context-aware service framework, powering its context awareness by performing live event processing through complex ontological manipulation. the overall system is validated through in-situ deployments in a nursing home as well as private homes over a few months period, which itself is noticeable in a mainly laboratory-bound research domain

Recent years have seen an influx of medical technologies capable of remotely monitoring the health and behaviours of individuals to detect, manage and prevent health problems. Known collectively as personal health monitoring (PHM), these systems are intended to supplement medical care with health monitoring outside traditional care environments such as hospitals, ranging in complexity from mobile devices to complex networks of sensors measuring physiological parameters and behaviours. This research project assesses the potential ethical implications of PHM as an emerging medical technology, amenable to anticipatory action intended to prevent or mitigate problematic ethical issues in the future. PHM fundamentally changes how medical care can be delivered: patients can be monitored and consulted at a distance, eliminating opportunities for face-to-face actions and potentially undermining the importance of social, emotional and psychological aspects of medical care. The norms evident in this movement may clash with existing standards of 'good' medical practice from the perspective of patients, clinicians and institutions. By relating utilitarianism, virtue ethics and theories of surveillance to Habermas' concept of colonisation of the lifeworld, a conceptual framework is created which can explain how PHM may be allowed to change medicine as a practice in an ethically problematic way. The framework relates the inhibition of virtuous behaviour among practitioners of medicine, understood as a moral practice, to the movement in medicine towards remote monitoring. To assess the explanatory power of the conceptual framework and expand its borders, a qualitative interview empirical study with potential users of PHM in England is carried out. Recognising that the inherent uncertainty of the future undermines the validity of empirical research, a novel epistemological framework based in Habermas' discourse ethics is created to justify the empirical study. By developing Habermas' concept of translation into a procedure for assessing the credibility of uncertain normative claims about the future, a novel methodology for empirical ethical assessment of emerging technologies is created and tested. Various methods of analysis are employed, including review of academic discourses, empirical and theoretical analyses of the moral potential of PHM. Recommendations are made concerning ethical issues in the deployment and design of PHM systems, analysis and application of PHM data, and the shortcomings of existing research and protection mechanisms in responding to potential ethical implications of the technology.

Die zunehmende Überalterung der Bevölkerung in Europa und speziell in Deutschland stellt die Gesellschaft vor große personelle und finanzielle Herausforderungen. Diese Problematik wird im Forschungsfeld Ambient Assisted Living (AAL) adressiert. AAL hat die Zielsetzung, ältere Menschen bei Aktivitäten des täglichen Lebens zu unterstützen. Ein wesentliches Element hierbei ist die Vernetzung verschiedener Systeme im Haushalt, sodass das Verhalten einer Person erfasst werden kann. Angehörige und medizinisches Personal können somit im Notfall automatisiert verständigt werden. Hierfür ist das Monitoring von Vitalparametern ein wichtiger Baustein, da damit der momentane Gesundheitszustand einer Person erfasst und analysiert werden kann. Konventionelle Systeme zur Bestimmung von Vitalparametern erfordern eine direkte Applizierung am Körper und werden häufig als störend empfunden. Verfahren, welche auf einer kontaktlosen, optischen Erkennung von Vitalparametern mittels Bildverarbeitung basieren, können diese Problematik lösen. Allerdings sind bestehende Verfahren eher ungeeignet, da sie die notwendigen Anforderungen an Genauigkeit und Robustheit nicht erfüllen. Diese Dissertation leistet einen Beitrag, um diese Lücke zu schließen und genaue, robuste Verfahren zur Bestimmung von Vitalparametern mit intelligenten Verfahren der Bildverarbeitung zu untersuchen. Hierfür werden die Vitalparameter der Herzfrequenz, der Respirationsfrequenz und der Sauerstoffsättigung analysiert. Auf Grundlage einer Quantifizierung der beiden stärksten Störquellen, der Intensitäts- und Bewegungsartefakte, wird ein neues Verfahren, die Ratio-Methode, zur Herzfrequenzbestimmung vorgestellt. Zur Beseitigung dieser beiden Störquellen wird ein weiteres Verfahren präsentiert, welches auf einem individuellen, situationsabhängigen Hautfarbenmodell, einem erweiterten KLT-Tracking, einer ICA, einer Kanalextraktion sowie einer adaptiven Filterung beruht. Aus der Evaluierung geht hervor, dass der gemittelte RMSE für alle Szenarien stets unter einer Schwelle von 3 BPM liegt. Die Ermittlung der Respirationsfrequenz im sichtbaren Wellenlängenbereich wird mit Methoden des optischen Flusses, einer PCA sowie einer FFT analysiert. Es wird gezeigt, dass sich der gemittelte RMSE für alle Testfälle unterhalb von 2,5 Atemzyklen pro Minute befindet. Als weiterer Vitalparameter wird die Sauerstoffsättigung untersucht. Dabei werden sowohl Systeme bestehend aus einer Kamera als auch aus zwei Kameras betrachtet. Neben dem sichtbaren Wellenlängenbereich wird die Vitalparameterbestimmung auch im mittleren Infrarotbereich analysiert. Die Untersuchung fokussiert sich dabei auf die Vitalparameter der Respirations- und der Herzfrequenz. Um die Einsatzfähigkeit von Vitalparametern im Bereich AAL realistisch zu evaluieren, werden Messungen in der AAL-Testwohnung der TU Chemnitz durchgeführt und analysiert. Dabei hat sich herausgestellt, dass sowohl die Herz- als auch die Respirationsfrequenz zuverlässig erfasst werden können. Zudem wird gezeigt, dass neben perspektivischen Kameras auch omnirektionale Kameras zur Bestimmung von Vitalparametern geeignet sind. In einer weiteren Untersuchung erfolgt die Analyse für die Vitalparameterbestimmung bei Dunkelheit im nahen Infrarotbereich. Neben dem Bereich AAL eröffnen sich weitere Anwendungsszenarien auf den folgenden Feldern: Fahrerüberwachung im Fahrzeug, Detektion des plötzlichen Kindstods, E-Rehabilitation und Triage im Krankenhaus. / Europe, in particular Germany, is facing the problem of a steadily ageing society. This development goes hand in hand with a higher demand for technical assistance systems, which can assist elderly people with their self-determined living. A key element is the interconnection of different systems in the home environment in order to recognise the behaviour of a person. In case of an emergency, relatives and medical personnel can be notified automatically. In order to ensure that functionality, the monitoring of vital parameters is a crucial element to determine and to analyse the health status of a person. Conventional systems that determine vital parameters require body contact and are therefore uncomfortable for the person who wars such as system. In contrast to that, contact-less optical methods based on image processing do not share these problems. However, existing methods in this field do not fulfil the requirements regarding accuracy and robustness. This thesis contributes to close this gap by investigating accurate and robust methods to determine vital parameters by means of highly sophisticated image processing techniques. To that aim, vital parameters such as the heart rate, the respiration rate and the oxygen saturation are considered. On the basis of the quantisation of intensity and motion artefacts, a new method, the so-called ratio method, is introduced to determine the heart. In order to eliminate these artefacts another method based on an individual, scene depending skin colour model, an extended KLT tracking, an ICA, a channel selection and an adaptive filtering is presented. The evaluation shows that the mean RMSE is always below a threshold of 3 BPM. The determination of the respiration rate in the visual spectrum is realised by using optical flow, a PCA and an FFT. It can be shown that the mean RMSE is below a threshold of 2.5 breath cycles per minute for all test cases. For the oxygen saturation two setups consisting of one and two cameras respectively are investigated. Determining vital parameters is not limited to the visual spectrum. It is as well feasible to analyse long-wavelength thermal images in order to determine the heart rate and the respiration rate, which was also studied in this thesis. For a realistic evaluation the developed algorithms in the field of AAL, measurements in the AAL living lab of TU Chemnitz are conducted and analysed. It can be demonstrated that the heart rate and the respiration rate can be reliably detected. Moreover, it can be shown that omni-directional cameras can be used in the home environment for vital parameter extraction. Furthermore, this thesis provides the evidence that the determination of the heart rate and the respiration rate is also possible in case of short-wavelength infrared light. Besides the field of AAL, there exist more application areas such as driver monitoring, detection of sudden infant death syndrome, e-rehabilitation or triage in hospital.

The ability of human beings to perceive the environment around them with their visual system is called motion perception. This means that the attention of our visual system is primarily focused on those objects that are moving. The property of human motion perception is used in this dissertation to infer human activity from data using artificial neural networks. One of the main aims of this thesis is to discover which modalities, namely RGB images, optical flow and human keypoints, are best suited for HAR in omnidirectional data. Since these modalities are not yet available for omnidirectional cameras, they are synthetically generated and captured with an omnidirectional camera. During data generation, a distinction is made between synthetically generated omnidirectional data and a real omnidirectional dataset that was recorded in a Living Lab at Chemnitz University of Technology and subsequently annotated by hand. The synthetically generated dataset, called OmniFlow, consists of RGB images, optical flow in forward and backward directions, segmentation masks, bounding boxes for the class people, as well as human keypoints. The real-world dataset, OmniLab, contains RGB images from two top-view scenes as well as manually annotated human keypoints and estimated forward optical flow. In this thesis, the generation of the synthetic and real-world datasets is explained. The OmniFlow dataset is generated using the 3D rendering engine Blender, in which a fully configurable 3D indoor environment is created with artificially textured rooms, human activities, objects and different lighting scenarios. A randomly placed virtual camera following the omnidirectional camera model renders the RGB images, all other modalities and 15 predefined activities. The result of modelling the 3D indoor environment is the OmniFlow dataset. Due to the lack of omnidirectional optical flow data, the OmniFlow dataset is validated using Test-Time Augmentation (TTA). Compared to the baseline, which contains Recurrent All-Pairs Field Transforms (RAFT) trained on the FlyingChairs and FlyingThings3D datasets, it was found that only about 1000 images need to be used for fine-tuning to obtain a very low End-point Error (EE). Furthermore, it was shown that the influence of TTA on the test dataset of OmniFlow affects EE by about a factor of three. As a basis for generating artificial keypoints on OmniFlow with action labels, the Carnegie Mellon University motion capture database is used with a large number of sports and household activities as skeletal data defined in the BVH format. From the BVH-skeletal data, the skeletal points of the people performing the activities can be directly derived or extrapolated by projecting these points from the 3D world into an omnidirectional 2D image. The real-world dataset, OmniLab, was recorded in two rooms of the Living Lab with five different people mimicking the 15 actions of OmniFlow. Human keypoint annotations were added manually in two iterations to reduce the error rate of incorrect annotations. The activity-level evaluation was investigated using a TSN and a PoseC3D network. The TSN consists of two CNNs, a spatial component trained on RGB images and a temporal component trained on the dense optical flow fields of OmniFlow. The PoseC3D network, an approach to skeleton-based activity recognition, uses a heatmap stack of keypoints in combination with 3D convolution, making the network more effective at learning spatio-temporal features than methods based on 2D convolution. In the first step, the networks were trained and validated on the synthetically generated dataset OmniFlow. In the second step, the training was performed on OmniFlow and the validation on the real-world dataset OmniLab. For both networks, TSN and PoseC3D, three hyperparameters were varied and the top-1, top-5 and mean accuracy given. First, the learning rate of the stochastic gradient descent (Stochastic Gradient Descent (SGD)) was varied. Secondly, the clip length, which indicates the number of consecutive frames for learning the network, was varied, and thirdly, the spatial resolution of the input data was varied. For the spatial resolution variation, five different image sizes were generated from the original dataset by cropping from the original dataset of OmniFlow and OmniLab. It was found that keypoint-based HAR with PoseC3D performed best compared to human activity classification based on optical flow and RGB images. This means that the top-1 accuracy was 0.3636, the top-5 accuracy was 0.7273 and the mean accuracy was 0.3750, showing that the most appropriate output resolution is 128px × 128px and the clip length is at least 24 consecutive frames. The best results could be achieved with a learning rate of PoseC3D of 10-3. In addition, confusion matrices indicating the class-wise accuracy of the 15 activity classes have been given for the modalities RGB images, optical flow and human keypoints. The confusion matrix for the modality RGB images shows the best classification result of the TSN for the action walk with an accuracy of 1.00, but almost all other actions are also classified as walking in real-world data. The classification of human actions based on optical flow works best on the action sit in chair and stand up with an accuracy of 1.00 and walk with 0.50. Furthermore, it is noticeable that almost all actions are classified as sit in chair and stand up, which indicates that the intra-class variance is low, so that the TSN is not able to distinguish between the selected action classes. Validated on real-world data for the modality keypoint the actions rugpull (1.00) and cleaning windows (0.75) performs best. Therefore, the PoseC3D network on a time-series of human keypoints is less sensitive to variations in the image angle between the synthetic and real-world data than for the modalities RGB images and optical flow. The pipeline for the generation of synthetic data with regard to a more uniform distribution of the motion magnitudes needs to be investigated in future work. Random placement of the person and other objects is not sufficient for a complete coverage of all movement magnitudes. An additional improvement of the synthetic data could be the rotation of the person around their own axis, so that the person moves in a different direction while performing the activity and thus the movement magnitudes contain more variance. Furthermore, the domain transition between synthetic and real-world data should be considered further in terms of viewpoint invariance and augmentation methods. It may be necessary to generate a new synthetic dataset with only top-view data and re-train the TSN and PoseC3D. As an augmentation method, for example, the Fourier Domain Adaption (FDA) could reduce the domain gap between the synthetically generated and the real-world dataset.:1 Introduction 2 Theoretical Background 3 Related Work 4 Omnidirectional Synthetic Human Optical Flow 5 Human Keypoints for Pose in Omnidirectional Images 6 Human Activity Recognition in Indoor Scenarios 7 Conclusion and Future Work A Chapter 4: Flow Dataset Statistics B Chapter 5: 3D Rotation Matrices C Chapter 6: Network Training Parameters