In diesem Buch wurde eine Übersicht und kritische Zusammenfassung des derzeitigen Forschungsstandes zu Human Activity Recognition (HAR), zu Deutsch Aktivitätserkennung bei Menschen, durchgeführt. Dabei ergab sich eine Forschungslücke im Rahmen der nicht überwachten Lernalgorithmen für HAR-Systeme. Für überwachte Lernalgorithmen muss je Anwendung ein annotierter Datensatz über mehrere Wochen mühselig erstellt werden, bevor das HAR-System zum Einsatz kommen kann. Dies entfällt mit dem neuen HAR-System. Des Weiteren ist das neue System in der Lage auch parallel laufende Aktivitäten des täglichen Lebens (ADL, aus dem Englischen Activity of Daily Living) zu erkennen. Viele HAR-Systeme aus dem aktuellen Stand der Forschung sind dazu nicht in der Lage, da sie z.B. sequenziell arbeiten. Beide Probleme wurden mit dem neuen HAR-System erfolgreich gelöst. Das in diesem Buch vorgestellte HAR-System ist eine neuartige Kombination aus einem stochastischen Modell und einem kognitiven Ansatz. Das HAR-System wird in drei Phasen angewandt. Die erste Phase ist die sogenannte Initialphase. In dieser ersten Phase wird a priori Wissen gesammelt. Das neue HAR-System benötigt im Gegensatz zu den Systemen der aktuellen Forschung nur sehr wenig a priori Wissen. Es wird die Art und Anzahl der Sensoren und der ADL benötigt, welche in eine sinnfällige initiale Verbindung miteinander gebracht werden. Diese Verbindung ist eine vorläufige und gleichverteilte Initialbelegung der Sensor-ADL-Beziehung, die in der Lernphase individuell an die jeweilige Person und Anwendungsfall angepasst wird. Es wird ein neuartiges Markov Modell (MM) und ein neu entwickeltes Impulsmodell (IM) erlernt. Das genutzte MM unterscheidet sich von den aktuellen MM durch dessen Zustandsdefinitionen, die die Sensorereigniskombinationen abbilden, wodurch das Segmentierungsproblem wegfällt. Dadurch können auch wichtige Strukturen aus dem MM extrahiert werden, die das menschliche Verhalten darstellen. Diese Strukturen werden durch neuartige Modellvergleiche bewertet. Das Resultat dieser Bewertung wird wiederum in Kombination mit dem neuen kognitiven IM in einem speziell dafür entwickelten iterativen Ansatz verwendet, um die initiale Sensor-ADL-Beziehung zu individualisieren. Diese neue Sensor-ADL-Beziehung ist Grundlage für die dritte und letzte Phase: der Anwendungsphase. Im IM wird die Sensor-ADL-Beziehung in Kombination mit neu entwickelten Regeln angewandt, um eine finale ADL-Wahrscheinlichkeitsverteilung der erkannten ADL zu berechnen. Diese besagt, welches ADL derzeit am wahrscheinlichsten ausgeführt wird und welche ADL gerade parallel zu anderen ADL ausgeführt werden. Das neue HAR-System wurde mit drei Datensätzen unterschiedlichen Anspruchs und einem Benchmark getestet. Dieser Benchmark beinhaltete vier verschiedene stochastische Modelle des aktuellen Stands der Forschung. Das neue HAR-System ist in der Lage eine höhere Erkennungsrate als der Benchmark zu leisten und war im Durchschnitt 3,2% akkurater. Es erzielte eine 95-97%-ige Wiedererkennung der ADL. Durch die erstellten Konfusionsmatrizen ergab sich eine durchschnittliche Verbesserung von 42% in den Metriken für Sensitivität, Wirksamkeit und F-Maß. Ein weiterer großer Unterschied zum Benchmark ist, dass das neue HAR-System unüberwacht lernt. Dadurch fällt die Datenakquise im Vergleich zum Benchmark sehr gering aus und das neue HAR-System wirkt attraktiver für den Markt in dessen Anwendbarkeit.:1 Einführung in die Domäne 1 1.1 Motivation 1 1.2 Ambient Assistive Living 2 1.2.1 Menschliches Verhalten und technische Assistenz 4 1.2.2 Aktivitäten des täglichen Lebens 5 1.3 Zielstellung und Abgrenzung 6 2 AAL-Systeme 9 2.1 Human Activity Recognition 9 2.1.1 Sensorik 11 2.1.2 Lernansatz 13 2.1.3 Ereignisstromanalyse 16 2.1.4 Abbildungsgrad menschlichen Verhaltens 18 2.1.5 Fazit und Anforderungen 19 3 Human Activity Recognition - Modelle 21 3.1 Datenbasierte Modelle 23 3.1.1 Deterministische Modelle 23 3.1.2 Stochastische Modelle 24 3.1.2.1 Bayes'sche Netze 25 3.1.2.2 Hidden Markov Modelle 26 3.1.2.3 Conditional Random Field 29 3.1.2.4 Neuronale Netze 30 3.1.2.5 Support Vector Machines 32 3.1.3 Vergleich und Fazit 34 3.2 Wissensbasierte Modelle 40 3.2.1 Datenbanken 40 3.2.2 Ontologien 41 3.2.3 Wahrscheinlichkeitsbasierte Ontologien 44 3.2.4 Fazit 45 3.3 Anforderungen und Forschungsfragen 46 3.4 Forschungsnaher Stand der Technik 49 3.4.1 Unüberwachter Klassifizierungsalgorithmus 49 3.4.2 Unüberwachtes Lernen mittels einer Ontologie 50 3.4.3 Wahrscheinlichkeitsbasierte Ontologie 51 3.4.4 Fazit 53 4 Lösungskonzept 57 4.1 Sensordatenschnittstelle und Definitionen 60 4.2 Initialphase 62 4.3 Lernphase 63 4.3.1 Markov Modell und menschliche Angewohnheiten 63 4.3.1.1 Das Markov Modell 63 4.3.1.2 Erlernen des Markov Modells 64 4.3.1.3 Lernen menschlicher Angewohnheiten 69 4.3.1.4 Schlussfolgerung 73 4.3.2 Abbildung des menschlichen Erinnerungsvermögen 74 4.3.2.1 Menschliches Lernen und Vergessen 74 4.3.2.2 Impulsmodell 75 4.3.2.3 Bestimmung der ADL für MM-Strukturen 78 4.3.2.4 Erlernen der Relevanzfaktoren 79 4.3.2.5 Schlussfolgerung 85 4.4 Anwendungsphase 85 4.4.1 Impulsmodell in der Anwendungsphase 85 4.4.2 ADL Erkennung 86 4.4.3 Wahrscheinlichkeitsverteilung der ADL 88 4.4.4 Schlussfolgerung und Zusammenfassung 90 5 Bewertung der Lösung 91 5.1 Testszenarien und Datensets 91 5.2 Datensätze des Benchmarks 93 5.3 Evaluierung 95 5.4 Komplexität der Lösung 107 5.5 Einschätzung der Vor- und Nachteile 108 6 Zusammenfassung und Ausblick 115 6.1 Zusammenfassung 115 6.2 Ausblick und Weiterentwicklung 116 A Fallbeispiel 119 B Evaluierung 123 B.1 Ergebnisse des Benchmarks 123 B.2 Datenschnittstelle 126 B.3 Markov Modell 129 B.4 Strukturen und deren Signifikanz 135 B.5 Ergebnisse der Relevanzfaktorenberechnung 138 B.6 ADL-Wahrscheinlichkeitsverteilung der Lösung 138 Tabellenverzeichnis 141 Abbildungsverzeichnis 143 Literaturverzeichnis 145

Depuis de nombreuses années, nous nous sommes efforcés de comprendre le comportement humain et nos interactions avec l'environnement sociotechnique. Grâce à l'avancée de nos connaissances dans ce domaine, nous avons contribué à la conception de technologies et de processus de travail nouveaux ou améliorés. Historiquement, une part importante du travail d'analyse des interactions sociales fut entreprise au sein des sciences sociales. Cependant, la simulation informatique a apporté un nouvel outil pour tenter de comprendre et de modéliser les comportements humains. En utilisant une approche à base d'agents, cette présentation décrit mon travail sur la construction de modèles informatiques du comportement humain pour guider la conception par la simulation. A l'aide d'exemples issus de projets des deux domaines d'application que sont la gestion des crises et de l'urgence et la gestion de l'énergie, je décris comment mon travail aborde certains problèmes centraux à la simulation sociale à base d'agents. Le premier concerne le processus par lequel nous développons ces modèles. Le second problème provient de la nature des systèmes sociotechniques. Les sociétés humaines constituent un exemple parfait de système complexe possédant des caractéristiques d'auto-organisation et d'adaptabilité, et affichant des phénomènes émergents tels que la coopération et la robustesse. Je décris comment la théorie des systèmes complexes peut être appliquée pour améliorer notre compréhension des systèmes sociotechniques, et comment nos interactions au niveau microscopique mènent à l'émergence d'une conscience mutuelle pour la résolution de problèmes. A partir de systèmes de simulation à base d'agents, je montre comment la conscience du contexte peut être modélisée. En terme de perspectives, j'expliquerai comment la hausse de la prévalence des agents artificiels dans notre société nous forcera à considérer de nouveaux types d'interactions et de comportements coopératifs.

La consommation énergétique dans le secteur bâtiment dépend de diverses facteurs parmi lesquels ses caractéristiques physique, ses équipements, l’environnement extérieur, etc… mais il ne faut pas oublier le comportement des habitants qui est déterminant pour la consommation énergétique globale. Or, la plupart des travaux et outils représentent les occupants par des profils d’occupation. Cette thèse s’intéresse à la représentation plus détaillée du comportement des occupants, en particulier les mécanismes cognitifs, réactifs et délibératifs. Le comportement dynamique des occupants est modélisé et co-simulé avec les aspects physiques et des éventuels systèmes de gestion énergétique. L’analyse de la consommation de différents équipements électroménagers met en évidence que le consommation énergétique est très dépendante des comportements des occupants. L’analyse des consommations et des actions des habitants permet d’élaborer un modèle du comportement des occupants impactant la consommation énergétique. Le modèle représente des mécanismes cognitifs, qui représente les causes qui motivent les actions, incluant des échange avec d’autres acteurs humains. Une approche à base d’agents logiciels a été développée. Outre les aspects techniques, une méthodologie de réglage des paramètres des modèles de comportement est proposée. Ces outils sont utilisés pour réaliser une co-simulation représentant la physique du bâtiment, le comportement réactif, c’est-à-dire sensible aux données physiques, et délibératif des habitants mais aussi un système de gestion énergétique qui peut ajuster directement la configuration du logement ou simplement conseiller ces occupants. L’impact de différents types de comportements, avec et sans gestionnaire énergétique est analysé. Ces travaux ouvrent de nouvelles perspectives dans la simulation bâtiment, dans la validation de gestionnaires énergétiques mais aussi dans la représentation des bâtiments dans les réseaux d’énergie dits intelligents, dans lesquels des signaux peuvent être envoyés aux utilisateurs finaux pour les inviter à moduler leur consommation. / Energy consumption in buildings is affected by various factors including its physical characteristics, the appliances inside, and the outdoor environment, etc. However, inhabitants’ behaviour that determines the global energy consumption must not be forgotten. In most of the previous works and simulation tools, human behaviour is modelled as occupancy profiles. In this thesis the focus is more on detailed behaviour representation, particularly the cognitive, reactive, and deliberative mechanisms. The inhabitants’ dynamic behaviour is modelled and co-simulated together with the physical aspects of a building and an energy management system. The analysis of different household appliances has revealed that energy consumption patterns are highly associated with inhabitants’ behaviours. Data analysis of inhabitants’ actions and appliances’ consumptions is used to derive a model of inhabitants’ behaviour that impacts the energy consumption. This model represents the cognitive mechanisms that provide causes that motivate the actions, including the communication with other inhabitants. An approach based on multi-agent systems is developed along with a methodology for parameter tuning in the proposed behaviour model. These tools are used to co-simulate, not only the physical characteristics of the building, the reactive behaviour that is sensitive to physical data, and deliberative behaviour of the inhabitants, but also the building energy management system. The energy management system allows the direct adjustment of the building parameters or simply giving advice to the inhabitants. The impact of different types of inhabitants’ behaviours, with and without the inclusion of an energy management system is analyzed. This work opens new perspectives not only in the building simulation and in the validation of energy management systems but also in the representation of buildings in the smart grid where signals can be sent to end users advising them to modulate their consumption.