Photoplethysmogram (PPG) signals detect blood volume variations during the heart cycle. They are useful to track physiological parameters of an individual, such as heart rate, heart rate variability or oxygen saturation. They are typically obtained using smart wearables and pulse oximeters, but our goal is to create remote PPG (rPPG) signals from video cameras. Since the signals obtained from a video camera are the RGB channels, we carried out an empirical study of the performance of each channel. RGB channels can be used to generate rPPG signals, but also as input to other processes that do so. As reference ground truth, we use contact PPG (cPPG) readings from pulse oximeters in the fingertip. In terms of several metrics, including dynamic time warping (DTW), Pearson’s correlation coefficient, root mean squared error (RMSE), and Beats-per-minute Difference (|∆BPM|), the green channel produced the best results, followed by the blue and red channels. Despite the green channel consistently outperforming the blue and red channels, the outcomes varied greatly depending on the dataset. We also applied different methods to obtain rPPG signals from the RGB channels, including CHROM-based rPPG, local group invariance (LGI), and plane-orthogonal-to-skin (POS). These techniques were contrasted with our novel technique based on a machine learning approach. For that, we made use of a variety of architectures, including convolutional neural networks and long short-term memory. The results were favourable for the ML approach in terms of DTW, r and |∆BPM|. / Fotopletysmogram (PPG)-signaler upptäcker variationer av blodvolym under hjärtcykeln. De är användbara för att spåra fysiologiska parametrar för en individ, såsom hjärtfrekvens, hjärtfrekvensvariabilitet eller syremättnad. De erhålls vanligtvis med smarta bärbara sensorer och pulsoximetrar, men vårt mål är att skapa fjärr-PPG (rPPG)-signaler från videokameror. Eftersom signalerna erhållna från en videokamera är RGB -kanalerna genomförde vi en empirisk studie av prestandan för varje kanal. RGB-kanaler kan användas för att generera rPPG-signaler, men också som input till andra processer som gör det. Som referens använder vi kontakt-PPG (cPPG) avläsningar från pulsoximetrar i fingertoppen. När det gäller flera mätvärden, inklusive Dynamic Time Warping (DTW), Pearsons korrelationskoefficient, Root Mean Squared Error (RMSE) och Beats-Per-minut-skillnaden (|∆BPM|). Uppnåddes bästa resultat med den gröna kanalen, följt av de blå och röda kanalerna. Trots att den gröna kanalen konsekvent överträffade de blå och röda kanalerna varierade resultaten mycket beroende på datasetet. Vi använde också olika metoder för att erhålla rPPG-signaler från RGB-kanalerna, inklusive CHROM-baserad rPPG, lokal gruppinvarians (LGI) och plan-ortogonal-till-hud (POS). Dessa tekniker kontrasterades med vår nya teknik baserat på en maskininlärningsstrategi. För det använde vi en mängd olika arkitekturer, inklusive konvolutionella neurala nätverk och LSTM-nätverk. Resultaten var gynnsamma för ML-metoden när det gäller DTW, R och |∆BPM|.

Heart rate can say a lot about a person's health. While most conventional methods for heart rate measurement require contact with the subject, these are not always applicable. In this thesis, a non-invasive method for pulse detection is implemented and analyzed. Different signals from the color of the forehead—including the green channel, the hue channel and different ICA and PCA components—are inspected, and their resulted heart rates are weighted together according to the significance of their FFT peaks. The system is tested on videos with different difficulties regarding the amount of movement and setting of the scene. The results show that the approach of weighting measurements from different signals together has great potential. The system in this thesis, however, does not perform very well on videos with a lot of movement because of motion noise. Though, with better, less noisy signals, good results can be expected. / En människas puls säger en hel del om dennes hälsa. För att mäta pulsenanvänds vanligtvis metoder som vidrör människan, vilket iblandär en nackdel. I det här examensarbetet tas en metod för pulsmätningpå avstånd fram, som endast använder klipp från en vanlig videokamera. Färgen i pannan mäts och utifrån den genereras flera signalersom analyseras, vilket resulterar i olika mätvärden för pulsen. Genomatt värdera dessa mätvärden med avseende på hur tydliga signalernaär, beräknas ett viktat medelvärde som ett slutgiltigt estimat på medelpulsen. Metoden testas på videoklipp med varierande svårighetsgrad,beroende på hur mycket rörelser som förekommer och på vilketavstånd från kameran försökspersonen står. Resultaten visar att metodenhar mycket god potential och att man kan man förvänta sig finaresultat med bättre, mindre brusiga signaler.

Die zunehmende Überalterung der Bevölkerung in Europa und speziell in Deutschland stellt die Gesellschaft vor große personelle und finanzielle Herausforderungen. Diese Problematik wird im Forschungsfeld Ambient Assisted Living (AAL) adressiert. AAL hat die Zielsetzung, ältere Menschen bei Aktivitäten des täglichen Lebens zu unterstützen. Ein wesentliches Element hierbei ist die Vernetzung verschiedener Systeme im Haushalt, sodass das Verhalten einer Person erfasst werden kann. Angehörige und medizinisches Personal können somit im Notfall automatisiert verständigt werden. Hierfür ist das Monitoring von Vitalparametern ein wichtiger Baustein, da damit der momentane Gesundheitszustand einer Person erfasst und analysiert werden kann. Konventionelle Systeme zur Bestimmung von Vitalparametern erfordern eine direkte Applizierung am Körper und werden häufig als störend empfunden. Verfahren, welche auf einer kontaktlosen, optischen Erkennung von Vitalparametern mittels Bildverarbeitung basieren, können diese Problematik lösen. Allerdings sind bestehende Verfahren eher ungeeignet, da sie die notwendigen Anforderungen an Genauigkeit und Robustheit nicht erfüllen. Diese Dissertation leistet einen Beitrag, um diese Lücke zu schließen und genaue, robuste Verfahren zur Bestimmung von Vitalparametern mit intelligenten Verfahren der Bildverarbeitung zu untersuchen. Hierfür werden die Vitalparameter der Herzfrequenz, der Respirationsfrequenz und der Sauerstoffsättigung analysiert. Auf Grundlage einer Quantifizierung der beiden stärksten Störquellen, der Intensitäts- und Bewegungsartefakte, wird ein neues Verfahren, die Ratio-Methode, zur Herzfrequenzbestimmung vorgestellt. Zur Beseitigung dieser beiden Störquellen wird ein weiteres Verfahren präsentiert, welches auf einem individuellen, situationsabhängigen Hautfarbenmodell, einem erweiterten KLT-Tracking, einer ICA, einer Kanalextraktion sowie einer adaptiven Filterung beruht. Aus der Evaluierung geht hervor, dass der gemittelte RMSE für alle Szenarien stets unter einer Schwelle von 3 BPM liegt. Die Ermittlung der Respirationsfrequenz im sichtbaren Wellenlängenbereich wird mit Methoden des optischen Flusses, einer PCA sowie einer FFT analysiert. Es wird gezeigt, dass sich der gemittelte RMSE für alle Testfälle unterhalb von 2,5 Atemzyklen pro Minute befindet. Als weiterer Vitalparameter wird die Sauerstoffsättigung untersucht. Dabei werden sowohl Systeme bestehend aus einer Kamera als auch aus zwei Kameras betrachtet. Neben dem sichtbaren Wellenlängenbereich wird die Vitalparameterbestimmung auch im mittleren Infrarotbereich analysiert. Die Untersuchung fokussiert sich dabei auf die Vitalparameter der Respirations- und der Herzfrequenz. Um die Einsatzfähigkeit von Vitalparametern im Bereich AAL realistisch zu evaluieren, werden Messungen in der AAL-Testwohnung der TU Chemnitz durchgeführt und analysiert. Dabei hat sich herausgestellt, dass sowohl die Herz- als auch die Respirationsfrequenz zuverlässig erfasst werden können. Zudem wird gezeigt, dass neben perspektivischen Kameras auch omnirektionale Kameras zur Bestimmung von Vitalparametern geeignet sind. In einer weiteren Untersuchung erfolgt die Analyse für die Vitalparameterbestimmung bei Dunkelheit im nahen Infrarotbereich. Neben dem Bereich AAL eröffnen sich weitere Anwendungsszenarien auf den folgenden Feldern: Fahrerüberwachung im Fahrzeug, Detektion des plötzlichen Kindstods, E-Rehabilitation und Triage im Krankenhaus. / Europe, in particular Germany, is facing the problem of a steadily ageing society. This development goes hand in hand with a higher demand for technical assistance systems, which can assist elderly people with their self-determined living. A key element is the interconnection of different systems in the home environment in order to recognise the behaviour of a person. In case of an emergency, relatives and medical personnel can be notified automatically. In order to ensure that functionality, the monitoring of vital parameters is a crucial element to determine and to analyse the health status of a person. Conventional systems that determine vital parameters require body contact and are therefore uncomfortable for the person who wars such as system. In contrast to that, contact-less optical methods based on image processing do not share these problems. However, existing methods in this field do not fulfil the requirements regarding accuracy and robustness. This thesis contributes to close this gap by investigating accurate and robust methods to determine vital parameters by means of highly sophisticated image processing techniques. To that aim, vital parameters such as the heart rate, the respiration rate and the oxygen saturation are considered. On the basis of the quantisation of intensity and motion artefacts, a new method, the so-called ratio method, is introduced to determine the heart. In order to eliminate these artefacts another method based on an individual, scene depending skin colour model, an extended KLT tracking, an ICA, a channel selection and an adaptive filtering is presented. The evaluation shows that the mean RMSE is always below a threshold of 3 BPM. The determination of the respiration rate in the visual spectrum is realised by using optical flow, a PCA and an FFT. It can be shown that the mean RMSE is below a threshold of 2.5 breath cycles per minute for all test cases. For the oxygen saturation two setups consisting of one and two cameras respectively are investigated. Determining vital parameters is not limited to the visual spectrum. It is as well feasible to analyse long-wavelength thermal images in order to determine the heart rate and the respiration rate, which was also studied in this thesis. For a realistic evaluation the developed algorithms in the field of AAL, measurements in the AAL living lab of TU Chemnitz are conducted and analysed. It can be demonstrated that the heart rate and the respiration rate can be reliably detected. Moreover, it can be shown that omni-directional cameras can be used in the home environment for vital parameter extraction. Furthermore, this thesis provides the evidence that the determination of the heart rate and the respiration rate is also possible in case of short-wavelength infrared light. Besides the field of AAL, there exist more application areas such as driver monitoring, detection of sudden infant death syndrome, e-rehabilitation or triage in hospital.