This project is built on the idea of predicting future human movement in an area. The algorithm’s predictions are based on previous movements in the area which has to be recorded somehow. For this a device with a motion sensor was setup to monitor the movement in a hallway in an office. This data was then used to test and evaluate the prediction algorithm. To give feedback about the movement and how it is changing to the people working in the office the setup device shows sentences on a monitor which describes the movement. The project resulted in a fully working application which measures people walking by, both when and how fast, and predicts future movement. Due to time constraints of the project the device was only up and running for two weeks. This is enough time to get some understanding of how well the prediction algorithm works, but a longer experiment time would have further helped the evaluation. The results showed that the algorithm can predict most of the events during the day, but is bad at predicting sudden spikes or other unusual behavior. / Projektet är baserat på idén att förutse framtida mänsklig rörelse i ett område. För att noggrant kunna förutse framtida rörelse så behöver man kunna mäta tidigare rörelse. För detta så sattes en anordning upp med en rörelse detektor för att mäta rörelsen i en korridor i ett kontor. Data som samlades in användes sedan för att testa och utvärdera förutsägelse algoritmen. För att ge feed-back om rörelsen och hur den ändras till människorna som jobbade i kontoret så visade anordningen meningar på en skärm som beskrev rörelsen. Projektet resulterade i en fullt fungerade applikation som mäter folk som går förbi, både när och hur snabbt, och förutser framtida rörelse. På grund av tids begränsningar i projektet så var anordningen bara uppe och mätte data i två veckor. Detta är tillräckligt mycket tid för att få någon förståelse över hur bra förutsägelse algoritmen fungerar, men en längre experiment tid skulle ha hjälpt utvärderingen. Resultaten visade att algoritmen kan förutse de flesta händelserna under dagen, men är dålig på att förutse plötsliga spikar eller annat ovanligt beteende.

The goal of this project was to make a shirt with three embedded IMU sensors (Inertial Measurement Unit) that can measure a person’s movements throughout an entire workday. This can provide information about a person’s daily routine movements and aid in finding activities which can lead to work-related injuries in order to prevent them. The objective was hence to construct a sensor fusion framework that could retrieve the measurements from these three sensors and to create an estimate of the human body orientation and to estimate the angular movements of the arms. This was done using an extended Kalman filter which uses the accelerometer and magnetometer values to retrieve the direction of gravity and north respectively, thus providing a coordinate system that can be trusted in the long term. Since this method is sensitive to quick movements and magnetic disturbance, gyroscope measurements were used to help pick up quick movements. The gyroscope measurements need to be integrated in order to get the angle, which means that we get accumulated errors. This problem is reduced by the fact that we retrieve a correct long-term reference without accumulated errors from the accelerometer and magnetometer measurements. The Kalman filter estimates three quaternions describing the orientation of the upper body and the two arms. These quaternions were then translated into Euler angles in order to get a meaningful description of the orientations. The measurements were stored on a memory card or broadcast on both the local net and the Internet. These data were either used offline in Matlab or shown in real-time in the program Unity 3D. In the latter case the user could see that a movement gives rise to a corresponding movement on a skeleton model on the screen.

This thesis focuses on addressing the limitations of existing human motion prediction models by extending the prediction horizon to very long-term forecasts. The objective is to develop a model that achieves one of the best stable prediction horizons in the field, providing accurate predictions without significant error increase over time. Through the utilization of quantization based models our research successfully achieves the desired objective with the proposed aligned version of Mean Per Joint Position Error. The first of the two proposed models, an attention-based Vector Quantized Variational AutoEncoder, demonstrates good performance in predicting beyond conventional time boundaries, maintaining low error rates as the prediction horizon extends. While slight discrepancies in joint positions are observed, the model effectively captures the underlying patterns and dynamics of human motion, which remains highly applicable in real-world scenarios. Furthermore, our investigation into a correlation-based Vector Quantized Variational AutoEncoder, as an alternative to attention-based one, highlights the challenges in capturing complex relationships and meaningful patterns within the data. The correlation-based VQ-VAE’s tendency to predict flat outputs emphasizes the need for further exploration and innovative approaches to improve its performance. Overall, this thesis contributes to the field of human motion prediction by extending the prediction horizon and providing insights into model performance and limitations. The developed model introduces a novel option to consider when contemplating long-term prediction applications across various domains and sets the foundation for future research to enhance performance in long-term scenarios. / Denna avhandling fokuserar på att hantera begränsningarna i befintliga modeller för förutsägelse av mänskliga rörelser genom att utöka förutsägelsehorisonten till mycket långsiktiga prognoser. Målet är att utveckla en modell som uppnår en av de bästa stabila prognoshorisonterna inom området, vilket ger korrekta prognoser utan betydande felökning över tiden. Genom att använda kvantiseringsbaserade modeller uppnår vår forskning framgångsrikt det önskade målet med den föreslagna anpassade versionen av Mean Per Joint Position Error. Den första av de två föreslagna modellerna, en uppmärksamhetsbaserad Vector Quantized Variational AutoEncoder, visar goda resultat när det gäller att förutsäga bortom konventionella tidsgränser och bibehåller låga felfrekvenser när förutsägelsehorisonten förlängs. Även om små avvikelser i ledpositioner observeras, fångar modellen effektivt de underliggande mönstren och dynamiken i mänsklig rörelse, vilket förblir mycket tillämpligt i verkliga scenarier. Vår undersökning av en korrelationsbaserad Vector Quantized Variational AutoEncoder, som ett alternativ till en uppmärksamhetsbaserad sådan, belyser dessutom utmaningarna med att fånga komplexa relationer och meningsfulla mönster i data. Den korrelationsbaserade VQ-VAE:s tendens att förutsäga platta utdata understryker behovet av ytterligare utforskning och innovativa metoder för att förbättra dess prestanda. Sammantaget bidrar denna avhandling till området för förutsägelse av mänskliga rörelser genom att utöka förutsägelsehorisonten och ge insikter om modellens prestanda och begränsningar. Den utvecklade modellen introducerar ett nytt alternativ att ta hänsyn till när man överväger långsiktiga prediktionstillämpningar inom olika områden och lägger grunden för framtida forskning för att förbättra prestanda i långsiktiga scenarier.