Innowearable AB has developed a product called Inno-XTM that calculates musclefatigue during three exercises: squat jumps, wall sit, and leg extension. Inno-X uses an accelerometer and a surface electromyography sensor. The goal of thisproject was to create the signal processing part of a machine-learning (ML) pipeline that classifies the exercises in real-time. Data was collected from the sensors to create a training environment that could later be translated to a real-time environment using a sliding window technique. A Savitsky-Golay filter (SG), lowpass, and highpass filters were tested in order to remove noise from the signal. The best filter proved to be the SG filter. Both time and frequency domain features were used in feature extraction. The finished product used 24 features from both domains combined. These methods together with the ML algorithms created in a collabora-tive project led to a classification accuracy for the training environment of 98.62%, while the real-time environment reached 90%. By collecting a larger and more diverse dataset, and addressing the issue of leg extension and wall sit exercises being too similar, real-time classification can be further improved which will make the ML pipeline usable for Innowearables’ customers. / Innowearable AB har utvecklat en produkt som heter Inno-XTM som räknar ut muskeltröttheten vid 3  övningar: upphopp, jägarvila och benextensioner. Inno-X använder en accelerometer och en yt-elektromyografi-sensor. Målet med projektet var att skapa signalprocesseringsdelen av en machine learning (ML) pipelinesom klassificerar dessa övningar i realtid. Data samlades in från sensorerna för att skapa en träningsmiljö som sedan kunde gå  över i realtidsmiljö genom attanvända en sliding-window teknik. Savitsky-Golay (SG) filter, högpassfilter, och lågpassfilter användes för att reducera brus i sensorsignalerna. SG filtret presterade bäst. Features från både tids- och frekvensdomän användes i feature extraction. Slutprodukten använde 24 features kombinerat från båda domänen. Dessa metoder tillsammans med ML algoritmer som togs fram i ett partnerprojekt gav ett resultat i träningsmiljön på 98.62% i klassificeringsnoggrannhet och 90% för realtidsmiljön. Genom att samla större mängd data med mer diversitet och lösa problemetatiken i att jägarvila och benextensioner  är för lika, kommer realtidsklas-sifikationen förbättras vilket hade gjort att ML pipelinen blir användbar för Innowearables kunder.

Currently, most long-term human motion classification and prediction tasks are driven by spatio-temporal data of the human trunk. In addition, data with multiple modalities can change idiosyncratically with human motion, such as electromyography (EMG) of specific muscles and respiratory rhythm. On the other hand, progress in Artificial Intelligence research on the collaborative understanding of image, video, audio, and semantics mainly relies on MultiModal Machine Learning (MMML). This work explores human motion classification strategies with multi-modality information using MMML. The research is conducted using the Unige-Maastricht Dance dataset. Attention-based Deep Learning architectures are proposed for modal fusion on three levels: 1) feature fusion by Component Attention Network (CANet); 2) model fusion by fusing Graph Convolution Network (GCN) with CANet innovatively; 3) and late fusion by a simple voting. These all successfully exceed the benchmark of single motion modality. Moreover, the effect of each modality in each fusion method is analyzed by comprehensive comparison experiments. Finally, statistical analysis and visualization of the attention scores are performed to assist the distillation of the most informative temporal/component cues characterizing two qualities of motion. / För närvarande drivs uppgifter som långsiktig klassificering och förutsägelse av mänskliga rörelser av spatiotemporala data från människans bål. Dessutom kan data från flera olika modaliteter förändras idiosynkratiskt med mänsklig rörelse, t.ex. elektromyografi (EMG) av specifika muskler och andningsrytm. Å andra sidan bygger forskning inom artificiell intelligens för samtidig förståelse av bild, video, ljud och semantik huvudsakligen på multimodal maskininlärning (MMML). I det här arbetet undersöks strategier för klassificering av mänskliga rörelser med multimodal information med hjälp av MMML. Forskningen utförs med hjälp av Unige-Maastricht Dance dataset. Uppmärksamhetsbaserade djupinlärningsarkitekturer föreslås för modal fusion på tre nivåer: 1) funktionsfusion genom Component Attention Network (CANet), 2) modellfusion genom en innovativ fusion av Graph Convolution Network (GCN) med CANet, 3) och sen fusion genom en enkel omröstning. Alla dessa överträffar riktmärket med en enda rörelsemodalitet. Dessutom analyseras effekten av varje modalitet i varje fusionsmetod genom omfattande jämförelseexperiment. Slutligen genomförs en statistisk analys och visualiseras av uppmärksamhetsvärdena för att hjälpa till att hitta de mest informativa temporala signaler eller komponentsignaler som kännetecknar två typer av rörelse.