Microprocessor-controlled knees (MPK’s) allow amputees to walk with increasing ease and safety as technology progresses. As an amputee is fitted with a new MPK, the knee’s internal parameters are tuned to the user’s preferred settings in a controlled environment. These parameters determine various gait control settings, such as flexion target angle or swing extension resistance. Though these parameters may work well during the initial fitting, the MPK experiences various internal & external environmental changes throughout its life-cycle, such as product wear, changes in the amputee’s muscle strength, temperature changes, etc. This work investigates the feasibility of using a reinforcement learning (RL) control to adapt the MPK’s swing resistance to consistently induce the amputee’s preferred swing performance in realtime. Three gait features were identified as swing performance indicators for the RL algorithm. Results show that the RL control is able to learn and improve its tuning performance in terms of Mean Absolute Error over two 40-45 minute training sessions with a human-in-the-loop. Additionally, results show promise in using transfer learning to reduce strenuous RL training times. / Mikroprocessorkontrollerade knän (MPK) gör att amputerade kan utföra fysiska aktiviteter med ökad lätthet och säkerhet allt eftersom tekniken fortskrider. När en ny MPK monteras på en amputerad person, anpassas knäts interna parametrar till användarens i ett kontrollerad miljö. Dessa parametrar styr olika gångkontrollinställningar, såsom flexionsmålvinkel eller svängförlängningsmotstånd. Även om parametrarna kan fungera bra under den initiala anpassningen, upplever den MPK olika interna och yttre miljöförändringar under sin hela livscykel, till exempel produktslitage, förändringar i den amputerades muskelstyrka, temperaturförändringar, etc. Detta arbete undersöker möjligheten av, med hjälp av en förstärkningsinlärningskontroll (RL), att anpassa MPK svängmotstånd för att konsekvent inducera den amputerades föredragna svängprestanda i realtid. Tre gångegenskaper identifierades som svingprestandaindikatorer för RL-algoritmen. Resultaten visar att RL-kontrollen kan lära sig och förbättra sin inställningsprestanda i termer av Mean Absolute Error under två 40-45 minuters träningspass med en människa-i-loopen. Dessutom är resultaten lovande när det gäller att använda överföringsinlärning för att minska ansträngande RL-träningstider.

Nokia launched a website service Customer Insights (CI) to managers and executives from operator companies to track their customers’ experience. An upgraded mobile service is developed for providing more valuable information. The data was retrieved from the same dataset but less amount of information would be displayed in the mobile application. Two questions need to be answered in this design work, what to show in the application and how to show them. A tough situation in user research and a large amount of data made the user-centered design hard to answer the ‘what’ question. Based on experts’ view, data points that have different patterns from other data could be valuable. Considering ML is good at quantitative analysis tool and anomaly detection method can help filter outliers, we combined it with User-centered Design (UCD) in the content preparation. The challenge was how to mind the gap between experts and real users’ expectations. The initial user research was missed and involving users during the modeling progress was not realistic. Our strategy was to select information by anomaly detection methods, got users’ feedbacks after launching the application and utilized those feedbacks to improve the algorithm. Based on the study in ML, PCA anomaly detection was chosen and it worked well in filtering outliers in this case. Two validations proved the possibility of improving the precision and recall of the results based on supervised learning and labeled data. On the other hand, UCD focused on answering the ‘how’ problem based on a questionnaire, personas, scenarios and design guidelines. The results from ML research were also considered in the design work, thus the interface and interaction design would help the algorithm to a larger extent. Four experts participated in the design evaluation. All three iterations of the design helped us to summarize some universal guidance on how to design for similar mobile applications. / Nokia lanserade en webbtjänst Customer Insights (CI) för att chefer och ledare från operativa företag ska kunna följa kundernas erfarenheter. En uppgraderad mobiltjänst utvecklas för att ge mer värdefull information. Uppgifterna hämtas från samma datamängd, men mindre mängd information visas i mobilapplikationen. Två frågor måste besvaras i detta designarbete, nämligen vad som ska visas i applikationen och hur de ska visas. Den svåra situationen i användarforskningen och den stora mängden data gjorde det svårt att besvara frågan om "vad" i den användarcentrerade designen. Enligt experternas uppfattning kan datapunkter som har olika mönster jämfört med andra data vara värdefulla. Med tanke på att ML är ett bra verktyg för kvantitativ analys och att metoden för anomalidetektion kan hjälpa till att filtrera avvikelser, kombinerade vi den med UCD i innehållsberedningen. Utmaningen var hur vi skulle kunna hantera klyftan mellan experternas och de verkliga användarnas förväntningar. Den inledande användarundersökningen missades och det var inte realistiskt att involvera användarna under modelleringsprocessen. Vår strategi var att välja ut information med hjälp av metoder för anomalidetektion, få användarnas feedback efter lanseringen av applikationen och använda dessa feedback för att förbättra algoritmen. Baserat på studien om ML valdes PCA-anomalidetektion och den fungerade bra för att filtrera utfall i det här fallet. Två valideringar visade att det är möjligt att förbättra precisionen och återkallandet av resultaten baserat på övervakad inlärning och märkta data. Å andra sidan fokuserade UCD på att besvara "hur"-problemet med hjälp av ett frågeformulär, personas, scenarier och riktlinjer för utformning. Resultaten från ML-forskningen beaktades också i designarbetet, vilket innebär att gränssnitts- och interaktionsdesignen skulle hjälpa algoritmen i större utsträckning. Fyra experter deltog i designutvärderingen. Alla tre iterationer av designen hjälpte oss att sammanfatta några universella riktlinjer för hur man utformar liknande mobilapplikationer.