The implications of gait disorder, muscle weakness, and spinal cord injuries for work and age-related mobility degradation have increased the need for rehabilitation exoskeletons. Specifically, the hip rehabilitation exoskeletons due to a high percentage of the mechanical power is generated by this join during the gait cycle. Additionally, the prolonged hospitalisation after hip replacement and acetabular surgeries that affect human mobility, the social-economic impacts and the quality of life. For these reasons, a hip rehabilitation exoskeleton was our focus in this research, as it will contribute being a sustainable solution to take over the burden of physiotherapy and let patients perform their rehabilitation at home or outdoors.  This thesis details an approach of creating a hip rehabilitation exoskeleton, starting with modelling, simulating, and controlling the rehabilitation hip joint in a based-simulation environment. The mathematical model and the reason for using a series elastic actuator in the hip joint to execute the movement in a sagittal plane are more detailed. Because trajectory tracking is commonly used for controlling rehabilitation exoskeletons to ensure safe and reliable motion tracking methods; therefore, two desired torque signals were tested and analysed with the optimal linear quadratic regulator (LQR). The experiments were performed using two torque signals of a healthy hip joint—representing the sit-to-stand (STS) and the walking activity for their importance in lower limb movements. However, the mathematical model used as a basis of the optimal control strategy is usually influenced by multiple sources of uncertainties. Therefore, four case studies of various optimal control strategies were tested for a twofold reason: to choose the most optimal control strategy, and to test the energy consumption of these cases during the STS and walking movements, because the long-term goal is to produce a lightweight and reliable rehabilitation hip exoskeleton. The research showed compelling evidence that tuning the control strategy will not influence the robustness of an optimal controller only, but affect the energy consumption during the STS and walking activity, which needs to be considered in exoskeleton control design regarding its applications. / Behovet av exoskelett för rehabilitering har ökat p.g.a. komplikationer som uppstår vid arbete och åldersrelaterad försämring. Komplikationerna består bland annat av gångstörning, muskelsvaghet och ryggmärgsskador. Speciellt höftexoskelett avsett för rehabilitering är extra intressant på grund av att rehabilitering inom detta område omfattar långvarig sjukhusvistelse efter höftprotes- och acetabulära operationer. Höftleden är en av de leder som utsätts för relativt höga mekaniska påfrestningar och minskad rörelseförmåga leder inte sällan till socioekonomiska effekter och minskad livskvalité. Av denna anledning kommer höftexoskelett för rehabilitering vara det primära området i denna avhandling då det kommer att vara en lösning för att minska belastningen inom sjukvård och låta patienter utföra sin rehabilitering hemma på egen hand. Denna avhandling beskriver en metod för att skapa ett höftexoskelett avsett för rehabilitering med början i modellering, simulering och kontroll av en höftled av exoskelett i en simuleringsmiljö. Genom att använda ett serieelastiskt manöverdon för att utföra en höftledsrörelse i ett sagittalt så uppnås en mer detaljerad matematisk modell. Genom att använda banspårning, som vanligtvis används för att kontrollera exoskelett för rehabilitering för att säkerställa säkra och pålitliga rörelsespårningsmetoder, så analyserades två vridmomentssignaler mot en linjär kvadratisk regulator (LQR). Simuleringarna utfördes med hjälp av två vridmomentsignaler som representerar sitt-till-stå (STS) och gångaktivitet hos en frisk höftled. Den matematiska modellen som används för att hitta den optimala kontrollstrategin påverkas vanligtvis av flera osäkerhetskällor. Därför testades fyra fallstudier av olika optimala kontrollstrategier för två skäl: den ena för att välja den mest optimala kontrollstrategin emellan och den andra för att mäta energiförbrukningen för dessa STS och gångrörelse så att vi kan producera ett lätt och pålitligt höftexoskelett avsett för rehabilitering. Forskningen visar övertygande bevis för att inställning av styrstrategin inte bara kommer att påverka robustheten hos en optimal styrenhet utan även påverkar energiförbrukningen under STS och gångaktivitet vilket måste beaktas vid design av exoskelett.

Remote Electrical Tilt (RET) is a method for configuring antenna downtilt in base stations to optimize mobile network performance. Reinforcement Learning (RL) is an approach to automating the process by letting an agent learn an optimal control strategy and adapt to the dynamic environment. Applying RL in real world comes with challenges, for the RET problem there are performance requirements and partial observability of the system through exogenous factors inducing noise in observations. This thesis proposes a solution method through modeling the problem by a Partially Observable Markov Decision Process (POMDP). The set of hidden states are modeled as a high- level representation of situations requiring one of the possible actions uptilt, downtilt, no change. From this model, a Bayesian Neural Network (BNN) is trained to predict an observation model, relating observed Key Performance Indicators (KPIs) to the hidden states. The observation model is used for estimating belief state probabilities of each hidden state, from which decision of control action is made through a restrictive threshold policy. Experiments comparing the method to a baseline Deep Q- network (DQN) agent shows the method able to reach the same average performance increase as the baseline while outperforming the baseline in two metrics important for robust and safe control behaviour, the worst- case minimum reward increase and the average reward increase per number of tilt actions. / Fjärrstyrning av Elektrisk Lutning (FEL) är en metod för att reglera lutningen av antenner i basstationer för att optimera presentandan i ett mobilnätverk. Förstärkande Inlärning (FI) används som metod för att automatisera processen genom att låta en agent lära sig en optimal strategi för reglering och anpassa sig till den dynamiska miljön. Att tillämpa FI i ett verkligt scenario innebär utmaningar, för FEL specifikt finns det krav på en viss nivå av prestanda samt endast en delvis observerbarhet av systemet på grund av externa faktorer som orsakar brus i observationerna. I detta arbete föreslås en metod för att hantera detta genom att modellera problemet som en Delvis Observerbar Markovprocess (DOM). De dolda tillstånden modelleras för att representera situationer där var och en av de möjliga aktionerna behövs, det vill säga att luta antennen upp, ner eller inte ändra på lutningen. Utifrån denna modellering så tränas ett Bayesiskt Neuralt Nätverk (BNN) för att estimera en observationsmodel som kopplar observerade nyckeltal till de dolda tillstånden. Denna observationsmodel används för att estimera sannolikheten att vardera dolt tillstånd är det rätta. Utifrån dessa sannolikheter så görs valet av aktion genom ett tröskelvärde på sannolikheterna. Genom experiment som jämför metoden med en standardimplementering av en agent baserad på ett Djupt Qnätverk (DQN) visas att metoden har samma prestation när det kommer till en medelnivå på prestandaökning i nätverket. Metoden överträffar dock standardmetoden i två andra mätvärden som är viktiga ur aspekten säker och robust reglering, minimumvärdet på prestandaökningen samt medelökningen av prestandan per antal up- och nerlutningar som används.