3D object detection is the task of detecting the full 3D pose of objects relative to an autonomous platform. It is an important perception system that can be used to plan actions according to the behavior of other dynamic objects in an environment. Due to the poor generalization of object detectors trained and tested on different datasets, this thesis concerns the utilization of unsupervised domain adaptation to train object detectors fit for mobile robotics without any labeled training data. To tackle the problem a novel approach Unsupervised Adversarial Domain Adaptation 3D (UADA3D) is presented to adapt LiDAR-based detectors, through drawing inspiration from the success of adversarial adaptation for 2D object detection in RGB images. The method adds learnable discriminator layers that discriminate between the features and bounding box predictions in the labeled source and unlabeled target data. The gradients are then reversed through gradient reversal layers during backpropagation to the base detector, which in turn learns to extract features that are similar between the domains in order to fool the discriminator. The method works for multi-class detection by simultaneous adaptation of all classes in an end-to-end trainable network and works for both point-based and voxel-based single-stage detectors. The results show that the proposed method increases detection scores for adaptation from dense to sparse point clouds and from simulated data toward the data of a mobile delivery robot, successfully handling the two relevant domain gaps given by differences in marginal and conditional probability distributions. / 3D-objektdetektering handlar om att upptäcka hela 3D-positionen för objekt i förhållande till en autonom plattform. Det är ett viktigt perceptionsystem som kan användas för att planera åtgärder baserat på beteendet hos andra dynamiska objekt i en miljö. På grund av den dåliga generaliseringen av objektavkännare som tränats och testats på olika datamängder, handlar denna avhandling om användningen av osuperviserad domänanpassning för att träna objektavkännare som är anpassade för mobila robotar utan några märkta träningsdata. För att tackla problemet presenteras ett nytt tillvägagångssätt Unsupervised Adversarial Domain Adaptation 3D (UADA3D) för att anpassa LiDAR-baserade avkännare, genom att ta inspiration från framgången av mospelaranpassning för 2D-objektdetektering i RGB-bilder. Metoden lägger till inlärbara diskriminatorlager som diskriminerar mellan egenskaperna och prediktionerna i annoterad käll- och oannoterad måldata. Gradienterna är sedan reverserae genom gradientreversering under bakåtpropagering till basdetekorn, som i sin tur lär sig att extrahera egenskaper som är liknande mellan domänerna för att lura diskriminatorn. Metoden fungerar för flerklassdetektering genom samtidig anpassning av alla klasser i ett end-to-end-träningsbart nätverk och fungerar för både punktbaserade och voxelbaserade enstegs detektorere. Resultaten visar att den föreslagna metoden förbättrar detektionen för domänanpassning från täta till glesa punktmoln och från simulerad data till data från en mobil leveransrobot, därmed hanterar metoden framgångsrikt de två relevanta domänskillnaderna i marginella- och betingade sannolikhetsfördelningar.

Real-time spatial awareness is essential in areas such as robotics and autonomous navigation. However, as environments expand and become increasingly complex, maintaining both a low computational load and high mapping accuracy remains a significant challenge. This thesis addresses these challenges by proposing a novel method for real-time construction of continuous Euclidean distance fields (EDF) using Gaussian process (GP) regression, hereafter referred to as GP-EDF, tailored specifically for large indoor environments. The proposed approach focuses on leveraging the inherent structural information of indoor spaces by partitioning them into rooms and constructing a local GP-EDF model for each, reducing the computational cost tied to large matrix operations in GPs. By also exploiting the geometric regularities commonly found in indoor spaces it detects walls and represents them as line segments. This information is integrated into the models’ priors to both improve accuracy and further reduce the computational expense. Comparison with two baselines demonstrated the proposed approach’s effectiveness. It maintained low computation times despite increasing amounts of sensor data, signifying a significant improvement in scalability. Results also confirmed that the EDF quality remains high and isn’t affected by partitioning the GP-EDF into local models. The method also reduced the influence of sensor noise on the EDF’s accuracy when incorporating the line segments into the model. Additionally, the proposed room segmentation method proved to be efficient and generated accurately partitioned rooms, with a high degree of independence between them. In conclusion, the proposed approach offers a scalable, accurate and efficient solution for real-time construction of EDFs, demonstrating significant potential in aiding autonomous navigation within large indoor spaces. / Realtidsrumslig medvetenhet är avgörande inom områden som robotik och autonom navigering. Emellertid, när miljöer expanderar och blir alltmer komplexa, kvarstår det en betydande utmaning att bibehålla både en låg beräkningsbelastning och hög kartläggningsnoggrannhet. Denna avhandling bemöter dessa utmaningar genom att föreslå en ny metod för realtidskonstruktion av kontinuerliga euklidiska avståndsfält (EDF) med hjälp av regression via gaussiska processer (GP), hädanefter benämnd GP-EDF, specifikt anpassad för stora inomhusmiljöer. Den föreslagna metoden fokuserar på att utnyttja den inneboende strukturella informationen i inomhusmiljöer genom att dela upp dem i rum och konstruera en lokal GP-EDF-modell för varje rum, vilket minskar den beräkningsbelastning som är kopplad till stora matrisoperationer i GP:er. Genom att även utnyttja de geometriska regelbundenheter som vanligtvis finns i inomhusutrymmen, detekterar den väggar och representerar dem som linjesegment. Denna information integreras sedan i modellernas a priori-fördelningar, både för att förbättra noggrannheten och ytterligare minska den beräkningsmässiga kostnaden. Jämförelse med två baslinjemodeller demonstrerade den föreslagna metodens effektivitet. Den bibehöll låga beräkningstider trots ökande mängder sensordata, vilket indikerar en betydande förbättring av skalbarheten. Resultaten bekräftade även att kvaliteten på EDF:en förblir hög och påverkas inte av uppdelningen av GP-EDF:en i lokala modeller. Metoden minskade även sensorbrusets inverkan på EDF:ens noggrannhet vid integrering av linjesegment i modellen. Dessutom visade sig den föreslagna rumsegmenteringsmetoden vara effektiv och genererade korrekt uppdelade rum, med en hög grad av oberoende mellan dem. Sammanfattningsvis erbjuder den föreslagna metoden en skalbar och effektiv lösning för realtidskonstruktion av EDF:er, och visar på betydande potential att underlätta autonom navigering inom stora inomhusutrymmen.

Industrial robots are a key component for several industrial applications. Like all mechanical tools, they do not last forever. The solution to extend the life of the machine is to perform maintenance on the degraded components. The optimal approach is called predictive maintenance, which aims to forecast the best moment for performing maintenance on the robot. This minimizes maintenance costs as well as prevents mechanical failure that can lead to unplanned production stops. There already exist methods to perform predictive maintenance on industrial robots, but these methods require additional sensors. This research aims to predict the anomalies by only using data from the sensors that already are used to control the robot. A machine learning approach is proposed for implementing predictive maintenance of industrial robots, using the torque profiles as input data. The algorithms selected are tested on simulated data created using wear and temperature models. The torque profiles from the simulator are used to extract a health index for each joint, which in turn are used to detect anomalous states of the robot. The health index has a fast exponential growth trend which is difficult to predict in advance. A Gaussian process regressor, an Exponentron, and hybrid algorithms are applied for the prediction of the time series of the health state to implement the predictive maintenance. The predictions are evaluated considering the accuracy of the time series prediction and the precision of anomaly forecasting. The investigated methods are shown to be able to predict the development of the wear and to detect the anomalies in advance. The results reveal that the hybrid approach obtained by combining predictions from different algorithms outperforms the other solutions. Eventually, the analysis of the results shows that the algorithms are sensitive to the quality of the data and do not perform well when the data present a low sampling rate or missing samples. / Industrirobotar är en nyckelkomponent för flera industriella applikationer. Likt alla mekaniska verktyg håller de inte för alltid. Lösningen för att förlänga maskinens livslängd är att utföra underhåll på de slitna komponenterna. Det optimala tillvägagångssättet kallas prediktivt underhåll, vilket innebär att förutsäga den bästa tidpunkten för att utföra underhåll på roboten. Detta minimerar både kostnaderna för underhåll samt förebygger mekaniska fel som kan leda till oplanerade produktionsstopp. Det finns redan metoder för att utföra prediktivt underhåll på industriella robotar, men dessa metoder kräver ytterligare sensorer. Denna forskning syftar till att förutsäga avvikelserna genom att endast använda data från de sensorer som redan används för att reglera roboten. En maskininlärningsmetod föreslås för implementering av prediktivt underhåll av industriella robotar, med hjälp av vridmomentprofiler som indata. Metoderna testas på simulerad data som skapats med hjälp av slitage- och temperaturmodeller. Vridmomenten används för att extrahera ett hälsoindex för varje axel, vilket i sin tur används för att upptäcka anomalier hos roboten. Hälsoindexet har en snabb exponentiell tillväxttrend som är svår att förutsäga i förväg. En Gaussisk processregressor, en Exponentron och hybridalgoritmer används för prediktion av tidsserien för hälsoindexet för att implementera det prediktiva underhållet. Förutsägelserna utvärderas baserat på träffsäkerheten av förutsägelsen för tidsserien samt precisionen för förutsagda avvikelser. De undersökta metoderna visar sig kunna förutsäga utvecklingen av slitage och upptäcka avvikelser i förväg. Resultaten uppvisar att hybridmetoden som erhålls genom att kombinera prediktioner från olika algoritmer överträffar de andra lösningarna. I analysen av prestandan visas att algoritmerna är känsliga för kvaliteten av datat och att de inte fungerar bra när datat har låg samplingsfrekvens eller då datapunkter saknas.

Robots and virtual agents grow rapidly in behavioural sophistication and complexity. They become better learners and teachers, cooperators and communicators, workers and companions. These artefacts – whose behaviours are not always readily understood by human intuition nor comprehensibly explained in terms of mechanism – will have to interact socially. Moving beyond artificial rational systems to artificial social systems means having to engage with fundamental questions about agenthood, sociality, intelligence, and the relationship between mind and body. It also means having to revise our theories about these things in the course of continuously assessing the social sufficiency of existing artificial social agents. The present thesis presents an empirical study investigating the social influence of physical versus virtual embodiment on people's decisions in the context of a bargaining task. The results indicate that agent embodiment did not affect the social influence of the agent or the extent to which it was perceived as a social actor. However, participants' perception of the agent as a social actor did influence their decisions. This suggests that experimental results from studies comparing different robot embodiments should not be over-generalised beyond the particular task domain in which the studied interactions took place.

In recent years, mobile robots have gained tremendous attention from the entire society: the industry is aiming at selling more intelligent products while the academia is improving their performance from all perspectives. Real world examples include autnomous driving vehicles, multirotors, legged robots, etc. One of the challenging tasks commonly faced by all game players, and all robotics platforms, is to plan motion or locomotion of the robot, calculate an optimal trajectory according to certain criterion and control it accordingly. Difficulty of solving such task usually arises from high-dimensionality and complexity of the system dynamics, fast changing conditions imposed as constraints and necessity for real-time deployment. This work proposes a method over the aforementioned mission by solving an optimal control problem in a receding horizon fashion. Unlike the existing Sequential Linear Quadratic [1] algorithm which is a continuous-time variant of Differential Dynamic Programming [2], we tackle the problem in a discretized multiple shooting fashion. Sequential Quadratic Programming is employed as optimization technique to solve the constrained Nonlinear Programming iteratively. Moreover, we apply trust region method in the sub Quadratic Programming to handle potential indefiniteness of Hessian matrix as well as to improve robustness of the solver. Simulation and benchmark with previous method have been conducted on robotics platforms to show the effectiveness of our solution and superiority under certain circumstances. Experiments have demonstrated that our method is capable of generating trajectories under complicated scenarios where the Hessian matrix contains negative eigenvalues (e.g. obstacle avoidance). / De senaste åren har mobila robotar fått enorm uppmärksamhet från hela samhället: branschen siktar på att sälja mer intelligenta produkter samtidigt som akademin förbättrar sina prestationer ur alla perspektiv. Exempel på verkligheten inkluderar autonoma körande fordon, multirotorer, robotar med ben, etc. En av de utmanande uppgifterna som vanligtvis alla spelare och alla robotplattformar står inför är att planera robotens rörelse eller rörelse, beräkna en optimal bana enligt vissa kriterier och kontrollera det därefter. Svårigheter att lösa en sådan uppgift beror vanligtvis på hög dimensionalitet och komplexitet hos systemdynamiken, snabbt föränderliga villkor som åläggs som begränsningar och nödvändighet för realtidsdistribution. Detta arbete föreslår en metod över det tidigare nämnda uppdraget genom att lösa ett optimalt kontrollproblem på ett vikande horisont. Till skillnad från den befintliga Sequential Linear Quadratic [1] algoritmen som är en kontinuerlig tidsvariant av Differential Dynamic Programming [2], tar vi oss an problemet på ett diskretiserat multipelfotograferingssätt. Sekventiell kvadratisk programmering används som optimeringsteknik för att lösa den begränsade olinjära programmeringen iterativt. Dessutom tillämpar vi trust region-metoden i den sub-kvadratiska programmeringen för att hantera potentiell obestämdhet av hessisk matris samt för att förbättra lösarens robusthet. Simulering och benchmark med tidigare metod har utförts på robotplattformar för att visa effektiviteten hos vår lösning och överlägsenhet under vissa omständigheter. Experiment har visat att vår metod är kapabel att generera banor under komplicerade scenarier där den hessiska matrisen innehåller negativa egenvärden (t.ex. undvikande av hinder).

Recent advancements in telecommunications have brought new tools about in the field of robotics, with offloading emerging as one of the most significant developments. Hence, computationally expensive tasks are performed on a server in the cloud instead of on the mobile robot, reducing processing costs in robots and enhancing their efficiency. However, one of the major challenges of offloading robot control is to maintain functional safety even when the connection with the server is interrupted. To mitigate these connectivity losses, an optimization-based method has been developed to compute an environment-dependent contingency plan. This plan is sent from the cloud to the robot together with the corresponding control command. The planner takes into account the current map, based on all sensor data collected up to the time of optimization, and the nominal trajectory to provide a sequence of safe control commands. Assuming that in the absence of connectivity, all detected objects will move at a constant speed. Therefore, the contingency plan would be executed on the robot only when connectivity to the cloud is lost, without making use of subsequent sensor data in the robot’s on-board processor. Thus, through the proposed method, it is possible to maximize the movement time of the mobile robot in case of loss of connectivity with the cloud controller without compromising any safety constraints. In this context, two different approaches have been designed based on the possibility of deviating from the nominal trajectory. In the first, called “path following”, the mobile robot is constrained to stay on the reference path, but can vary its speed, performing a safety brake when there is a risk of collision. In contrast, in “trajectory following”, deviation is allowed by trying to prolong the point at which the velocity is reduced. The evaluation shows that the optimal approach depends on the application for which the mobile robot will be used. Furthermore, these approaches do not overload the network bandwidth, since contingency plans can be optimized by parameterizing the velocity sequences or by reducing the sending rate through event-triggered sending. / De senaste framstegen inom telekommunikation har introducerat nya verktyg inom robotikens område, där offloading är en av de mest relevanta. Således utförs beäkningsintensiva uppgifter på en server i molnet istället för på den mobila roboten, vilket minskar bearbetningskostnaderna för roboter och ökar deras effektivitet. En av de största utmaningarna med att offloada robotstyrning är dock att bibehålla funktionell säkerhet även när anslutningen till fjärrservern bryts. För att hantera sådana avbrott, har vi utvecklat en optimeringsbaserad metod för att beräkna en reservplan, anpassad till miljön runt roboten. Denna plan skickas från molnet till roboten tillsammans med varje styrkommando. Planeraren beaktar den aktuella kartan, baserad på all sensordata som samlats in fram till nu, och den nominella banan och beräknar en säker reservplan i form av en sekvens av styrkommandon. För säkerhets skull antar planeraren att i händelse av ett avbrott, kommer alla hinder i kartan att närma sig roboten med en konstant hastighet. Det gör det säkert att exekvera reservplanen om anslutningen till molnet går förlorad, utan att använda efterföljande sensordata för att uppdatera kartan. Den föreslagna metoden gör det alltså möjligt att maximera tiden som den mobila roboten kan fortsätta köra vid förlust av anslutning till molnservern, utan att göra avkall på säkerheten. I detta projekt har vi utformat två olika planeringsmetoder, som skiljer sig vad gäller möjligheten att avvika från den nominella banan. I den första, kallad “path following”, tillåts inte roboten att avvika från referensbanan och utför därför en säkerhetsbromsning när det finns risk för kollision. I den andra, kallad “trajectory following”, tillåts roboten avvika från referensbanan, genom att försöka fördröja det ögonblick då roboten behöver bromsa. Utvärderingen visar att vilken metod som är bäst, beror på tillämpningen som den mobila roboten används för. Dessutom överbelastar dessa tillvägagångssätt inte nätverksbandbredden, eftersom beredskapsplaner kan optimeras genom att parameterisera hastighetssekvenser eller genom att minska överföringshastigheten. / Los recientes avances en las telecomunicaciones han traído consigo nuevas herramientas en la robótica, siendo el offloading una de los desarrollos más significativos. Así, las tareas computacionalmente más costosas se realizan en un servidor en la nube en lugar de en el robot móvil, reduciendo los costos de procesamiento en el robot y mejorando su eficiencia. Sin embargo, uno de los mayores desafíos del offloading de control de robots es mantener la seguridad funcional incluso cuando la conexión con el servidor se interrumpe. Con el fin de mitigar las pérdidas de conectividad, se ha desarrollado un método basado en optimizacion que calcula un plan de contingencia dependiente del entorno. Este plan se envía desde la nube al robot junto con el comando de control correspondiente. El planificador tiene en cuenta el mapa del entorno actual, basado en todos los datos del sensor recopilados hasta el momento de la optimización, y la trayectoria nominal para proporcionar una secuencia de comandos de control seguros. En este sentido, el planificador asume que, en ausencia de conectividad, todos los objetos detectados se aproximarán al robot a una velocidad constante. Este plan de contingencia se ejecutaría en el robot solo cuando se pierde la conectividad con la nube, sin hacer uso de datos de sensor posteriores en el procesador a bordo del robot. Por lo tanto, mediante el método propuesto, se logra maximizar el tiempo de movimiento del robot móvil en caso de pérdida de conectividad con el controlador en la nube sin sacrificar las restricciones de seguridad. En este contexto, dos enfoques distintos según la posibilidad de desviarse o no de la trayectoria nominal han sido diseñados. En el primero, denominado “path following”, no se permite que se desvíe de la referencia, aplicando un frenado de seguridad cuando existe riesgo de colisión. En cambio, en “trajectory following”, se permite la desviación para tratar de prolongar el momento en el que se reduce la velocidad. La evaluación muestra que el enfoque óptimo depende de la aplicación para la cual se utilizará el robot móvil. Además, estos enfoques no sobrecargan el ancho de banda de la red, ya que los planes de contingencia pueden optimizarse parametrizando las secuencias de velocidad o reduciendo la velocidad de envío.