The term proximity operations has been widely used in recent years to describe a wide range of space missions that require a spacecraft to remain close to another space object. Such missions include, for example, the inspection, health monitoring, surveillance, servicing, and refueling of a space asset by another spacecraft. One of the biggest challenges in autonomous space proximity operations, either cooperative or uncooperative, is the need to autonomously and accurately track time-varying relative position and attitude references, i.e., pose references, with respect to a moving target, in order to avoid on-orbit collisions and achieve the overall mission goals. In addition, if the target spacecraft is uncooperative, the Guidance, Navigation, and Control (GNC) system of the chaser spacecraft must not rely on any help from the target spacecraft. In this case, vision-based sensors, such as cameras, are typically used to measure the relative pose between the spacecraft. Although vision-based sensors have several attractive properties, they introduce new challenges, such as no direct linear and angular velocity measurements, slow update rates, and high measurement noise. This dissertation investigates the problem of autonomously controlling and estimating the pose of a chaser spacecraft with respect to a moving target spacecraft, possibly uncooperative. Since this problem is inherently hard, the standard approach in the literature is to split the attitude-tracking problem from the position-tracking problem. Whereas the attitude-tracking problem is relatively simple, since the rotational motion is independent from the translational motion, the position-tracking problem is more complicated, as the translational motion depends on the rotational motion. Hence, whereas strong theoretical results exist for the attitude problem, the position problem typically requires additional assumptions. An alternative, more general approach to the pose control and estimation problems is to consider the fully coupled 6-DOF motion. However, fewer results exist that directly address this higher dimensional problem. The main contribution of this dissertation is to show that dual quaternions can be used to extend the theoretical results that exist for the attitude motion into analogous results for the combined position and attitude motion. Moreover, this dissertation shows that this can be accomplished by (almost) just replacing quaternions by dual quaternions in the original derivations. This is because dual quaternions are built on and are an extension of classical quaternions. Dual quaternions provide a compact representation of the pose of a frame with respect to another frame. Using this approach, three new results are presented in this dissertation. First, a pose-tracking controller that does not require relative linear and angular velocity measurements is derived with vision-based sensors in mind. Compared to existing literature, the proposed velocity-free pose-tracking controller guarantees that the pose of the chaser spacecraft will converge to the desired pose independently of the initial state, even if the reference motion is not sufficiently exciting. In addition, the convergence region does not depend on the gains of the controller. Second, a Dual Quaternion Multiplicative Extended Kalman Filter (DQ-MEKF) is developed from the highly successful Quaternion MEKF (Q-MEKF) as an alternative way to achieve pose-tracking without velocity measurements. Existing dual quaternion EKFs are additive, not multiplicative, and have two additional states. The DQ-MEKF is experimentally validated and compared with two conventional EKFs on the 5-DOF platform of the Autonomous Spacecraft Testing of Robotic Operations in Space (ASTROS) facility at the School of Aerospace Engineering at Georgia Tech. Finally, the velocity-free pose-tracking controller is compared qualitatively and quantitatively to a pose-tracking controller that uses the velocity estimates produced by the DQ-MEKF through a realistic proximity operations simulation. Third, a pose-tracking controller that does not require the mass and inertia matrix of the chaser satellite is suggested. This inertia-free controller takes into account the gravitational acceleration, the gravity-gradient torque, the perturbing acceleration due to Earth's oblateness, and constant -- but otherwise unknown -- disturbance forces and torques. Sufficient conditions on the reference pose are also given that guarantee the identification of the mass and inertia matrix of the satellite. Compared to the existing literature, this controller has only as many states as unknown elements and it does not require a priori known upper bounds on any states or parameters. Finally, the inertia-free pose-tracking controller and the DQ-MEKF are tested on a high-fidelity simulation of the 5-DOF platform of the ASTROS facility and also experimentally validated on the actual platform. The equations of motion of the 5-DOF platform, on which the high-fidelity simulation is based, are derived for three distinct cases: a 3-DOF case, a 5-DOF case, and a (2+1)-DOF case. Four real-time experiments were run on the platform. In the first, a sinusoidal reference attitude with respect to the inertial frame is tracked using VSCMGs. In the second, a constant reference attitude is maintained with respect to a target object using VSCMGs and measurements from a camera. In the third, the same sinusoidal reference attitude with respect to the inertial frame tracked in the first experiment is now tracked using cold-gas thrusters. Finally, in the fourth and last experiment, a time-varying 5-DOF reference pose with respect to the inertial frame is tracked using cold-gas thrusters.

This thesis deals with the usefulness of the application of quaternions in representing robot kinematics. It begins by showing the relationship of quaternions to the more commonly-known complex numbers and how it can represent rotations in three-dimensions. Then, the dual quaternions are introduced to represent both the three-dimensional rotation and translation. It will then be used to derive the forward and inverse kinematics, particularly, for the Universal Robot UR3 which is a 6-DOF robotic arm. Lastly, an actual application of dual quaternions in robot programming will be demonstrated

The present thesis deals with the study of vision techniques for the detection of human pose based on the analysis of a single image, as well as the tracking of these poses along a sequence of images. It is proposed to model the human pose by four kinematic chains that model the four articulated extremities. These kinematic chains and head remain attached to the body. The four kinematic chains are composed by three keypoints. Therefore, the model initially has a total of $14$ parts. In this thesis it is proposed to modify the technique called Deformable Parts Model (DPM), adding the depth channel. Initially, the DPM model was defined over three RGB channel images. While in this thesis it is proposed to work on images of four RGBD channels, so the proposed extension is called 4D-DPM. The experiments performed with 4D-DPM demonstrate an improvement in the accuracy of pose detection with respect to the initial DPM model, at the cost of increasing its computational cost when treating an additional channel. On the other hand, it is defined to reduce the previous computational cost by simplifying the model that defines the human pose. The idea is to reduce the number of variables to be detected with the 4D-DPM model, so that the suppressed variables can be calculated from the detected variables using inverse kinematics models based on dual quaternions. In addition, it is proposed to use a particle filter models to continue improving the accuracy of detection of human poses along a sequence of images. Considering the problem of detection and monitoring of human body pose along a video sequence, this thesis proposes the use of the following method. 1. Camara calibration. RGBD image processing. Subtraction of the image background with the MSER method. 2. 4D-DPM: method used to detect the keypoints (variables of the pose model) within an image. 3. Particle filters: this type of filter is designed to track the keypoints over time and correct the data obtained by the sensor. 4. Inverse kinematic modeling: the control of kinematic chains is performed with the help of dual cuaternions in order to obtain the complete pose model of the human body. The overall contribution of this thesis is the proposal of the previous method that, combining the previous methods, is able to improve the accuracy in the detection and the follow up of the human body pose in a video sequence, also reducing its computational cost . This is possible due to the combination of the 4D-DPM method with the use of inverse kinematics techniques. The original DPM method should detect $14$ point of interest on an RGB image to estimate the human pose. However, the proposed method, where a point of interest for each limb is removed, must detect $10$ point of interest on an RGBD image. Subsequently, the eliminated $4$ point of interest are calculated by using inverse kinematics methods from the calculated $10$ point of interest. To solve the problem of inverse kinematics a dual quaternions methods is proposed for each of the $4$ kinematic chains that model the extremities of the skeleton of the human body. The particle filter is applied over the time sequence of the 10 points of interest of the posture model detected through the 4D-DPM method. To design these particle filters it is proposed to add the following restrictions to weight the particles generated: 1. Restrictions on joint limits. 2. Softness restrictions. 3. Collision detection. 4. Projection of poly-spheres / La presente tesis trata sobre el estudio de técnicas de visión para la detección de la postura del esqueleto del cuerpo humano basada en el análisis de una sola imagen, además del seguimiento de estas posturas a lo largo de una secuencia de imágenes. Se propone modelar la postura del esqueleto cuerpo humano mediante cuatro cadenas cinemáticas que modelan las cuatro extremidades articuladas. Estas cadenas cinemáticas y la cabeza permanecen unidas al cuerpo. Las cuatro cadenas cinemáticas se componen de tres puntos de interés. Por lo tanto, el modelo inicialmente dispone de un total de 14 puntos de interés. En esta tesis se propone modificar la técnica denominada Deformable Parts Model (DPM), añadiendo el canal de profundidad denominado ``Depth''. Inicialmente el modelo DPM se definió sobre imágenes de tres canales RGB. Mientras que en esta tesis se propone trabajar sobre imágenes de cuatro canales RGBD, por ello a la ampliación propuesta se le denomina 4D-DPM. Por otra parte, se propone reducir el coste computacional anterior simplificando el modelo que define la postura del cuerpo humano. La idea es reducir el número de variables a detectar con el modelo 4D-DPM, de tal manera que las variables suprimidas se puedan calcular a partir de las variables detectadas, utilizando modelos de cinemática inversa basados en cuaterniones duales. Los experimentos realizados demuestran que la combinación de estas dos técnicas permite, reduciendo el coste computacional del método original DPM, mejorar la precisión de la detección de postura debido a la información extra del canal de profundidad. Adicionalmente, se propone utilizar modelos de filtros de partículas para continuar mejorando la precisión de la detección de las posturas humanas a lo largo de una secuencia de imágenes. Atendiendo al problema de detección y seguimiento de las postura del esqueleto del cuerpo humano a lo largo de una secuencia de vídeo, esta tesis propone el uso del siguiente método. 1. Calibración de cámaras. Procesamiento de imágenes RGBD. Sustracción del fondo de la imagen con el método MSER. 2. 4D-DPM: método utilizado para detectar los puntos de interés (variables del modelo de postura) dentro de una imagen. 3. Filtros de partículas: se diseña este tipo de filtros para realizar el seguimiento de los puntos de interés a lo largo del tiempo y corregir los datos obtenidos por el sensor. 4. Modelado cinemático inverso: se realiza el control de cadenas cinemáticas con la ayuda de cuaterniones duales con el fin de obtener el modelo completo de la postura del esqueleto del cuerpo humano. La contribución global de esta tesis es la propuesta del método anterior que, combinando los métodos anteriores, es capaz de mejorar la precisión en la detección y el seguimiento de la postura del esqueleto del cuerpo humano en una secuencia de vídeo, reduciendo además su coste computacional. El método original DPM debe detectar 14 puntos de interés sobre una imagen RGB para estimar la postura de un cuerpo humano. Sin embargo, el método propuesto debe detectar 10 puntos de interés sobre una imagen RGBD. Posteriormente, los 4 puntos de interés eliminados se calculan mediante la utilización de métodos de cinemática inversa a partir de los 10 puntos de interés calculados. Para resolver el problema de la cinemática inversa se propone utilizar cuaterniones duales para cada una de las 4 cadenas cinemáticas que modelan las extremidades del esqueleto del cuerpo humano. El filtro de partículas se aplica sobre la secuencia temporal de los 10 puntos de interés del modelo de postura detectados a través del método 4D-DPM. Para diseñar estos filtros de partículas se propone añadir las siguientes restricciones, explicadas en la memoria, para ponderar las partículas generadas: 1. Restricciones en los límites de articulaciones. 2. Restricciones de suavidad. 3. Detección de colisiones. 4. Proyección de las poli-esferas. / La present tesi tracta sobre l'estudi de tècniques de visió per a la detecció de la postura de l'esquelet del cos humà basada en l'anàlisi d'una sola imatge, a més del seguiment d'estes postures al llarg d'una seqüència d'imatges. Es proposa modelar la postura de l'esquelet del cos humà per mitjà de quatre cadenes cinemàtiques que modelen les quatre extremitats articulades. Estes cadenes cinemàtiques i el cap romanen unides al cos. Les quatre cadenes cinemàtiques es componen de tres punts d'interés. Per tant, el model inicialment disposa d'un total de $14$ punts d'interés. En esta tesi es proposa modificar la tècnica denominada Deformable Parts Model (DPM) , afegint el canal de profunditat denominat ``Depth''. Inicialment el model DPM es va definir sobre imatges de tres canals RGB. Mentres que en esta tesi es proposa treballar sobre imatges de quatre canals RGBD, per això a l'ampliació proposada se la denomina 4D-DPM. D'altra banda, es proposa reduir el cost computacional anterior simplificant el model que definix la postura del cos humà. La idea és reduir el nombre de variables a detectar amb el model 4D-DPM, de tal manera que les variables suprimides es puguen calcular a partir de les variables detectades, utilitzant models de cinemàtica inversa basats en quaternions duals. Els experiments realitzats demostren que la combinació d'estes dos tècniques permet, reduint el cost computacional del mètode original DPM, millorar la precisió de la detecció de la postura degut a la informació extra del canal de profunditat. Addicionalment, es proposa utilitzar models de filtres de partícules per a continuar millorant la precisió de la detecció de les postures humanes al llarg d'una seqüència d'imatges. Atenent al problema de detecció i seguiment de les postura de l'esquelet del cos humà al llarg d'una seqüència de vídeo, esta tesi proposa l'ús del següent mètode. 1. Calibratge de càmeres. Processament d'imatges RGBD. Sostracció del fons de la imatge amb el mètode MSER. 2. 4D-DPM: mètode utilitzat per a detectar els punts d'interés (variables del model de postura) dins d'una imatge. 3. Filtres de partícules: es dissenya este tipus de filtres per a realitzar el seguiment dels punts d'interés al llarg del temps i corregir les dades obtingudes pel sensor. 4. Modelatge cinemàtic invers: es realitza el control de cadenes cinemàtiques amb l'ajuda de quaternions duals a fi d'obtindre el model complet de l'esquelet del cos humà. La contribució global d'esta tesi és la proposta del mètode anterior que, combinant els mètodes anteriors, és capaç de millorar la precisió en la detecció i el seguiment de la postura de l'esquelet del cos humà en una seqüència de vídeo, reduint a més el seu cost computacional. Açò és possible a causa de la combinació del mètode 4D-DPM amb la utilització de tècniques de cinemàtica inversa. El mètode original DPM ha de detectar 14 punts d'interés sobre una imatge RGB per a estimar la postura d'un cos humà. No obstant això, el mètode proposat ha de detectar 10 punts d'interés sobre una imatge RGBD. Posteriorment, els 4 punts d'interés eliminats es calculen per mitjà de la utilització de mètodes de cinemàtica inversa a partir dels 10 punts d'interés calculats. Per a resoldre el problema de la cinemàtica inversa es proposa utilitzar quaternions duals per a cada una de les 4 cadenes cinemàtiques que modelen les extremitats de l'esquelet del cos humà. El filtre de partícules s'aplica sobre la seqüència temporal dels 10 punts d'interés del model de postura detectats a través del mètode 4D-DPM. Per a dissenyar estos filtres de partícules es proposa afegir les següents restriccions per a ponderar les partícules generades: 1. Restriccions en els límits d'articulacions. 2. Restriccions de suavitat. 3. Detecció de col·lisions. 4. Projecció de les poli-esferes. / Martínez Bertí, E. (2017). SEGUIMIENTO DE PERSONAS APLICANDO RESTRICCIONES CINEMÁTICAS BASADAS EN MODELOS DE CUERPOS RÍGIDOS ARTICULADOS [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/86159 / TESIS

Táto diplomová práca sa zaoberá matematickými aparátmi popisujúcimi doprednú a inverznú kinematiku robotického ramena. Pre popis polohy koncového efektoru, teda doprednej kinematiky, je potrebné zaviesť špeciálnu Euklidovskú grupu zobrazení. Táto grupa môže byť reprezentovaná pomocou matíc alebo pomocou duálnych kvaterniónov. Problém inverznej kinematiky, kedy je potrebné z určenej polohy koncového efektoru dopočítať kĺbové parametre robotického ramena, je v tejto práci riešený pomocou exponenciálnych zobrazení a Grobnerovej bázy. Všetky spomenuté popisy doprednej a inverznej kinematiky sú aplikované na robotické rameno s troma rotačnými kĺbami. Odvodené postupy sú následne implementované a vizualizované v prostredí programu Mathematica.