The field of autonomous vehicle navigation and localization is a highly active research topic. The aim of this thesis is to evaluate the feasibility to use outdoor visual navigation in a semi-structured environment. The goal is to develop a visual navigation system for an autonomous golf ball collection vehicle operating on driving ranges. The image feature extractors SIFT and PCA-SIFT was evaluated on an image database consisting of images acquired from 19 outdoor locations over a period of several weeks to allow different environmental conditions. The results from these tests show that SIFT-type feature extractors are able to find and match image features with high accuracy. The results also show that this can be improved further by a combination of a lower nearest neighbour threshold and an outlier rejection method to allow more matches and a higher ratio of correct matches. Outliers were found and rejected by fitting the data to a homography model with the RANSAC robust estimator algorithm. A simulator was developed to evaluate the suggested system with respect to pixel noise from illumination changes, weather and feature position accuracy as well as the distance to features, path shapes and the visual servoing target image (milestone) interval. The system was evaluated on a total of 3 paths, 40 test combinations and 137km driven. The results show that with the relatively simple visual servoing navigation system it is possible to use mono-vision as a sole sensor and navigate semi-structured outdoor environments such as driving ranges.

The wheelchair-mounted robotic arm (WMRA) is a 9-degree of freedom (DoF) assistive system that consists of a 2-DoF modified commercial power wheelchair and a custom 7-DoF robotic arm. Kinematics and control methodology for the 9-DoF system that combine mobility and manipulation have been previously developed and implemented. This combined control allows the wheelchair and robotic arm to follow a single trajectory based on weighted optimizations. However, for the execution of activities of daily living (ADL) in the real-world environment, modified control techniques have been implemented. In order to execute macro ADL tasks, such as a "go to and pick up" task, this work has implemented several control algorithms on the WMRA system. Visual servoing based on template matching and feature extraction allows the mobile platform to approach the desired goal object. Feature extraction based on scale-invariant feature transform (SIFT) gives the system object detection capabilities to recommend actions to the user and to orient the arm to grasp the goal object using visual servoing. Finally, a collision avoidance system is implemented to detect and avoid obstacles when the wheelchair platform is moving towards the goal object. These implementations allow the WMRA system to operate autonomously from the beginning of the task where the user selects the goal object, all the way to the end of the task where the task has been fully completed.

Η παρούσα διδακτορική διατριβή έχει ως αντικείμενο την ανάπτυξη στρατηγικών ελέγχου του ρομπότ για το χειρισμό υφασμάτων κατά τη διαδικασία της ραφής. Ένα βασικό πρόβλημα που παρουσιάζουν τα υφάσματα σε σχέση με τα στερεά αντικείμενα είναι η δυσκολία χειρισμού τους εξαιτίας της πολύ δύσκολα προβλέψιμης συμπεριφοράς τους. Πιο συγκεκριμένα, τα υφάσματα έχουν χαμηλή αντίσταση σε κάμψη που συνεπάγεται την εμφάνιση παραμορφώσεων που μεταβάλλουν το σχήμα τους και επιπλέον, παρουσιάζουν έντονη μη-γραμμικότητα και ανισοτροπία με αποτέλεσμα τη μεγάλη δυσκολία μοντελοποίησής τους κυρίως για εφαρμογές πραγματικού χρόνου. Η έρευνα για την εκπόνηση της παρούσας διδακτορικής διατριβής επικεντρώθηκε στην ανάπτυξη στρατηγικών ελέγχου που βασίζονται σε μεθόδους Υπολογιστικής Νοημοσύνης (Ασαφή Λογική, Γενετικούς Αλγόριθμους και Νευρωνικά Δίκτυα) και Ανάδραση Όρασης. Τα ευφυή συστήματα ελέγχου με χρήση τεχνητής όρασης παρέχουν τη δυνατότητα στο ρομπότ να διεκπεραιώσει με επιδεξιότητα εργασίες σχετικές με τη ραφή υφασμάτων σε πραγματικό περιβάλλον με σκοπό την υψηλότερη ευελιξία και αυτοματισμό. Οι ειδικότεροι στόχοι της διατριβής είναι η ελαχιστοποίηση του συνολικού χρόνου εργασίας του ρομπότ για την ολοκλήρωση της ραφής και ο περιορισμός των σφαλμάτων στη ραφή μέσα στα αποδεκτά όρια. Στο πλαίσιο της διατριβής αυτής, αναπτύχθηκε ένα ευφυές σύστημα για τη ραφή υφασμάτων που υλοποιήθηκε σε μια εργαστηριακή διάταξη που περιλαμβάνει ρομπότ, κάμερες και ραπτομηχανή, καθώς και μια ποικιλία υφασμάτων που χρησιμοποιήθηκαν ως δοκίμια. Το ρομποτικό σύστημα ραφής υφασμάτων περιλαμβάνει διαδικασίες που προηγούνται της ραφής, καθώς και τη διαδικασία της ραφής πάνω στο τραπέζι εργασίας μέχρι να ολοκληρωθούν όλες οι ραφές στο ύφασμα. Για τη ραφή των υφασμάτων πάνω στο τραπέζι εργασίας, αναπτύχθηκε ένα Ασαφές Σύστημα ελέγχου χρησιμοποιώντας μια ποικιλία διαφορετικών υφασμάτων. Ιδιαίτερη έμφαση δόθηκε στην ανάπτυξη του συστήματος ικανού να ανταπεξέρχεται στις πτυχώσεις που εμφανίζονται κατά τη διάρκεια του χειρισμού του υφάσματος από το ρομπότ, χωρίς να οδηγείται σε αστοχία. Στη συνέχεια, αναπτύχθηκαν μέθοδοι βελτιστοποίησης της διαδικασίας της ραφής με κριτήριο την ελαχιστοποίηση του συνολικού χρόνου εργασίας της ραφής θέτοντας εκ των προτέρων τα μέγιστα αποδεκτά σφάλματα για τη ραφή. Η ρύθμιση των παραμέτρων του Ασαφούς Συστήματος πραγματοποιήθηκε με Γενετικούς Αλγόριθμους εκτός της παραγωγικής διαδικασίας (off-line) και με ένα εποπτεύον Ασαφές Σύστημα εντός της παραγωγικής διαδικασίας (on-line). Για την πειραματική επαλήθευση του συστήματος, χρησιμοποιήθηκαν υφάσματα που αποτελούνται από ευθύγραμμα τμήματα. Σε επόμενο στάδιο, αναπτύχθηκε μια στρατηγική ελέγχου για τη ραφή υφασμάτων που αποτελούνται από καμπύλα τμήματα με αυθαίρετη καμπυλότητα. Η προτεινόμενη μέθοδος συνδυάζει τη μέθοδο εντοπισμού των κυρίαρχων σημείων με ένα μικρο-Γενετικό Αλγόριθμο με σκοπό την πολυγωνική προσέγγιση των καμπύλων τμημάτων. Το πρόβλημα που διαμορφώθηκε είχε στόχο την ελαχιστοποίηση των πολυγωνικών τμημάτων που προσεγγίζουν τα καμπύλα τμήματα με δεδομένα τα μέγιστα ανεκτά όρια για το σφάλματα στη ραφή. Επιπλέον, αναπτύχθηκε ένα προσαρμοστικό νευρο-ασαφές σύστημα για τη ραφή υφασμάτων με καμπύλα τμήματα που έχει την ικανότητα να μαθαίνει από πρωθύστερη γνώση. Το σύστημα εκπαιδεύτηκε διεξάγοντας πειράματα ραφής με ένα αριθμό υφασμάτων διαφορετικών καμπυλοτήτων, οπότε καθίσταται ικανό να ανταποκριθεί με αξιοπιστία στη ραφή άλλων υφασμάτων, δηλ. υφασμάτων που δε χρησιμοποιήθηκαν στη διαδικασία εκπαίδευσης. Η δημιουργία του νευρο-ασαφούς αυτού συστήματος βασίστηκε στη χρήση μιας πρωτότυπης μεθόδου ομαδοποίησης δεδομένων. Η προτεινόμενη αυτή μέθοδος ομαδοποίησης βασίστηκε στην ανάπτυξη ενός Γενετικού Αλγόριθμου με χρωμοσώματα μεταβλητού μήκους, ο οποίος έχει το πλεονέκτημα ότι εξασφαλίζει ευελιξία όσον αφορά στον αριθμό των ομάδων που προκύπτουν. Η συμβολή της μεθόδου είναι διττή: αφενός, παράγει αυτόματα τον αριθμό των κέντρων των ομάδων και αφετέρου, αναζητά τα κέντρα σε όλο το πεδίο ορισμού, χωρίς να περιορίζεται στα δεδομένα. Η προτεινόμενη μέθοδος έχει γενικότερη αξία και δεν περιορίζεται μόνο στη χρήση της από το νευρο-ασαφές σύστημα. Αξίζει να σημειωθεί ότι όλες οι στρατηγικές ελέγχου του ρομπότ που αναπτύχθηκαν για το χειρισμό των υφασμάτων, εφαρμόστηκαν σε υφάσματα διαφορετικά ως προς το σχήμα (με ευθύγραμμα και καμπύλα τμήματα), το χρώμα και τις ιδιότητες / The objective of this thesis is the development of control strategies for robot handling of flexible sheets towards the sewing. Besides the difficulties that emerge when handling rigid materials using robots, flexible materials pose additional problems due to due to their unpredictable behavior. In particular, fabrics present low resistance in bending that leads to the appearance of deformations that change their shape and present non-linearity and anisotropy, which poses difficulty in modeling them for real-time applications. The research for this thesis has been focused on the development of control strategies based on Artificial Intelligence techniques (Fuzzy Logic, Genetic algorithms and Neural Networks) and Visual Servoing. The intelligent control systems with artificial vision enable robot to perform skilful tasks related to sewing fabrics in realistic environments towards higher flexibility and automation. The control strategies that have been developed are based on Artificial Intelligence techniques (Fuzzy Logic, Genetic algorithms and Neural Networks) and Visual Servoing. The basic goals of this thesis are the minimization of the total time for robot sewing fabrics and the constraint for the stitching errors inside the acceptable limits. In the context of this thesis, a complete intelligent system has been developed for the handling of fabrics towards sewing. This system is comprised of a robot, two cameras and a sewing machine and a wide range of fabric pieces that was used for experimental purposes. The sewing process is decomposed into preprocess planning and on-line handling subtasks (transferring towards the needle, stitching process and the rotation around the needle). A fuzzy control system was developed for robot handling fabrics on a worktable using a wide range of fabrics. Special emphasis was also given on the development of a system capable of tolerating deformations that may appear on the fabric towards robot handling. Next, optimization methods concerning the handling subtasks were developed in the direction of minimizing the total time for robot sewing fabrics considering the maximum allowable error limits. The parameters were tuned using Genetic Algorithms as an off-line process and a Supervisory fuzzy system in an on-line process. Fabrics comprised of straight edges were used for the experimental verification of the system. The next step concerns the development of a control strategy for robot sewing fabric comprised of curved edges with arbitrary curvatures. The proposed method combines the dominant point detection approach with a micro-Genetic Algorithm for the polygonal approximation of the curved edges. The optimization problem aims at the minimization of the polygonal edges that approximate the curved edges without exceeding the maximum acceptable error limits. In addition, an adaptive neuro-fuzzy system for robot sewing fabrics of curved edges is developed, which has learning capabilities. The system was trained through experiments with various fabrics of different curvatures and is capable to respond to new fabrics, which had not been included in the training process. The construction of the proposed neuro-fuzzy system is based on the use of a novel clustering method. The proposed clustering method is based on the development of a Genetic Algorithm with variable-length chromosomes that has the advantage of flexibility as far as the number of the resulting clusters is concerned. The contribution of the proposed method is twofold. On the one hand, the method evolves automatically the appropriate number of cluster centers, as well as the partitioning of the data, without a priori assumption on the cluster centers. On the other hand, it searches for candidate cluster centers in the universe of discourse and not only among data. The proposed approach is general and it is not limited to the construction of the neuro-fuzzy system. It is also worth noting that all developed control strategies have been applied to fabrics of different shape (with or without curvatures), color and properties.

No description available.

Closing the control loop of a manipulator robot with vision feedback is widelyknown. It concerns nowadays all areas of robotics. Such a return can make a comparison between a desired state and current state, using visual measurements. The main objective of this doctoral thesis is to design several types of kinematic control laws for stereo visual servoing. It strongly involves the formalism of the task function which is a well-known and useful mathematical tool to express the visual error as a function of state vectors.We have investigated the decoupling between the rotational and translational velocities control laws together with the epipolar constraint with a stereo visual feedback.That is why, the visual measurements and features used in this thesis are the 3Dstraight lines.The interests of this type of visual features rely on the robustness against the noise, and the possibility to represent straight lines or other features like points or planes pairs by the Plücker coordinates, as a 3D straight line can be represented as well by two points or the intersection of two planes. This makes all the control laws designed in this thesis valid for another visual features like points

La vision artificielle est un moyen de perception très apprécié en robotique. Les applications les plus courantes de la vision en robotique manipulatrice sont l'estimation de pose et la commande. D'un point de vue conceptuel, l'utilisation de la vision artificielle permet d'améliorer les performances de la commande des robots en termes de précision et de robustesse (vis-à-vis des erreurs sur les paramètres géométriques du robot). De plus, cette mesure est d'autant plus pertinente pour les robots parallèles puisque l'état de ces derniers est généralement mieux défini par la pose de l'effecteur que par les mesures articulaires, traditionnellement utilisées en commande. Cependant, les systèmes de vision classiques ne permettent pas de satisfaire les exigences des commandes hautes performances à cause de leur période d'acquisition et de leur temps de latence trop grands. Pour pallier ce problème, l'approche proposée dans cette thèse est de procéder à une acquisition séquentielle de fenêtres d'intérêt. En effet, le fait de ne transmettre que les régions de l'image contenant les primitives visuelles utiles a pour effet de diminuer la quantité de données à transmettre ce qui permet réduire la période d'acquisition et le temps de latence. De plus, l'acquisition non simultanée des primitives offre la possibilité d'estimer la pose et la vitesse du robot de façon conjointe. Différentes méthodes d'estimation et plusieurs schémas de commandes cinématiques et dynamiques utilisant ce mode d'acquisition ont ainsi été proposés dans ce document. Les résultats expérimentaux obtenus en commande dynamique par vision d'un robot parallèle montrent, pour la première fois, que la commande référencée vision peut être plus performante que la commande articulaire. / Visual sensing is very appreciated in manipulation robotics since it provides measures for pose estimation and robot control. Conceptually, vision allows improving the performance of manipulator robots control from accuracy and robustness (against kinematic parameters errors) points of view. In addition, vision-based control is particularly relevant for parallel robot manipulators. In fact, the state of these robots is usually better described by the pose of their mobile platform than by their articular joints. Thus, the use of vision simplifies the control of parallel robots. However, the typical vision systems do not fulfil the dynamic control constraints on the acquisition frequency and the latency. The approach proposed in this thesis is to perform a sequential acquisition of regions of interest which contain the useful visual features to cut down the data amount to transmit. Thus allows for reducing the acquisition period and latency. In addition, the sequential acquisition allows for estimating both the pose and the velocity of the robot platform. Thanks to this acquisition method, several control laws are proposed. The experimental results show that the performance of the proposed vision based dynamic control laws are, for the first time, better than classical dynamic control.

Cette thèse propose des contributions très prometteuses au sujet du choix des primitives visuelles en asservissement visuel utilisant les moments 2D extraits de l’image. Nous avons proposé une nouvelle manière de résoudre un problème important en asservissement visuel, à savoir la commande du mouvement de rotation suivant les axes orthogonaux à l’axe optique. Ce travail représente une amélioration significative des travaux précédents en asservissement visuel basé sur l’utilisation des moments 2D extraits de l’image pour commander les degrés de liberté des robots manipulateurs. La commande la plus utilisée est connue sous le nom de commande cinématique. L’approche emploie un descripteur global d’image basé sur des moments 2D "shifted" dont les invariants calculés à partir de ces moments 2D "shifted" utilisent des moments d’ordre faible connus pour être robustes au bruit. De plus, ces invariants choisis ne dépendant pas de la forme de l’objet, sont invariants au mouvement de translation, de rotation et d’échelle. Cette nouvelle façon de faire vient ainsi résoudre les problèmes vus dans les travaux précédents relatifs aux choix des combinaisons des moments invariants basés sur les moments centrés et qui dépendent de la forme de l’objet considéré. Dans les travaux précédents, ces invariants sont calculés avec des moments dont l’ordre est compris entre trois et cinq qui sont vulnérables aux bruits de mesure. D’un point de vue asservissement visuel, le travail est basé sur la détermination explicite de la matrice d’interaction calculée à partir des moments 2D "shifted" dont le choix des paramètres de décalages respectent les propriétés d’invariances aux mouvements de translation, de rotation et d’échelle. En procédant ainsi, les informations visuelles choisies montrent la capacité de représenter les objets de formes symétriques et non symétriques. Des résultats de simulations sont présentés pour illustrer la validité de notre proposition. / This thesis proposes nice and very promising contributions about the choice of visual features in image moments-based visual servoing. We proposed a new way towards solving an important problem in Visual Servoing, namely control of non-optic axis rotational degrees of freedom. This work represents a significant improvement respect to previous works on image-based visual servoing of robot manipulators, with the camera in-hand configuration and under the control scheme known as kinematic control. The approach uses global image features that are based on shifted image moments of a planar target. The improvement consists in a particular selection of a combination of shifted image moments of low order such that they do not depend on the planar target shape ; thus solving the problem seen in related previous works where the selection of central or regular image moments combinations depended on the planar target shapes. From a visual servoing point of view, the work is based on the explicit resolution of the interaction matrix related to any shifted image moment, on the appropriate combination of these moments and on the proper selection of the shifted parameters. By doing so, the new features show improved ability to represent symmetrical objects and several kinds of objects defined from closed contours or from a set of points. Six visual features are selected to design a decoupled control scheme when the object is parallel to the image plane. This nice property is then generalized to the case where the desired object position is not parallel to the image plane. Finally simulated results are presented to illustrate the validity of our proposal.

Uma câmera pan-tilt é capaz de se movimentar em torno de dois eixos de rotação (pan e tilt), permitindo que sua lente possa ser apontada para um ponto qualquer no espaço. Uma aplicação possível dessa câmera é mantê-la apontada para um determinado alvo em movimento, através de posicionamentos angulares pan e tilt adequados. Este trabalho apresenta uma técnica de controle servo visual, em que, inicialmente, as imagens capturadas pela câmera são utilizadas para determinar a posição do alvo. Em seguida, calculam-se as rotações necessárias para manter a projeção do alvo no centro da imagem, em um sistema em tempo real e malha fechada. A técnica de rastreamento visual desenvolvida se baseia em comparação de uma região de referência, utilizando a soma dos quadrados das diferenças (SSD) como critério de correspondência. Sobre essa técnica, é adicionada uma extensão baseada no princípio de estimação incremental e, em seguida, o algoritmo é mais uma vez modificado através do princípio de estimação em multiresolução. Para cada uma das três configurações, são realizados testes para comparar suas performances. O sistema é modelado através do princípio de fluxo óptico e dois controladores são apresentados para realimentar o sistema: um proporcional integral (PI) e um proporcional com estimação de perturbações externas através de um filtro de Kalman (LQG). Ambos são calculados utilizando um critério linear quadrático e os desempenhos deles também são analisados comparativamente. / A pan-tilt camera can move around two rotational axes (pan and tilt), allowing its lens to be pointed to any point in space. A possible application of the camera is to keep it pointed to a certain moving target, through appropriate angular pan-tilt positioning. This work presents a visual servoing technique, which uses first the images captured by the camera to determinate the target position. Then the method calculates the proper rotations to keep the target position in image center, establishing a real-time and closed-loop system. The developed visual tracking technique is based on template region matching, and makes use of the sum of squared differences (SSD) as similarity criterion. An extension based on incremental estimation principle is added to the technique, and then the algorithm is modified again by multiresolution estimation method. Experimental results allow a performance comparison between the three configurations. The system is modeled through optical flow principle and this work presents two controllers to accomplish the system feedback: a proportional integral (PI) and a proportional with external disturbances estimation by a Kalman filter (LQG). Both are determined using a linear quadratic method and their performances are also analyzed comparatively.

Avec les dernières avancées en matière de nanotechnologies, il est devenu possible de concevoir, avec une grande efficacité, de nouveaux dispositifs et systèmes nanométriques. Il en résulte la nécessité de développer des méthodes de pointe fiables pour la nano manipulation et la nano caractérisation. La d´étection directe par l’homme n’ étant pas une option envisageable à cette échelle, les tâches sont habituellement effectuées par un opérateur humain expert `a l’aide de microscope électronique à balayage équipé de dispositifs micro nano robotiques. Toutefois, en raison de l’absence de méthodes efficaces, ces tâches sont toujours difficiles et souvent fastidieuses à réaliser. Grâce à ce travail, nous montrons que ce problème peut être résolu efficacement jusqu’ à une certaine mesure en utilisant les informations extraites des images. Le travail porte sur l’utilisation des images électroniques pour développer des méthodes automatiques fiables permettant d’effectuer des tâches de nano manipulation et nano caractérisation précises et efficaces. En premier lieu, puisque l’imagerie électronique à balayage est affectée par les instabilités de la colonne électronique, des méthodes fonctionnant en temps réel pour surveiller la qualité des images et compenser leur distorsion dynamique ont été développées. Ensuite des lois d’asservissement visuel ont été développées pour résoudre deux problèmes. La mise au point automatique utilisant l’asservissement visuel, développée, assure une netteté constante tout au long des processus. Elle a permis d’estimer la profondeur inter-objet, habituellement très difficile à calculer dans un microscope électronique à balayage. Deux schémas d’asservissement visuel ont été développés pour le problème du nano positionnement dans un microscope électronique. Ils sont fondés sur l’utilisation directe des intensités des pixels et l’information spectrale, respectivement. Les précisions obtenues par les deux méthodes dans diff érentes conditions expérimentales ont été satisfaisantes. Le travail réalisé ouvre la voie à la réalisation d’applications précises et fiables telles que l’analyse topographique,le sondage de nanostructures ou l’extraction d’ échantillons pour microscope électronique en transmission. / With the latest advances in nanotechnology, it became possible to design novel nanoscale devicesand systems with increasing efficiency. The consequence of this fact is an increase in the need for developing reliable and cutting edge processes for nanomanipulation and nanocharacterization. Since the human direct sensing is not a feasible option at this particular scale, the tasks are usually performedby an expert human operator using a scanning electron microscope (SEM) equipped withmicro-nanorobotic devices. However, due to the lack of effective processes, these tasks are always challenging and often tiresome to perform. Through this work we show that, this problem can be tackle deffectively up to an extent using the microscopic vision information. It is concerned about using the SEM vision to develop reliable automated methods in order to perform accurate and efficient nanomanipulation and nano characterization. Since, SEM imaging is affected by the non-linearities and instabilities present in the electron column, real time methods to monitor the imaging quality and to compensate the time varying distortion were developed. Later, these images were used in the development of visual servoing control laws. The developed visual servoing-based autofocusing method ensures a constant focus throughout the process and was used for estimating the inter-object depth that is highly challenging to compute using a SEM. Two visual servoing schemes were developed toperform accurate nanopositioning using a nanorobotic station positioned inside SEM. They are basedon the direct use of global pixel intensities and Fourier spectral information respectively. The positioning accuracies achieved by both the methods at different experimental conditions were satisfactory.The achieved results facilitate in developing accurate and reliable applications such as topographic analysis, nanoprobing and sample lift-out using SEM.

Dans cette thèse, nous traitons les problèmes de suivi visuel et d'asservissement visuel, qui sont des thèmes essentiels dans le domaine de la vision par ordinateur. La plupart des techniques de suivi et d'asservissement visuel présentes dans la littérature se basent sur des primitives géométriques extraites dans les images pour estimer le mouvement présent dans la séquence. Un problème inhérent à ce type de méthode est le fait de devoir extraire et mettre en correspondance des primitives à chaque nouvelle image avant de pouvoir estimer un déplacement. Afin d'éviter cette couche algorithmique et de considérer plus d'information visuelle, de récentes approches ont proposé d'utiliser directement la totalité des informations fournies par l'image. Ces algorithmes, alors qualifiés de directs, se basent pour la plupart sur l'observation des intensités lumineuses de chaque pixel de l'image. Mais ceci a pour effet de limiter le domaine d'utilisation de ces approches, car ce critère de comparaison est très sensibles aux perturbations de la scène (telles que les variations de luminosité ou les occultations). Pour régler ces problèmes nous proposons de nous baser sur des travaux récents qui ont montré que des mesures de similarité comme la somme des variances conditionnelles ou l'information mutuelle permettaient d'accroître la robustesse des approches directes dans des conditions perturbées. Nous proposons alors plusieurs algorithmes de suivi et d'asservissement visuels directs qui utilisent ces fonctions de similarité afin d'estimer le mouvement présents dans des séquences d'images et de contrôler un robot grâce aux informations fournies par une caméra. Ces différentes méthodes sont alors validées et analysées dans différentes conditions qui viennent démontrer leur efficacité. / In this document, we address the visual tracking and visual servoing problems. They are crucial thematics in the domain of computer and robot vision. Most of these techniques use geometrical primitives extracted from the images in order to estimate a motion from an image sequences. But using geometrical features means having to extract and match them at each new image before performing the tracking or servoing process. In order to get rid of this algorithmic step, recent approaches have proposed to use directly the information provided by the whole image instead of extracting geometrical primitives. Most of these algorithms, referred to as direct techniques, are based on the luminance values of every pixel in the image. But this strategy limits their use, since the criteria is very sensitive to scene perturbations such as luminosity shifts or occlusions. To overcome this problem, we propose in this document to use robust similarity measures, the sum of conditional variance and the mutual information, in order to perform robust direct visual tracking and visual servoing processes. Several algorithms are then proposed that are based on these criteria in order to be robust to scene perturbations. These different methods are tested and analyzed in several setups where perturbations occur which allows to demonstrate their efficiency.