Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Mémoire numérisé par la Direction des bibliothèques de l'Université de Montréal.

Cette thèse se concerne avec la restauration des images par l'élimination des occlusions indésirables et du flou attribué au mouvement de l'appareil. Ce flou est modélisé par un ensemble pondéré des poses de l'appareil, qui induit des transformations projectives sur l'image. Le flou est caractérisé par les poids, qui décrivent complètement le flou à tous les pixels de l'image. Nous montrons l'estimation directe de ces poids à partir des images seuls et des pairs d'images, en adaptent des algorithmes existants pour le défloutage (spatiellement-invariant) des images. Ceci nous permet de retrouver un version nette d'une image floue de manière automatique. Pour réduire le coût de l'utilisation de notre modèle, nous proposons une approximation fondée sur l'uniformité locale du flou. En groupant les pixels dans quelques régions locales, avec une seule fonction d'étalement du point (PSF) pour chaque région, nous pouvons utiliser des convolutions efficaces 2D pour calculer le flou. Ensuite, nous considérons le défloutage des images qui contiennent des pixels saturés et modifions notre modèle du flou pour inclure cette non-linéarité. Avec cette modèle, nous redérivons l'algorithme Richardson-Lucy en le modifiant afin de réduire le "ringing" attribué à celui-ci. Pour éliminer les occlusions indésirables, nous retrouvons automatiquement de l'Internet un ensemble d'images de la même scène. Nous obtenons une correspondance entre les pixels de chacune de ces images et de l'image cible avec des homgographies, et combinons plusieurs de ces images dans l'image cible pour remplacer les pixels occlus, en résoudrant un problème de minimisation d'énergie. / This thesis investigates the removal of spatially-variant blur from photographs degraded by camera shake, and the removal of large occluding objects from photographs of popular places. Spatially-variant blur caused by camera shake is modelled using a weighted set of camera poses, which induce homographies on the image. The blur in an image is parameterised by the set of weights, which fully describe the spatially-variant blur at all pixels. We demonstrate direct estimation of the blur weights from single and multiple images captured by conventional cameras, by adapting existing (spatially-invariant) deblurring algorithms. This permits a sharp image to be recovered from a blurry "shaken" image without any user interaction. To reduce the computational cost of our model, we introduce an approximation based on local-uniformity of the blur. By grouping pixels into local regions which share a single PSF, we can use fast 2D convolutions to perform the blur computation. For deblurring images with saturated pixels, we modify the forward model to include this non-linearity, and re-derive the Richardson-Lucy algorithm. To prevent ringing appearing in the output, we propose separate updates for pixels affected/not affected by saturation. In order to remove large occluders from photos, we automatically retrieve a set of exemplar images of the same scene from the Internet. We extract homographies between each of these images and the target image to provide pixel correspondences. Finally we combine pixels from several exemplars in a seamless manner to replace the occluded pixels, by solving an energy minimisation problem.

Cette thèse présente des nouvelles approches de modélisation, de tracking et de commande des robots parallèles en utilisant des droites. Un robot parallèle est composé de plusieurs chaînes cinématiques fermées. Par conséquent, un fort couplage de comportement apparait durant le mouvement du robot. La géométrie (squelette) d’un robot parallèle peut être définie en considérant les jambes de ce robot comme des droites 3D. C’est ainsi que la modélisation, le suivi visuel et la commande d’un robot parallèle devient plus simple et que sa représentation géométrique et physique est plus intuitive. Le point commun des méthodes proposées est l’observation des orientations 3D des jambes avec précision et à des grandes vitesses. Cela permet de commander les robots parallèles rapides avec précision. Pour la modélisation cinématique et dynamique des robots parallèles, nous avons développé une représentation basée sur les éléments cinématiques. Cette représentation rend la modélisation simple et immédiate. Les modèles obtenus sont basés sur les mesures des orientations des jambes et leurs vitesses. Par conséquent, nous avons ainsi proposé un observateur d’état dynamique à haute vitesse qui peut fournir les orientations des jambes et leurs vitesses. Cette procédure consiste à observer d’une manière séquentielle une portion de chaque jambe. Nous avons utilisé ces contours pour construire une consigne spatio-temporelle. Par conséquent, nous avons pu écrire des contraintes géométriques minimisées en une seule itération d’une tâche d’asservissement visuel virtuel. Ensuite, nous avons proposé une commande dynamique pour contrôler un robot parallèle dans différents espaces de commande. Ce qui nous a permis de mener des analyses pour identifier l’espace le plus adéquat pour réaliser une tâche spécifique. Ces nouvelles approches sont validées en simulation et, partiellement, en expérimentation. Les résultats obtenus sont satisfaisants et ouvrent des perspectives dans le domaine de la modélisation, du suivi visuel et de la commande des robots parallèles basé sur l’observation des jambes. / This thesis presents novel methods for modeling, tracking and control of parallel robots by means of lines. A parallel robot is composed of several closed-loop kinematic chains which cause a highly coupled-motion behavior. By treating the legs of a parallel robot as 3D lines and representing the geometry with a skeleton constructed from these 3D lines of the legs, the modeling, tracking and control of a parallel robot become geometrically and physically simpler and more intuitive. The common key point for the simplicity and accuracy of all these methods is the precise observation of the 3D orientation vectors of the legs at high speed. This is because of parallel robots are designed for high speed applications. Thus, we first developed a body-based linear scheme both for kinematic and dynamic modeling of parallel robots. This body-based linear modeling scheme is so simple such that one can work out all the equations even for the most complex parallel robot by pen and paper. The simplicity and feasibility of this modeling scheme are conditioned on that the 3D leg direction vectors and their velocities are known. Therefore, secondly we proposed a high-speed vision based dynamic state observer which can provide these 3D leg direction vectors of a parallel robot and their velocities at each sampling time. We achieved this by sequentially observing small portions of the legs in order to form a spatio-temporal reference signal and then by minimizing the constraints written from the geometric shapes of the legs in a single-iteration virtual visual servoing scheme. Afterwards, we constructed a versatile computed-torque control scheme which allows us to control the parallel robot for a given task in different control spaces. We defined this versatile control scheme so that we can analyse and then choose the best control space for better control of parallel robots for a given specific task. These proposed novel methods are validated by the first promising simulation and experimental results. Obtained results encourage us to explore more the modeling, tracking and control of parallel robots by means of lines.

La thèse traite du problème de la reconnaissance des gestes avec des accents particuliers orientés vers la modélisation des trajectoires de mouvement ainsi que vers l’estimation de la variabilité présente dans l’exécution gestuelle. Les gestes sont acquis dans un scénario typique pour la vision par ordinateur qui approche les particularités des surfaces interactives. On propose un modèle flexible pour les commandes gestuelles à partir d’une représentation par courbes splines et des analogies avec des éléments de la théorie d’élasticité de la physique classique. On utilise les propriétés du modèle pour la reconnaissance des gestes dans un contexte d’apprentissage supervisé. Pour adresser le problème de la variation présente dans l’exécution des gestes, on propose un modèle qui mesure dans une manière quantitative et objective les tendances locales que les utilisateurs sont tentés d'introduire dans leurs exécutions. On utilise ce modèle pour proposer une solution à un problème reconnu comme difficile dans la communauté : la segmentation automatique des trajectoires continues de mouvement et l’identification invariante a l’échelle des commands gestuelles. On démontre aussi l’efficacité du modèle pour effectuer des analyses de type ergonomique pour les dictionnaires de gestes. / We address in this thesis the problem of gesture recognition with specific focus on providing a flexible model for movement trajectories as well as for estimating the variation in execution that is inherently present when performing gestures. Gestures are captured in a computer vision scenario which approaches somewhat the specifics of interactive surfaces. We propose a flexible model for gesture commands based on a spline representation which is enhanced with elastic properties in a direct analogy with the theory of elasticity from classical physics. The model is further used for achieving gesture recognition in the context of supervised learning. In order to address the problem of variability in execution, we propose a model that measures objectively and quantitatively the local tendencies that users introduce in their executions. We make use of this model in order to address a problem that is considered hard by the community: automatic segmentation of continuous motion trajectories and scale invariant identification of gesture commands. We equally show the usefulness of our model for performing ergonomic analysis on gesture dictionaries.

Les réseaux de neurones multicouches ont été proposés pour la première fois il y a plus de trois décennies, et diverses architectures et paramétrages ont été explorés depuis. Récemment, les unités de traitement graphique ont permis une formation très efficace sur les réseaux neuronaux et ont permis de former des réseaux beaucoup plus grands sur des ensembles de données plus importants, ce qui a considérablement amélioré le rendement dans diverses tâches d'apprentissage supervisé. Cependant, la généralisation est encore loin du niveau humain, et il est difficile de comprendre sur quoi sont basées les décisions prises. Pour améliorer la généralisation et la compréhension, nous réexaminons les problèmes de paramétrage du poids dans les réseaux neuronaux profonds. Nous identifions les problèmes les plus importants, à notre avis, dans les architectures modernes : la profondeur du réseau, l'efficacité des paramètres et l'apprentissage de tâches multiples en même temps, et nous essayons de les aborder dans cette thèse. Nous commençons par l'un des problèmes fondamentaux de la vision par ordinateur, le patch matching, et proposons d'utiliser des réseaux neuronaux convolutifs de différentes architectures pour le résoudre, au lieu de descripteurs manuels. Ensuite, nous abordons la tâche de détection d'objets, où un réseau devrait apprendre simultanément à prédire à la fois la classe de l'objet et l'emplacement. Dans les deux tâches, nous constatons que le nombre de paramètres dans le réseau est le principal facteur déterminant sa performance, et nous explorons ce phénomène dans les réseaux résiduels. Nos résultats montrent que leur motivation initiale, la formation de réseaux plus profonds pour de meilleures représentations, ne tient pas entièrement, et des réseaux plus larges avec moins de couches peuvent être aussi efficaces que des réseaux plus profonds avec le même nombre de paramètres. Dans l'ensemble, nous présentons une étude approfondie sur les architectures et les paramétrages de poids, ainsi que sur les moyens de transférer les connaissances entre elles / Multilayer neural networks were first proposed more than three decades ago, and various architectures and parameterizations were explored since. Recently, graphics processing units enabled very efficient neural network training, and allowed training much larger networks on larger datasets, dramatically improving performance on various supervised learning tasks. However, the generalization is still far from human level, and it is difficult to understand on what the decisions made are based. To improve on generalization and understanding we revisit the problems of weight parameterizations in deep neural networks. We identify the most important, to our mind, problems in modern architectures: network depth, parameter efficiency, and learning multiple tasks at the same time, and try to address them in this thesis. We start with one of the core problems of computer vision, patch matching, and propose to use convolutional neural networks of various architectures to solve it, instead of manual hand-crafting descriptors. Then, we address the task of object detection, where a network should simultaneously learn to both predict class of the object and the location. In both tasks we find that the number of parameters in the network is the major factor determining it's performance, and explore this phenomena in residual networks. Our findings show that their original motivation, training deeper networks for better representations, does not fully hold, and wider networks with less layers can be as effective as deeper with the same number of parameters. Overall, we present an extensive study on architectures and weight parameterizations, and ways of transferring knowledge between them