Ce mémoire s'intéresse à la vision par ordinateur appliquée à des projets d'art technologique. Le sujet traité est la calibration de systèmes de caméras et de projecteurs dans des applications de suivi et de reconstruction 3D en arts visuels et en art performatif. Le mémoire s'articule autour de deux collaborations avec les artistes québécois Daniel Danis et Nicolas Reeves. La géométrie projective et les méthodes de calibration classiques telles que la calibration planaire et la calibration par géométrie épipolaire sont présentées pour introduire les techniques utilisées dans ces deux projets. La collaboration avec Nicolas Reeves consiste à calibrer un système caméra-projecteur sur tête robotisée pour projeter des vidéos en temps réel sur des écrans cubiques mobiles. En plus d'appliquer des méthodes de calibration classiques, nous proposons une nouvelle technique de calibration de la pose d'une caméra sur tête robotisée. Cette technique utilise des plans elliptiques générés par l'observation d'un seul point dans le monde pour déterminer la pose de la caméra par rapport au centre de rotation de la tête robotisée. Le projet avec le metteur en scène Daniel Danis aborde les techniques de calibration de systèmes multi-caméras. Pour son projet de théâtre, nous avons développé un algorithme de calibration d'un réseau de caméras wiimotes. Cette technique basée sur la géométrie épipolaire permet de faire de la reconstruction 3D d'une trajectoire dans un grand volume à un coût minime. Les résultats des techniques de calibration développées sont présentés, de même que leur utilisation dans des contextes réels de performance devant public. / This thesis focuses on computer vision applications for technological art projects. Camera and projector calibration is discussed in the context of tracking applications and 3D reconstruction in visual arts and performance art. The thesis is based on two collaborations with québécois artists Daniel Danis and Nicolas Reeves. Projective geometry and classical camera calibration techniques, such as planar calibration and calibration from epipolar geometry, are detailed to introduce the techniques implemented in both artistic projects. The project realized in collaboration with Nicolas Reeves consists of calibrating a pan-tilt camera-projector system in order to adapt videos to be projected in real time on mobile cubic screens. To fulfil the project, we used classical camera calibration techniques combined with our proposed camera pose calibration technique for pan-tilt systems. This technique uses elliptic planes, generated by the observation of a point in the scene while the camera is panning, to compute the camera pose in relation to the rotation centre of the pan-tilt system. The project developed in collaboration with Daniel Danis is based on multi-camera calibration. For this studio theatre project, we developed a multi-camera calibration algorithm to be used with a wiimote network. The technique based on epipolar geometry allows 3D reconstruction of a trajectory in a large environment at a low cost. The results obtained from the camera calibration techniques implemented are presented alongside their application in real public performance contexts.

Cette thése a été réalisée dans le cadre d'une cotutelle avec l'Institut National Polytechnique de Grenoble (France). La recherche a été effectuée au sein des laboratoires de vision 3D (DIRO, UdM) et PERCEPTION-INRIA (Grenoble). / Cette thèse s’intéresse à trois problèmes fondamentaux de la vision par ordinateur qui sont le suivi vidéo, le calibrage et la reconstruction 3D. Les approches proposées sont strictement basées sur des contraintes photométriques et géométriques présentent dans des images 2D. Le suivi de mouvement se fait généralement dans un flux vidéo et consiste à suivre un objet d’intérêt identifié par l’usager. Nous reprenons une des méthodes les plus robustes à cet effet et l’améliorons de sorte à prendre en charge, en plus de ses translations, les rotations qu’effectue l’objet d’intérêt. Par la suite nous nous attelons au calibrage de caméras; un autre problème fondamental en vision. Il s’agit là, d’estimer des paramètres intrinsèques qui décrivent la projection d’entités 3D dans une image plane. Plus précisément, nous proposons des algorithmes de calibrage plan pour les cam ́eras linéaires (pushbroom) et les vidéo projecteurs lesquels ́etaient, jusque là, calibrés de façon laborieuse. Le troisième volet de cette thèse sera consacré à la reconstruction 3D par ombres projetée. À moins de connaissance à-priori sur le contenu de la scène, cette technique est intrinsèquement ambigüe. Nous proposons une méthode pour réduire cette ambiguïté en exploitant le fait que les spots de lumières sont souvent visibles dans la caméra. / The topic of this thesis revolves around three fundamental problems in computer vision; namely, video tracking, camera calibration and shape recovery. The proposed methods are solely based on photometric and geometric constraints found in the images. Video tracking, usually performed on a video sequence, consists in tracking a region of interest, selected manually by an operator. We extend a successful tracking method by adding the ability to estimate the orientation of the tracked object. Furthermore, we consider another fundamental problem in computer vision: cali- bration. Here we tackle the problem of calibrating linear cameras (a.k.a: pushbroom) and video projectors. For the former one we propose a convenient plane-based cali- bration algorithm and for the latter, a calibration algorithm that does not require a physical grid and a planar auto-calibration algorithm. Finally, we pointed our third research direction toward shape reconstruction using coplanar shadows. This technique is known to suffer from a bas-relief ambiguity if no extra information on the scene or light source is provided. We propose a simple method to reduce this ambiguity from four to a single parameter. We achieve this by taking into account the visibility of the light spots in the camera.

Ce mémoire s'intéresse à la vision par ordinateur appliquée à des projets d'art technologique. Le sujet traité est la calibration de systèmes de caméras et de projecteurs dans des applications de suivi et de reconstruction 3D en arts visuels et en art performatif. Le mémoire s'articule autour de deux collaborations avec les artistes québécois Daniel Danis et Nicolas Reeves. La géométrie projective et les méthodes de calibration classiques telles que la calibration planaire et la calibration par géométrie épipolaire sont présentées pour introduire les techniques utilisées dans ces deux projets. La collaboration avec Nicolas Reeves consiste à calibrer un système caméra-projecteur sur tête robotisée pour projeter des vidéos en temps réel sur des écrans cubiques mobiles. En plus d'appliquer des méthodes de calibration classiques, nous proposons une nouvelle technique de calibration de la pose d'une caméra sur tête robotisée. Cette technique utilise des plans elliptiques générés par l'observation d'un seul point dans le monde pour déterminer la pose de la caméra par rapport au centre de rotation de la tête robotisée. Le projet avec le metteur en scène Daniel Danis aborde les techniques de calibration de systèmes multi-caméras. Pour son projet de théâtre, nous avons développé un algorithme de calibration d'un réseau de caméras wiimotes. Cette technique basée sur la géométrie épipolaire permet de faire de la reconstruction 3D d'une trajectoire dans un grand volume à un coût minime. Les résultats des techniques de calibration développées sont présentés, de même que leur utilisation dans des contextes réels de performance devant public. / This thesis focuses on computer vision applications for technological art projects. Camera and projector calibration is discussed in the context of tracking applications and 3D reconstruction in visual arts and performance art. The thesis is based on two collaborations with québécois artists Daniel Danis and Nicolas Reeves. Projective geometry and classical camera calibration techniques, such as planar calibration and calibration from epipolar geometry, are detailed to introduce the techniques implemented in both artistic projects. The project realized in collaboration with Nicolas Reeves consists of calibrating a pan-tilt camera-projector system in order to adapt videos to be projected in real time on mobile cubic screens. To fulfil the project, we used classical camera calibration techniques combined with our proposed camera pose calibration technique for pan-tilt systems. This technique uses elliptic planes, generated by the observation of a point in the scene while the camera is panning, to compute the camera pose in relation to the rotation centre of the pan-tilt system. The project developed in collaboration with Daniel Danis is based on multi-camera calibration. For this studio theatre project, we developed a multi-camera calibration algorithm to be used with a wiimote network. The technique based on epipolar geometry allows 3D reconstruction of a trajectory in a large environment at a low cost. The results obtained from the camera calibration techniques implemented are presented alongside their application in real public performance contexts.

Cette thèse s’intéresse à trois problèmes fondamentaux de la vision par ordinateur qui sont le suivi vidéo, le calibrage et la reconstruction 3D. Les approches proposées sont strictement basées sur des contraintes photométriques et géométriques présentent dans des images 2D. Le suivi de mouvement se fait généralement dans un flux vidéo et consiste à suivre un objet d’intérêt identifié par l’usager. Nous reprenons une des méthodes les plus robustes à cet effet et l’améliorons de sorte à prendre en charge, en plus de ses translations, les rotations qu’effectue l’objet d’intérêt. Par la suite nous nous attelons au calibrage de caméras; un autre problème fondamental en vision. Il s’agit là, d’estimer des paramètres intrinsèques qui décrivent la projection d’entités 3D dans une image plane. Plus précisément, nous proposons des algorithmes de calibrage plan pour les cam ́eras linéaires (pushbroom) et les vidéo projecteurs lesquels ́etaient, jusque là, calibrés de façon laborieuse. Le troisième volet de cette thèse sera consacré à la reconstruction 3D par ombres projetée. À moins de connaissance à-priori sur le contenu de la scène, cette technique est intrinsèquement ambigüe. Nous proposons une méthode pour réduire cette ambiguïté en exploitant le fait que les spots de lumières sont souvent visibles dans la caméra. / The topic of this thesis revolves around three fundamental problems in computer vision; namely, video tracking, camera calibration and shape recovery. The proposed methods are solely based on photometric and geometric constraints found in the images. Video tracking, usually performed on a video sequence, consists in tracking a region of interest, selected manually by an operator. We extend a successful tracking method by adding the ability to estimate the orientation of the tracked object. Furthermore, we consider another fundamental problem in computer vision: cali- bration. Here we tackle the problem of calibrating linear cameras (a.k.a: pushbroom) and video projectors. For the former one we propose a convenient plane-based cali- bration algorithm and for the latter, a calibration algorithm that does not require a physical grid and a planar auto-calibration algorithm. Finally, we pointed our third research direction toward shape reconstruction using coplanar shadows. This technique is known to suffer from a bas-relief ambiguity if no extra information on the scene or light source is provided. We propose a simple method to reduce this ambiguity from four to a single parameter. We achieve this by taking into account the visibility of the light spots in the camera. / Cette thése a été réalisée dans le cadre d'une cotutelle avec l'Institut National Polytechnique de Grenoble (France). La recherche a été effectuée au sein des laboratoires de vision 3D (DIRO, UdM) et PERCEPTION-INRIA (Grenoble).

Les risques liés à la propagation de fissures sous impact sont encore très difficiles à estimer. La détermination de critères de rupture dynamique uniquement à partir de résultats expérimentaux reste délicate. Ainsi la première étape pour valider des lois de propagation de fissures sous impact passe par le développement d'outils de simulation numérique. Depuis les années 1970, de nombreux codes de calcul mécanique ont été dédiés à l'étude de la propagation de fissures, notamment dans le cas du phénomène de fatigue. La principale difficulté consiste dans la nécessité de suivre la géométrie de la fissure au cours du temps. Ces dernières années, des méthodes alternatives basées sur la partition de l'unité ont permis une description implicite des discontinuités mobiles. C'est le cas de la méthode des éléments finis étendue (X-FEM) qui paraît particulièrement adaptée à la simulation de la propagation dynamique de fissures sous chargement mixte où les trajets de fissures ne sont pas connus a priori. Si ces outils numériques permettent maintenant de représenter l'avancée dynamique d'une fissure, les résultats numériques doivent être comparés à des résultats expérimentaux pour s'assurer que les lois introduites sont physiquement fondées. Notre objectif est donc de développer conjointement des techniques expérimentales fiables et un outil de simulation numérique robuste pour l'étude des phénomènes hautement transitoires que sont l'initiation, la propagation, l'arrêt et le redémarrage de fissures sous impact.<br />Des expériences de rupture dynamique ont donc été réalisées sur du Polyméthacrylate de méthyle (PMMA) durant lesquelles la mixité du chargement varie et des arrêts et redémarrages de fissures se produisent. Deux bancs d'essais différents ont été utilisé, le premier basé sur la technique des barres de Hopkinson (ou barres de Kolsky), le second mettant en jeu un vérin rapide. Le PMMA étant transparent, la position de la fissure au cours de l'essai a été acquise grâce à des caméras rapides mais aussi en utilisant un extensomètre optique (Zimmer), habituellement dédié à la mesure de déplacements macroscopiques d'un contraste noir/blanc. L'utilisation de cet extensomètre pour suivre la fissure au cours de l'essai a permis d'obtenir une localisation très précise de la pointe de la fissure en continu, permettant ainsi l'étude des phases transitoires de propagation. Afin d'étudier le même phénomène dans des matériaux opaques comme les aluminiums aéronautiques (Al 7075), des techniques de corrélation d'images numériques ont été employées en mouchetant les éprouvettes impactées. De nouveaux algorithmes ont été développés afin de traiter les images issues d'une caméra ultra-rapide (jusqu'à 400 000 images par seconde).<br />Plusieurs géométries ont été envisagées afin d'étudier différents cas de propagation dynamique : initiation en mode I pur, initiation en mode mixte, propagation, arrêt, redémarrage, interaction entre deux fissures, influence d'un trou sur le trajet d'une fissure, branchement dynamique de fissures. Ces expériences ont ensuite été reproduites numériquement afin de valider les algorithmes et les critères de rupture choisis.

Cette thèse porte sur la reconstruction active de modèles 3D à l’aide d’une caméra et d’un projecteur. Les méthodes de reconstruction standards utilisent des motifs de lumière codée qui ont leurs forces et leurs faiblesses. Nous introduisons de nouveaux motifs basés sur la lumière non structurée afin de pallier aux manques des méthodes existantes. Les travaux présentés s’articulent autour de trois axes : la robustesse, la précision et finalement la comparaison des patrons de lumière non structurée aux autres méthodes. Les patrons de lumière non structurée se différencient en premier lieu par leur robustesse aux interréflexions et aux discontinuités de profondeur. Ils sont conçus de sorte à homogénéiser la quantité d’illumination indirecte causée par la projection sur des surfaces difficiles. En contrepartie, la mise en correspondance des images projetées et capturées est plus complexe qu’avec les méthodes dites structurées. Une méthode d’appariement probabiliste et efficace est proposée afin de résoudre ce problème. Un autre aspect important des reconstructions basées sur la lumière non structurée est la capacité de retrouver des correspondances sous-pixels, c’est-à-dire à un niveau de précision plus fin que le pixel. Nous présentons une méthode de génération de code de très grande longueur à partir des motifs de lumière non structurée. Ces codes ont l’avantage double de permettre l’extraction de correspondances plus précises tout en requérant l’utilisation de moins d’images. Cette contribution place notre méthode parmi les meilleures au niveau de la précision tout en garantissant une très bonne robustesse. Finalement, la dernière partie de cette thèse s’intéresse à la comparaison des méthodes existantes, en particulier sur la relation entre la quantité d’images projetées et la qualité de la reconstruction. Bien que certaines méthodes nécessitent un nombre constant d’images, d’autres, comme la nôtre, peuvent se contenter d’en utiliser moins aux dépens d’une qualité moindre. Nous proposons une méthode simple pour établir une correspondance optimale pouvant servir de référence à des fins de comparaison. Enfin, nous présentons des méthodes hybrides qui donnent de très bons résultats avec peu d’images. / This thesis deals with active 3D reconstruction from camera-projector systems. Standard reconstruction methods use coded light patterns that come with their strengths and weaknesses. We introduce unstructured light patterns that feature several improvements compared to the current state of the art. The research presented revolves around three main axes : robustness, precision and comparison of existing unstructured light patterns to existing methods. Unstructured light patterns stand out first and foremost by their robustness to interreflections and depth discontinuities. They are specifically designed to homogenize the indirect lighting generated by their projection on hard to scan surfaces. The downside of these patterns is that matching projected and captured images is not straightforward anymore. A probabilistic correspondence method is formulated to solve this problem efficiently. Another important aspect of reconstruction obtained with unstructured light pat- terns is their ability to recover subpixel correspondences, that is with a precision finer than the pixel level. We present a method to produce long codes using unstructured light. These codes enable us to extract more precise correspondences while requiring less patterns. This contribution makes our method one of the most accurate - yet robust to standard challenges - method of active reconstruction in the domain. Finally, the last part of this thesis adresses the comparison of existing reconstruction methods on several aspects, but mainly on the impact of using less and less patterns on the quality of the reconstruction. While some methods need a fixed number of images, some, like ours, can accommodate fewer patterns in exchange for some quality loss. We devise a simple method to capture an optimal correspondence map that can be used as a groundtruth for comparison purposes. Last, we present several hybrid methods that perform quite well even with few images.

Ce mémoire s'intéresse à la reconstruction d'un modèle 3D à partir de plusieurs images. Le modèle 3D est élaboré avec une représentation hiérarchique de voxels sous la forme d'un octree. Un cube englobant le modèle 3D est calculé à partir de la position des caméras. Ce cube contient les voxels et il définit la position de caméras virtuelles. Le modèle 3D est initialisé par une enveloppe convexe basée sur la couleur uniforme du fond des images. Cette enveloppe permet de creuser la périphérie du modèle 3D. Ensuite un coût pondéré est calculé pour évaluer la qualité de chaque voxel à faire partie de la surface de l'objet. Ce coût tient compte de la similarité des pixels provenant de chaque image associée à la caméra virtuelle. Finalement et pour chacune des caméras virtuelles, une surface est calculée basée sur le coût en utilisant la méthode de SGM. La méthode SGM tient compte du voisinage lors du calcul de profondeur et ce mémoire présente une variation de la méthode pour tenir compte des voxels précédemment exclus du modèle par l'étape d'initialisation ou de creusage par une autre surface. Par la suite, les surfaces calculées sont utilisées pour creuser et finaliser le modèle 3D. Ce mémoire présente une combinaison innovante d'étapes permettant de créer un modèle 3D basé sur un ensemble d'images existant ou encore sur une suite d'images capturées en série pouvant mener à la création d'un modèle 3D en temps réel. / This master concentrates on the reconstruction of a 3D model from multiple images. The 3D model is built with a hierarchical representation of voxels using an octree. A cube surrounding the object is calculated from the camera's positions. This cube contains all the voxels and it defines the position of the virtual cameras. The 3d model is initialized by a visual hull that is based on the uniform color of the images’ background. This visual hull is used to pre-carve the 3D model. Then a cost is calculated to evaluate the quality of each voxel as being on the surface of the object. This cost takes into account the similarity of the pixels from each images associated to a virtual camera. Finally a surface is calculated for each virtual camera using the SGM method that is based on the voxel cost. The SGM method takes the surrounding voxels into account when calculating the depth and this master presents a variation to this method where we take the previously excluded voxels into account. The excluded voxels coming from the initialization step or from the carving done by another virtual camera. The resulting surface is used to carve the voxel representation. This master presents an innovative combination of steps leading to the creation of a 3D model from a set of existing images or from a series of images capture one after another leading to a real-time creation of a 3D model.

Introduction : Au sein de la population vieillissante, les chutes à domicile représentent une problématique importante (1 personne âgée/3 chute au moins 1 fois/année). Pour détecter automatiquement les chutes en respectant la vie privée, une technologie novatrice a été développée : la vidéosurveillance intelligente. Objectif : Explorer la perception et la réceptivité des personnes âgées concernant l’introduction de cette nouvelle technologie, à domicile. Méthodologie : Trente personnes âgées ont participé à une entrevue structurée (devis mixte). Une analyse de contenu (données qualitatives) et des analyses descriptives (données quantitatives) ont été effectuées puis combinées. Résultats : 93,4% des participants sont favorables (ou partiellement) à la vidéosurveillance intelligente et 43,3% l’utiliserait pour le sentiment de sécurité et la confidentialité procurés. Conclusion : Le contexte de vie des personnes âgées influence leur perception et réceptivité envers la vidéosurveillance intelligente. Il s’agit maintenant d’évaluer cette technologie dans divers milieux de vie. / Backgroung: Among the elderly, at-home falls are a significant problem (on average, 1 elder/3 falls at least 1/year). In order to automatically detect falls while maintaining privacy, an innovative technology was developed: an intelligent videomonitoring system. Objective: To explore the perception and receptivity of the elderly regarding the introduction of this new technology at home. Methodology: Using a mixed methods design, 30 elderly underwent a structured interview. A content analysis (qualitative data) and descriptive analyses (quantitative data) were executed and then combined. Findings: 93.4% of the participants were favorable (or partially) to the intelligent videomonitoring system and 43.3% would use it for the sense of security and the privacy provided. Conclusion: The living situation of the elderly influences their perception and receptivity regarding an intelligent videomonitoring system. The next step will be to evaluate this new technology in various living environments.

La vidéosurveillance a pour objectif principal de protéger les personnes et les biens en détectant tout comportement anormal. Ceci ne serait possible sans la détection de mouvement dans l’image. Ce processus complexe se base le plus souvent sur une opération de soustraction de l’arrière-plan statique d’une scène sur l’image. Mais il se trouve qu’en vidéosurveillance, des caméras sont souvent en mouvement, engendrant ainsi, un changement significatif de l’arrière-plan; la soustraction de l’arrière-plan devient alors problématique. Nous proposons dans ce travail, une méthode de détection de mouvement et particulièrement de chutes qui s’affranchit de la soustraction de l’arrière-plan et exploite la rotation de la caméra dans la détection du mouvement en utilisant le calcul homographique. Nos résultats sur des données synthétiques et réelles démontrent la faisabilité de cette approche. / The main objective of video surveillance is to protect persons and property by detecting any abnormal behavior. This is not possible without detecting motion in the image. This process is often based on the concept of subtraction of the scene background. However in video tracking, the cameras are themselves often in motion, causing a significant change of the background. So, background subtraction techniques become problematic. We propose in this work a motion detection approach, with the example application of fall detection. This approach is free of background subtraction for a rotating surveillance camera. The method uses the camera rotation to detect motion by using homographic calculation. Our results on synthetic and real video sequences demonstrate the feasibility of this approach.

Cette étude a pour principal objectif d’examiner l’usage de la caméra à l’épaule dans les films de fiction Faces de John Cassavetes et La Vie nouvelle de Philippe Grandrieux. Loin d’associer la caméra portée à la vision subjective d’un personnage, ces cinéastes semblent plutôt inscrire la caméra et son tremblé comme un tiers autonome qui entre néanmoins dans la zone fictionnelle. Par la position similaire qu’ils attribuent à la caméra et par l’importance qu’ils accordent à l’improvisation au tournage, ces deux cinéastes créent une proximité entre le personnage et la caméra, qui a un impact sur l’esthétique visuelle de leurs films. De par cette esthétique affectée, l’expérience vécue par le spectateur devant le film est intensifiée. En interrogeant le processus de création, l’esthétique de la caméra à l’épaule ainsi que la réception spectatorielle, nous verrons comment un tel transfert d’affect est rendu possible par cette tripartition. Pour faire l’analyse de ce transfert affectif, phénomène causé par ce que nous pourrons appeler la caméra catalytique, nous nous appuierons sur quelques philosophies choisies. / This study has as its main goal the examination of the use of the handheld camera in the films Faces by John Cassavetes and La vie nouvelle by Philippe Grandrieux. Far from associating the handheld camera to a character’s point of view these filmmakers seem to inscribe the camera and its shake as an autonomous third person which is part of the fictional space. By the similar position these filmmakers give to the camera and by the importance they attribute to improvisation during the shoot they create a proximity between the character and the camera which has an impact on the visual aesthetic of their films; this affected aesthetic intensifies the experience felt by the audience. By examining the process of making the film, the handheld aesthetic as well as the audience response, we will see how this transfer of affect is made possible. To analyse this affective transfer, caused by what one would call the catalytic camera, we will rely on a selection of chosen philosophies.