Dans le domaine de la vision par ordinateur, la reconstruction de scènes et l'estimation des positions des caméras sont essentielles pour des applications telles que la réalité virtuelle, la numérisation d'objets et la réalité augmentée. Cette thèse aborde deux défis principaux : le positionnement précis des caméras et la reconstruction dynamique des scènes. Un placement précis des caméras est crucial pour garantir la fidélité des modèles 3D, notamment dans des applications comme la surveillance sous-marine, où les conditions environnementales peuvent affecter la qualité des images. La première partie de cette thèse se concentre sur l'évaluation des techniques de photogrammétrie utilisant des modèles d'intelligence artificielle dans des environnements difficiles. Ces techniques sont indispensables pour estimer les positions des caméras dans des conditions telles que la faible luminosité, les intempéries et les textures complexes. En intégrant des modèles avancés d'IA, nous visons à améliorer la précision et la fiabilité de la photogrammétrie. La deuxième partie propose une méthodologie pour évaluer différentes techniques de reconstruction de scènes dynamiques avec des configurations synthétiques. Les avancées récentes, comme les champs de radiances neuronaux et le Gaussien Splatting en 3D, montrent des améliorations pour gérer les variations spatiales et temporelles. Cependant, ces méthodes font face à des défis majeurs dans des contextes dynamiques, nécessitant des algorithmes robustes capables de s'adapter en temps réel. Nos contributions incluent un cadre d'évaluation complet pour comparer différentes méthodes de photogrammétrie et de reconstruction de scènes dynamiques. Ce cadre permet une évaluation systématique des forces et des faiblesses de chaque méthode, fournissant des informations précieuses pour des avancées futures. Cette thèse est structurée en trois chapitres : le premier introduit les concepts fondamentaux de la vision par ordinateur liés à la reconstruction de scènes, le deuxième évalue les techniques de photogrammétrie dans des environnements difficiles, et le troisième présente un pipeline pour évaluer les techniques de reconstruction de scènes dynamiques. Ces contributions visent à offrir un cadre d'évaluation pour mieux comprendre les limitations actuelles et les améliorations potentielles dans ces domaines critiques.

L'École des Mines d'Albi et le LAAS-CNRS ont engagé en 2006 une collaboration avec AIRBUS Toulouse et EADS-IW pour le développement d'un système de vision artificielle destiné à l'inspection de pièces aéronautiques (panneaux de fuselage ou de voilure, métalliques ou composites) en vue de la détection de défauts de forme (écarts à la forme nominale souhaitée). Le système est constitué de plusieurs caméras (au moins quatre) afin de pouvoir inspecter des pièces de grande taille. Les caméras sont fixées sur une structure rigide statique et les pièces à inspecter sont positionnées devant cette structure. N images de la pièce à inspecter sont acquises de façon synchronisée et sont utilisées afin de reconstruire la pièce observée en 3D. Ce mémoire aborde les différentes stratégies envisagées pour l'exploitation d'un système multi-caméras. Les étapes nécessaires à la numérisation d'une pièce sont présentées, et plus particulièrement : l'appariement par corrélation multi-images (un critère de corrélation multi-images bien adapté au contexte multi-caméras est décrit), le recalage de nuages de points 3D par corrélation d'images, et l'aide au calibrage. L'utilisation de plusieurs caméras a montré de nombreux avantages. Elle permet la numérisation d'objets de grande taille (surface de plusieurs m²), fournit la forme complète d'un objet à partir d'une seule acquisition d'images (acquisition one-shot), améliore la précision de numérisation grâce à la redondance d'informations, permet de s'affranchir de problèmes de réflexion spéculaire dans le cas d'objets réfléchissants. Les algorithmes développés ont été évalués à la fois à partir d'images synthétiques et par comparaison aux mesures fournies par plusieurs systèmes commerciaux de numérisation 3D.

L’intralogistique (ou logistique interne) s’intéresse au traitement et à l’optimisation des flux physiques au sein des entrepôts, centres de distribution et usines. Les systèmes de manutention automatisés sont au cœur de la logistique interne de plusieurs industries comme le commerce en ligne, la messagerie postale, la grande distribution, l’industrie manufacturière, le transport aéroportuaire, etc. Ces équipements composés de lignes de convoyage haute cadence permettent un transport sûr et fiable d’un volume considérable de biens et de marchandises tout en réduisant les coûts.L’automatisation de l’acheminement des flux physiques par les systèmes de manutention repose sur l’identification et le suivi en temps réel des charges transportées. Dans cette thèse, nous explorons une solution de suivi qui emploie un réseau de caméras intelligentes à champs recouvrants. L’objectif final étant de fournir l’information de suivi sur les charges transportées pour le pilotage d’un système de manutention.Le suivi d’objets est un problème fondamental de la vision par ordinateur qui a de nombreuses applications comme la vidéosurveillance, la robotique, les voitures autonomes, etc. Nous avons intégré plusieurs briques de base issues de la vidéosurveillance et traditionnellement appliquées aux scènes de surveillance automobile ou de surveillance des activités humaines pour constituer une chaine de suivi de référence. Cette chaine d’analyse vidéo étalon nous a permis de caractériser des hypothèses propres au convoyage d’objet. Nous proposons dans cette thèse d’incorporer cette connaissance métier dans la chaine de suivi pour en améliorer les performances. Nous avons, notamment pris en compte, dans l’étape de segmentation des images, le fait que les objets doivent pouvoir s’arrêter sans pour autant être intégrés aux modèles d’arrière-plan. Nous avons également exploité la régularité des trajectoires des objets convoyés dans les installations, permettant d’améliorer les modèles prédictifs de la position et de la vitesse des objets, dans les étapes de suivi. Enfin, nous avons intégré des contraintes de stricte monotonie dans l’ordre des colis sur le convoyeur, contraintes qui n’existent pas dans les scènes généralistes, pour ré-identifier les objets dans les situations où ils sont proches des eux les autres.Nous nous sommes par ailleurs attelés à un problème pratique d’optimisation des performances sur l’architecture multi-cœurs couplée aux caméras intelligentes. Dans ce cadre, nous avons a mis en place un apprentissage dynamique de la zone de l’image contenant le convoyeur. Cette zone d’intérêt nous a permis de limiter la mise à jour du modèle de fond à cette seule zone. Nous avons, par la suite, proposé une stratégie de parallélisation qui partitionne de manière adaptative cette région d’intérêt de l’image, afin d’équilibrer au mieux la charge de travail entre les différents cœurs de l’architecture des caméras intelligentes.Nous avons également traité la problématique du suivi sur plusieurs caméras. Nous avons proposé une approche basée sur un système de composition d’évènements. Cette approche nous a permis de fusionner les données de suivi local pour former les trajectoires globales des colis, tout en intégrant des informations issues du processus métier, par exemple la saisie de l’information de destination par des opérateurs sur un terminal avant la dépose des colis. Nous avons validé cette approche sur un système de manutention mis en place dans un centre de tri postal de grande envergure. Le réseau de caméras déployé est composé de 32 caméras qui assurent le suivi de plus de 400.000 colis/jour sur des lignes de dépose. Le taux d’erreur du suivi obtenu est inférieur à 1 colis sur 1000 (0,1%). / Intralogistics (or internal logistics) focuses on the management and optimization of internal production and distribution processes within warehouses, distribution centers, and factories. Automated handling systems play a crucial role in the internal logistics of several industries such as e-commerce, postal messaging, retail, manufacturing, airport transport, etc. These systems are composed by multiple high-speed conveyor lines that provide safe and reliable transportation of a large volume of goods and merchandise while reducing costs.The automation of the conveying process relies on the identification and the real-time tracking of the transported loads. In this thesis, we designed a tracking solution that employs a network of smart cameras with an overlapping field of view. The goal is to provide tracking information to control an automated handling system.Multiple object tracking is a fundamental problem of computer vision that has many applications such as video surveillance, robotics, autonomous cars, etc. We integrated several building blocks traditionally applied to traffic surveillance or human activities monitoring to constitute a tracking pipeline. We used this baseline tracking pipeline to characterize contextual scene information proper to the conveying scenario. We integrated this contextual information to the tracking pipeline to enhance the performance. In particular, we took into account the state of moving objects that become stationary in the background subtraction step to prevent their absorption to the background model. We have also exploited the regularity of objects trajectory to enhance the motion model associated with the tracked objects. Finally, we integrated the precedence ordering constraint among the conveyed object to reidentify them when they are close to each other.We have also tackled practical problems related to the optimization the execution of the proposed tracking problem in the multi-core architectures of smart cameras. In particular, we proposed a dynamic learning process that extracts the region of the image that corresponds to the conveyor lines. We reduced the number of the processed pixel by restricting the processing to this region of interest. We also proposed a parallelization strategy that adaptively partitions this region of interest of the image, in order to balance the workload between the different cores of the smart cameras.Finally, we proposed a multiple cameras tracking algorithms based on event composition. This approach fuses the local tracking generated by the smart cameras to form global object trajectories and information from third party systems such as the destination of the object entered by operators on a terminal. We validated the proposed approach for the control of a sorting system deployed in a postal distribution warehouse. A network of cameras composed of 32 cameras tracks more than 400.000 parcel/day in injections lines. The tracking error rate is less than 1 parcel in a 1000 (0.1%).

La fracture de la hanche est une pathologie fréquente chez les personnes âgées et provoque des effets indésirables tels que la perte de mobilité et des complications secondaires. Le traitement actuel de la fracture de la hanche nécessite l'utilisation d'un appareil à rayons X (le fluoroscope). La méthode conventionnelle de traitement procède par essais/erreurs pour placer correctement un guide métallique dans l'os du patient, nécessitant à chaque essai la prise d'un cliché radiologique. Ceci engendre une exposition importante du chirurgien et du patient aux rayons X (nocifs pour la santé) suite à l'utilisation répétée du fluoroscope. La méthode par essai/erreur a en outre pour conséquence de provoquer un traumatisme supplémentaire au patient due à des pénétrations répétées du guide au niveau de l'os et produit souvent un montage orthopédique final sous-optimal. Nous proposons de pallier à ces inconvénients grâce à un système de chirurgie orthopédique assistée par ordinateur sans marqueur vissé sur l'os du patient se basant sur l'utilisation d'une caméra de positionnement 3D. Le prototype développé dans le cadre de ce projet ressemble en tout point au système final désiré avec fluoroscope. Des caméras CCD serviront de substitut au fluoroscope dans notre cas. Le système final possède l'avantage de servir de support au chirurgien en lui clarifiant les données qui lui sont nécessaires sans s'y substituer. Son principe de fonctionnement est le suivant: nous effectuons le calibrage intrinsèque du fluoroscope avant l'opération et nous sauvegardons les données obtenues. En tout début d'opération nous prenons deux clichés fluoroscopiques, un latéral et un antéropostérieur. Sur ces clichés vont apparaître des grilles de référence visibles au fluoroscope, ce qui permettra d'effectuer le calibrage extrinsèque du fluoroscope. En phase intra-opératoire (pendant l'opération) les instruments chirurgicaux vont apparaître en temps réel dans le repère des grilles de référence grâce à la caméra de positionnement 3D, des paramètres de calibrage du fluoroscope et des marqueurs fixés sur les instruments chirurgicaux ainsi que sur les grilles de référence. Les grilles de référence communes aux images préopératoires et intra-opératoires vont permettre une extrapolation de la position des instruments chirurgicaux pendant l'opération sur les images préopératoires. Le prototype développé fonctionne de façon tout à fait similaire au système final décrit précédemment. Le prototype servira principalement à tester le produit final et à détecter les failles éventuelles du système. Une analyse des erreurs est réalisée à l'aide de ce dernier afin de déterminer les sources d'erreur les plus importantes. Notre travail se base sur l'hypothèse qu'entre la prise des images préopératoires et la fin de l'intervention chirurgicale, la position du fémur relativement aux grilles de référence n'a pas changé. Une étude des déplacements de l'anatomie du patient a été entamée au cours de notre projet ce qui permettra éventuellement de valider l'hypothèse de départ, ce qui n'a pu être réalisé dans le cadre des présents travaux. Cette hypothèse découle du fait que dans les opérations de la hanche, la jambe du patient est sous traction ce qui limite les mouvements de cette dernière. Notre système de réalité augmenté permettra une réduction du temps opératoire, un recours moins important à la fluoroscopie, une meilleure précision de positionnement des instruments chirurgicaux et l'obtention de montages orthopédiques plus fiables et plus solides, tout cela pour une amélioration des soins apportés aux patients.

Avec l'apparition récente des caméras 3D, des perspectives nouvelles pour différentes applications de l'interprétation de scène se sont ouvertes. Cependant, ces caméras ont des limites qui affectent la précision de leurs mesures. En particulier pour les caméras Temps-de-Vol, deux types d'erreur peuvent être distingués : le bruit statistique de la caméra et la distorsion de la mesure de profondeur. Dans les travaux de la littérature des caméras Temps-de-Vol, le bruit est peu étudié et les modèles de distorsion de la mesure de profondeur sont généralement difficiles à mettre en œuvre et ne garantissent pas la précision requise pour certaines applications. L'objectif de cette thèse est donc d'étudier, modéliser et proposer un étalonnage précis et facile à mettre en œuvre de ces 2 types d'erreur des caméras Temps-de-Vol. Pour la modélisation du bruit comme pour la distorsion de la mesure de profondeur, deux solutions sont proposées présentant chacune une solution à un problème différent. La première vise à fournir un modèle précis alors que le second favorise la simplicité de la mise en œuvre. Ainsi, pour le bruit, alors que la majorité des modèles reposent uniquement sur l'information d'amplitude, nous proposons un premier modèle qui intègre aussi la position du pixel dans l'image. Pour encore une meilleure précision, nous proposons un modèle où l'amplitude est remplacée par la profondeur de l'objet et le temps d'intégration. S'agissant de la distorsion de la mesure de profondeur, nous proposons une première solution basée sur un modèle non-paramétrique garantissant une meilleure précision. Ensuite, pour fournir une solution plus facile à mettre en œuvre que la précédente et que celles de l'état de l'art, nous nous basons sur la connaissance à priori de la géométrie planaire de la scène observée. / 3D cameras open new possibilities in different fields such as 3D reconstruction, Augmented Reality and video-surveillance since they provide depth information at high frame-rates. However, they have limitations that affect the accuracy of their measures. In particular for TOF cameras, two types of error can be distinguished : the stochastic camera noise and the depth distortion. In state of the art of TOF cameras, the noise is not well studied and the depth distortion models are difficult to use and don't guarantee the accuracy required for some applications. The objective of this thesis is to study, to model and to propose a calibration method of these two errors of TOF cameras which is accurate and easy to set up. Both for the noise and for the depth distortion, two solutions are proposed. Each of them gives a solution for a different problem. The former aims to obtain an accurate model. The latter, promotes the simplicity of the set up. Thereby, for the noise, while the majority of the proposed models are only based on the amplitude information, we propose a first model which integrate also the pixel position in the image. For a better accuracy, we propose a second model where we replace the amplitude by the depth and the integration time. Regarding the depth distortion, we propose a first solution based on a non-parametric model which guarantee a better accuracy. Then, we use the prior knowledge of the planar geometry of the observed scene to provide a solution which is easier to use compared to the previous one and to those of the litterature.

L’étude et la compréhension du comportement humain est devenue l’une des problématiques majeures dans différents secteurs d’activités. Ce besoin de comprendre les habitudes des individus a conduit plusieurs entreprises vers l’utilisation de vidéos pour l’analyse et l’interprétation des comportements. Ces raisons ont conduit à l’émergence de travaux de recherches qui ont pour objectif l’automatisation de ces procédures. De ce fait, l’étude du comportement humain est devenue l’un des principaux sujets de recherche dans le domaine de la vision par ordinateur, et de nombreuses solutions d’analyse du comportements basées sur l’utilisation de l’intelligence artificielle ont émergé.Dans ce travail, notre objectif est le développement d’un système qui va permettre de suivre simultanément plusieurs individus dans un réseau multi-caméras dans le contexte de l’analyse comportementale. Pour cela, nous avons proposé un système de suivi qui est composé de trois modules principaux et d’un module de gestion. Le premier est un module de comptage pour mesurer les entrées. Le deuxième module, basé sur l’utilisation de filtres à particules, est un système de suivi mono-caméra destiné à suivre les individus indépendamment dans chacune des caméras. Le troisième module, basé sur la sélection des régions saillantes de chaque individu, sert à la ré-identification et permet d’associer les individus détectés dans les différentes caméras. Enfin, le module de gestion est conçu pour créer des trajectoires sémantiques à partir des trajectoires brutes obtenues précédemment. / The study and the understanding of human behavior has become one of the major concerns for various reasons in different sectors of activity. This need to understand the habits of people led several big firms towards the use of videos surveillance for analyzing and interpreting behaviors. These reasons led to the emergence of research aimed at automating these procedures. As a result, the study of human behavior has become the main subject of several researches in the field of computer vision. Thus, a variety of behavior analysis solutions based on artificial intelligence emerged.In this work, our objective is the proposal of a solution that enable the simultaneous track of several individuals in a multi-camera network in order to reconstruct their trajectories in the context of behavioral analysis. For this, we have proposed a system that is made of three main modules and a management module. The first module is a counting module to measure entries. The second module is a mono-camera tracking system that is based on the use of particle filtering to track individuals independently in each camera. The third module is a re-identification module which is based on the selection of salient regions for each individual. It enables the association of the individuals that are detected in the different cameras. The last module which is the management module is based on the use of ontologies for interpreting trajectories. This module is designed to create semantic trajectories from raw trajectories obtained previously.

Cette thèse développe une approche basée sur la géométrie projective pour analyser et traiter des séquences d'images obtenues avec une caméra mobile. Les dérivations et démonstrations sont faites sans supposer qu'une information a priori est disponible sur les images, que ce soit sur le mouvement de la caméra ou sur leurs paramètres intrinsèques, comme la distance focale ou les points principaux. Il peut<br />même s'agir de caméras différentes. La seule hypothèse est que la scène est rigide.

Avec le développement de la vidéo-protection, le nombre de caméras déployées augmente rapidement. Pour exploiter efficacement ces vidéos, il est indispensable de concevoir des outils d'aide à la surveillance qui automatisent au moins partiellement leur analyse. Un des problèmes difficiles est le suivi de personnes dans un grand espace (métro, centre commercial, aéroport, etc.) couvert par un réseau de caméras sans recouvrement. Dans cette thèse nous proposons et expérimentons une nouvelle méthode pour la ré-identification de piétons entre caméras disjointes. Notre technique est fondée sur la détection et l'accumulation de points d'intérêt caractérisés par un descripteur local. D'abord, on propose puis évalue une méthode utilisant les points d'intérêts pour la modélisation de scène, puis la détection d'objets mobiles. Ensuite, la ré-identification des personnes se fait en collectant un ensemble de points d'intérêt durant une fenêtre temporelle, puis en cherchant pour chacun d'eux leur correspondant le plus similaire parmi tous les descripteurs enregistrés précédemment, et stockés dans un KD-tree. Enfin, nous proposons et testons des pistes d'amélioration, en particulier pour la sélection automatique des instants ou des points d'intérêt, afin d'obtenir pour chaque individu un ensemble de points qui soient à la fois les plus variés possibles, et les plus discriminants par rapport aux autres personnes. Les performances de ré-identification de notre algorithme, environ 95% d'identification correcte au premier rang parmi 40 personnes, dépassent l'état de l'art, ainsi que celles obtenues dans nos comparaisons avec d'autres descripteurs (histogramme de couleur, HOG, SIFT).

Les mesures tridimensionnelles peuvent être obtenues à partir de plusieurs images par la méthode de triangulation. Ce travail étudie le problème du placement des caméras de façon a obtenir une erreur minimale lors des mesures tridimensionnelles. En photogrammétrie, on parlera du concept du réseau de caméras. Nous poserons le problème en termes d'optimisation et nous le diviserons en deux parties: 1) Une partie analytique dédiée à l'analyse de l'erreur de propagation d'où découlera un critère. 2) Un processus global d'optimisation minimisera ce critère. De ce coté-là, l'approche consiste en une analyse d'incertitude appliquée au processus de reconstruction d'où une matrice de covariance sera calculée. Cette matrice représente l'incertitude de la détection pour lequel le critère est dérivé. Par ailleurs, l'optimisation a des aspects discontinus essentiellement dû à l'inobservabilité des points. Ce facteur va nous amener à utiliser un processus d'optimisation combinatoire que nous avons résolu en utilisant un algorithme génétique multicellulaire. Des résultats expérimentaux sont inclus pour illustrer l'efficacité et la rapidité de la solution.

De nombreux domaines concernant le comportement mécanique des matériaux posent le problème de la mesure des déplacements ou des déformations. Pour ce type de mesure, les méthodes optiques se sont largement imposées en raison de leur caractère non intrusif, de leur grande résolution spatiale, de leur sensibilité élevée, de l'importance du champ examiné à tout instant et des progrès de l'informatique qui permet le traitement automatique d'un grand volume d'information.<br /><br />Dans ce contexte, nous avons développé un système de mesure de formes 3D ou de champs de déplacements 3D par stéréovision (en particulier par stéréo-corrélation).<br /><br />Cette technique permet : (1) la mesure de la forme 3D d'un objet à partir d'une simple paire d'images stéréoscopiques de l'objet, (2) la mesure de champs de déplacements 3D à partir d'au moins 2 paires d'images correspondant à différents instants de déformation de l'objet (en général analyse d'une séquence de paires d'images acquises en cours de déformation).<br /><br />Les points développés dans la thèse sont : le calibrage fort d'une caméra ou d'un capteur de vision stéréoscopique, la reconstruction 3D par stéréovision (en particulier par stéréo-corrélation), la mesure de champs de déplacements 3D à partir du couplage de la stéréo-corrélation et du suivi de pixels dans une séquence d'images par corrélation. Compte tenu de la finalité métrologique de ces travaux, nous accordons une attention toute particulière à la précision des méthodes mises en oeuvre (qualité du calibrage, qualité de la mise en correspondance des images, corrélation subpixel,...).<br /><br />Ces travaux ont été appliqués à l'emboutissage de tôles minces (mesure de formes 3D d'emboutis et mesure de champs de déformations à la surface d'emboutis 3D), à la mise en forme de polymères (mesure de champs de déplacements 3D sur des membranes en élastomère soufflées), et à l'étude du comportement mécanique de bétons réfractaires renforcés de fibres métalliques (mesure de champs de déplacements 3D lors d'essais de traction).