Une carte cognitive est un modèle graphique qui permet de représenter des systèmes complexes contenant un grand nombre de facteurs qui interagissent. Une carte cognitive est un graphe orienté étiqueté dont les sommets représentent des concepts et dont les arcs représentent les influences entre ces concepts. Le modèle des cartes cognitives inclut un mécanisme de raisonnement nommé propagation, qui calcule l'influence entre toute paire de concepts. Notre thèse a pour objectif d'étendre le modèle des cartes cognitives et le mécanisme de raisonnement qui y est associé. Une première contribution consiste à associer à une carte une ontologie qui organise de façon hiérarchique les concepts : l'utilisation de cette ontologie comme un dictionnaire des données hiérarchiques permet à l'utilisateur de trouver les concepts qui l'intéressent dans une carte. Notre deuxième contribution consiste à fournir des mécanismes à l'utilisateur pour lui permettre de visualiser, à la demande, des vues simplifiées de la carte initiale. Notre troisième contribution fournit une notion d'échelle qui permet de sélectionner le niveau de détail de la carte que l'on veut voir. Notre quatrième contribution consiste en des mécanismes qui donnent à l'utilisateur une carte adaptée à ses savoirs : ceci s'effectue par l'utilisation de profils des utilisateurs ou de contextes exprimés par des graphes conceptuels. Les systèmes SCCO et SCCC montrent la faisabilité de l'approche.

La stéréovision multi-vues consiste à retrouver la forme des objets à partir de plusieurs images prises de différents points de vue connus. Ceci est un problème inverse où on cherche la cause (l'objet) alors qu'on observe l'effet (les images). Sous une optique bayésienne, la solution serait une reconstruction qui reproduise au mieux les images observées tout en restant plausible a priori. Dans cette thèse, nous présentons des modèles et des méthodes permettant de minimiser la différence entre les images observées et les images obtenues par le rendu de la reconstruction. Pour ceci, il est nécessaire de tenir compte des occultations qui on lieu lors du rendu. Le résultat principal de la thése est le calcul de la dérivée de l'erreur de reprojection par rapport aux variations de surface qui tiens en compte les changements de visibilité lors que la surface se déforme.

La planification est essentielle pour la réussite des projets d'Architecture, Ingénierie et Construction (AIC). La simulation 4D de la construction est une approche innovante qui associe un modèle 3D de l'ouvrage au planning des activités de manière à en simuler la réalisation à travers le temps. Plusieurs travaux ont montré que la simulation 4D est particulièrement intéressante pour la comparaison de la constructibilité des ouvrages et des méthodes de travail, pour l'identification des conflits et des chevauchements, mais aussi comme un outil de collaboration pour les différents acteurs afin de discuter et planifier l'avancement du projet. La planification de la construction est une activité largement collaborative. Pourtant, l'usage collaboratif de la simulation 4D reste limité, notamment à cause du manque d'adaptation des vues manipulées. En effet, la plupart des outils 4D actuels, même s'ils proposent cette « simulation collaborative » comme argument commercial, se contentent de proposer les mêmes vues « standards » à tous les acteurs. Pourtant les méthodes de travail traditionnelles dans le secteur s'appuient sur différentes représentations visuelles que les professionnels ont l'habitude de choisir en fonction de leurs besoins particuliers. L'hypothèse de cette recherche doctorale considère que les vues proposées dans les outils de simulation collaborative 4D devraient être adaptées aux besoins de chacun des acteurs impliqués. L'objectif est de proposer une méthode de conception de vues multiples adaptées aux réels besoins métiers des participants à une simulation collaborative 4D. À cet effet, la recherche étudie les pratiques de planification dans le secteur de la construction, les théories de visualisation de l'information et de conception de vues, ainsi que le travail collaboratif assisté par ordinateur / Planning is crucial for the success of Architecture, Engineering and Construction (AEC) projects. 4D construction simulation is an innovative approach that combines a 3D model of the building with the planning of activities in order to simulate its realization over time. Several studies have shown that 4D simulations are particularly useful for comparing the constructability of structures and working methods for the identification of conflict and overlap, but also as a collaborative tool for stakeholders to discuss and plan the project progress. The construction planning is largely collaborative. However, the use of collaborative 4D simulation is still limited, mainly because of the lack of adaptation of views proposed to users. Indeed, most current 4D tools, even if they offer this ?collaborative simulation? as sales argument, simply offer the same "standard" views to all users. Yet traditional working methods in the sector rely on different visual representations that professionals usually choose according to their specific needs. The hypothesis of this doctoral research considers that the views proposed in 4D collaborative simulation tools should be adapted to the needs of each stakeholder involved. The objective is to propose a method to design 4D multiple views adapted to the real business needs of participants in a collaborative 4D simulation. Thus, the research examines planning practices in the construction sector, and theories from Information Visualization, views design, and Computer-Supported Collaborative Work fields

La localisation est un problème récurrent de la vision par ordinateur, avec des applications dans des domaines multiples tels que la robotique ou la réalité augmentée. Dans cette thèse on considère en particulier le problème d'initialisation de la pose, c'est-à-dire la localisation sans information a priori sur la position de la caméra. Nous nous intéressons à la localisation à partir d'une image monoculaire et d'un nuage de points reconstruit à partir d'une séquence d'images. Puisque nous n'avons pas d'a priori sur la position de la caméra, l'estimation de la pose s'appuie sur la recherche de correspondances entre des points de l'image et des points du modèle de la scène. Cette mise en correspondance est difficile en raison de sa combinatoire élevée. Elle peut être mise en défaut lorsque l'image dont on cherche la pose est très différente de celles ayant servi à la construction du modèle, en particulier en présence de forts changements de point de vue. Cette thèse développe une approche permettant la mise en correspondance image-modèle dans ces situations complexes. Elle consiste à synthétiser localement l'apparence de la scène à partir de points de vue virtuels puis à ajouter au modèle des descripteurs extraits des images synthétisées. Comme le modèle de scène est un nuage de points, la synthèse n'est pas faite par rendu 3D mais utilise des transformations 2D locales des observations connues de la scène. Les contributions suivantes sont apportées. Nous étudions différents modèles de transformation possibles et montrons que la synthèse par homographie est la plus adaptée pour ce type d'application. Nous définissons une méthode de positionnement des points de vue virtuels par rapport à une segmentation de la scène en patchs plans. Nous assurons l'efficacité de l'approche proposée en ne synthétisant que des vues utiles : elles sont éloignées de celles existantes et elles ne se recouvrent pas. Nous vérifions également que la scène est visible à partir des points des vue virtuels pour ne pas produire des vues aberrantes à cause d’occultations. Enfin, nous proposons une méthode de recherche de correspondances image-modèle qui est à la fois rapide et robuste. Cette méthode exploite la répartition non-uniforme des correspondances correctes dans le modèle, ce qui permet de guider leur recherche. Les résultats expérimentaux montrent que la méthode proposée permet de calculer des poses dans des configurations défavorables où les approches standard échouent. De façon générale la précision des poses obtenues augmente significativement lorsque la synthèse de vue est utilisée. Enfin nous montrons que, en facilitant la mise en correspondance image-modèle, cette méthode accélère le calcul de pose / Localisation is a central problem of computer vision which has numerous applications such as robotics or augmented reality. In this thesis we consider the problem of pose initialisation, which is pose computation without prior knowledge on the camera position. We are interested in pose computation from a single image and a point cloud that has been reconstructed from a set of images. As we do not have prior knowledge on the camera position, pose estimation entirely rely on finding correspondences between the image and the model. The search for these correspondences is a difficult problem because of its high combinatorial complexity. It can fail if the image is very different from the ones we used to construct the model, in particular when there is a large viewpoint change between them. This thesis proposes an approach to make matching possible in such difficult scenarios. It consists in synthesising locally the appearance of the scene from virtual viewpoints and add descriptors extracted from these synthetic views to the model. Because the scene model is a point cloud, the synthesis is not a 3D rendering but a local 2D transform of existing observations of the scene. The following contributions have been proposed. We study different transform models and show that homographic transformations are the best suited for this application. We define a method to position the virtual viewpoints with respect to a planar segmentation of the scene model. We ensure time efficiency by only synthesising useful views, i.e. views that are far from the existing one and don't overlap. Furthermore we verify that the synthesized surface is visible from the virtual viewpoint to avoid producing aberrant views due to occlusions. Finally, we propose a robust and time efficient method to research image-model correspondences. It uses geometric cues in a guided matching framework to efficiently identify sets of correct correspondences. Experimental results show that the proposed approach makes possible pose computation in situation where standard methods fail. In general the precision and repeatability of computed poses is significantly improved by the use of view synthesis. We also show that it also reduce the pose computation times by making image-model matching easier

Dans cette thèse, nous avons étudié la reconnaissance des actions qui incluent l'intéraction avec l’objet à partir des données du skeleton et des informations de profondeur fournies par les capteurs RGB-D. Il existe deux principales applications que nous abordons dans cette thèse: la reconnaissance de l'interaction humaine avec l'objet et la reconnaissance d'une activité anormale. Nous proposons, dan un premier temps, une modélisation spatio-temporelle pour la reconnaissance en ligne et hors ligne des interactions entre l’humain et l’objet. Ces caractéristiques ont été adoptées pour la reconnaissance en ligne des interactions humaines avec l’objet et pour la détection de la démarche anormale. Ensuite, nous proposons des caractéristiques liées à d'objet qui décrivent approximativement la forme et la taille de l’objet. Ces caractéristiques sont fusionnées avec les caractéristiques bas-niveau pour la reconnaissance en ligne des interactions humaines avec l’objet. Les expériences menées sur deux benchmarks démontrent l’efficacité de la méthode proposée. Dans le deuxième volet de ce travail, nous étendons l'étude à la détection de la démarche anormale en utilisant le cadre en ligne l’approche. Afin de valider la robustesse de l’approche à la pose, nous avons collecté une base multi-vue pour des interactions humaines avec l’objet, de façon normale et anormale. Les résultats expérimentaux sur le benchmark des actions anormales frontales et sur la nouvelles base prouvent l’efficacité de l’approche. / In this thesis, we have investigated the human object interaction recognition by using the skeleton data and local depth information provided by RGB-D sensors. There are two main applications we address in this thesis: human object interaction recognition and abnormal activity recognition. First, we propose a spatio-temporal modeling of human-object interaction videos for on-line and off-line recognition. In the spatial modeling of human object interactions, we propose low-level feature and object related distance feature which adopted on on-line human object interaction recognition and abnormal gait detection. Then, we propose object feature, a rough description of the object shape and size as new features to model human-object interactions. This object feature is fused with the low-level feature for online human object interaction recognition. In the temporal modeling of human object interactions, we proposed a shape analysis framework based on low-level feature and object related distance feature for full sequence-based off-line recognition. Experiments carried out on two representative benchmarks demonstrate the proposed method are effective and discriminative for human object interaction analysis. Second, we extend the study to abnormal gait detection by using the on-line framework of human object interaction classification. The experiments conducted following state-of-the-art settings on the benchmark shows the effectiveness of proposed method. Finally, we collected a multi-view human object interaction dataset involving abnormal and normal human behaviors by RGB-D sensors. We test our model on the new dataset and evaluate the potential of the proposed approach.

L'automatisation de la numérisation est une étape indispensable au développement de la mesure tridimensionnelle, et ce, dans différents domaines :<br />- en milieu industriel, afin d'accélérer les procédures de contrôle de pièces,<br />- en archéologie et en biologie, pour l'étude de collections de plusieurs centaines voire milliers d'objets (dont l'acquisition est pour le moment impossible en raison du temps nécessaire, et donc du coût).<br />Dans ce mémoire, nous détaillons tout d'abord les différents systèmes d'acquisition et de positionnement existants, en détaillant les avantages et inconvénients de chaque système. Nous présentons ensuite la méthodologie mise en place pour guider l'opérateur dans ces choix ainsi que l'outil d'aide mis en place afin de formaliser cette méthodologie. Puis nous argumenterons de la nécessité de l'automatisation de la numérisation 3D en illustrant les limites et les contraintes des solutions actuellement en place. Des exemples d'application de la méthodologie sont décrits à travers différentes études de cas, mettant en évidence le temps d'intervention de l'opérateur. Ensuite, les méthodes d'automatisation de l'acquisition existantes sont décrites, en expliquant leurs limites face à notre problématique. Deux méthodes sont ensuite proposées : la première définit une planification de vues hors-ligne à partir d'un modèle de référence tandis que la seconde calcule la meilleure position suivante sans aucune information a priori sur l'objet. Ces deux méthodes permettent une numérisation complète d'un objet sans intervention d'un opérateur. Afin de tester ces méthodes, un environnement de simulation a été implémenté, ainsi qu'un prototype. Enfin, les résultats obtenus sont présentés et comparés à une numérisation manuelle.

Restauration Echographique Multi-vues appliquée à l'Imagerie 3D du Sein et du Cœur Nous présentons dans cette thèse de nouvelles techniques pour l'amélioration de la qualité d'images ultrasonores tridimensionnelles. L'échographie est l'une des technologies les plus utilisées en imagerie médicale, car elle est non-invasive, temps réel et relativement peu coûteuse. Cependant, elle a des inconvénients, comme la présence de speckle, une faible résolution spatiale et la dépendance de l'angle d'acquisition. La technique de combinaison spatiale (en anglais spatial compounding), qui consiste à combiner des images selon différents points de vue, a démontré qu'elle permettait de réduire le niveau de speckle. Nous proposons d'étendre cette technique afin améliorer également la résolution spatiale et la dépendance de l'angle d'acquisition. Nous proposons deux nouvelles approches : (i) une déconvolution multi-vues, consistant à résoudre le problème inverse où l'on suppose que chaque acquisition est une version dégradée du tissu original, et on recherche l'image la plus vraisemblable, et (ii) une fusion multi-vues, où l'on construit un volume à partir des caractéristiques présentes dans chaque acquisition. Nous appliquons ces méthodes sur l'imagerie 3D du sein et du cœur. L'obtention des volumes 3D du sein reste un défi, entre autres parce que la résolution est limitée dans le plan d'élévation. Les méthodes proposées permettent de résoudre ces problèmes. De nouvelles sondes en temps-réel et 3D pour l'imagerie du cœur ont été récemment introduites sur le marché. La combinaison par nos méthodes des acquisitions à travers différentes fenêtres acoustiques permet d'augmenter le champ de vue, le contraste des parois et le rapport signal sur bruit.

En dépit des progrès réalisés en vision par ordinateur et en photogrammétrie, la reconstruction tridimensionnelle de scènes à partir de photographies reste un problème extraordinairement complexe et loin d'être résolu. Dans cette thèse, nous nous intéressons au domaine plus restreint de la reconstruction automatique de bâtiments à partir d'images aériennes en multi-recouvrement. En décalage par rapport aux méthodes à base de modèles prédéfinis, notre approche utilise une modélisation très générique des bâtiments comme polyèdres sans surplomb. Pour pallier le manque de robustesse inhérent à la plupart des approches génériques, des contraintes a priori sont introduites dans la sélection de la meilleure représentation favorisant ainsi, sans les imposer, des choix correspondant à des situations récurrentes dans un environnement urbain: parallélisme, horizontalité, orthogonalité, symétrie verticale de certaines facettes. Par ce raisonnement, le système concilie à la fois les problématiques de généricité et de généralisation. La stratégie générale se compose de quatre étapes majeures. La première consiste à extraire des images trois types de primitives tridimensionnelles qui serviront à construire les modèles de bâtiments puis à sélectionner la meilleure représentation: segments 3D, facettes planes, discontinuités altimétriques. Dans un deuxième temps, l'algorithme extrait, à partir de l'arrangement de plans déduit des primitives planes, toutes les hypothèses de bâtiments modélisés comme surfaces polyédriques continues et sans surplomb. Il est prouvé, à cet effet, que cette procédure se ramène à la recherche exhaustive des cliques maximales d'un graphe adéquat. Dans l'ensemble de toutes ces hypothèses, la sélection du modèle final se fait, dans un troisième temps, par le biais d'une formulation bayésienne qui prend en compte différents types d'observation. La complexité du modèle de bâtiment et les contraintes a priori sur les primitives telles qu'orthogonalité, parallélisme, symétrie, horizontalité sont naturellement introduites dans cette formulation pour concilier adéquation aux données et simplicité de formes. Enfin, les contraintes détectées sur les primitives sont effectivement introduites dans la reconstruction. L'algorithme utilise alors une paramétrisation implicite du bâtiment qui assure l'application des contraintes sur le modèle final. La méthodologie de recherche de l'ensemble des formes admissibles par cliques maximales constitue, avec l'intégration de contraintes dans le processus de choix de la représentation et de recalage du modèle, les contributions majeures du système présenté. Des résultats et une évaluation sur images aériennes prouvent la validité de cette approche qui permet de traiter des bâtiments aux formes arbitrairement complexes et de pallier, le cas échéant, les défauts de focalisation. Malgré cette généricité, le système se révèle tolérant aux erreurs des détecteurs de primitives et présente des caractéristiques intéressantes pour la modélisation de scènes péri-urbaines.

La modification d'éclairage et de matériaux dans une image est un objectif de longue date en traitement d'image, vision par ordinateur et infographie. <br /><br /> Cette thèse a pour objectif de calculer une décomposition en images intrinsèques, qui sépare une photographie en composantes indépendantes : la réflectance, qui correspond à la couleur des matériaux, et l'illumination, qui représente la contribution de l'éclairage à chaque pixel. Nous cherchons à résoudre ce problème difficile à l'aide de plusieurs photographies de la scène. L'intuition clé des approches que nous proposons est de contraindre la décomposition en combinant des algorithmes guidés par l'image, et une reconstruction 3D éparse et incomplète générée par les algorithmes de stéréo multi-vue. <br /><br /> Une première approche permet de décomposer des images de scènes extérieures, à partir de plusieurs photographies avec un éclairage fixe. Cette méthode permet non seulement de séparer la réflectance de l'illumination, mais décompose également cette dernière en composantes dues au soleil, au ciel, et à l'éclairage indirect. Une méthodologie permettant de simplifier le processus de capture et de calibration, est ensuite proposée. La troisième partie de cette thèse est consacrée aux collections d'images: nous exploitons les variations d'éclairage afin de traiter des scènes complexes sans intervention de l'utilisateur. <br /><br /> Les méthodes décrites dans cette thèse rendent possible plusieurs manipulations d'images, telles que l'édition de matériaux tout en préservant un éclairage cohérent, l'insertion d'objets virtuels, ou le transfert d'éclairage entre photographies d'une même scène.

Cette thèse présente un système de traitement des vidéos multi-vues plus profondeur (MVD), en utilisant le concept d'images multi-couches (LDI). Plusieurs contributions sont proposées, à la fois dans le domaine de la synthèse de vues à partir de cartes de profondeur et dans le domaine de la construction et de la compression des LDI. La méthode de synthèse de vues proposée est basée sur une nouvelle technique de projection (JPF). La projection JPF prend en entrée des données de type image plus profondeur et synthétise un nouveau point de vue quelconque ; elle est conçue pour détecter et remplir les fissures et les petits découvrements pendant la projection. Une mesure de confiance sur les pixels est introduite afin d'éviter les artéfacts fantômes au niveau des contours. Cette projection JPF est utilisée d'une part avec une technique de ré-alignement de textures lors de l'interpolation de vues intermédiaires, et d'autre part avec une nouvelle méthode de synthèse de textures lors de l'extrapolation de vues virtuelles. Afin d'encoder efficacement les séquences de LDI, un schéma de compression multi-vues (MVC/AVC) est adapté pour exploiter à la fois les redondances temporelles et inter-couche. Une construction incrémentale des LDI est proposée, qui réduit le taux de remplissage des couches additionnelles. L'efficacité de la compression est améliorée par une réorganisation des couches par objet, assurant ainsi une meilleure cohérence spatiale. Deux méthodes de rendu sont finalement proposées : la première utilise la projection JPF alors que la seconde utilise des maillages 3D pour un affichage temps réel sur un écran multi-scopiques.