The Digital Rosetta Stone is a project developed at Leipzig University by the Chair of Digital Humanities and the Egyptological Institute/Egyptian Museum Georg Steindorff in collaboration with the British Museum and the Digital Epigraphy and Archaeology Project of the University of Florida. The aims of the project are to produce a collaborative digital edition of the Rosetta Stone, address standardization and customization issues for the scholarly community, create data that can be used by students to understand the document in terms of language and content, and produce a high-resolution 3D model of the inscription. The three versions of the text were transcribed and outputted in XML, according to the EpiDoc guidelines. Next, the versions were aligned with the Ugarit iAligner tool that supports the alignment of ancient texts with modern languages, such as English and German. All three texts were then parsed syntactically and morphologically through Treebank annotation. Finally, the project explored new 3D-digitization methodologies of the Rosetta Stone in the British Museum that enhances traditional archaeological methods and facilitates the study of the artifact. The results of this work were used in different courses in Digital Humanities, Digital Philology, and Egyptology.

In this thesis, we investigate the formulation, optimization and ambiguities in single-image 3D surface reconstruction from geometric and photometric constraints. We examine linear, discrete and quadratic constraints for shape from planar curves, shape from texture, and shape from shading. The problem of recovering 3D shape from the projection of planar curves on a surface is strongly motivated by perception studies. Applications include single-view modeling and uncalibrated structured light. When the curves intersect, the problem leads to a linear system for which a direct least-squares method is sensitive to noise. We derive a more stable solution and show examples where the same method produces plausible surfaces from the projection of parallel (non-intersecting) planar cross sections. The problem of reconstructing a smooth surface under constraints that have discrete ambiguities arise in areas such as shape from texture, shape from shading, photometric stereo and shape from defocus. While the problem is computationally hard, heuristics based on semidefinite programming may reveal the shape of the surface. Finally, we examine the shape from shading problem without boundary conditions as a polynomial system. This formulation allows, in generic cases, a complete solution for ideal polyhedral objects. For the general case we propose a semidefinite programming relaxation procedure, and an exact line search iterative procedure with a new smoothness term that favors folds at edges. We use this numerical technique to inspect shading ambiguities.

Les modèles polyédriques, très utilisés dans les processus d'ingénierie, constituent une représentation privilégiée au sein des maquettes numériques de produits. Les approches et méthodes de manipulation et d'exploitation de ces modèles, sont le plus souvent pilotées par un critère géométrique lié à la forme des objets (normale, courbure ...) mais très peu prennent en compte des informations de type perceptuelles. Parallèlement, les techniques de traitement d'images existantes extraient des données (contours, primitives géométriques, textures ...) relatives à la description des formes des objets qu'elles représentent. Ainsi, le but de cette thèse est de réaliser un couplage modèle polyédrique 3D / images numériques 2D pour manipuler les modèles 3D avec des critères extraits d'image(s). Une méthode de simplification et deux méthodes de déformation de polyèdres sont présentées. Dans la première méthode, la simplification est basée sur un processus itératif de suppression de sommets piloté par un critère de tolérance de simplification. Cette tolérance est liée au filtrage de contours d'image(s) qui sont projetés sur le modèle 3D afin d'identifier les zones plus ou moins proches de ces lignes de caractère. Les méthodes de déformation de polyèdres sont appliquées au cas du remplissage de trous. Une triangulation est insérée au modèle puis déformée par la résolution d'un problème d'optimisation numérique sous contraintes. La fonctionnelle à minimiser simule la variation de courbure entre le maillage inséré et le modèle initial. La solution est obtenue par un algorithme itératif basé sur un modèle mécanique de réseau de barres. Les contraintes imposent le respect de lignes de caractère 3D obtenues par triangulation stéréoscopique dans la première méthode, ou bien calculées en fonction de l'intensité lumineuse des pixels et qui imposent le déplacement des sommets correspondants suivant une certaine élévation (problème inverse du Shape From Shading). Les trois méthodes implémentées sont complètement modulaires.

Comprendre, analyser et modéliser l'environment 3D à partir d'images provenant de caméras et d'appareils photos est l'un des défis majeurs actuel de recherche en vision par ordinateur. Cette thèse s'interesse à plusieurs aspects géométriques et photometriques liés à la reconstruction de surface à partir de plusieurs caméras calibrées. La reconstruction 3D est vue comme un problème de rendu inverse, et vise à minimiser une fonctionnelle d'énergie afin d'optimiser un maillage triangulaire représentant la surface à reconstruire. L'énergie est définie via un modèle génératif faisant naturellement apparaître des attributs tels que la visibilité ou la photométrie. Ainsi, l'approche présentée peut indifférement s'adapter à divers cas d'application tels que la stéréovision multi-vues, la stéréo photométrique multi-vues ou encore le "shape from shading" multi-vues. Plusieurs approches sont proposées afin de résoudre les problèmes de correspondances de l'apparence pour des scènes non Lambertiennes, dont l'apparence varie en fonction du point de vue. La segmentation, la stéréo photométrique ou encore la réciprocité d'Helmholtz sont des éléments étudiés afin de contraindre la reconstruction. L'exploitation de ces contraintes dans le cadre de reconstruction multi-vues permet de reconstruire des modèles complets 3D avec une meilleure qualité.

In this thesis, we investigate the formulation, optimization and ambiguities in single-image 3D surface reconstruction from geometric and photometric constraints. We examine linear, discrete and quadratic constraints for shape from planar curves, shape from texture, and shape from shading. The problem of recovering 3D shape from the projection of planar curves on a surface is strongly motivated by perception studies. Applications include single-view modeling and uncalibrated structured light. When the curves intersect, the problem leads to a linear system for which a direct least-squares method is sensitive to noise. We derive a more stable solution and show examples where the same method produces plausible surfaces from the projection of parallel (non-intersecting) planar cross sections. The problem of reconstructing a smooth surface under constraints that have discrete ambiguities arise in areas such as shape from texture, shape from shading, photometric stereo and shape from defocus. While the problem is computationally hard, heuristics based on semidefinite programming may reveal the shape of the surface. Finally, we examine the shape from shading problem without boundary conditions as a polynomial system. This formulation allows, in generic cases, a complete solution for ideal polyhedral objects. For the general case we propose a semidefinite programming relaxation procedure, and an exact line search iterative procedure with a new smoothness term that favors folds at edges. We use this numerical technique to inspect shading ambiguities.

Cette thèse traite de la reconstruction 3D par stéréophotométrie, qui consiste à utiliser plusieurs photographies d'une scène prises sous le même angle, mais sous différents éclairages. Nous nous intéressons dans un premier temps à des techniques robustes pour l'estimation des normales à la surface, et pour leur intégration en une carte de profondeur. Nous étudions ensuite deux situations où le problème est mal posé : lorsque les éclairages sont inconnus, ou lorsque seuls deux éclairages sont utilisés. La troisième partie est consacrée à l'étude de modèles plus réalistes, à la fois en ce qui concerne les éclairages et la réflectance de la surface. Ces trois premières parties nous amènent aux limites de la formulation classique de la stéréophotométrie : nous introduisons finalement, dans la partie 4, une reformulation variationnelle et différentielle du problème qui permet de dépasser ces limites. / This thesis tackles the photometric stereo problem, a 3D-reconstruction technique consisting in taking several pictures of a scene under different lightings. We first focus on robust techniques for estimating the normals to the surface, and for integrating these normals into a depth map. Then, we study two situations where the problem is ill-posed: when lightings are unknown and when only two images are used. Part 3 is devoted to more realistic models, in terms of lightings and of surface reflectance. These first three parts bring us to the limits of the usual formulation of photometric stereo: we eventually introduce in Part 4 a variational and differential reformulation of this problem which allows us to overcome these limits.

De plus en plus d'importance est accordée à la création d'objets 3D en raison des récents essors technologiques. Il est donc crucial de fournir des outils appropriés et accessibles aux utilisateurs de tous les horizons. Malheureusement, les outils traditionnellement utilisés en création 3D sont conçus pour des professionnels, exigent des formations complexes et de longue durée, et ne sont pas adaptés à ceux inexperimentés qui forment la vaste majorité des utilisateurs potentiels. Nous proposons un outil de création simplifié qui utilise des méthodes inspirées d'esquisses. Dans un premier temps, le maillage désiré est créé à partir d'un contour tracé. L'intérieur est gonflé suivant la méthode de Dvoroznak et al. Dans un deuxième temps, la hauteur des sommets du maillage est manipulée en modifiant les courbes formées par l'ombrage. Cet ombrage provient d'un modèle de réflexion Lambertien pour une lumière directionnelle donnée. Notre méthode consiste à utiliser les courbes formées par la méthode des charactéristiques associée au problème de figure dérivée de l'ombre (Shape-From-Shading). Avec les courbes, nous identifions les régions affectées par la modification de l'ombrage. L'une de ces régions sera utilisée pour interpoler l'ombrage d'après la nouvelle isophote. À partir de ce nouvel ombrage, les courbes de la méthode des characteristiques seront utilisées afin de trouver le nouveau déplacement en s'assurant d'altérer uniquement la région affectée par le changement dans l'ombrage. Les maillages créés peuvent ensuite être combinés suivant la méthode proposée par Dvoroznak et al. afin de former un maillage unique et complexe. Notre outil se veut plus intuitif que les outils traditionnels de création. Nos résultats en illustrent le potentiel. / Due to recent technological advances, the creation of 3D objects is becoming more important. It is critical to offer appropriate and accessible tools to users from diverse backgrounds. Unfortunately, the tools traditionally used in 3D creation are designed for professionals, require complex and time-consuming training, and are unsuitable for inexperienced users who form the vast majority of potential users. We propose a simplified creation tool that uses sketch-based methods. First, the desired mesh is created from a traced outline. The interior is inflated following the method of Dvoroznak et al. Second, the height (displacement) of the mesh is achieved by altering the strips created by shading. Shading is the result of a Lambertian reflection model for a given directional light. Our method consists of using the strips from the method of characteristics applied to solve Shape-From-Shading. Using the strips, we identify the regions affected by the change in shading. One of these regions will be used to interpolate the shading according to the new isophote. From this new shading, the characteristic strips will be used to find the new height, ensuring that only the region affected by the change in shading is altered. The meshes created can then be combined, inspired by the method proposed by Dvoroznak et al. to form a single, complex mesh. Our tool is designed to be more intuitive than the ones provided by professional 3D software. Our results illustrate its potential.

Sidescan sonars are tools used in seabed inspection and imagery. As a smaller and cheaper compared to the alternatives tool, it has attracted attention and many studies have been developed to extract information about the seabed altitude from the produced images. The main issue is that sidescan sonars do not provide elevation angle information, therefore a 3D map of the seabed cannot be inferred directly. One of the most recent techniques to tackle this problem is called neural rendering [1], in which the sea surface bathymetry is implicitly represented using a neural network. The purpose of this thesis is (1) to find the minimum altitude change that can be detected using this technique, (2) to check whether the position of the sonar ensonification has any effect on these results, and (3) to check from how many sides is it sufficient to ensonify the region with altitude change in order to detect it confidently. To conduct this research, simulations of missions conducted by an autonomous underwater vehicle with sidescan sonar heads on both sides are done on a map, where different objects from various sizes and shapes are put. Then, neural rendering is used to reconstruct the bathymetry of the maps before and after the object insertion from the sidescan sonar. The reconstructed seabed elevations are then compared and the objects with the smallest size or altitude that were detected (meaning that the predicted height from the model trained on the map with the objects is significantly larger than that of the model trained on the initial map) would be the answer to the first question. Then, those smallest objects are again put on the same map, and now smaller autonomous underwater vehicle missions are used to check how many sides are need so that the objects are still detectable. The conducted experiments suggest that objects with bathymetry elevation in the range of centimeters can be detected, and in some cases ensonification from 2 sides is sufficient to detect an object with confidence. / Sidenskannings-sonarer spelar en avgörande roll i inspektionen av havsbotten och erbjuder kostnadseffektiva alternativ till traditionella verktyg. Bristen på information om elevationsvinklar utgör dock en utmaning för att direkt härleda en 3D-karta över havsbotten. Denna avhandling undersöker tillämpningen av neural rendering [1], en nyligen utvecklad teknik som implicit representerar havsytsbathymetri med neurala nätverk, för att adressera denna begränsning. Målen med denna forskning är tre: (1) att bestämma den minsta detekterbara höjdändringen med hjälp av neural rendering, (2) att bedöma effekten av sonarens ensonifieringsposition på detektionsresultaten och (3) att undersöka det minsta antalet sidor som krävs för pålitlig objektdetektion i områden med höjdändringar. Metoden innefattar simuleringar av autonoma undervattensfordonsuppdrag utrustade med sidenskannings-sonarer på båda sidor. Olika objekt av varierande storlekar och former introduceras på en karta, och neural rendering används för att återskapa bathymetrier före och efter objektets insättning. Analysen fokuserar på att jämföra de återskapade havsbottenhöjderna och identifiera de minsta objekten eller höjdändringarna som är möjliga att detektera med modellen. Därefter återintroduceras dessa minimala objekt på kartan, och mindre uppdrag med autonoma undervattensfordon genomförs för att fastställa det minsta antalet sidor som krävs för pålitlig detektion. Forskningsresultaten indikerar att objekt med höjdändringar i centimeterskalan kan detekteras pålitligt. Dessutom tyder experimenten på att i vissa fall är ensonifiering från endast två sidor tillräckligt för pålitlig objektdetektion. Denna forskning bidrar med värdefulla insikter för att optimera sidenskanningssonarapplikationer för havsbotteninspektion, vilket erbjuder potentiella förbättringar av effektivitet och kostnadseffektivitet för undervattensutforskning och kartläggning.

Le problème du « Shape From Shading » est aujourd'hui considéré comme un problème mal posé et difficile à résoudre. Afin de bien comprendre les difficultés de ce problème et d'apporter des solutions fiables et pertinentes, nous proposons une approche rigoureuse basée sur la notion de solution de viscosité.<br />Après avoir considéré et exploité au maximum les équations (aux dérivées partielles) obtenues à partir de la modélisation classique du problème du « Shape From Shading », nous proposons et étudions de nouvelles équations provenant de modélisations plus réalistes que celles qui avaient été traitées classiquement dans la littérature. Cette démarche nous permet alors de démontrer qu'avec de telles nouvelles modélisations, le problème du « Shape From Shading » est généralement un problème complètement bien posé. En d'autres termes, nous prouvons que la version classique du problème du « Shape from Shading » est devenu mal posée à cause d'une trop grande simplification de la modélisation.<br />Dans ce travail, nous proposons aussi une extension de la notion de solutions de viscosité singulières développée récemment par Camilli et Siconolfi. Cette extension nous permet de proposer une nouvelle caractérisation des solutions de viscosité discontinues. Ce nouveau cadre théorique nous permet aussi d'unifier les différents résultats théoriques proposés dans le domaine du « Shape From Shading ».

This thesis treats static and dynamic surface characterization using radiometric and Fourier optical methods. A Fourier optical method has been developed for real time image processing in paper production and printing applications. It has been shown that the method can be used to measure crepe frequency, an important parameter in tissue paper production, as well as to monitor the wire mark pattern at paper web velocities of up to 20 m/s. The wire mark pattern has been used to measure dimensional variations across a paper web. These are important for the mechanical properties of paper. Imaging of the moving surfaces onto a spatial light modulator, necessary for Fourier optical analysis of opaque objects, constitutes a motion blur problem. This problem has been solved by means of optical motion compensation using a rotating mirror. A rotating mirror system has also been developed for the inspection of small particles fixed to a rotating sample disc. The optical motion compensation configurations have made exposure times of more than two orders of magnitude longer than the exposure time without compensation possible. A light scattering model for opaque objects, for example coated paper, has also been developed and verified, with a coefficient of determination between theory and measurement ranging from r2=0.84 to r2=0.98, on various paper samples. The light scattering model has been used in the development of an instrument based on the photometric stereo principle. In this instrument the reflectance (or color) and topography of opaque samples are determined from two or more images of the sample illuminated from different directions. The method has been successfully used for studies of the relation between topography and print results in gravure and flexographic printing. Comparisons of surface height profiles measured with the photometric stereo method and profiles obtained with mechanical and optical scanning stylus instruments have shown coefficients of determination of up to r2=0.97. The main advantages of the method are the high speed, the scalability and the ability to obtain reflectance and surface height maps of a surface simultaneously.