This research investigates scalable video communications and its applications to video streaming, conferencing and 3DTV. Scalable video coding (SVC) is a layer-based encoding scheme that provides spatial, temporal and quality scalability. Heterogeneity of the Internet and clients' operating environment necessitate the adaptation of media content to ensure a satisfactory multimedia experience. SVC's layer structure allows the extraction of partial bitstreams at reduced spatial, quality and temporal resolutions that adjust the media bitrate at a fine granularity to changes in network state. The main focus of this research work is in developing such extraction algorithms in the context of SVC. Based on a combination of metadata computations and prediction mechanisms, these algorithms evaluate the quality contribution of each layer in the SVC bitstream and make extraction decisions that are aimed at maximizing video quality while operating within the available bandwidth resources. These techniques are applied in two-way interaction and one-way streaming of 2D and 3D content. Depending on the delay tolerance of these applications, rate-distortion optimized extraction algorithms are proposed. For conferencing applications, the extraction decisions are made over single frames and frame pairs due to tight end-to-end delay constraints. The proposed extraction algorithms for 3D content streaming maximize the overall perceived 3D quality based on human stereoscopic perception. When compared to current extraction methods, the new algorithms offer better video quality at a given bitrate while performing lesser number of metadata computations in the post-encoding phase. The solutions proposed for each application achieve the recurring goal of maintaining the best possible level of end-user quality of multimedia experience in spite of network impairments.

Three dimensional television (3DTV) is believed to be the future of television broadcasting that will replace current 2D HDTV technology. In the future, 3DTV will bring a more life-like and visually immersive home entertainment experience, in which users will have the freedom to navigate through the scene to choose a different viewpoint. A desired view can be synthesized at the receiver side using depth image-based rendering (DIBR). While this approach has many advantages, one of the key challenges in DIBR is generating high quality synthesized views. This work presents novel methods to measure and enhance the quality of 3D videos generated through DIBR. For quality measurements we describe a novel method to characterize and measure distortions by multiple cameras used to capture stereoscopic images. In addition, we present an objective quality measure for DIBR-based 3D videos by evaluating the elements of visual discomfort in stereoscopic 3D videos. We also introduce a new concept called the ideal depth estimate, and define the tools to estimate that depth. Full-reference and no-reference profiles for calculating the proposed measures are also presented. Moreover, we introduce two innovative approaches to improve the quality of the synthesized views generated by DIBR. The first approach is based on hierarchical blending of the background and foreground information around the disocclusion areas which produces a natural looking, synthesized view with seamless hole-filling. This approach yields virtual images that are free of any geometric distortions, unlike other algorithms that preprocess the depth map. In contrast to the other hole-filling approaches, our approach is not sensitive to depth maps with high percentage of bad pixels from stereo matching. The second approach further enhances the results through a depth-adaptive preprocessing of the colored images. Finally, we propose an enhancement over depth estimation algorithm using the depth monocular cues from luminance and chrominance. The estimated depth will be evaluated using our quality measure, and the hole-filling algorithm will be used to generate synthesized views. This application will demonstrate how our quality measures and enhancement algorithms could help in the development of high quality stereoscopic depth-based synthesized videos.

Cette thèse, consacrée à la mesure endoscopique de formes tridimensionnelle, se place dans un double contexte applicatif : tout d'abord industriel, avec l'inspection endoscopique de pièces mécaniques en milieu contraint (notamment tubulaire) à des résolutions micrométriques. Le second contexte est médical avec la détection de formes tridimensionnelle lors de coloscopies pour l'aide au diagnostic. L'endoscopie souple est obtenue par l'utilisation de guides optiques, la méthode de mesure tridimensionnelle est basée sur la stéréovision active avec la génération de lumière structurée par une matrice de micro-miroirs. Après avoir établi l'état de l'art, une méthode de conception et d'évaluation optique appliquée à la stéréovision en endoscopie souple est décrite. C'est ensuite la réalisation instrumentale, son évaluation métrologique, et une méthode innovante de basculement de modes dynamique entre stéréovision active et passive qui sont détaillées. Des méthodes algorithmiques de reconstruction tridimensionnelle adaptées à ce type d'instrument sont enfin proposées. Les contributions scientifiques de cette étude sont multiples. Une méthode d'analyse optique basée sur l'utilisation de fonctions de transfert de modulation pour la conception d'un endoscope mesurant par stéréovision est proposée. Des méthodes de traitement d'image pour un étalonnage robuste malgré une défocalisation optique ainsi qu'un nouvel algorithme à décalage de phase constituent également des contributions de l'étude. L'association de ces méthodes a permis d'extraire un principe de réalisation permettant la mesure tridimensionnelle par endoscopie souple. / This thesis aims at developing a tri-dimensional measurement endoscopic device in a double context: the first one is industrial with endoscopic inspection of mechanical pieces (tubular inspection, for example) at micrometric resolution. The second context is medical with tri-dimensional shape detection during colonoscopy to help the surgeon diagnosis. In this study, flexible endoscopy is made possible by using image guides and the tri-dimensional reconstruction method is based on active stereovision where a digital micro-mirror device is used to spatially structure the incoming light. After developing the state of the art, an optical conception and evaluation method, applied to stereovision for flexible endoscopic devices is described. The instrumental realization is then detailed and metrologically evaluated. An innovative method that allows to switch dynamically between active and passive stereovision is then detailed. Finally, 3D reconstruction algorithms adapted to this endoscopic instrument are proposed. The scientific contributions of this study are multiple. Firstly, an optical analysis method based on the modulation transfer function to design an endoscopic stereovision system is proposed. An image processing method for robust calibration in a defocused optical environment and a new phase-shifting algorithm for 3D reconstruction are proposed. Finally, a realization principle for 3D measurement in flexible endoscopy was extracted from the combination of all these methods.

Les techniques de reconstruction de formes tridimensionnelles sont très largement utilisées dans de nombreux domaines, et notamment dans le domaine industriel ou médical. Et dans ces domaines, les techniques de mesure sans contact sont particulièrement étudiées, principalement parce qu'elles permettent de ne pas détériorer l'objet mesuré. Ce travail de thèse se place donc dans ce contexte et plus particulièrement dans le cas des dispositifs endoscopiques de mesure tridimensionnelle de surface par moyen optique. Dans le domaine médical, ce type d'instrument peut être appliqué à la coloscopie 3D ou à la chirurgie mini-invasive pour la détection de forme en surface de tissus biologiques. Dans cette thèse ce sont plus particulièrement les méthodes à base de stéréovision active ou passive, qui vont être étudiées et intégrées dans un dispositif miniaturisé. Différents modes de mesure vont être intégrés simultanément dans un unique instrument miniaturisé afin de permettre d'augmenter les performances de mesure : l'instrument peut adapter son principe de mesure à la texture de l'objet ou également à l'orientation des surfaces mesurées et plus généralement au contexte de la mesure. Ce travail de thèse est donc basé sur une étude algorithmique et instrumentale d'intégration de ces différents modes de mesure dans un unique instrument endoscopique miniaturisé. L'étude des modes de mesure par stéréovision a été réalisée en trois phases. Tout d'abord, c'est l'influence de l'orientation de la surface des objets mesurés dans un cas de stéréovision active qui est analysé. Puis une technique de basculement entre les voies de projection et d'acquisition du système de stéréovision active par actionnement bistable est proposé, ce qui permet d'adapter la mesure à l'orientation des surfaces à mesurer. Enfin, l'étude est orientée vers la possibilité de basculer d'un mode de stéréovision active vers un mode de stéréovision passive, toujours par actionnement bistable, le mode de stéréovision passive étant particulièrement adapté aux objets fortement texturés. Ainsi, trois modes de mesure sont réalisés dans ce nouveau système : deux modes de stéréovision active (avec inversion des voies de capture et de projection) et un mode de stéréovision passive. Pour réaliser la reconstruction tridimensionnelle, deux méthodes actives (par décalage de phase et par transformation de Fourier) et une méthode passive sont étudiées. Différentes performances de mesure sont obtenues selon les méthodes sélectionnées : un résultat de mesure plus précis est obtenu par les méthodes à. décalage de phase, une vitesse de mesure plus élevée est obtenu par les méthodes à transformée de Fourier ou par les méthodes passives. Le développement instrumental est également décrit dans cette thèse. Après modélisation optique et conception mécanique du système de mesure, un prototype de l'instrument endoscopique est fabriqué avec divers équipements spécifiques, tels qu'un DMD (Digital Micromirror Device), des guides d'images et des actionneurs électromagnétiques bistables. La validation expérimentale de la mesure tridimensionnelle est réalisée essentiellement sur objets mécaniques (du type mesure de détails sur pièce de monnaie), les deux méthodes actives et la méthode passives sont ainsi testées et confrontées. Enfin, une mesure sur un colon artificiel est réalisée par ce système pour se placer dans un contexte applicatif médical. / The techniques of three dimensional shapes reconstruction are widely used in many fields, particularly in the industrial or medical field. And in these areas, non-contact measurement techniques are particularly studied, mainly because they don't damage the measured object. This work therefore falls within this context and in particular in the case of endoscopic devices of surface coordinate measuring by optical methods. ln the medical field, this type of instrument can be applied to 3D colonoscopy or minimally invasive surgery to the surface in the form of biological tissues. In this thesis, methods based on active or passive stereo vision are the principle, which will be studied and integrated into a miniaturized device. Different measurement modes will be incorporated simultaneously into a single miniaturized instrument to help increase measurement performance: the instrument can adjust its measurement principle to the texture of the object or also to the orientation of measured surfaces more generally to the context of the measurement. This thesis is based on an algorithmic study and instrumental integration of these different measurement modes into a single miniaturized endoscopic instrument. The study of the measurement modes stereovision was conducted in three phases. First, it is the influence of the orientation of the measured objects' surface in a case of active stereovision being analyzed. And a technique of switching between the projection and acquisition in an active stereovision system by bistable actuation is proposed, which allows to adapt the measurement to the orientation of the measured surfaces. Finally, the study is oriented towards the ability to switch from one active stereovision mode to one passive stereovision mode, always by bistable actuator operation, the passive stereovision mode is particularly suitable for highly textured objects. Thus, three measurement modes are made in the new system: two modes of active stereovision (reversing capture and projection channels) and a mode of passive stereovision. To achieve three-dimensional reconstruction, two active methods (phase shift and Fourier Transform) and a passive method are studied. Different performance measurements are obtained according to methods selected: a more accurate measuring result is obtained by the phase shift methods; a high measurement speed is obtained by the Fourier transform methods or by passive methods. The instrumental development is also described in this thesis. After optical modeling and mechanical design of the measuring system, a prototype of the endoscopic instrument is manufactured with various specific devices such as a DMD (Digital Micromirror Deviee),images guides and bistable electromagnetic actuators. The experimental validation of the three-dimensional measurement is performed mainly on mechanical objects (such as details measurement on a coin), both active and passive method methods are well tested and compared. Finally, an artificial colon is measured by this system to be placed in a medical application context.