Realistic visual and audio rendering still remains a technical challenge. Indeed, typical computers do not cope with the increasing complexity of today's virtual environments, both for audio and visuals, and the graphic design of such scenes require talented artists. In the first part of this thesis, we focus on audiovisual rendering algorithms for complex virtual environments which we improve using human perception of combined audio and visual cues. In particular, we developed a full perceptual audiovisual rendering engine integrating an efficient impact sounds rendering improved by using our perception of audiovisual simultaneity, a way to cluster sound sources using human's spatial tolerance between a sound and its visual representation, and a combined level of detail mechanism for both audio and visuals varying the impact sounds quality and the visually rendered material quality of the objects. All our crossmodal effects were supported by the prior work in neuroscience and demonstrated using our own experiments in virtual environments. In a second part, we use information present in photographs in order to guide a visual rendering. We thus provide two different tools to assist “casual artists” such as gamers, or engineers. The first extracts the visual hair appearance from a photograph thus allowing the rapid customization of avatars in virtual environments. The second allows for a fast previewing of 3D scenes reproducing the appearance of an input photograph following a user's 3D sketch. We thus propose a first step toward crossmodal audiovisual rendering algorithms and develop practical tools for non expert users to create virtual worlds using photograph's appearance.

No description available.

No description available.

Recientemente, con la aparición de nuevos sensores visuales de bajo coste capaces de adquirir y reconstruir datos 3D, y de los desarrollos de nuevos métodos, algoritmos y sistemas de percepción basados en información visual 3D, se ha producido una revolución en el desarrollo de aplicaciones robóticas, tales como el reconocimiento de objetos para la interacción de los robots con su entorno en tareas de agarre y manipulado inteligente. Para realizar estas tareas, los robots son dotados con diferentes sensores (como pueden ser cámaras, sensores de presión, fuerza, etc.) que les permitan extraer la información necesaria del entorno de trabajo. En esta tesis serán usados sensores de visión 3D, basados en RGBD. La detección y el reconocimiento de objetos en entornos de trabajo utilizando información tridimensional es un campo de estudio en el que se centran actualmente numerosas investigaciones. Sin embargo, no se ha llegado a resolver por completo el problema del reconocimiento de objetos, en especial cuando el robot se enfrenta a situaciones donde las escenas son complejas. También se debe tener en cuenta temas como el rendimiento de los procesos, ya que cuando se desean desarrollar aplicaciones de manipulado robótico se requieren tiempos de respuesta elevados. Como será discutido durante la tesis, la estructura utilizada para representar los datos e información 3D serán las nubes de puntos. Existen diferentes métodos que permiten extraer la información necesaria de ellas con el fin de reconocer y recuperar la pose de los objetos que contienen. Principalmente hay dos grandes tipos de aproximaciones, las que se basan en información local de las variaciones de la superficie y las que se basan en las características globales de la superficie. El primer grupo ha alcanzado una relativa madurez y esto ha conducido a sistemas de reconocimiento robustos. Sin embargo, presentan inconvenientes como tiempos de computación elevados cuando se trabaja con nubes de puntos densas para representar objetos, o de los elevados requisitos de memoria. El segundo grupo, basado en la extracción global de características, representan la geometría de una superficie con una única firma o histograma (en ocasiones la mezcla de ambos). De este modo se consiguen métodos de descripción con un rendimiento mucho más eficiente. Esta tesis discute cual de las dos aproximaciones es más idónea en tareas de manipulación robótica, para ello se realiza un amplio estudio a nivel teórico-práctico, del cual se presentará un nuevo método de descripción basado en información geométrica global. Por otro lado, se hace especialmente difícil el problema de la manipulación robótica cuando los objetos a manipular tienen propiedades de elasticidad. Como segundo objetivo de esta tesis es presentar un sistema de percepción visual para tareas de manipulación robótica de objetos elásticos. La percepción visual es idónea en tareas de agarre complejas o de manipulación inteligente para ayudar al control de robots cuando otros sistemas sensoriales, como pueden ser los sistemas de percepción táctil o de fuerza, no son capaces de obtener información útil. El sistema visual que se presenta, sirve como soporte de ayuda a otros sistemas de percepción basados en tacto, para llevar a cabo tareas de manipulación de objetos con propiedades de elasticidad. Por un lado, el sistema propuesto presenta una aproximación visual cuyo objetivo es supervisar la interacción entre el objeto manipulado y la herramienta robótica, ya sea pinza o mano, con la que se realiza la manipulación del objeto. Esta aproximación es de gran utilidad en ausencia de información procedente de otro tipo de sensores (p.e. fuerza o táctil) o cuando ésta es pobre o presenta inconsistencias. Por otro lado, el método de supervisión, también, está concebido para medir cambios en la geometría de la superficie del objeto manipulado y por lo tanto, éste es capaz de detectar y localizar deformaciones en la superficie causadas por presiones inadecuadas aplicadas por los dedos de la pinza o mano robótica. Todo los métodos y sistemas propuestos en la presente tesis han sido probados utilizando bases de datos públicas, además los experimentos desarrollados se han realizado empleando distintas plataformas robóticas, pero en todas ellas se emplea como herramienta de manipulación una mano antropomórfica de varios dedos. Es de destacar, que además de utilizar bases de datos de objetos públicas, también se ha desarrollado una base de datos de objetos simples con formas geométricas ambiguas. En el último capítulo de esta tesis se utiliza, un conjunto de objetos para realizar las pruebas en las cuales los elementos a manipular tienen distinta geometría y están fabricados con distintos materiales; esto permite mostrar el comportamiento de la estrategia presentada cuando los objetos tienen distintas propiedades de rigidez, elasticidad y flexibilidad.