In this thesis we tackle two problems, namely, the data interpolation prob-
lem in the context of depth computation both for images and for videos, and
the problem of the estimation of the apparent movement of objects in image
sequences. The rst problem deals with completion of depth data in a region
of an image or video where data are missing due to occlusions, unreliable data,
damage or lost of data during acquisition. In this thesis we tackle it in two ways.
First, we propose a non-local gradient-based energy which is able to complete
planes locally. We consider this model as an extension of the bilateral lter to
the gradient domain. We have successfully evaluated our model to complete
synthetic depth images and also incomplete depth maps provided by a Kinect
sensor.
The second approach to tackle the problem is an experimental study of the
Biased Absolutely Minimizing Lipschitz Extension (biased AMLE in short) for
anisotropic interpolation of depth data to big empty regions without informa-
tion. The AMLE operator is a cone interpolator, but the biased AMLE is an
exponential cone interpolator which makes it more addapted to depth maps of
real scenes that usually present soft convex or concave surfaces. Moreover, the
biased AMLE operator is able to expand depth data to huge regions. By con-
sidering the image domain endowed with an anisotropic metric, the proposed
method is able to take into account the underlying geometric information in
order not to interpolate across the boundary of objects at di erent depths. We
have proposed a numerical model to compute the solution of the biased AMLE
which is based on the eikonal operators. Additionally, we have extended the
proposed numerical model to video sequences.
The second problem deals with the motion estimation of the objects in a
video sequence. This problem is known as the optical
ow computation. The
Optical
ow problem is one of the most challenging problems in computer vision.
Traditional models to estimate it fail in presence of occlusions and non-uniform
illumination. To tackle these problems we proposed a variational model to
jointly estimate optical
ow and occlusion. Moreover, the proposed model is
able to deal with the usual drawback of variational methods in dealing with
fast displacements of objects in the scene which are larger than the object it-
self. The addition of a term that balance gradient and intensities increases the
robustness to illumination changes of the proposed model. The inclusions of a
supplementary matches given by exhaustive search in speci cs locations helps
to follow large displacements. / En esta tesis se abordan dos problemas: interpolación de datos en el contexto
del cálculo de disparidades tanto para imágenes como para video, y el
problema de la estimación del movimiento aparente de objetos en una secuencia
de imágenes. El primer problema trata de la completación de datos de profundidad
en una región de la imagen o video dónde los datos se han perdido debido
a oclusiones, datos no confiables, datos dañados o pérdida de datos durante la
adquisición. En esta tesis estos problemas se abordan de dos maneras. Primero,
se propone una energía basada en gradientes no-locales, energía que puede (localmente)
completar planos. Se considera este modelo como una extensión del
filtro bilateral al dominio del gradiente. Se ha evaluado en forma exitosa el
modelo para completar datos sintéticos y también mapas de profundidad incompletos
de un sensor Kinect.
El segundo enfoque, para abordar el problema, es un estudio experimental
del biased AMLE (Biased Absolutely Minimizing Lipschitz Extension) para
interpolación anisotrópica de datos de profundidad en grandes regiones sin información. El operador AMLE es un interpolador de conos, pero el operador
biased AMLE es un interpolador de conos exponenciales lo que lo hace estar
más adaptado a mapas de profundidad de escenas reales (las que comunmente
presentan superficies convexas, concavas y suaves). Además, el operador biased
AMLE puede expandir datos de profundidad a regiones grandes. Considerando
al dominio de la imagen dotado de una métrica anisotrópica, el método propuesto
puede tomar en cuenta información geométrica subyacente para no interpolar
a través de los límites de los objetos a diferentes profundidades. Se ha
propuesto un modelo numérico, basado en el operador eikonal, para calcular la
solución del biased AMLE. Adicionalmente, se ha extendido el modelo numérico
a sequencias de video.
El cálculo del
flujo óptico es uno de los problemas más desafiantes para la
visión por computador. Los modelos tradicionales fallan al estimar el
flujo óptico
en presencia de oclusiones o iluminación no uniforme. Para abordar este problema
se propone un modelo variacional para conjuntamente estimar
flujo óptico
y oclusiones. Además, el modelo propuesto puede tolerar, una limitación tradicional
de los métodos variacionales, desplazamientos rápidos de objetos que son
más grandes que el tamaño objeto en la escena. La adición de un término para
el balance de gradientes e intensidades aumenta la robustez del modelo propuesto
ante cambios de iluminación. La inclusión de correspondencias adicionales
(obtenidas usando búsqueda exhaustiva en ubicaciones específicas) ayuda a estimar
grandes desplazamientos.
| Identifer | oai:union.ndltd.org:TDX_UPF/oai:www.tdx.cat:10803/373917 |
| Date | 04 February 2016 |
| Creators | Lazcano, Vanel |
| Contributors | Ballester, Coloma,, Caselles, Vicente, Universitat Pompeu Fabra. Departament de Tecnologies de la Informació i les Comunicacions |
| Publisher | Universitat Pompeu Fabra |
| Source Sets | Universitat Pompeu Fabra |
| Language | English |
| Detected Language | Spanish |
| Type | info:eu-repo/semantics/doctoralThesis, info:eu-repo/semantics/publishedVersion |
| Format | 182 p., application/pdf |
| Source | TDX (Tesis Doctorals en Xarxa) |
| Rights | L'accés als continguts d'aquesta tesi queda condicionat a l'acceptació de les condicions d'ús establertes per la següent llicència Creative Commons: http://creativecommons.org/licenses/by-nc-sa/3.0/es/, info:eu-repo/semantics/openAccess |
Page generated in 0.0027 seconds