L'anàlisi de moviment i seguiment d'objectes ha estat un dels pricipals focus d'atenció en la comunitat de visió per computador durant les dues darreres dècades. L'interès per aquesta àrea de recerca resideix en el seu ample ventall d'aplicabilitat, que s'extén des de tasques de navegació de vehicles autònoms i robots, fins a aplications en la indústria de l'entreteniment i realitat virtual.Tot i que s'han aconseguit resultats espectaculars en problemes específics, el seguiment d'objectes continua essent un problema obert, ja que els mètodes disponibles són propensos a ser sensibles a diversos factors i condicions no estacionàries de l'entorn, com ara moviments impredictibles de l'objecte a seguir, canvis suaus o abruptes de la il·luminació, proximitat d'objectes similars o fons confusos. Enfront aquests factors de confusió la integració de múltiples característiques ha demostrat que permet millorar la robustesa dels algoritmes de seguiment. En els darrers anys, degut a la creixent capacitat de càlcul dels ordinadors, hi ha hagut un significatiu increment en el disseny de complexes sistemes de seguiment que consideren simultàniament múltiples característiques de l'objecte. No obstant, la majoria d'aquests algoritmes estan basats enheurístiques i regles ad-hoc formulades per aplications específiques, fent-ne impossible l'extrapolació a noves condicions de l'entorn.En aquesta tesi proposem un marc probabilístic general per integrar el nombre de característiques de l'objecte que siguin necessàries, permetent que interactuin mútuament per tal d'estimar-ne el seu estat amb precisió, i per tant, estimar amb precisió la posició de l'objecte que s'està seguint. Aquest marc, s'utilitza posteriorment per dissenyar un algoritme de seguiment, que es valida en diverses seqüències de vídeo que contenen canvis abruptes de posició i il·luminació, camuflament de l'objecte i deformacions no rígides. Entre les característiques que s'han utilitzat per representar l'objecte, cal destacar la paramatrització robusta del color en un espai de color dependent de l'objecte, que permet distingir-lo del fons més clarament que altres espais de color típicament ulitzats al llarg de la literatura.En la darrera part de la tesi dissenyem una tècnica per re-il·luminar tant escenes estàtiques com en moviment, de les que s'en desconeix la geometria. La re-il·luminació es realitza amb un mètode 'basat en imatges', on la generació de les images de l'escena sota noves condicions d'il·luminació s'aconsegueix a partir de combinacions lineals d'un conjunt d'imatges de referència pre-capturades, i que han estat generades il·luminant l'escena amb patrons de llum coneguts. Com que la posició i intensitat de les fonts d'il.luminació que formen aquests patrons de llum es pot controlar, és natural preguntar-nos: quina és la manera més òptima d'il·luminar una escena per tal de reduir el nombre d'imatges de referència? Demostrem que la millor manera d'il·luminar l'escena (és a dir, la que minimitza el nombre d'imatges de referència) no és utilitzant una seqüència de fonts d'il·luminació puntuals, com es fa generalment, sinó a través d'una seqüència de patrons de llum d'una base d'il·luminació depenent de l'objecte. És important destacar que quan es re-il·luminen seqüències de vídeo, les imatges successives s'han d'alinear respecte a un sistema de coordenades comú. Com que cada imatge ha estat generada per un patró de llum diferent il·uminant l'escena, es produiran canvis d'il·luminació bruscos entre imatges de referència consecutives. Sota aquestes circumstàncies, el mètode de seguiment proposat en aquesta tesi juga un paper fonamental. Finalment, presentem diversos resultats on re-il·luminem seqüències de vídeo reals d'objectes i cares d'actors en moviment. En cada cas, tot i que s'adquireix un únic vídeo, som capaços de re-il·luminar una i altra vegada, controlant la direcció de la llum, la seva intensitat, i el color. / Motion analysis and object tracking has been one of the principal focus of attention over the past two decades within the computer vision community. The interest of this research area lies in its wide range of applicability, extending from autonomous vehicle and robot navigation tasks, to entertainment and virtual reality applications.Even though impressive results have been obtained in specific problems, object tracking is still an open problem, since available methods are prone to be sensitive to several artifacts and non-stationary environment conditions, such as unpredictable target movements, gradual or abrupt changes of illumination, proximity of similar objects or cluttered backgrounds. Multiple cue integration has been proved to enhance the robustness of the tracking algorithms in front of such disturbances. In recent years, due to the increasing power of the computers, there has been a significant interest in building complex tracking systems which simultaneously consider multiple cues. However, most of these algorithms are based on heuristics and ad-hoc rules formulated for specific applications, making impossible to extrapolate them to new environment conditions.In this dissertation we propose a general probabilistic framework to integrate as many object features as necessary, permitting them to mutually interact in order to obtain a precise estimation of its state, and thus, a precise estimate of the target position. This framework is utilized to design a tracking algorithm, which is validated on several video sequences involving abrupt position and illumination changes, target camouflaging and non-rigid deformations. Among the utilized features to represent the target, it is important to point out the use of a robust parameterization of the target color in an object dependent colorspace which allows to distinguish the object from the background more clearly than other colorspaces commonly used in the literature.In the last part of the dissertation, we design an approach for relighting static and moving scenes with unknown geometry. The relighting is performed through an -image-based' methodology, where the rendering under new lighting conditions is achieved by linear combinations of a set of pre-acquired reference images of the scene illuminated by known light patterns. Since the placement and brightness of the light sources composing such light patterns can be controlled, it is natural to ask: what is the optimal way to illuminate the scene to reduce the number of reference images that are needed? We show that the best way to light the scene (i.e., the way that minimizes the number of reference images) is not using a sequence of single, compact light sources as is most commonly done, but rather to use a sequence of lighting patterns as given by an object-dependent lighting basis. It is important to note that when relighting video sequences, consecutive images need to be aligned with respect to a common coordinate frame. However, since each frame is generated by a different light pattern illuminating the scene, abrupt illumination changes between consecutive reference images are produced. Under these circumstances, the tracking framework designed in this dissertation plays a central role. Finally, we present several relighting results on real video sequences of moving objects, moving faces, and scenes containing both. In each case, although a single video clip was captured, we are able to relight again and again, controlling the lighting direction, extent, and color.

Durant dècades s'ha observat i monitoritzat sistemàticament la Terra i el seu entorn des de l'espai o a partir de plataformes aerotransportades. Paral·lelament, s'ha tractat d'extreure el màxim d'informació qualitativa i quantitativa de les observacions realitzades. Les tècniques de fusió de dades donen un "ventall de procediments que ens permeten aprofitar les dades heterogènies obtingudes per diferents mitjans i instruments i integrar-les de manera que el resultat final sigui qualitativament superior". En aquesta tesi s'han desenvolupat noves tècniques que es poden aplicar a l'anàlisi de dades multiespectrals que provenen de sensors remots, adreçades a aplicacions oceanogràfiques. Bàsicament s'han treballat dos aspectes: les tècniques d'enregistrament o alineament d'imatges; i la interpolació de dades esparses i multiescalars, focalitzant els resultats als camps vectorials bidimensionals.En moltes aplicacions que utilitzen imatges derivades de satèl·lits és necessari mesclar o comparar imatges adquirides per diferents sensors, o bé comparar les dades d'un sòl sensor en diferents instants de temps, per exemple en: reconeixement, seguiment i classificació de patrons o en la monitorització mediambiental. Aquestes aplicacions necessiten una etapa prèvia d'enregistrament geomètric, que alinea els píxels d'una imatge, la imatge de treball, amb els píxels corresponents d'una altra imatge, la imatge de referència, de manera que estiguin referides a uns mateixos punts. En aquest treball es proposa una aproximació automàtica a l'enregistrament geomètric d'imatges amb els contorns de les imatges; a partir d'un mètode robust, vàlid per a imatges mutimodals, que a més poden estar afectades de distorsions, rotacions i de, fins i tot, oclusions severes. En síntesi, s'obté una correspondència punt a punt de la imatge de treball amb el mapa de referència, fent servir tècniques de processament multiresolució. El mètode fa servir les mesures de correlació creuada de les transformades wavelet de les seqüències que codifiquen els contorns de la línia de costa. Un cop s'estableix la correspondència punt a punt, es calculen els coeficients de la transformació global i finalment es poden aplicar a la imatge de treball per a enregistrar-la respecte la referència.A la tesi també es prova de resoldre la interpolació d'un camp vectorial espars mostrejat irregularment. Es proposa un algorisme que permet aproximar els valors intermitjos entre les mostres irregulars si es disposa de valors esparsos a escales de menys resolució. El procediment és òptim si tenim un model que caracteritzi l'esquema multiresolució de descomposició i reconstrucció del conjunt de dades. Es basa en la transformada wavelet discreta diàdica i en la seva inversa, realitzades a partir d'uns bancs de filtres d'anàlisi i síntesi. Encara que el problema està mal condicionat i té infinites solucions, la nostra aproximació, que primer treballarem amb senyals d'una dimensió, dóna una estratègia senzilla per a interpolar els valors d'un camp vectorial bidimensional, utilitzant tota la informació disponible a diferents resolucions. Aquest mètode de reconstrucció es pot utilitzar com a extensió de qualsevol interpolació inicial. També pot ser un mètode adequat si es disposa d'un conjunt de mesures esparses de diferents instruments que prenen dades d'una mateixa escena a diferents resolucions, sense cap restricció en les característiques de la distribució de mesures. Inicialment cal un model dels filtres d'anàlisi que generen les dades multiresolució i els filtres de síntesi corresponents, però aquest requeriment es pot relaxar parcialment, i és suficient tenir una aproximació raonable a la part passa baixes dels filtres. Els resultats de la tesi es podrien implementar fàcilment en el flux de processament d'una estació receptora de satèl·lits, i així es contribuiria a la millora d'aplicacions que utilitzessin tècniques de fusió de dades per a monitoritzar paràmetres mediambientals. / During the last decades a systematic survey of the Earth environment has been set up from many spatial and airborne platforms. At present, there is a continuous effort to extract and combine the maximum of quantitative information from these different data sets, often rather heterogeneous. Data fusion can be defined as "a set of means and tools for the alliance of data originating from different sources with the aims of a greater quality result". In this thesis we have developed new techniques and schemes that can be applied on multispectral data obtained from remote sensors, with particular interest in oceanographic applications. They are based on image and signal processing. We have worked mainly on two topics: image registration techniques or image alignment; and data interpolation of multiscale and sparse data sets, with focus on two dimensional vector fields. In many applications using satellite images, and specifically in those related to oceanographic studies, it is necessary to merge or compare multiple images of the same scene acquired from different captors or from one captor but at different times. Typical applications include pattern classification, recognition and tracking, multisensor data fusion and environmental monitoring. Image registration is the process of aligning the remotely sensed images to the same ground truth and transforming them into a known geographic projection (map coordinates). This step is crucial to correctly merge complementary information from multisensor data. The proposed approach to automatic image registration is a robust method, valid for multimodal images affected by distortions, rotations and, to a reasonably extend, with severe data occlusion. We derived a point to point matching of one image to a georeferenced map applying multiresolution signal processing techniques. The method is based on the contours of images: it uses a maximum cross correlation measure on the biorthogonal undecimated discrete wavelet transforms of the codified coastline contours sequences. Once this point to point correspondence is established, the coefficients of a global transform could be calculated and finally applied on the working image to register it to the georeferenced map. The second topic of this thesis focus on the interpolation of sparse irregularly-sampled vector fields when these sparse data belong to different resolutions. It is proposed a new algorithm to iteratively approximate the intermediate values between irregularly sampled data when a set of sparse values at coarser scales is known. The procedure is optimal if there is a characterized model for the multiresolution decomposition / reconstruction scheme of the dataset. The scheme is based on a fast dyadic wavelet transform and on its inversion using a filter bank analysis/synthesis implementation for the wavelet transform model. Although the problem is ill-posed, and there are infinite solutions, our approach, firstly worked for one dimension signals, gives an easy strategy to interpolate the values of a vector field using all the information available at different scales. This reconstruction method could be used as an extension on any initial interpolation. It can also be suitable in cases where there are sparse measures from different instruments that are sensing the same scene simultaneously at several resolutions, without any restriction to the characteristics of the data distribution. Initially a filter model for the generation of multiresolution data and their synthesis counterpart is the main requisite but; this assumption can be partially relaxed with the only requirement of a reasonable approximation to the low pass counterpart. The thesis results can be easily implemented on the process stream of any satellite receiving station and therefore constitute a first contribution to potential applications on data fusion of environmental monitoring.