Esta tesis explora los problemas de la reconstrucción 3D de los vasos coronarios a partir de angiografías: calibración, extracción de los vasos a partir de las imágenes, y reconstrucción 3D del vaso. La calibración se divide en dos procedimientos: El primer procedimiento corrige la distorsión geométrica, y el segundo se concentra en la estimación de los parámetros extrínsecos e intrínsicos del sistema de adquisición. La distorsión geométrica} introducida por el intensificador de imagen se corrige mediante la definición de un nuevo modelo de polinomios para la distorsión. La principal ventaja de esta aproximación es que la distorsión se puede corregir para cualquier vista, eliminando así la necesidad de calibrar para cada adquisición. Respecto la estimación de la geometría de adquisición}, mostramos que las asunciones hechas por otros investigadores a la hora de estimar los parámetros extrínsecos sólo son válidas en casos muy restringidos, y por tanto introducen un alto grado de error. Por ello, proponemos un modelo nuevo, más general y flexible, para calibrar los parámetros del brazo C. Gracias a este modelo, podemos obtener una estimación precisa de la geometría de adquisición. Después de calibrar, los siguientes pasos de esta tesis se refieren a la detección de los vasos y a la reconstrucción 3D. Debido a la baja relación señal-ruido de las imágenes de angiografías, la segmentación de los vasos} no es un problema trivial de resolver. Nosotros desarrollamos un filtro de difusión anisotrópica para mejorar el resultado de la segmentación de los vasos. Este filtro escoge automáticamente la escala del tensor de difusión para cada píxel y consigue un realce selectivo de los vasos. A partir de los puntos detectados del vaso, la reconstrucción 3D se consigue aplicando técnicas parecidas a las de la visión estéreo, pero evitando el problema de la determinación de las correspondencias de puntos} del objeto en las dos imágenes. Para ello, definimos los snakes biplanos, que son modelos deformables consistentes en una curva tridimensional que se deforma en el espacio para adaptar sus proyecciones a los vasos en las imágenes. Esta té cnica resuelve el problema de las correspondencias de puntos de forma inherente, y tiene un buen comportamiento cuando las condiciones de adquisición no se conocen con gran precisión. Los métodos propuestos son extensamente validados usando phantoms y secuencias reales de angiografías adquiridas con un sistema monoplano de angiografías y la inestimable ayuda de los médicos del Hospital Universitari "Germans Tries i Pujol". / This thesis explores all problems involved in the 3D reconstruction of coronary vessels from X-ray angiographies: calibration, vessel extraction in X-ray images and 3D reconstruction of the vessel in space. We divide the calibration into two procedures: The first procedure is devoted to the correction of the geometrical distortion, and the second one is focused on the estimation of the extrinsic and intrinsic parameters of the X-ray acquisition system. We correct the geometrical distortion} introduced by the image intensifier by defining a novel polynomial model for the distortion. The main advantage of our approach is that the distortion can be corrected for any view, and thus eliminates the need of distortion calibration for each acquisition. Regarding the estimation of the acquisition geometry}, we show that the assumptions made by other researchers to estimate the extrinsic parameters are only valid in very restricted cases and thus introduce high degree of error. Therefore, we propose a new, more general and flexible model to calibrate the parameters of the C-arm. Using our proposed model, we can obtain a highly accurate estimation of the acquisition geometry. Once calibrated, next steps of the thesis refer to vessel detection in images and 3D reconstruction. Due to the low signal-to-noise ratio of X-ray angiographies, the vessel segmentation} procedure is not a trivial procedure. We develop a new anisotropic diffusion filter that enhances the vessels on the X-ray images in order to improve the vessel segmentation result. The proposed filter automatically chooses the scale of the diffusion tensor to be applied for each pixel, and achieves selective enhancement of the vessels enhancing the contrast-to-noise ratio. Given the detected vessel points in the angiography, 3D reconstruction is applied applying techniques similar to stereo vision avoiding the problem of determining the corresponding points} of the object in both images. We define the biplane snakes that are deformable models consisting on a three-dimensional elastic curve that deforms in space to adapt its projections to the vessels in the images. The proposed approach inherently solves the point correspondence problem and has a good behaviour when the acquisition conditions are known with low precision. The proposed methods are extensively validated with imaged phantoms and real angiographic sequences acquired with a monoplane angiographic system and the valuable help of the physicians of Hospital Universitari "Germans Tries i Pujol".

Les imatges médiques motiven la recerca en molts camps de visió per computador i processament d'imatges: filtratge, segmentació, modelat de formes, registració, recuperació i reconeixement de patrons. Degut a canvis de contrast febles i una gran diversitat d'artefactes i soroll, les tecniques basades en l'anàlisis de la geometria dels conjunts de nivell més que en la intensitat de la imatge donen resultats més robustos. Partint del tractament d'imatges intravasculars, aquesta Tesi es centra en el diseny de operadors diferencials per al procesament d'imatges basats en principis geometrics per a un modelat i recuperació de formes fiable. De entre totes les àrees que apliquen restauració de formes, ens centrarem en tecniques de filtratge i segementació d'objectes.Per a obtenir uns bons resultats en imatges reals, el procés de segmentació ha de passar per tres etapes: eliminació del soroll, modelat de formes i parametrització de corbes. Aquest treball tractaels tres temes, encara que per tal de tenir algoritmes tant automatitzats com sigui possible, disenyarem tecniques que satisfaguin tres principis bàsics: a) esquemes iteratius convergint cap a estats no trivials per evitar imatges finals constants i obtenir models suaus de les imatges originals; b) un comportament asymptotic suau per asegurar l'estabilització del procés iteratiu; c) un conjunt fixe de parametres que garanteixin el mateix (independentment del domini de definició) rendiment dels algoritmes sia quina sia la imatge/corba inicial. El nostre tractament des d'un punt de vista geomètric de les equacions generals que modelen els diferents processos estudiats ens permet definir tecniques que compleixen els requeriments anteriors. Primer de tot, introduim un nou fluxe geometric per al suavitzament d'imatges que aconsegueix un compromis optim entre eliminació de soroll i semblança a la imatge original. Segon, descriurem una nova familia de operadors de difusió que en restringeixen els efectes a les corbes de nivell de la imatge i serveixen per a recuperar models complets i suaus de conjunts de punts inconnexos. Finalment, disenyarem una regularització del mapa de distàncies que asegura la convergència suau d'snakes cap a qualsevol corba tancada. Els experiments presentats mostren que el funcionamient de les tecniques proposades sobrepassa el que aconseguiexen les tecniques actuals. / Medical imaging feeds research in many computer vision and image processing fields: image filtering, segmentation, shape recovery, registration, retrieval and pattern matching. Because of their low contrast changes and large variety of artifacts and noise, medical imaging processing techniques relying on an analysis of the geometry of image level sets rather than on intensity values result in more robust treatment. From the starting point of treatment of intravascular images, this PhD thesis addresses the design of differential image operators based on geometric principles for a robust shapemodelling and restoration. Among all fields applying shape recovery, we approach filtering and segmentation of image objects. For a successful use in real images, the segmentation process should go through three stages: noise removing, shape modelling and shape recovery. This PhD addresses all three topics, but for the sake of algorithms as automated as possible, techniques for image processing will be designed to satisfy three main principles: a) convergence of the iterative schemes to non-trivial states avoiding image degeneration to a constant image and representing smooth models of the originals; b) smooth asymptotic behavior ensuring stabilization of the iterative process; c) fixed parameter values ensuring equal (domain free) performance of the algorithms whatever initial images/shapes. Our geometric approach to the generic equations that model the different processes approached enables defining techniques satisfying all the former requirements. First, we introduce a new curvature-based geometric flow for image filtering achieving a good compromise between noise removing and resemblance to original images. Second, we describe a new family of diffusion operators that restrict their scope to image level curves and serve to restore smooth closed models from unconnected sets of points. Finally, we design a regularization of snake (distance) maps that ensures its smooth convergence towards any closed shape. Experiments show that performance of the techniques proposed overpasses that of state-of-the-art algorithms.

One of the most important topics in computer vision is pattern recognition and classification in images. Any classification process requires from a feature extraction process and a learning technique that categorizes each data sample. However, sometimes, it is not enough to have just a classification since we could need to introduce high-level knowledge constraints to obtain a meaningful classification. Deformable models are one of the possible tools to achieve this goal. This PhD thesis describes several new techniques to be used in this scenario regarding deformable models and classification theory. The definition of deformable models guided using a external potential derived from a generative model is proposed. This approach is called generative snakes. To illustrate this process parametric snakes in a texture based context are used. The extension of the former work to geodesic deformable models is doneby reformulating the geometric deformation process, leading to the Stop and Go formulation. A new tool for mixing labelled and unlabelled data for semi-supervised and particularization problems is developed and validated. This new technique allows supervised and unsupervised processes to compete for each data sample, defining the supervised clustering competition scheme. These techniques are motivated by and applied to medical image analysis, in particular to Intravascular Ultrasound (IVUS) tissue segmentation and characterization. This work also studies the tissue characterization problem in IVUS images and defines a new framework for automatic plaque recognition.

Wilhelm worringer anticipa solo una actitud frente a la abstraccion: la de mondrian. El transito hacia la abstraccion fue vivido desde dos actitudes distintas: la primera compulsiva y catarquica: se abre una fisura entre el sujeto y el mundo, y los nuevos vinculos surgiran de una autentica transformacion. La segunda necesita nexos. Se trata de un proceso que conduce a la abstraccion desde inevitables dependencias con lo natural. El origen de las transformaciones de la imagineria pictorica en este siglo deriva, determinantemente, de las restricciones que se imponen al gesto y de las consecuencias del empleo de tecnicas de grabado. La escultura moderna no rodiniana (picasso) proviene de la mutacion escultorica de la pintura. La diagonal es una linea que implica una relacion particular en pintura, porque realmente manifiesta inestabilidad respecto a ella. En rodchenco no hay secuencias desde la pintura: el ataque contra ella es frontal. El analisis de la forma de proceder sistematica en la pintura de seurat obliga a deshacerse de la idea de una correlacion consecuente entre ciencias y pintura. Entre ambas experiencias no existe el vacio, sino una forma de relacion que tiene que ver con el fluir de las ideas de un tiempo, pero ese tipo de transferencias no resisten las exigencias del procedimiento cientifico. Los limites del cubismo los establece, entre otros, juan gris. El nucleo central de esa experiencia (picasso-brake) como constatamos en el analisis del cuaderno 026 de picasso rechaza las estratagemas compositivas. Los hallazgos procesuales implicitos en la experiencia cubista de los años doce-trece (picasso) son transferidos a la arquitectura y lo que sucede en el seno de la vanguardia sovietica es explicable, fundamentalmente, desde ese punto de vista.

La tecnología de agentes permite, sin lugar a dudas, el diseño de nuevos tipos de aplicaciones distribuidas. Los agentes móviles aun van más allá en esta dirección siendo la única alternativa para hacer posible ciertos tipos de aplicaciones, como las basadas en Mar de Datos o aplicaciones específicas de computación penetrante.Las ventajas que aportan las nuevas características de esta tecnología tienen su contrapartida en los nuevos problemas de seguridad que comportan. La complejidad del diseño de soluciones de seguridad usando agentes móviles es extremadamente alta, especialmente para aplicaciones basadas en mar de datos. A lo largo de este trabajo puede encontrarse un estudio del problema de la seguridad en la tecnología de agentes móbiles. No existe una plataforma de desarrollo de agentes móviles en la que se puedan implementar este nuevo tipo de aplicaciones, ofreciendo seguridad al mismo tiempo y facilidad de programación. Presentamos en este trabajo el comienzo del diseño y del desarrollo de MARISM-A, una plataforma segura para agentes móviles con itinerario recursivo y migración segura. La plataforma cumple con los principales estándares en agentes: FIPA y MASIF. A la vez, ofrece flexibilidad para la implementación de cualquier tipo de aplicaciones, incluyendo las basadas en mar de datos, y permite ser extendida con nuevos mecanismos de seguridad.Encontrar los requerimientos de seguridad de estas nuevas aplicaciones, y soluciones para ellos, no es una tarea fácil. Los mecanismos habituales no son válidos en estos nuevos escenarios. Presentamos tambien en esta tesis un nuevo enfoque basado en un modelo de confianza y en una metodología, para determinar estos requerimientos de seguridad y las soluciones más convenientes. En la tesis también puede verse cómo nuestra propuesta se utiliza en la práctica proporcionando un ejemplo basado en un escenario de una aplicacion típica de mar de datos en MARISM-A. / Agent technology is clearly an important enabler of new distributed applications. Mobile agents provide a further step in this direction and make possible new types of applications, such as sea-of-data applications or specific pervasive (ubiquitous) computing.The main drawback of the new capabilities featuring this technology is the arising of new branches of security issues. It results hard to design security solutions for applications using mobile agents, especially in sea-of-data applications. In this work we will analise the problem of security in mobile agent systems. There is not a definitive platform in which implement these applications and still offering security and ease to program. We present the start of the development of MARISM-A, an Architecture for Mobile Agents with Recursive Itinerary and Secure Migration. This platform intends to observe commonly accepted agent standards FIPA and MASIF. At the same time it provides flexibility to design any type of application, including sea-of-data applications, and allows to be extended with new security solutions.Finding out the security requirements of these new applications is not an easy task. Traditional approaches are not valid in these new scenarios. We present in this thesis a new approach based on a trust model and a methodology to find out security requirements and solutions. In this work we show how our approach can be used providing an example based on a scenario of a typical sea-of-data application in MARISM-A.

L'anàlisi de seqüències d'imatges on apareixen éssers humans permet desenvolupar múltiples aplicacions, però també comporta moltes dificultats. Aquest àmbit de recerca tan complexe s'anonema Human Sequence Evaluation (HSE). Un sistema HSE genèric transforma dades d'imatges en descripcions d'alt nivell, i viceversa. Per a assolir aquesta abstracció, descrivim una arquitectura modular per desenvolupar sistemes HSE, on cada mòdul es correspon amb un pas d'abstracció. Les contribucions de la investigació que es presenta a continuació s'emmarquen dins d'aquesta arquitectura. Per això s'estableix una taxonomia de moviment humà que guiï el disseny de models intermedis que permetin entendre els canvis produïts en una escena. Aquesta taxonomia inclou el concepte d'"acció", que es defineix com una seqüència predeterminada de postures humanes.En aquesta Tesi es proposa un nou model d'accions humanes que s'utilitza en aplicacions on es requereix representar el moviment humà. Les dades d'aprenentatge es corresponen amb postures humanes, on cada postura es defineix a partir d'un nou model del cos humà. Utilitzem moltes execucions d'una mateixa acció per construir un espai d'accions humanes, anomenat aSpace, on cada execució es representa mitjançant una corba paramètrica. Un cop calculada la mitjana de totes les execucions apreses, les postures més característiques de l'acció, anomenades key-frames, són seleccionades automàticament d'entre totes les postures que hi pertanyen. Els key-frames s'utilitzen per a construir el model final d'acció humana, anomenat p-action. El p-action és una corba que modelitza l'evolució temporal de la postura del cos durant l'execució prototípica d'una acció i s'utilitza per a implementar algorismes de reconeixement i síntesi d'accions humanes, així com per a analitzar execucions particulars d'accions. Així doncs, en primer lloc, describim un procediment de reconeixement d'accions humanes utilitzant els key-frames de cada model d'acció. En segon lloc, presentem un mètode per a realitzar la síntesi d'accions humanes. Donada únicament la durada de l'acció a sintetitzar, obtenim un moviment humà suau i realista. Per a això, el model p-action es descriu a partir de la longitud d'arc per tal d'assolir independència respecte a la velocitat d'execució. A més a més, la representació d'accions humanes permet modelitzar les postures que es corresponen a les transicions entre accions, sintetitzant així activitats. Per últim, establim un entorn de comparació per a analitzar les diferències entre execucions d'una mateixa acció. En concret, utilitzem l'aSpace per a establir una caracterització de l'estil de caminar a partir del gènere dels agents.Per a concloure aquesta Tesi, afrontem la tasca d'incloure el nostre model d'accions humanes dins de l'entorn de treball del HSE. Per a això, utilitzem els Situation Graph Trees (SGTs) per modelitzar el coneixement necessari que ens permet representar el comportament humà. Adaptant el nostre model d'acció dins de la metodologia SGT, aconseguim generar descripcions conceptuals sobre el comportament d'un agent a partir de la informació quantitativa que s'obté de seqüències d'imatges. Finalment, exemplifiquem com obtenir una descripció del comportament humà dins d'una escena, així com la creació de comportaments sintètics per a agents virtuals. / The analysis of image sequences involving human agents allows to develop multiple applications, but it implies also lots of difficulties. This challenging domain is referred here as Human Sequence Evaluation (HSE). A generic HSE system transforms image data into conceptual descriptions, and vice versa. This abstraction process is addressed by describing the HSE framework as a modular scheme, each module concerned to a specific task domain. The contributions of this investigation are discussed within this framework, and a human motion taxonomy is established to reflect the minimal abstraction steps required for HSE. This taxonomy includes the "action" term which denotes a learnt sequence of human postures.This Thesis proposes a novel human action model used in different applications which require a representation for human movements. Several performances of a given action constitute the training data which is represented as a sequence of human postures. The learning postures are described using a novel human body model, and they are used to build a human action space, called aSpace, within which each human performance is represented as a parametric manifold. As each manifold is parameterized by the (normalized) temporal variation of the posture, the mean performance can be computed. Subsequently, the most characteristic postures for such an action, called key-frames, are selected automatically from the postures belonging to the mean performance. Key-frames are used to build the human action model, called p-action. A p-action represents the time evolution of the human body posture during the prototypical performance of a particular action, and is exploited to perform human action recognition and synthesis, and performance analysis. Firstly, we describe a human action recognition procedure by considering the key-frame set of each action model. Secondly, an algorithm for human action synthesis is presented. Realistic and smooth human motion is generated given only the temporal duration of the synthesized action. For this purpose, p-actions are parameterized by arc-length to achieve invariance to speed. Moreover, our proposed model for human actions is enhanced to represent postures corresponding to action transitions, thus allowing to synthesize human activities. Lastly, a comparison framework is established to analyse the differences between performances of the same action. Specifically, the aSpace representation is used to derive a proper characterization of the walking style in terms of the gender of the walker.To conclude this investigation, we confront the task of embedding our human action model within the HSE framework. For this purpose, Situation Graph Trees (SGTs) are used to model the knowledge required for human activity and behavior representation. By adapting our action model to the SGT methodology, we derive semantic primitives based on the quantitative information obtained from image sequences, and we also generate synthetic sequences based on the conceptual information embedded in activity and behavior models. We show examples of SGTs which infer the behavior of actors within a scene, and which generate synthetic behavior for virtual human agents.

El treball d'aquesta tesi es centra en l'anàlisi de seqüències de vídeo, aplicant tècniques basades en models per extreure'n informació quantitativa. En concret, es realitzen diferents propostes en dues àrees d'aplicació: el seguiment de formes basat en models de contorns, i la detecció i seguiment de vehicles en imatges proveïdes per una camera instal·lada en una plataforma mòbil.El treball dedicat al seguiment de formes s'enquadra en el paradigma de contorns actius, del qual presentem una revisió de les diferents propostes existents. En primer lloc, mesurem el rendiment obtingut pels algorismes de seguiment més comuns (filtres basats en Kalman i filtres de partícules), i en segon lloc avaluem diferents aspectes de la seva implementació en un extens treball experimental on es consideren múltiples seqüències sintètiques, distorsionades amb diferents graus de soroll. Així, mitjançant aquest estudi determinem la millor manera d'implementar a la pràctica els algorismes de seguiment clàssics, i identifiquem els seus pros i contres.Seguidament, el treball s'orienta cap a la millora dels algoritmes de seguiment de contorns basats en filtres de partícules. Aquest algorismes aconsegueixen bons resultats sempre que el número de partícules utilitzades sigui suficient, però malauradament la quantitat de partícules requerides creix exponencialment amb el número de paràmetres a estimar. Per tant, i en el context del seguiment de contorns, presentem tres variants del filtre de partícules clàssic, corresponents a tres noves estratègies per tractar aquest problema. En primer lloc, proposem millorar el seguiment de contorns mirant de propagar més acuradament les partícules emprades per l'algorisme d'una imatge a la següent. Això ho duem a terme utilitzant una aproximació lineal de la funció de propagació òptima. La segona estratègia proposada es basa en estimar part dels paràmetres de manera analítica. Així, es pretén fer un ús més productiu de les partícules emprades, reduint la part dels paràmetres del model que s'han d'estimar amb elles. El tercer mètode proposat té com a objectiu treure profit del fet de que, en aplicacions de seguiment de contorns, sovint els paràmetres relatius a la transformació rígida es poden estimar prou acuradament independentment de la deformació local que el contorn presenti. Això s'utilitza per realitzar una millor propagació de les partícules, concentrant-les més densament en la zona on el contorn seguit es troba. Aquestes tres propostes es validen de manera extensiva en seqüències amb diferents nivells de soroll, amb les que es mesura la millora aconseguida.A continuació proposem tractar directament l'origen del problema anterior mitjançant la reducció del nombre de paràmetres a estimar per tal de seguir una determinada forma d'interès. Per aconseguir això, proposem modelar aquesta forma usant múltiples models, on cadascun requereix una quantitat de paràmetres inferior a la requerida per un únic model. Es proposa un nou mètode per aprendre aquests models a partir d'un conjunt d'entrenament, així com un nou algorisme per emprar-los en el seguiment dels contorns. Els resultats experimentals certifiquen la validesa d'aquesta proposta.Finalment, la tesi es centra en el desenvolupament d'un sistema de detecció i seguiment de vehicles. Les propostes realitzades comprenen: un mòdul de detecció de vehicles, un mòdul dedicat a determinar la posició i velocitat 3D dels vehicles detectats, i un mòdul de seguiment per actualitzar la localització dels vehicles a la carretera de manera precisa i eficient. Es realitzen diverses aportacions originals en aquests tres temes, i se n'avalua el rendiment. / This thesis focuses the analysis of video sequences, applying model-based techniques for extracting quantitative information. In particular, we make several proposals in two application areas: shape tracking based on contour models, and detection and tracking of vehicles in images acquired by a camera installed on a mobile platform.The work devoted to shape tracking follows the paradigm of active contours, from which we present a review of the existent approaches. First, we measure the performance of the most common algorithms (Kalman based filters and particle filters), and then we evaluate its implementation aspects trough an extensive experimental study, where several synthetic sequences are considered, distorted with different degrees of noise. Thus, we determine the best way to implement in practice these classical tracking algorithms, and we identify its benefits and drawbacks.Next, the work is oriented towards the improvement of contour tracking algorithms based on particle filters. These algorithms reach good results provided that the number of particles is high enough, but unfortunately the required number of particles grows exponentially with the number of parameters to be estimated. Therefore, and in the context of contour tracking, we present three variants of the classical particle filter, corresponding to three new strategies to deal with this problem. First, we propose to improve the contour tracking by propagating more accurately the particles from one image to the next one. This is done by using a linear approximation of the optimal propagation function. The second proposed strategy is based in estimating part of the parameters analytically. Thus, we aim to do a more productive use of the particles, reducing the amount of model parameters that must be estimated through them. The third proposed method aims to exploit the fact that, in contour tracking applications, the parameters related to the rigid transform can be estimated accurately enough independently from the local deformation presented by the contour. This is used to perform a better propagation of the particles, concentrating them more densely in the zone where the tracked contour is located. These three proposals are validated extensively in sequences with different noise levels, on which the reached improvement is evaluated.After this study, we propose to deal directly with the origin of the previous problem by reducing the number of parameters to be estimated in order to follow a given shape of interest. To reach that, we propose to model the shape using multiple models, where each one requires a lower quantity of parameters than when using a unique model. We propose a new method to learn these models from a training set, and a new algorithm to use the obtained models for tracking the contours. The experimental results certify the validity of this proposal.Finally, the thesis focuses on the development of a system for the detection and tracking of vehicles. The proposals include: a vehicle detection module, a module devoted to the determination of the three-dimensional position and velocity of the detected vehicles, and a tracking module for updating the location of vehicles on the road in a precise and efficient manner. Several original contributions are done in these three subjects, and their performance is evaluated empirically.

La comprensió del comportament dels animals, i en especial dels humans, és un dels problemes més antics i estudiats al llarg de la història, quasi des del inici de la civilització. La quantitat de factors diferents que actuen alhora de determinar les accions d'una persona requereixen la participació de diferents disciplines, com la psicologia, biologia, o sociologia. En els darrers anys l'anàlisi del comportament humà ha esdevingut també un tema molt interessant per a la comunitat científica de visió per computador, gràcies als darrers avenços en l'adquisició de dades sobre el moviment humà a partir de seqüències d'imatges. Malgrat la creixent disponibilitat d'aquestes dades, existeix encara una barrera per obtenir una representació conceptual de les observacions obtingudes. L'avaluació del comportament humà en seqüències d'imatges està basat en una interpretació qualitativa dels resultats, i per tant l'assignació de conceptes a les dades quantitatives obtingudes està lligada a una certa ambigüitat. Aquesta Tesi confronta el problema d'obtenir una representació correcta del comportament humà en els contexts de la visió i animació per computador. En primer lloc, un bon model de comportament ha de permetre reconèixer i descriure l'activitat observada en seqüències d'imatges. D'altra banda, el model ha de permetre generar sintèticament noves instàncies, que permetin modelar el comportament d'agents virtuals.En primer lloc, proposem mètodes per aprendre els models directament de les observacions. A partir de les dades obtingudes mitjançant l'anàlisi de seqüències d'imatges, construïm models de comportament normal dins l'escenari. Això ens proporciona una eina per determinar la normalitat o anormalitat de futures observacions. Tanmateix, els mètodes d'aprenentatge automàtic son incapaços de proveir una descripció semàntica de les observacions. Aquesta problema és tractat mitjançant un nou mètode que incorpora un coneixement a--priori sobre l'escena i els comportaments esperats. Aquesta estructura, formada pel motor de raonament difús FMTL i l'eina de modelatge SGT, permet obtenir descripcions conceptuals del contingut de noves seqüències de vídeo. Finalment, l'estructura FMTL + SGT ens permet simular comportament sintètic i introduir agents virtuals dins d'escenes reals que interactuen amb els agents reals existents, construint d'aquesta manera seqüències de realitat augmentada. El conjunt de mètodes presentats en aquesta Tesi tenen un conjunt potencial d'aplicacions cada cop més gran. Per un costat, el reconeixement i descripció de comportament en seqüències d'imatges té com a principal aplicació la vídeo--vigilància intel·ligent, permetent detectar comportaments delictius o perillosos. Altres aplicacions inclouen la transcripció d'esdeveniments esportius, monitorització de centres geriàtrics, anàlisi de tràfic en carreteres i la construcció de buscadors de vídeo basats en conceptes semàntics. D'altra banda, l'animació d'agents virtuals amb comportaments complexes permet obtenir simulacions acurades de situacions reals, com per exemple incendis o multituds. A més, la inclusió d'agents virtuals en entorns reals té forta implantació en els mons dels videojocs i el cinema. / The comprehension of animal behavior, especially human behavior, is one of the most ancient and studied problems since the beginning of civilization. The big list of factors that interact to determine a person action require the collaboration of different disciplines, such as psichology, biology, or sociology. In the last years the analysis of human behavior has received great attention also from the computer vision community, given the latest advances in the acquisition of human motion data from image sequences.Despite the increasing availability of that data, there still exists a gap towards obtaining a conceptual representation of the obtained observations. Human behavior analysis is based on a qualitative interpretation of the results, and therefore the assignment of concepts to quantitative data is linked to a certain ambiguity. This Thesis tackles the problem of obtaining a proper representation of human behavior in the contexts of computer vision and animation. On the one hand, a good behavior model should permit the recognition and explanation the observed activity in image sequences. On the other hand, such a model must allow the generation of new synthetic instances, which model the behavior of virtual agents. First, we propose methods to automatically learn the models from observations. Given a set of quantitative results output by a vision system, a normal behavior model is learnt. This result provides a tool to determine the normality or abnormality of future observations. However, machine learning methods are unable to provide a richer description of the observations. We confront this problem by means of a new method that incorporates prior knowledge about the environment and about the expected behaviors. This framework, formed by the reasoning engine FMTL and the modeling tool SGT allows the generation of conceptual descriptions of activity in new image sequences. Finally, we demonstrate the suitability of the proposed framework to simulate behavior of virtual agents, which are introduced into real image sequences and interact with observed real agents, thereby easing the generation of augmented reality sequences.The set of approaches presented in this Thesis has a growing set of potential applications. The analysis and description of behavior in image sequences has its principal application in the domain of smart video--surveillance, in order to detect suspicious or dangerous behaviors. Other applications include automatic sport commentaries, elderly monitoring, road traffic analysis, and the development of semantic video search engines. Alternatively, behavioral virtual agents allow to simulate accurate real situations, such as fires or crowds. Moreover, the inclusion of virtual agents into real image sequences has been widely deployed in the games and cinema industries.

La reconstrucció del moviment huma mitjançant l'analisi visual és una area de recerca de la visió per computador plena de reptes amb moltes aplicacions potencials. Els enfocs de seguiment basat en models, i en particular els fltres de partícules, formulen el problema com una tasca d'inferencia Bayesiana l'objectiu de la qual és estimar seqüencialment la distribució sobre els parametres d'un model del cos huma al llarg del temps. Aquests enfocs depenen en gran mesuta d'emprar bons models dinamics i d'observació per tal de predir i actualitzar les confguracions del cos huma en base a mesures extretes de les dades d'imatge. No obstant, resulta molt difícil dissenyar models d'observació, i en especial pel cas de seguiment a partir d'una sola vista, que siguin capaços d'extreure informació útil de les seqüencies d'imatges de manera robusta. Per tant, per tal de superar aquestes limitacions és necessari emprar un fort coneixement a priori sobre el moviment huma i guiar així l'exploració de l'espai d'estats. El treball presentat en aquesta Tesis esta enfocat a recuperar els parametres de moviment 3D d'un model del cos huma a partir de mesures incompletes i sorolloses d'una seqüencia d'imatges monocular. Aquestes mesures consisteixen en les posicions 2D d'un conjunt redult d'articulacions en el pla d'imatge. Amb aquesta fnalitat, proposem un nou model de moviment huma específc per cada acció, que és entrenat a partir de bases de dades de captures de moviment que contenen varies execucions d'una acció en particular, i que és utilitzat com a coneixement a priori en un esquema de fltratge de partícules. Les postures del cos es representen emprant un model articulat simple i compacte que fa ús dels cosinus directors per tal de representar la direcció de les parts del cos en l'espai Cartesia 3D. Llavors, donada una acció, s'aplica l'Analisis de Components Principals (PCA) sobre les dades d'entrenament per tal d'aplicar reducció de dimensionalitat sobre les dades d'entrada altament correlacionades. Previament al pas d'entrenament del model d'acció, les seqüencies de moviment d'entrada són sincronitzades mitjançant un nou algoritme d'adaptació dens basat en Programació Dinamica. L'algoritme sincronitza totes les seqüencies de moviment d'una mateixa classe d'acció i és capa¡ de trobar una solució óptima en temps real. Aleshores, s'apren un model d'acció probabilístic a partir dels exemples de movi¬ment sincronitzats que captura la variabilitat i l'evolució temporal del moviment del cos sencer durant una acció concreta. En particular, per cada acció, els parametres apresos són: una varietat representativa de l'acció que consisteix en l'execució mitjana de la mateixa, la desviació estandard de l'execució mitjana, els vectors de direcció mitjans de cada subseqüencia de moviment d'una llargada donada i l'error esperat en un instant de temps donat. A continuació, s'utilitza el model específc per cada acció com a coneixement a priori sobre moviment huma que millora l'efciencia i robustesa de tot l'enfoc de seguiment basat en fltratge de partícules. En primer lloc, el model dinamic guia les partícules segons situacions similars apreses previament. A continuació, es restringeix l'espai d'estats per tal que tan sols les postures humanes més factibles siguin acceptades com a solucions valides a cada instant de temps. En conseqüencia, l'espai d'estats és explorat de manera més efcient ja que el conjunt de partícules cobreix les postures del cos més probables. Finalment, es duen a terme experiments emprant seqüencies de test de varies bases de dades. Els resultats assenyalen que el nostre esquema de seguiment és capa d'estimar la confguració 3D aproximada d'un model de cos sencer, a partir tan sols de les posicions 2D d'un conjunt redult d'articulacions. També s'inclouen proves separades sobre el metode de sincronització de seqüencies i de la tecnica de comparació probabilística de les subseqüencies de moviment. / Recovering human motion by visual analysis is a challenging computer vision research area with a lot of potential applications. Model based tracking approaches, and in particular particle flters, formulate the problem as a Bayesian inference task whose aim is to sequentially estimate the distribution of the parameters of a human body model over time. These approaches strongly rely on good dynamical and observation models to predict and update confgurations of the human body according to mea surements from the image data. However, it is very difcult to design observation models which extract useful and reliable information from image sequences robustly. This results specially challenging in monocular tracking given that only one viewpoint from the scene is available. Therefore, to overcome these limitations strong motion priors are needed to guide the exploration of the state space. The work presented in this Thesis is aimed to retrieve the 3D motion parameters of a human body model from incomplete and noisy measurements of a monocular image sequence. These measurements consist of the 2D positions of a reduced set of joints in the image plane. Towards this end, we present a novel action specifc model of human motion which is trained from several databases of real motion captured performances of an action, and is used as a priori knowledge within a particle fltering scheme. Body postures are represented by means of a simple and compact stick fgure model which uses direction cosines to represent the direction of body limbs in the 3D Cartesian space. Then, for a given action, Principal Component Analysis is applied to the training data to perform dimensionality reduction over the highly correlated input data. Before the learning stage of the action model, the input motion performances are synchronized by means of a novel dense matching algorithm based on Dynamic Programming. The algorithm synchronizes all the motion sequences of the same action class, fnding an optimal solution in real time. Then, a probabilistic action model is learnt, based on the synchronized motion examples, which captures the variability and temporal evolution of full body motion within a specifc action. In particular, for each action, the parameters learnt are: a representative manifold for the action consisting of its mean performance, the stan dard deviation from the mean performance, the mean observed direction vectors from each motion subsequence of a given length and the expected error at a given time instant. Subsequently, the action specifc model is used as a priori knowledge on human motion which improves the efciency and robustness of the overall particle fltering tracking framework. First, the dynamic model guides the particles according to similar situations previously learnt. Then, the state space is constrained so only feasible human postures are accepted as valid solutions at each time step. As a result, the state space is explored more efciently as the particle set covers the most probable body postures. Finally, experiments are carried out using test sequences from several motion databases. Results point out that our tracker scheme is able to estimate the rough 3D confguration of a full body model providing only the 2D positions of a reduced set of joints. Separate tests on the sequence synchronization method and the subsequence probabilistic matching technique are also provided. Keywords: Human Motion Modeling; Particle fltering; Monocular Full Body 3D Tracking. Topics: Image Processing; Computer Vision; Scene Understanding; Machine Intelligence; Machine Vision Applications; Video-Sequence Evaluation

La demanda de major rendiment de les aplicacions cient ques es satisf a incrementant la quantitat de components. No obstant aix o, un major nombre de components implica una major probabilitat de fallada. L'abrupta caiguda dels temps mitjans entre fallades en els sistemes actuals impulsa la investigaci o de mecanismes de toler ancia a fallades per garantir l'execuci o d'una aplicaci o a un cost raonable. Message-Passing Interface (MPI), l'est andard de programaci o m es utilitzat per les aplicacions cient ques, t e un comportament fail-stop, realitzant una parada segura de tots els processos en cas de detectar una fallada en qualsevol dels nodes del cl uster. Com a consequ encia, es perd l'execuci o que s'hagu es fet en tots els nodes de processament. Els sistemes de c omput d'altes prestacions, han anat implementat mecanismes per a garantir el servei, normalment basades en t ecniques de rollback-recovery mitjan cant l' us de Checkpoint/Restart. Aquestes solucions s'han implementat a nivell d'aplicaci o, la qual cosa no es transparent, o b e, a nivell de llibreria, la qual cosa no es generalitzable a altres llibreries i es deixen fora del camp de soluci o a un divers nombre d'aplicacions. Es proposa un sistema de toler ancia a fallades transparent i autom atic per l'aplicaci o paral lela de manera que pugui utilitzar-se sense modi car l'aplicaci o i amb la llibrer a de pas de missatge que prefereixi l'usuari. Es basa en detectar els errors en las comunicacions de sockets causats per les fallades de nodes i recon gurar-los en forma autom atica per a comunicar-se amb la nova adre ca a on es migra el proc es. Funciona en conjunt amb un sistema que protegeix l'estat de c omput dels processos i, en cas de fallades, els recupera en un altre node de c omput mitjan cant t ecniques de rollback-recovery. S'ha realitzat una validaci o experimental utilitzant aplicacions Master/Worker i Single Program Multipla Data (SPMD) amb comunicacions basades en sockets i en pas de missatges Message Passing Interface (MPI). Les execucions es van realitzar en un cl uster multicore, obtenint els nivells desitjats de funcionalitat i prestacions. / La demanda de mayor rendimiento de las aplicaciones cient cas se satisface incrementando la cantidad de componentes. Sin embargo, un mayor n umero de componentes implica una mayor probabilidad de fallo. La abrupta ca da de los tiempos medios entre fallos en los sistemas actuales de altas prestaciones impulsa la investigaci on de mecanismos de tolerancia a fallos para garantizar la ejecuci on de una aplicaci on a un coste razonable. Message-Passing Interface (MPI), el est andar de programaci on m as utilizado por las aplicaciones cient cas, tiene un comportamiento fail-stop, realizando una parada segura de todos los procesos si se detecta un fallo en un nodo del cl uster. Como consecuencia, se pierde la ejecuci on que se hubiera hecho en todos los nodos de procesamiento. Los sistemas de c omputo de altas prestaciones han implementado mecanismos para garantizar el servicio, normalmente basados en t ecnicas de rollback-recovery mediante uso de Checkpoint/Restart. Estas soluciones se han implementado a nivel de aplicaci on lo cual no es transparente, o bien, a nivel de librer a, lo cual no es generalizable a otras librer as y dejan fuera del campo de soluci on a un n umero diverso de aplicaciones. Se propone un sistema de tolerancia a fallos transparente y autom atico de modo que pueda utilizarse sin modi car la aplicaci on y con la librer a de paso de mensaje que pre era el usuario. Se basa en detectar los errores en las comunicaciones de socket causados por fallos de nodos y recon gurarlos en forma autom atica para comunicarse con la nueva direcci on a donde se migra el proceso. Funciona en conjunto con un sistema que protege el estado de c omputo de los procesos y en caso de fallos, los recupera en otro nodo de c omputo por medio de t ecnicas de rollback-recovery. Se ha realizado una validaci on experimental utilizando aplicaciones Master/Worker y Single Program Multipla Data (SPMD), con comunicaciones basadas en sockets y en paso de mensajes Message Passing Interface (MPI). Las ejecuciones se realizaron en un cluster multicore, obteniendo los niveles deseados de funcionalidad y de prestaciones. / The demand of more performance of scienti c applications is achieved by increasing the amount of components. However, a growing number of components implies that the probability of failure increases as well. The remarkable decrease of average times between failures in the current High Performance Computing systems encourages the investigation of mechanisms of fault tolerance suitable for new architectures which allow to guarantee the execution of an application at a reasonable cost. Message Passing Interface (MPI), the standard of programming more used by scienti c application, has a fail-stop behavior, by carrying out a safe stop of all the processes in case of detecting a failure in any of the nodes of the cluster. As a consequence, the execution which could have been done in all the processing nodes until that moment is lost. High Performance Computing has implemented mechanisms in order to guarantee service, usually based on techniques of rollback-recovery by using the Checkpoint/Restart. Those solutions have been implemented at an application level which is not transparent, or, at library level, which is not extended to other libraries and leave out several applications. A transparent and automatic fault tolerance system in proposed in this thesis, in such a way that the application can be used without being modi ed and with the message passing library preferred by the user. It is based on detecting failures in the communications of the socket caused by failures of nodes and recon gure them in an automatic way to communicate with the new direction where the process is migrated. This method works along with a system which protects the status of computation of the processes and in the case of failure, they are recovered in other node of computation by using techniques of rollback-recovery. An experimental validation has been carried out by using applications Master/Worker and Single Program Multipla Data (SPMD), with communications based on sockets and on Message Passing Interface (MPI). The executions were made in a multicore cluster, obtaining the desirable levels of functionality and performance.The demand of more performance of scienti c applications is achieved by increasing the amount of components. However, a growing number of components implies that the probability of failure increases as well. The remarkable decrease of average times between failures in the current High Performance Computing systems encourages the investigation of mechanisms of fault tolerance suitable for new architectures which allow to guarantee the execution of an application at a reasonable cost. Message Passing Interface (MPI), the standard of programming more used by scienti c application, has a fail-stop behavior, by carrying out a safe stop of all the processes in case of detecting a failure in any of the nodes of the cluster. As a consequence, the execution which could have been done in all the processing nodes until that moment is lost. High Performance Computing has implemented mechanisms in order to guarantee service, usually based on techniques of rollback-recovery by using the Checkpoint/Restart. Those solutions have been implemented at an application level which is not transparent, or, at library level, which is not extended to other libraries and leave out several applications. A transparent and automatic fault tolerance system in proposed in this thesis, in such a way that the application can be used without being modi ed and with the message passing library preferred by the user. It is based on detecting failures in the communications of the socket caused by failures of nodes and recon gure them in an automatic way to communicate with the new direction where the process is migrated. This method works along with a system which protects the status of computation of the processes and in the case of failure, they are recovered in other node of computation by using techniques of rollback-recovery. An experimental validation has been carried out by using applications Master/Worker and Single Program Multipla Data (SPMD), with communications based on sockets and on Message Passing Interface (MPI). The executions were made in a multicore cluster, obtaining the desirable levels of functionality and performance.The demand of more performance of scienti c applications is achieved by increasing the amount of components. However, a growing number of components implies that the probability of failure increases as well. The remarkable decrease of average times between failures in the current High Performance Computing systems encourages the investigation of mechanisms of fault tolerance suitable for new architectures which allow to guarantee the execution of an application at a reasonable cost. Message Passing Interface (MPI), the standard of programming more used by scienti c application, has a fail-stop behavior, by carrying out a safe stop of all the processes in case of detecting a failure in any of the nodes of the cluster. As a consequence, the execution which could have been done in all the processing nodes until that moment is lost. High Performance Computing has implemented mechanisms in order to guarantee service, usually based on techniques of rollback-recovery by using the Checkpoint/Restart. Those solutions have been implemented at an application level which is not transparent, or, at library level, which is not extended to other libraries and leave out several applications. A transparent and automatic fault tolerance system in proposed in this thesis, in such a way that the application can be used without being modi ed and with the message passing library preferred by the user. It is based on detecting failures in the communications of the socket caused by failures of nodes and recon gure them in an automatic way to communicate with the new direction where the process is migrated. This method works along with a system which protects the status of computation of the processes and in the case of failure, they are recovered in other node of computation by using techniques of rollback-recovery. An experimental validation has been carried out by using applications Master/Worker and Single Program Multipla Data (SPMD), with communications based on sockets and on Message Passing Interface (MPI). The executions were made in a multicore cluster, obtaining the desirable levels of functionality and performance.