El color y la textura son dos estímulos visuales importantes para la interpretación de las imágenes. La definición de descriptores computacionales que combinan estas dos características es aún un problema abierto. La dificultad se deriva esencialmente de la propia naturaleza de ambas, mientras que la textura es una propiedad de una región, el color es una propiedad de un punto.Hasta ahora se han utilizado tres los tipos de aproximaciones para la combinación, (a) se describe la textura directamente en cada uno de los canales color, (b) se describen textura y color por separado y se combinan al final, y (c) la combinación se realiza con técnicas de aprendizaje automático. Considerando que este problema se resuelve en el sistema visual humano en niveles muy tempranos, en esta tesis se propone estudiar el problema a partir de la implementación directa de una teoría perceptual, la teoría de los textons, y explorar así su extensión a color.Puesto que la teoría de los textons se basa en la descripción de la textura a partir de las densidades de los atributos locales, esto se adapta perfectamente al marco de trabajo de los descriptores holísticos (bag-of-words). Se han estudiado diversos descriptores basados en diferentes espacios de textons, y diferentes representaciones de las imágenes. Asimismo se ha estudiado la viabilidad de estos descriptores en una representación conceptual de nivel intermedio.Los descriptores propuestos han demostrado ser muy eficientes en aplicaciones de recuperación y clasificación de imágenes, presentando ventajas en la generación de vocabularios. Los vocabularios se obtienen cuantificando directamente espacios de baja dimensión y la perceptualidad de estos espacios permite asociar semántica de bajo nivel a las palabras visuales. El estudio de los resultados permite concluir que si bien la aproximación holística es muy eficiente, la introducción de co-ocurrencia espacial de las propiedades de forma y color de los blobs de la imagen es un elemento clave para su combinación, hecho que no contradice las evidencias en percepción. / Colour and texture are important visual cues for image understanding. The definition of computational descriptors that combine both features is still an open problem. The difficulty is essentially due to the inherent nature of both cues, while texture is a property of a region, colour is a property of a point.Since now three approaches have been used for combining cues, (a) texture is directly described in each one of the colour channels, (b) texture and colour are described separately and combined in a latter step, and (c) the combination is done using machine learning techniques. Considering that this issue is solved at early stages of the human visual system, in this work we propose to study the problem using a direct implementation of a perceptual theory, the texton theory, and to explore its extension to colour.Since texton theory is based on the description of texture by the densities of local attributes, this matches perfectly with an holistic framework where descriptors are based on bag-of-words. Some descriptors based on different textons spaces and different image representations have been studied. Furthermore, the feasibility of these descriptors has also been studied for intermediate levels of image representation.The proposed descriptors have proved high efficiency in retrieval and image classification. They also present some advantages in vocabulary generation. The quantification is done directly on low-dimensional spaces, whose perceptual properties allow low-level semantic associations to the visual words. The results make us to conclude that although the performance of holistic approaches is high, the introduction of spatial co-ocurrence of blob properties, shape and colour, is a key element for their combination. This conclusion agrees with perceptual evidences.

This thesis explores the issues involved in automatic coronary vessel analysis using deformable models and estimation algorithms. The work is carried out as a consequence of a previous international research and development project on multimedia and teleworking in medicine (radiology imaging). After developing and validating a multimedia workstation from a user perspective, the experience obtained showed the convenience to incorporate new computer vision tools to assist the physicians during the image assessment in the diagnostic process. The work presented is a part of a computer assisted diagnosis system within a telemedicine system.Focusing on cardiac imaging, the first step is to adapt the workstation to such image modality, then the goal is to build a computerised coronary tree model, able to incorporate 3D static (anatomical) and dynamic (vessel movements) data. Such a model is useful to increase the knowledge necessary when dealing with a difficult image modality in computer vision, like coronary angiography. To build the model, many computer vision problems have to be addressed. From low-level tasks as vessel detection up to high level ones like image understanding are necessarily covered. Mainly, deformable models (snakes) and estimation techniques are discussed and used with innovative ideas through the model building process. Ought to the tight dependence of the deformable models on the low level image feature detectors, new methods to learn the vessels based on statistical analysis and fine tune the detector are proposed increasing the segmentation confidence. A new statistical potential map is developed within a new energy minimising scheme. Snakes are also applied in the 3D-reconstruction process. A graph is designed and used to hold the knowledge of the complete model. The novel approach for vessel analysis and the final model were validated and the results are very encouraging.

El seguimiento visual de objetos se puede expresar como un problema de estimación, donde se desea encontrar los valores que describen la trayectoria de los objetos, pero sólo se dispone de observaciones. En esta Tesis se presentan dos aproximaciones para resolver este problema en aplicaciones complejas de visión por computador. La primera aproximación se basa en la utilización de la información del contexto donde tiene lugar el seguimiento. Como resultado se presenta una aplicación de anotación de vÌdeo: la reconstrucción 3D de jugadas de un partido de fútbol. Escogiendo un esquema Bayesiano de seguimiento visual, la segunda aproximación es un algoritmo que utiliza como observaciones los valores de apariencia de los píxels de la imagen. Este algoritmo, denominado iTrack, se basa en la construcción y ajuste de un modelo estadístico de la apariencia del objeto que se desea seguir. Para mostrar la utilidad del nuevo algoritmo se presenta una aplicación de vÌdeo vigilancia automática. Este problema es difícil de resolver debido a la diversidad de escenarios y de condiciones de adquisición. / Visual tracking can be stated as an estimation problem. The main goal is to estimate the values that describe the object trajectories, but we only have observations of their true values. In this Thesis, we present two approaches to solve the problem in complex computer vision applications. The first approach is based on using the application context information. To show how the environment knowledge is a tracking valid approach, we present a video annotation application: the 3D reconstruction of a soccer match.Using the Bayesian probabilistic scheme, the second approach that we present is a visual tracking algorithm that uses directly the image values like observations. This algorithm, that we named iTrack, is based on a statistical model of the object appearance. To show the new algorithm performance we present an automatic video surveillance application. This problem is difficult due to the possible different scenes and the environment conditions.

No description available.

La visión es uno de los sentidos más importantes que posee el ser humano. Inicialmente la visión por computador trató de imitar al sistema visual humano, pero la cantidad de información captada y procesada es tal, que dicha imitación sigue siendo actualmente una utopía. Por ello, los sistemas de visión por computador se dividen en distintas fases, (captación, preprocesamiento, segmentación, análisis de formas y clasificación de objetos), que son abordadas de manera independiente, aunque existe una gran interrelación entre todas ellas. Esta tesis aporta un nuevo modelo de visión por computador, centrado en las fases de segmentación y análisis de formas, buscando en ambos casos una buena respuesta. Previamente se analiza cuál es el espacio de color más adecuado para plantear el modelo. En la fase de segmentación de imágenes, se comparan dos métodos, uno de ellos utilizando una función de energía y otro mediante la utilización de un umbral. Utilizando el algoritmo definido para la segmentación de imágenes, en la fase de análisis de formas, se consigue definir una única propiedad que describe de manera unívoca cada uno de los objetos de una base de datos, el Histograma de distancias al centroide. / Vision is one of the most important senses that humans have. Initially, computer vision tried to imitate the human visual system, but the amount of captured and processed information is so huge that, nowadays, the imitation is still an Utopia. That is why the computer vision systems are divided into several phases (capture, preprocessing, segmentation, shape analysis and object classification), that are usually tackled independently, although there exists an important interrelation between them. This thesis proposes a new model for computer vision, focused on the segmentation and shape analysis stages, with the aim in both cases of having good results. In a previous study, an analysis to determine the most suitable colour space for the model is done. In the image segmentation phase, two methods are compared, one of them using an energy function and the other using a threshold. The image segmentation algorithm is used in the shape analysis phase to define a unique feature to totally describe an object and to distinguish it from all the others in a data base. This feature is the Distances to Centroid Histogram.

Monocular cues are spatial sensory inputs which are picked up exclusively from one eye. They are in majority static features that provide depth information and are extensively used in graphic art to create realistic representations of a scene. Since the spatial information contained in these cues is picked up from the retinal image, the existence of a link between it and the theory of direct perception can be conveniently assumed. According to this theory, spatial information of an environment is directly contained in the optic array. Thus, this assumption makes possible the modeling of visual perception processes through computational approaches. In this thesis, angular variation is considered as a monocular cue, and the concept of direct perception is adopted by a computer vision approach that considers it as a suitable principle from which innovative techniques to calculate spatial information can be developed. The expected spatial information to be obtained from this monocular cue is the position and orientation of an object with respect to the observer, which in computer vision is a well known field of research called 2D-3D pose estimation. In this thesis, the attempt to establish the angular variation as a monocular cue and thus the achievement of a computational approach to direct perception is carried out by the development of a set of pose estimation methods. Parting from conventional strategies to solve the pose estimation problem, a first approach imposes constraint equations to relate object and image features. In this sense, two algorithms based on a simple line rotation motion analysis were developed. These algorithms successfully provide pose information; however, they depend strongly on scene data conditions. To overcome this limitation, a second approach inspired in the biological processes performed by the human visual system was developed. It is based in the proper content of the image and defines a computational approach to direct perception. The set of developed algorithms analyzes the visual properties provided by angular variations. The aim is to gather valuable data from which spatial information can be obtained and used to emulate a visual perception process by establishing a 2D-3D metric relation. Since it is considered fundamental in the visual-motor coordination and consequently essential to interact with the environment, a significant cognitive effect is produced by the application of the developed computational approach in environments mediated by technology. In this work, this cognitive effect is demonstrated by an experimental study where a number of participants were asked to complete an action-perception task. The main purpose of the study was to analyze the visual guided behavior in teleoperation and the cognitive effect caused by the addition of 3D information. The results presented a significant influence of the 3D aid in the skill improvement, which showed an enhancement of the sense of presence. / Las señales monoculares son entradas sensoriales capturadas exclusivamente por un solo ojo que ayudan a la percepción de distancia o espacio. Son en su mayoría características estáticas que proveen información de profundidad y son muy utilizadas en arte gráfico para crear apariencias reales de una escena. Dado que la información espacial contenida en dichas señales son extraídas de la retina, la existencia de una relación entre esta extracción de información y la teoría de percepción directa puede ser convenientemente asumida. De acuerdo a esta teoría, la información espacial de todo le que vemos está directamente contenido en el arreglo óptico. Por lo tanto, esta suposición hace posible el modelado de procesos de percepción visual a través de enfoques computacionales. En esta tesis doctoral, la variación angular es considerada como una señal monocular, y el concepto de percepción directa adoptado por un enfoque basado en algoritmos de visión por computador que lo consideran un principio apropiado para el desarrollo de nuevas técnicas de cálculo de información espacial. La información espacial esperada a obtener de esta señal monocular es la posición y orientación de un objeto con respecto al observador, lo cual en visión por computador es un conocido campo de investigación llamado estimación de la pose 2D-3D. En esta tesis doctoral, establecer la variación angular como señal monocular y conseguir un modelo matemático que describa la percepción directa, se lleva a cabo mediante el desarrollo de un grupo de métodos de estimación de la pose. Partiendo de estrategias convencionales, un primer enfoque implanta restricciones geométricas en ecuaciones para relacionar características del objeto y la imagen. En este caso, dos algoritmos basados en el análisis de movimientos de rotación de una línea recta fueron desarrollados. Estos algoritmos exitosamente proveen información de la pose. Sin embargo, dependen fuertemente de condiciones de la escena. Para superar esta limitación, un segundo enfoque inspirado en los procesos biológicos ejecutados por el sistema visual humano fue desarrollado. Está basado en el propio contenido de la imagen y define un enfoque computacional a la percepción directa. El grupo de algoritmos desarrollados analiza las propiedades visuales suministradas por variaciones angulares. El propósito principal es el de reunir datos de importancia con los cuales la información espacial pueda ser obtenida y utilizada para emular procesos de percepción visual mediante el establecimiento de relaciones métricas 2D- 3D. Debido a que dicha relación es considerada fundamental en la coordinación visuomotora y consecuentemente esencial para interactuar con lo que nos rodea, un efecto cognitivo significativo puede ser producido por la aplicación de métodos de L estimación de pose en entornos mediados tecnológicamente. En esta tesis doctoral, este efecto cognitivo ha sido demostrado por un estudio experimental en el cual un número de participantes fueron invitados a ejecutar una tarea de acción-percepción. El propósito principal de este estudio fue el análisis de la conducta guiada visualmente en teleoperación y el efecto cognitivo causado por la inclusión de información 3D. Los resultados han presentado una influencia notable de la ayuda 3D en la mejora de la habilidad, así como un aumento de la sensación de presencia.

Según los últimos censos, nuestro planeta tiene cerca de 7.000 millones de habitantes principalmente concentrados en zonas urbanas. Consecuencia de esto las multitudes de personas se congregan en estos sitios, complicando la tarea de supervisión y vigilancia para mantener la seguridad pública en calles, plazas, avenidas y demás. Esto motiva el estudio y mejora de métodos de análisis automático del comportamiento humano. A esta área de investigación se le denomina Análisis del Comportamiento Humano, o Reconocimiento de Actividades Humanas. Gran parte de los trabajos dedicados a este problema se basan en técnicas de visión por computador junto con algoritmos de Machine Learning y, más recientemente, en Deep Learning. En este proyecto de tesis, se ha hecho inicialmente una revisión del estado del arte respecto al tema del análisis y reconocimiento de actividades y comportamientos humanos. En este estudio se han analizado los principales trabajos de machine learning tradicional y deep learning para el tema de la tesis, así como los principales datasets. Se ha visto que no existe un estándar o arquitectura que proponga solución genérica. Por otro lado, la mayoría de trabajos se centran en un determinado rango de individuos, habiendo propuestas para personas individuales, para pequeños grupos, grandes grupos o multitudes. Además, no existe un consenso en la nomenclatura respecto a los grados de complejidad, niveles de comportamiento o, como aquí se denomina, nivel de semántica de las acciones que se realizan. Tras este estudio, se ha propuesto una taxonomía bidimensional que permite clasificar las propuestas en el espacio "número de personas/nivel de semántica", siendo más descriptivo respecto al actual estado del arte y permitiendo ver donde se concentran mayormente los trabajos y cuales los retos aun no resueltos. Tras el estudio del estado del arte, en este trabajo se ha propuesto una arquitectura de visión y aprendizaje para reconocer actividades de grupos usando descriptores de movimiento. Se compone de dos bloques principales, el descriptor de movimiento y el clasificador de actividad. Las arquitecturas de red profunda que se estudian actualmente tienen la bondad de, dados unos datos en crudo (imágenes, secuencias, etc.) tratarlos internamente de forma que devuelvan un resultado, sin necesidad de pre-procesarlos primero. Sin embargo, esto los hace dependientes de los datos de entrenamiento y necesitan grandes datasets para que el entrenamiento sea suficiente. El hecho de introducir un descriptor hace que el espacio de búsqueda se reduzca, y por lo tanto se pueda entrenar con menor número de datos, y además, se pueda independizar la escena (número de individuos, localización de la actividad en el espacio, etc.) del comportamiento en sí. Para el descriptor de la arquitectura se propone en esta tesis como una variante del descriptor Activity Descriptor Vector (ADV), que se denomina D-ADV, y que obtiene dos imágenes del movimiento local acumulado, una UDF (de los movimientos arriba, Up, abajo, Down, y Frecuencia) y otra LRF (de los movimientos Left, izquierda, Right, derecha y Frecuencia). Por otro lado, como instancias de la arquitectura haciendo uso del D-ADV, se proponen el D-ADV-MultiClass para clasificación de múltiples clases. Esta propuesta se basa en utilizar los dos streams UDF y LRF, junto con una red profunda y transfer learning, para reconocer la actividad del grupo. Además, se ha propuesto otra instancia, llamada D-ADV-OneClass, que añade a los dos streams anteriores, otro con información de contexto. Esta última instancia da solución a problemas en los que solo se conoce una clase durante el entrenamiento, y por lo tanto se utilizan técnicas de one-class classification. En la experimentación se ha validado la arquitectura con las dos instancias D-ADV-MultiClass y D-ADV-OneClass utilizando los datasets públicos ampliamente conocidos, como son BEHAVE, INRIA y CAVIAR para multi-class, y para one-class los datasets Ped 1, Ped 2 y Avenue. Los resultados experimentales muestran la capacidad de la arquitectura para clasificar las actividades de los grupos presentados en los datasets. Además, se demuestra que la arquitectura es capaz de tener buenos resultados utilizando datasets con poca cantidad de datos. En este caso, no a partir de la imagen sino de la representación del movimiento. Por último se plantean como trabajos futuros experimentar con otros datasets de mayor tamaño o con otro tipo de datos (peleas callejeras y en rings de boxeo para ver como afecta el contexto en estas situaciones). A medio o largo plazo se realizarán mejoras aumentando y comprobando otras instancias de la arquitectura utilizando múltiples streams de entrada que puedan permitir detectar otros comportamientos.

Las evaluaciones de riesgos y seguridad en el trabajo generalmente se han realizado con observaciones efectuadas in situ por personal especializado. Esta evaluación de riesgos tradicional es costosa e ineficaz, especialmente en los países en desarrollo, donde hay una necesidad de recursos humanos más capacitados. Además, el estado del arte resalta que incluso los especialistas calificados carecen de precisión intra- e inter-observador, pues a menudo se equivocan en juicios de riesgos principalmente debido a sesgos subjetivos o condiciones visuales subóptimas en el lugar de trabajo, como ser iluminación reducida, oclusiones de equipos, auto-oclusiones y ángulos de video inadecuados. En esta tesis presentamos diversas propuestas, basadas en el uso de visión artificial, para facilitar la toma de decisiones, estandarizar el proceso de evaluación y reducir el tiempo requerido para estimar el riesgo ergonómico y cuantificar el uso de equipos de protección individual. En el primer capítulo se presenta la introducción a las tecnologías de la Industria 4.0 como marco básico de requerimiento de soluciones a los problemas antes mencionados. El segundo capítulo detalla las soluciones propuestas desde la visión artificial y las redes neuronales para la estimación del riesgo ergonómico. En el tercer capítulo se presentan dos soluciones basadas en redes neuronales para la inspección y cuantificación del uso de equipos de protección personal. Finalmente, se presentan las conclusiones y el trabajo futuro. Los resultados indicaron que los métodos propuestos facilitan el proceso de evaluación de riesgos y condiciones de trabajo en aplicaciones reales en entornos desafiantes, utilizando entre otras fuentes videos obtenidos por medio de cámaras deportivas egocéntricas, teléfonos inteligentes y drones. / Risk and safety assessment at worksites is generally carried out through on-site observations performed by specialized personnel. This traditional risk assessment procedure is costly and ineffective, especially in underdeveloped countries, where specifically trained human resources are scarce and expensive. Also, the state-of-art points out that even qualified specialists lack intra- and inter-observer precision, and often err on risk judgments, mainly due to subjective biases or workplace sub-optimal visual conditions, such as reduced illumination, equipment occlusions, self-occlusions, and inadequate video angles. In this thesis we present several computer-vision- based solutions aimed to facilitate decision-making, to standardize the evaluation process, and to reduce the amount of time required for estimating ergonomic risk and quantifying the use of personal protective equipment. In the first chapter, the introduction to Industry 4.0 technologies is presented as a basic framework requiring solutions to the problemsmentioned. The second chapter details the proposed solutions based on computer vision and neural networks for the estimation of ergonomic risk. In the third chapter, two solutions based on neural networks for the inspection and quantification of the use of personal protective equipment are presented. Finally, conclusions and future work are presented. The results indicated that the methods facilitated the process of assessing risks and working conditions in real applications in challenging environments, using video recorded with sports egocentric cameras, smartphones, and drones.

No description available.

La visión por computador es una rama de la inteligencia artificial que desarrolla tanto la teoría como la tecnología necesarias para emular la percepción visual humana. Su principal objetivo es construir sistemas artificiales capaces de interpretar escenas naturales o datos multidimensionales. La reconstrucción de la forma tridimensional de objetos reales es un campo muy importante dentro de la visión por computador y es de aplicación, entre otras, en disciplinas tan dispares como la ingeniería inversa, la navegación automática o la inspección y el control automáticos de calidad.En esta tesis se presenta un caso de estudio de la utilización de técnicas de visión por computador en el análisis, diseño e implementación de un sistema para la reconstrucción tridimensional de la superficie de objetos con restricciones de tiempo real. El estudio se centra en la inspección automática de la calidad de productos laminados en la industria del acero. La evaluación de la calidad de estos productos, denominados bandas de acero, requiere, además de otros análisis, la medición de su planitud. Esta medición se puede obtener a partir de una reconstrucción tridimensional de la forma de la banda.La planitud es una característica que indica el grado de aproximación de la superficie de un objeto a una superficie totalmente plana. Un proceso de laminación incorrecto genera tensiones internas en el acero que se traducen en defectos de planitud en la banda laminada.Hace algunos años la medición de la planitud se realizaba de forma manual por un operador de la instalación industrial. Para medir la planitud de una banda de forma manual se detiene su avance por la instalación y se mide la longitud de un intervalo concreto de su superficie así como la diferencia entre su punto más bajo y su punto más alto. En realidad, se miden la longitud y la amplitud de onda que forma la superficie de la banda. Esta tarea es extremadamente tediosa y consume un tiempo excesivo, por lo que sólo se puede obtener un conjunto reducido de medidas de cada producto. A partir de estas medidas se pueden inferir el tipo y la magnitud del defecto de planitud. La creciente demanda en la calidad de acabado de productos laminados y los exigentes requisitos de productividad actuales en la industria del acero hacen inviable la inspección de un producto de forma manual.La medición de la planitud de una banda de forma automatizada se basa en la comparación de la longitud de varias fibras de su superficie. Si la banda es totalmente plana, todas las medidas de longitud serán iguales. En caso contrario, las diferencias entre estas longitudes se observarán como defectos de planitud.La automatización del proceso de medición de la planitud en entornos industriales es un campo de trabajo relativamente reciente. Según el principio de funcionamiento utilizado para obtener las medidas de longitud de la superficie de la banda, los sistemas de medición de planitud se pueden clasificar en mecánicos u ópticos.En el trabajo realizado se presenta un estudio exhaustivo sobre el concepto de la planitud y su medición en productos laminados, así como una revisión de los sistemas industriales más relevantes de medición de planitud. Además, se describen las técnicas de visión por computador aplicables a la reconstrucción tridimensional de la superficie de productos laminados. También se presenta el diseño de un sistema de medición de planitud de bandas de acero basado en la técnica de triangulación óptica por láser.Dada la enorme dificultad para generar datos sintéticos adecuados y la imposibilidad de repetición del proceso de producción industrial se han evaluado diversos algoritmos de compresión de vídeo en tiempo real con objeto de almacenar la información de entrada al sistema. A partir de esta evaluación se ha desarrollado una herramienta de grabación y reproducción de vídeo comprimido en tiempo real que permite realizar pruebas off-line con datos reales así como validar el diseño del sistema. Además, también permite generar una base de datos que representa el amplio rango de condiciones superficiales que puede presentar una banda de acero.Con el objetivo de extraer la proyección del patrón láser de la escena de formarobusta y precisa se analizan las técnicas existentes y se estudia su aplicabilidad en un entorno hostil. Las técnicas descritas en la literatura se centran principalmente en la precisión de la detección del láser, siendo poco robusta su utilización en un entorno industrial, por lo que se diseña un método que garantice la extracción del patrón láser en condiciones adversas. El método propuesto se divide en dos fases. En primer lugar se realiza un proceso de búsqueda del láser en reposo aplicando criterios de búsqueda local. En segundo lugar, basándose en la información obtenida en la fase anterior, se realiza un proceso de búsqueda global sobre la superficie de la banda. Esta segunda fase consiste en un proceso de ajuste de segmentos curvos basado en una técnica de división y unión de regiones.La validación del sistema de medición de planitud se realiza indirectamente mediante la precisión lograda en el proceso de reconstrucción de la forma tridimensional de la banda. Los resultados relativos a la medición de planitud han sido obtenidos con datos reales procedentes de la industria del acero.