En este trabajo se han desarrollado varias aplicaciones, empleando técnicas de multiplexado, dentro de los campos del procesado óptico de imágenes y del reconocimiento óptico de objetos. En concreto, empleando el multiplexado en longitud de onda como técnica que permite aumentar el caudal de información que se puede transmitir a través de un sistema óptico, hemos extendido las capacidades de reconocimiento de un correlador óptico iluminado con luz blanca al caso de la invariancia a escala del objeto de referencia hasta una relación de escalas de 2:1. Esto ha sido posible ampliando el espectro de detección hasta el infrarrojo cercano y empleando un filtro sólo de fase que aumenta las capacidades discriminativas del sistema. El dispositivo experimental multiplexa cada factor de escala del objeto de referencia en una longitud de onda diferente, por lo que el color del pico de detección que aparece en el plano de correlación nos indica automáticamente el tamaño que presenta el objeto de referencia.Empleando el mismo correlador iluminado con luz blanca hemos propuesto una aplicación que permite obtener, en la misma posición espacial y en tiempo real, las diferentes componentes wavelet de una función de entrada. Cada componente wavelet aparece en un intervalo distinto de longitudes de onda, que se puede seleccionar variando las características del sistema. En el caso presentado en la memoria, una cámara CCD en color con tres canales cromáticos RGB permite separar de forma automática cada componente wavelet en un canal cromático diferente.También se ha propuesto un dispositivo experimental que permite detectar la distancia a la que se encuentra un objeto de referencia sobre una escena tridimensional. La localización se realiza en tiempo real sin necesidad de ningún procesado intermedio de la imagen de entrada. La idea en la que se basa esta aplicación es que un cambio en la distancia a la que se encuentra un objeto sobre una escena tridimensional implica únicamente un cambio en su escala en una proyección bidimensional de la escena.Por otra parte, empleando la técnica de multiplexado espacial, en la que se busca aumentar la cantidad de información codificada espacialmente en la imagen de entrada para transmitirla simultáneamente por el sistema, hemos propuesto un sistema óptico que permite reconocer objetos tridimensionales. El dispositivo experimental, que está basado en la técnica de la perfilometría por transformada de Fourier, es extraordinariamente sencillo, y la detección se puede obtener en tiempo real, ya que no se necesita ningún procesado intermedio de la imagen de entrada. La información tridimensional del objeto se introduce en el sistema utilizando los patrones distorsionados que se obtienen al proyectar una red uniforme sobre la superficie de los objetos tridimensionales. El sistema detecta la presencia de un objeto tridimensional de referencia correlacionando la información tridimensional codificada en estos patrones distorsionados. El dispositivo experimental se puede construir empleando tanto un correlador óptico de transformada conjunta como un correlador óptico de VanderLugt.Además, se han propuesto dos extensiones de las capacidades de reconocimiento de objetos tridimensionales de este sistema óptico. Por un lado, empleando el desarrollo en armónicos circulares, hemos extendido el reconocimiento de objetos tridimensionales al caso de la invariancia a rotaciones, por lo que podemos detectar, en tiempo real, un objeto tridimensional independientemente de la orientación que éste presente sobre la escena de entrada. Por otro lado, empleando tanto el desarrollo en armónicos radiales de Mellin como el filtro de armónicos logarítmicos radiales, hemos extendido el reconocimiento de objetos tridimensionales al caso de la invariancia a escala. Podemos detectar, también en tiempo real, un objeto tridimensional independientemente del tamaño que éste presente, dentro de unos ciertos límites, sobre la escena de entrada.Todos los resultados que se presentan a lo largo del trabajo han sido obtenidos experimentalmente, y demuestran el buen comportamiento de todas las aplicaciones y los sistemas propuestos. / Several applications in the fields of optical pattern recognition and image processing using multiplexing techniques have been presented. Using wavelength multiplexing, we have improved the detection capabilities of a white-light optical correlator that now detects simultaneously different scaled reference objects up to a magnification factor equal to 2. The color of the correlation peak indicates us directly the scale factor of the detected reference object. As an additional application, the same experimental setup permits to obtain, in real time, the different wavelet components of an input function, in the same spatial region, and each one codified in a different interval of wavelengths. The interval of wavelengths in which each wavelet component appears can be selected by changing some characteristics of the system. We have also presented a new full-optical system to localize a reference object in the three-dimensional space. The system multiplexes each different depth position in a different wavelength, and so, the color of the obtained correlation peak permits to know without confusedness the exact localization of the object in the three-dimensional scene.Additionally, using the spatial multiplexing technique, we have presented a new full-optical system to recognize three-dimensional objects. The detection process can be performed in real time, because no digital processing of the input image is needed. The optical system, that is based on the Fourier transform profilometry technique, can be implemented using a joint-transform correlator or a classical convergent correlator. We have also extended the recognition capabilities of the new introduced technique to obtain rotation-invariant three-dimensional object recognition, and scale-invariant three-dimensional object recognition.All the results we present have been obtained experimentally, and demonstrate the good performance of all the applications and proposed systems.

Ingeniero Civil en Computación / El objetivo del trabajo aquí descrito es enfrentar el problema de detección y reconocimiento de personajes animados en la animación japonesa, también llamada animé. La resolución de este problema es importante por varias razones; no sólo pertenece a una familia de problemas difíciles de resolver, sino que solucionarlo significa la construcción de variadas herramientas para problemas reales en la vida diaria de animadores, editores y consumidores de animación japonesa en el mundo. Para resolver el problema, se propone un proceso de solución compuesto por 4 subprocesos que cumplen tareas específicas: la determinación de fotogramas dentro del material animado, la detección de rostros dentro de los fotogramas seleccionados, el diseño y la determinación de características visuales que describan los rostros detectados y, por último, la determinación de medidas de comparación para las características visuales antes calculadas, y la posterior búsqueda de elementos similares dentro de un conjunto de datos. En particular, la etapa de detección de rostros requiere el entrenamiento de un mecanismo de detección, lo que es costoso en términos de extracción de datos y tiempo de procesamiento. Además, la determinación de características visuales resulta difícil debido a la incertidumbre que la caracteriza. En definitiva, el desafío abordado por este proyecto no sólo comprende implementar una solución que logre resolver los problemas planteados anteriormente, pero además lograr generar resultados que puedan competir con las mejores soluciones en la actualidad, ya sea en precisión o performance, y además procurando no descuidar las buenas prácticas de desarrollo como la inclusión de tests o documentación. Para la implementación de la solución se propone un conjunto de scripts en el lenguaje Python, aprovechando la facilidad de desarrollo y las ventajas que provee la biblioteca OpenCV para el análisis y procesamiento de imágenes, videos y de datos relacionados. Finalmente, se definen ciertos experimentos que permiten evaluar la efectividad de la solución propuesta. En esta sección se ve demostrado que el problema no sólo es posible de resolver, sino que varios resultados exceden lo esperado en términos de precisión y performance. En particular, se observa que el mecanismo de detección propuesto alcanza una precisión de más del 80 % a pesar de haber sido entrenado con solamente 800 ejemplos positivos, mientras que la característica diseñada para el reconocimiento alcanza una precisión promedio del 35 % para las consultas elegidas.

In the industrial area, robots are an important part of the technological resources available to perform manipulation tasks in manufacturing, assembly, the transportation of dangerous waste, and a variety of applications. Specialized systems of computer vision have entered the market to solve problems that other technologies have been unable to address. This document analyzes a stereo vision system that is used to provide the center of mass of an object in three dimensions. This kind of application is mounted using two or more cameras that are aligned along the same axis and give the possibility to measure the depth of a point in the space. The stereoscopic system described, measures the position of an object using a combination between the 2D recognition, which implies the calculus of the coordinates of the center of mass and using moments, and the disparity that is found comparing two images: one of the right and one of the left. This converts the system into a 3D reality viewfinder, emulating the human eyes, which are capable of distinguishing depth with good precision.The proposed stereo vision system is integrated into a 5 degree of freedom pneumatic robot, which can be programmed using the GRAFCET method by means of commercial software. The cameras are mounted in the lateral plane of the robot to ensure that all the pieces in the robot's work area can be observed.For the implementation, an algorithm is developed for recognition and position measurement using open sources in C++. This ensures that the system can remain as open as possible once it is integrated with the robot. The validation of the work is accomplished by taking samples of the objects to be manipulated and generating robot's trajectories to see if the object can be manipulated by its end effector or not. The results show that is possible to manipulate pieces in a visually crowded space with acceptable precision. However, the precision reached does not allow the robot to perform tasks that require higher accuracy as the one is needed in manufacturing assembly process of little pieces or in welding applications. / En el área industrial los robots forman parte importante del recurso tecnológico disponible para tareas de manipulación en manufactura, ensamble, manejo de residuos peligrosos y aplicaciones varias. Los sistemas de visión computacional se han ingresado al mercado como soluciones a problemas que otros tipos de sensores y métodos no han podido solucionar. El presente trabajo analiza un sistema de visión estereoscópico aplicado a un robot. Este arreglo permite la medición de coordenadas del centro de un objeto en las tres dimensiones, de modo que, le da al robot la posibilidad de trabajar en el espacio y no solo en un plano. El sistema estereoscópico consiste en el uso de dos o más cámaras alineadas en alguno de sus ejes, mediante las cuales, es posible calcular la profundidad a la que se encuentran los objetos. En el presente, se mide la posición de un objeto haciendo una combinación entre el reconocimiento 2D y la medición de las coordenadas y de su centro calculadas usando momentos. En el sistema estereoscópico, se añade la medición de la última coordenada mediante el cálculo de la disparidad encontrada entre las imágenes de las cámaras inalámbricas izquierda y derecha, que convierte al sistema en un visor 3D de la realidad, emulando los ojos humanos capaces de distinguir profundidades con cierta precisión. El sistema de visión computacional propuesto es integrado a un robot neumático de 5 grados de libertad el cual puede ser programado desde la metodología GRAFCET mediante software de uso comercial. Las cámaras del sistema de visión están montadas en el plano lateral del robot de modo tal, que es posible visualizar las piezas que quedan dentro de su volumen de trabajo. En la implementación, se desarrolla un algoritmo de reconocimiento y medición de posición, haciendo uso de software libre en lenguaje C++. De modo que, en la integración con el robot, el sistema pueda ser lo más abierto posible. La validación del trabajo se logra tomando muestras de los objetos a ser manipulados y generando trayectorias para el robot, a fin de visualizar si la pieza pudo ser captada por su garra neumática o no. Los resultados muestran que es posible lograr la manipulación de piezas en un ambiente visualmente cargado y con una precisión aceptable. Sin embargo, se observa que la precisión no permite que el sistema pueda ser usado en aplicaciones donde se requiere precisión al nivel de los procesos de ensamblado de piezas pequeñas o de soldadura.

In the industrial area, robots are an important part of the technological resources available to perform manipulation tasks in manufacturing, assembly, the transportation of dangerous waste, and a variety of applications. Specialized systems of computer vision have entered the market to solve problems that other technologies have been unable to address. This document analyzes a stereo vision system that is used to provide the center of mass of an object in three dimensions. This kind of application is mounted using two or more cameras that are aligned along the same axis and give the possibility to measure the depth of a point in the space. The stereoscopic system described, measures the position of an object using a combination between the 2D recognition, which implies the calculus of the coordinates of the center of mass and using moments, and the disparity that is found comparing two images: one of the right and one of the left. This converts the system into a 3D reality viewfinder, emulating the human eyes, which are capable of distinguishing depth with good precision.The proposed stereo vision system is integrated into a 5 degree of freedom pneumatic robot, which can be programmed using the GRAFCET method by means of commercial software. The cameras are mounted in the lateral plane of the robot to ensure that all the pieces in the robot's work area can be observed.For the implementation, an algorithm is developed for recognition and position measurement using open sources in C++. This ensures that the system can remain as open as possible once it is integrated with the robot. The validation of the work is accomplished by taking samples of the objects to be manipulated and generating robot's trajectories to see if the object can be manipulated by its end effector or not. The results show that is possible to manipulate pieces in a visually crowded space with acceptable precision. However, the precision reached does not allow the robot to perform tasks that require higher accuracy as the one is needed in manufacturing assembly process of little pieces or in welding applications. / En el área industrial los robots forman parte importante del recurso tecnológico disponible para tareas de manipulación en manufactura, ensamble, manejo de residuos peligrosos y aplicaciones varias. Los sistemas de visión computacional se han ingresado al mercado como soluciones a problemas que otros tipos de sensores y métodos no han podido solucionar. El presente trabajo analiza un sistema de visión estereoscópico aplicado a un robot. Este arreglo permite la medición de coordenadas del centro de un objeto en las tres dimensiones, de modo que, le da al robot la posibilidad de trabajar en el espacio y no solo en un plano. El sistema estereoscópico consiste en el uso de dos o más cámaras alineadas en alguno de sus ejes, mediante las cuales, es posible calcular la profundidad a la que se encuentran los objetos. En el presente, se mide la posición de un objeto haciendo una combinación entre el reconocimiento 2D y la medición de las coordenadas y de su centro calculadas usando momentos. En el sistema estereoscópico, se añade la medición de la última coordenada mediante el cálculo de la disparidad encontrada entre las imágenes de las cámaras inalámbricas izquierda y derecha, que convierte al sistema en un visor 3D de la realidad, emulando los ojos humanos capaces de distinguir profundidades con cierta precisión. El sistema de visión computacional propuesto es integrado a un robot neumático de 5 grados de libertad el cual puede ser programado desde la metodología GRAFCET mediante software de uso comercial. Las cámaras del sistema de visión están montadas en el plano lateral del robot de modo tal, que es posible visualizar las piezas que quedan dentro de su volumen de trabajo. En la implementación, se desarrolla un algoritmo de reconocimiento y medición de posición, haciendo uso de software libre en lenguaje C++. De modo que, en la integración con el robot, el sistema pueda ser lo más abierto posible. La validación del trabajo se logra tomando muestras de los objetos a ser manipulados y generando trayectorias para el robot, a fin de visualizar si la pieza pudo ser captada por su garra neumática o no. Los resultados muestran que es posible lograr la manipulación de piezas en un ambiente visualmente cargado y con una precisión aceptable. Sin embargo, se observa que la precisión no permite que el sistema pueda ser usado en aplicaciones donde se requiere precisión al nivel de los procesos de ensamblado de piezas pequeñas o de soldadura.

In the industrial area, robots are an important part of the technological resources available to perform manipulation tasks in manufacturing, assembly, the transportation of dangerous waste, and a variety of applications. Specialized systems of computer vision have entered the market to solve problems that other technologies have been unable to address. This document analyzes a stereo vision system that is used to provide the center of mass of an object in three dimensions. This kind of application is mounted using two or more cameras that are aligned along the same axis and give the possibility to measure the depth of a point in the space. The stereoscopic system described, measures the position of an object using a combination between the 2D recognition, which implies the calculus of the coordinates of the center of mass and using moments, and the disparity that is found comparing two images: one of the right and one of the left. This converts the system into a 3D reality viewfinder, emulating the human eyes, which are capable of distinguishing depth with good precision.The proposed stereo vision system is integrated into a 5 degree of freedom pneumatic robot, which can be programmed using the GRAFCET method by means of commercial software. The cameras are mounted in the lateral plane of the robot to ensure that all the pieces in the robot's work area can be observed.For the implementation, an algorithm is developed for recognition and position measurement using open sources in C++. This ensures that the system can remain as open as possible once it is integrated with the robot. The validation of the work is accomplished by taking samples of the objects to be manipulated and generating robot's trajectories to see if the object can be manipulated by its end effector or not. The results show that is possible to manipulate pieces in a visually crowded space with acceptable precision. However, the precision reached does not allow the robot to perform tasks that require higher accuracy as the one is needed in manufacturing assembly process of little pieces or in welding applications. / En el área industrial los robots forman parte importante del recurso tecnológico disponible para tareas de manipulación en manufactura, ensamble, manejo de residuos peligrosos y aplicaciones varias. Los sistemas de visión computacional se han ingresado al mercado como soluciones a problemas que otros tipos de sensores y métodos no han podido solucionar. El presente trabajo analiza un sistema de visión estereoscópico aplicado a un robot. Este arreglo permite la medición de coordenadas del centro de un objeto en las tres dimensiones, de modo que, le da al robot la posibilidad de trabajar en el espacio y no solo en un plano. El sistema estereoscópico consiste en el uso de dos o más cámaras alineadas en alguno de sus ejes, mediante las cuales, es posible calcular la profundidad a la que se encuentran los objetos. En el presente, se mide la posición de un objeto haciendo una combinación entre el reconocimiento 2D y la medición de las coordenadas y de su centro calculadas usando momentos. En el sistema estereoscópico, se añade la medición de la última coordenada mediante el cálculo de la disparidad encontrada entre las imágenes de las cámaras inalámbricas izquierda y derecha, que convierte al sistema en un visor 3D de la realidad, emulando los ojos humanos capaces de distinguir profundidades con cierta precisión. El sistema de visión computacional propuesto es integrado a un robot neumático de 5 grados de libertad el cual puede ser programado desde la metodología GRAFCET mediante software de uso comercial. Las cámaras del sistema de visión están montadas en el plano lateral del robot de modo tal, que es posible visualizar las piezas que quedan dentro de su volumen de trabajo. En la implementación, se desarrolla un algoritmo de reconocimiento y medición de posición, haciendo uso de software libre en lenguaje C++. De modo que, en la integración con el robot, el sistema pueda ser lo más abierto posible. La validación del trabajo se logra tomando muestras de los objetos a ser manipulados y generando trayectorias para el robot, a fin de visualizar si la pieza pudo ser captada por su garra neumática o no. Los resultados muestran que es posible lograr la manipulación de piezas en un ambiente visualmente cargado y con una precisión aceptable. Sin embargo, se observa que la precisión no permite que el sistema pueda ser usado en aplicaciones donde se requiere precisión al nivel de los procesos de ensamblado de piezas pequeñas o de soldadura.

Recientemente, con la aparición de nuevos sensores visuales de bajo coste capaces de adquirir y reconstruir datos 3D, y de los desarrollos de nuevos métodos, algoritmos y sistemas de percepción basados en información visual 3D, se ha producido una revolución en el desarrollo de aplicaciones robóticas, tales como el reconocimiento de objetos para la interacción de los robots con su entorno en tareas de agarre y manipulado inteligente. Para realizar estas tareas, los robots son dotados con diferentes sensores (como pueden ser cámaras, sensores de presión, fuerza, etc.) que les permitan extraer la información necesaria del entorno de trabajo. En esta tesis serán usados sensores de visión 3D, basados en RGBD. La detección y el reconocimiento de objetos en entornos de trabajo utilizando información tridimensional es un campo de estudio en el que se centran actualmente numerosas investigaciones. Sin embargo, no se ha llegado a resolver por completo el problema del reconocimiento de objetos, en especial cuando el robot se enfrenta a situaciones donde las escenas son complejas. También se debe tener en cuenta temas como el rendimiento de los procesos, ya que cuando se desean desarrollar aplicaciones de manipulado robótico se requieren tiempos de respuesta elevados. Como será discutido durante la tesis, la estructura utilizada para representar los datos e información 3D serán las nubes de puntos. Existen diferentes métodos que permiten extraer la información necesaria de ellas con el fin de reconocer y recuperar la pose de los objetos que contienen. Principalmente hay dos grandes tipos de aproximaciones, las que se basan en información local de las variaciones de la superficie y las que se basan en las características globales de la superficie. El primer grupo ha alcanzado una relativa madurez y esto ha conducido a sistemas de reconocimiento robustos. Sin embargo, presentan inconvenientes como tiempos de computación elevados cuando se trabaja con nubes de puntos densas para representar objetos, o de los elevados requisitos de memoria. El segundo grupo, basado en la extracción global de características, representan la geometría de una superficie con una única firma o histograma (en ocasiones la mezcla de ambos). De este modo se consiguen métodos de descripción con un rendimiento mucho más eficiente. Esta tesis discute cual de las dos aproximaciones es más idónea en tareas de manipulación robótica, para ello se realiza un amplio estudio a nivel teórico-práctico, del cual se presentará un nuevo método de descripción basado en información geométrica global. Por otro lado, se hace especialmente difícil el problema de la manipulación robótica cuando los objetos a manipular tienen propiedades de elasticidad. Como segundo objetivo de esta tesis es presentar un sistema de percepción visual para tareas de manipulación robótica de objetos elásticos. La percepción visual es idónea en tareas de agarre complejas o de manipulación inteligente para ayudar al control de robots cuando otros sistemas sensoriales, como pueden ser los sistemas de percepción táctil o de fuerza, no son capaces de obtener información útil. El sistema visual que se presenta, sirve como soporte de ayuda a otros sistemas de percepción basados en tacto, para llevar a cabo tareas de manipulación de objetos con propiedades de elasticidad. Por un lado, el sistema propuesto presenta una aproximación visual cuyo objetivo es supervisar la interacción entre el objeto manipulado y la herramienta robótica, ya sea pinza o mano, con la que se realiza la manipulación del objeto. Esta aproximación es de gran utilidad en ausencia de información procedente de otro tipo de sensores (p.e. fuerza o táctil) o cuando ésta es pobre o presenta inconsistencias. Por otro lado, el método de supervisión, también, está concebido para medir cambios en la geometría de la superficie del objeto manipulado y por lo tanto, éste es capaz de detectar y localizar deformaciones en la superficie causadas por presiones inadecuadas aplicadas por los dedos de la pinza o mano robótica. Todo los métodos y sistemas propuestos en la presente tesis han sido probados utilizando bases de datos públicas, además los experimentos desarrollados se han realizado empleando distintas plataformas robóticas, pero en todas ellas se emplea como herramienta de manipulación una mano antropomórfica de varios dedos. Es de destacar, que además de utilizar bases de datos de objetos públicas, también se ha desarrollado una base de datos de objetos simples con formas geométricas ambiguas. En el último capítulo de esta tesis se utiliza, un conjunto de objetos para realizar las pruebas en las cuales los elementos a manipular tienen distinta geometría y están fabricados con distintos materiales; esto permite mostrar el comportamiento de la estrategia presentada cuando los objetos tienen distintas propiedades de rigidez, elasticidad y flexibilidad.