Tese de mestrado integrado. Engenharia Mecânica. Faculdade de Engenharia. Universidade do Porto. 2012

In the industrial area, robots are an important part of the technological resources available to perform manipulation tasks in manufacturing, assembly, the transportation of dangerous waste, and a variety of applications. Specialized systems of computer vision have entered the market to solve problems that other technologies have been unable to address. This document analyzes a stereo vision system that is used to provide the center of mass of an object in three dimensions. This kind of application is mounted using two or more cameras that are aligned along the same axis and give the possibility to measure the depth of a point in the space. The stereoscopic system described, measures the position of an object using a combination between the 2D recognition, which implies the calculus of the coordinates of the center of mass and using moments, and the disparity that is found comparing two images: one of the right and one of the left. This converts the system into a 3D reality viewfinder, emulating the human eyes, which are capable of distinguishing depth with good precision.The proposed stereo vision system is integrated into a 5 degree of freedom pneumatic robot, which can be programmed using the GRAFCET method by means of commercial software. The cameras are mounted in the lateral plane of the robot to ensure that all the pieces in the robot's work area can be observed.For the implementation, an algorithm is developed for recognition and position measurement using open sources in C++. This ensures that the system can remain as open as possible once it is integrated with the robot. The validation of the work is accomplished by taking samples of the objects to be manipulated and generating robot's trajectories to see if the object can be manipulated by its end effector or not. The results show that is possible to manipulate pieces in a visually crowded space with acceptable precision. However, the precision reached does not allow the robot to perform tasks that require higher accuracy as the one is needed in manufacturing assembly process of little pieces or in welding applications. / En el área industrial los robots forman parte importante del recurso tecnológico disponible para tareas de manipulación en manufactura, ensamble, manejo de residuos peligrosos y aplicaciones varias. Los sistemas de visión computacional se han ingresado al mercado como soluciones a problemas que otros tipos de sensores y métodos no han podido solucionar. El presente trabajo analiza un sistema de visión estereoscópico aplicado a un robot. Este arreglo permite la medición de coordenadas del centro de un objeto en las tres dimensiones, de modo que, le da al robot la posibilidad de trabajar en el espacio y no solo en un plano. El sistema estereoscópico consiste en el uso de dos o más cámaras alineadas en alguno de sus ejes, mediante las cuales, es posible calcular la profundidad a la que se encuentran los objetos. En el presente, se mide la posición de un objeto haciendo una combinación entre el reconocimiento 2D y la medición de las coordenadas y de su centro calculadas usando momentos. En el sistema estereoscópico, se añade la medición de la última coordenada mediante el cálculo de la disparidad encontrada entre las imágenes de las cámaras inalámbricas izquierda y derecha, que convierte al sistema en un visor 3D de la realidad, emulando los ojos humanos capaces de distinguir profundidades con cierta precisión. El sistema de visión computacional propuesto es integrado a un robot neumático de 5 grados de libertad el cual puede ser programado desde la metodología GRAFCET mediante software de uso comercial. Las cámaras del sistema de visión están montadas en el plano lateral del robot de modo tal, que es posible visualizar las piezas que quedan dentro de su volumen de trabajo. En la implementación, se desarrolla un algoritmo de reconocimiento y medición de posición, haciendo uso de software libre en lenguaje C++. De modo que, en la integración con el robot, el sistema pueda ser lo más abierto posible. La validación del trabajo se logra tomando muestras de los objetos a ser manipulados y generando trayectorias para el robot, a fin de visualizar si la pieza pudo ser captada por su garra neumática o no. Los resultados muestran que es posible lograr la manipulación de piezas en un ambiente visualmente cargado y con una precisión aceptable. Sin embargo, se observa que la precisión no permite que el sistema pueda ser usado en aplicaciones donde se requiere precisión al nivel de los procesos de ensamblado de piezas pequeñas o de soldadura.

In the industrial area, robots are an important part of the technological resources available to perform manipulation tasks in manufacturing, assembly, the transportation of dangerous waste, and a variety of applications. Specialized systems of computer vision have entered the market to solve problems that other technologies have been unable to address. This document analyzes a stereo vision system that is used to provide the center of mass of an object in three dimensions. This kind of application is mounted using two or more cameras that are aligned along the same axis and give the possibility to measure the depth of a point in the space. The stereoscopic system described, measures the position of an object using a combination between the 2D recognition, which implies the calculus of the coordinates of the center of mass and using moments, and the disparity that is found comparing two images: one of the right and one of the left. This converts the system into a 3D reality viewfinder, emulating the human eyes, which are capable of distinguishing depth with good precision.The proposed stereo vision system is integrated into a 5 degree of freedom pneumatic robot, which can be programmed using the GRAFCET method by means of commercial software. The cameras are mounted in the lateral plane of the robot to ensure that all the pieces in the robot's work area can be observed.For the implementation, an algorithm is developed for recognition and position measurement using open sources in C++. This ensures that the system can remain as open as possible once it is integrated with the robot. The validation of the work is accomplished by taking samples of the objects to be manipulated and generating robot's trajectories to see if the object can be manipulated by its end effector or not. The results show that is possible to manipulate pieces in a visually crowded space with acceptable precision. However, the precision reached does not allow the robot to perform tasks that require higher accuracy as the one is needed in manufacturing assembly process of little pieces or in welding applications. / En el área industrial los robots forman parte importante del recurso tecnológico disponible para tareas de manipulación en manufactura, ensamble, manejo de residuos peligrosos y aplicaciones varias. Los sistemas de visión computacional se han ingresado al mercado como soluciones a problemas que otros tipos de sensores y métodos no han podido solucionar. El presente trabajo analiza un sistema de visión estereoscópico aplicado a un robot. Este arreglo permite la medición de coordenadas del centro de un objeto en las tres dimensiones, de modo que, le da al robot la posibilidad de trabajar en el espacio y no solo en un plano. El sistema estereoscópico consiste en el uso de dos o más cámaras alineadas en alguno de sus ejes, mediante las cuales, es posible calcular la profundidad a la que se encuentran los objetos. En el presente, se mide la posición de un objeto haciendo una combinación entre el reconocimiento 2D y la medición de las coordenadas y de su centro calculadas usando momentos. En el sistema estereoscópico, se añade la medición de la última coordenada mediante el cálculo de la disparidad encontrada entre las imágenes de las cámaras inalámbricas izquierda y derecha, que convierte al sistema en un visor 3D de la realidad, emulando los ojos humanos capaces de distinguir profundidades con cierta precisión. El sistema de visión computacional propuesto es integrado a un robot neumático de 5 grados de libertad el cual puede ser programado desde la metodología GRAFCET mediante software de uso comercial. Las cámaras del sistema de visión están montadas en el plano lateral del robot de modo tal, que es posible visualizar las piezas que quedan dentro de su volumen de trabajo. En la implementación, se desarrolla un algoritmo de reconocimiento y medición de posición, haciendo uso de software libre en lenguaje C++. De modo que, en la integración con el robot, el sistema pueda ser lo más abierto posible. La validación del trabajo se logra tomando muestras de los objetos a ser manipulados y generando trayectorias para el robot, a fin de visualizar si la pieza pudo ser captada por su garra neumática o no. Los resultados muestran que es posible lograr la manipulación de piezas en un ambiente visualmente cargado y con una precisión aceptable. Sin embargo, se observa que la precisión no permite que el sistema pueda ser usado en aplicaciones donde se requiere precisión al nivel de los procesos de ensamblado de piezas pequeñas o de soldadura.

FA; UTFPR; RENAULT / Linhas robóticas de solda são comuns na indústria automobilística. Durante a produção de um veículo, sua estrutura metálica precisa ser soldada em um único corpo resistente. Isso é feito por meio de centenas de soldas a ponto por resistência, cada uma liga localmente duas ou mais placas metálicas. Distribuir eficientemente esses pontos entre robôs é particularmente desafiador, levando em conta que: cada robôs podem fazer acessar uma parte dos pontos de solda, há tempo de movimentação entre pontos e robôs podem colidir entre si se ocuparem o mesmo espaço físico ao mesmo tempo. Há muitas maneiras factíveis de distribuir pontos de solda. No entanto, cada uma gera um resultado econômico diferente: Se um robô soldar muitos pontos se tornará um gargalo e reduzirá a taxa média de produção.Obter o conjunto de decisões operacionais que gera o melhor desempenho é o objetivo de técnicas de otimização. Há uma ampla variedade de técnicas descritas na literatura de pesquisa operacional e ciência da computação: modelos matemáticos, algoritmos, heurísticas, meta-heurísticas, etc. No contexto industrial, tais técnicas foram adaptadas para diversas variantes de problemas práticos. No entanto, estas adaptações só podem resolver as variantes para as quais foram idealizadas. Se por um lado podem se traçar paralelos entre vários aspectos de linhas robóticas de solda e tais variantes, por outro o conjunto completo de características das linhas estudadas não é tratável por (ou convertível em) nenhuma delas. A presente dissertação desenvolve uma abordagem para otimizar tais linhas, baseada em um modelo de programação linear inteira mista desenvolvido para descrever o problema. Ela também apresenta um estudo de caso para discutir e ilustrar possíveis dificuldades de aplicação e como superá-las. O modelo apresentado foi aplicado a dados de uma linha robótica de solda da fábrica, composta por quarenta e dois robôs, quatro modelos de veículos e mais de setecentos pontos de solda por veículo. A média ponderada da redução em tempo de ciclo obtida pelo modelo foi de 17.5%. Variantes do modelo, concebidas para auxiliar trabalhos futuros, são apresentadas e discutidas. / Robotic welding manufacturing lines are production lines common in automobile industries. During a vehicle's production, the vehicle's metal structure must be welded in a single resistant body. This is made by hundreds of spot-welding points, each of which tie locally two or more metal plates. Efficiently distributing these welding points amongst robots is particularly challenging, taking in account that: not all robots can perform all weld points, robots must move their welding tools between weld points, and robots might interfere with one another if they use the same geometrical space. There are multiple feasible manners to distribute the welding points. However, each of these forms generates different economical results: If a robot performs too many points, it will become a line bottleneck and reduce average throughput. To find the set of operational decisions that yields the best output is the goal of optimization techniques. There are a wide variety of such techniques described in operations research and computer sciences literature: mathematical models, algorithms, heuristics, meta-heuristics, etc. In the industrial context, these techniques were adapted to related line balancing problems. However, these adaptations can only solve the specific variants they were designed to address. While parallels can be drawn between aspects of robotic welding lines and many of such variants, the full combined set of characteristics of the studied lines is not treatable by (or convertible to) any of them. This dissertation develops a framework to optimize such lines, based on mixed-integer linear programing model developed to describe the problem. It also presents a case study to discuss and illustrate possible difficulties and how to overcome them. The presented model was applied to data from the factory's robotic welding lines composed of forty-two robots (divided in thirteen stations), four vehicle models and over seven hundred welding points for each vehicle. The weighted average reduction percentage in cycle time obtained by the model was 17.5%. Model variants, designed to aid further works are presented and discussed.