Visual Object Tracking is the computer vision problem of estimating a target trajectory in a video given only its initial state. A visual tracker often acts as a component in the intelligent vision systems seen in for instance surveillance, autonomous vehicles or robots, and unmanned aerial vehicles. Applications may require robust tracking performance on difficult sequences depicting targets undergoing large changes in appearance, while enforcing a real-time constraint. Discriminative correlation filters have shown promising tracking performance in recent years, and consistently improved state-of-the-art. With the advent of deep learning, new robust deep features have improved tracking performance considerably. However, methods based on discriminative correlation filters learn a rigid template describing the target appearance. This implies an assumption of target rigidity which is not fulfilled in practice. This thesis introduces an approach which integrates deformability into a stateof-the-art tracker. The approach is thoroughly tested on three challenging visual tracking benchmarks, achieving state-of-the-art performance.

A detecção de objetos, pertencentes a uma determinada classe, em vídeos é de uma atividade amplamente estudada devido às aplicações potenciais que ela implica. Por exemplo, para vídeos obtidos por uma câmera estacionária, temos aplicações como segurança ou vigilância do tráfego, e por uma câmera dinâmica, para assistência ao condutor, entre outros. Na literatura, há diferentes métodos para tratar indistintamente cada um dos casos mencionados, e que consideram só imagens obtidas por um único tipo de câmera para treinar os detectores. Isto pode levar a uma baixa performance quando se aplica a técnica em vídeos de diferentes tipos de câmeras. O estado da arte na detecção de objetos de apenas uma classe, mostra uma tendência pelo uso de histogramas, treinamento supervisionado e, basicamente, seguem a seguinte estrutura: construção do modelo da classe de objeto, detecção de candidatos em uma imagem/quadro, e aplicação de uma medida sobre esses candidatos. Outra desvantagem observada é o uso de diferentes modelos para cada linha de visada de um objeto, gerando muitos modelos e, em alguns casos, um classificador para cada linha de visada. Nesta dissertação, abordamos o problema de detecção de objetos, usando um modelo da classe do objeto criada com um conjunto de dados de imagens estáticas e posteriormente usamos o modelo para detectar objetos na seqüência de imagens (vídeos) que foram coletadas a partir de câmeras estacionárias e dinâmicas, ou seja, num cenário totalmente diferente do usado para o treinamento. A criação do modelo é feita em uma fase de aprendizagem off-line, utilizando o conjunto de imagens PASCAL 2007. O modelo baseia-se em uma mistura de modelos baseados em partes deformáveis (MDPM), originalmente proposto por Felzenszwalb et al. (2010b) no âmbito da detecção de objetos em imagens. Não limitamos o modelo para uma determinada linha de visada. Foi elaborado um conjunto de experimentos que exploram o melhor número de componentes da mistura e o número de partes do modelo. Além disso, foi realizado um estudo comparativo de MDPMs simétricas e assimétricas. Testamos esse método para detectar objetos como pessoas e carros em vídeos obtidos por câmera estacionária e dinâmica. Nossos resultados não mostram apenas o bom desempenho da MDPM e melhores resultados que o estado da arte na detecção de objetos em vídeos obtidos por câmeras estacionárias ou dinâmicas, mas também mostram o melhor número de componentes da mistura e as partes para o modelo criado. Finalmente, os resultados mostram algumas diferenças entre as MDPMs simétricas e assimétricas na detecção de objetos em diferentes vídeos. / The problem of detecting objects that belong to a specific class of objects, in videos is a widely studied activity due to its potential applications. For example, for videos that have been taken from a stationary camera, we can mention applications such as security and traffic surveillance; when the video have been taken from a dynamic camera, a possible application is autonomous driving. The literature, presents several different approaches to treat indiscriminately with each of the cases mentioned, and only consider images obtained from a stationary or dynamic camera to train the detectors. These approaches can lead to poor performaces when the tecniques are used in sequences of images from different types of camera. The state of the art in the detection of objects that belong to a specific class shows a tendency to the use of histograms, supervised training and basically follows the structure: object class model construction, detection of candidates in the image/frame, and application of a distance measure to those candidates. Another disadvantage is that some approaches use several models for each point of view of the car, generating a lot of models and, in some cases, one classifier for each point of view. In this work, we approach the problem of object detection, using a model of the object class created with a dataset of static images and we use the model to detect objects in videos (sequence of images) that were collected from static and dynamic cameras, i.e., in a totally different setting than used for training. The creation of the model is done by an off-line learning phase, using an image database of cars in several points of view, PASCAL 2007. The model is based on a mixture of deformable part models (MDPM), originally proposed by Felzenszwalb et al. (2010b) for detection in static images. We do not limit the model for any specific viewpoint. A set of experiments was elaborated to explore the best number of components of the integration, as well as the number of parts of the model. In addition, we performed a comparative study of symmetric and asymmetric MDPMs. We evaluated the proposed method to detect people and cars in videos obtained by a static or a dynamic camera. Our results not only show good performance of MDPM and better results than the state of the art approches in object detection on videos obtained from a stationary, or dynamic, camera, but also show the best number of components of the integration and parts or the created object. Finally, results show differences between symmetric and asymmetric MDPMs in the detection of objects in different videos.

Les microgels sont des particules colloïdales polymères faiblement réticulées, capables de se gonfler d’un solvant, de se déformer et de s’adsorber à des interfaces liquides. Parmi eux, les microgels de poly(N-isopropylacrylamide) (pNIPAM) sont thermosensibles et présentent une contraction en volume lorsque la température est supérieure à la température de transition de phase volumique, notée VPTT. De précédents travaux ont montré leur capacité à stabiliser des émulsions de Pickering : les émulsions peuvent être stables à des températures inférieures à la VPTT et être déstabilisées sur demande au-dessus de celle-ci. Afin d’approfondir la compréhension du mécanisme de stabilisation des émulsions, nous discutons le rôle de la structure des microgels sur leur adsorption, leur organisation à des interfaces modèles, les propriétés mécaniques des interfaces et les propriétés des émulsions résultantes en terme de stabilité (cinétique, mécanique) et de propriétés d’écoulement. Le rôle de la réticulation, de la présence de charges et de la taille est étudié pour le modèle du pNIPAM. Nous démontrons le lien existant entre conformation et propriétés macroscopiques des émulsions. En prenant en considération à la fois la structure des microgels et les procédés de formulation (voies d’émulsification), des émulsions avec des propriétés rhéologiques et des états de floculation variés peuvent être obtenues. Fort de ces connaissances, les concepts établis à l’aide des microgels de pNIPAM seront généralisés à d’autres familles de microgels, d’une part des systèmes biocompatibles avec des dérivés comportant des chaînes pendantes oligo(éthylène oxyde), d’autre part des microgels sensibles à des stimuli biologiques tels que la reconnaissance de sucre. / Microgels are soft and deformable colloidal particles that are swollen by a solvent and display the ability to deform and adsorb at liquid interfaces. The poly(N-isopropylacrylamide) (pNIPAM) microgels are thermo-sensitive and exhibit a volume contraction when the temperature is raised above the volume phase transition temperature (VPTT). These particle have shown high potential as Pickering emulsions stabilizers: emulsions could be stable at ambiant temperature, below the VPTT and destabilize on-demand above it. To get insight into understanding of the emulsion stabilization mechanism, we systematically discuss the relation between the microgel structure, their adsorption, their organization at model interfaces, the viscoelastic behavior of the interface and the resulting emulsions properties in terms of stability and flow behavior. In the present work, using pNIPAM as model microgels, we investigate the effect of their cross-linking density, their size and their charge density. Varying the microgels structures and the formulation conditions (emulsification process), we could control the emulsions flocculation state and rheological behavior. Based on this knowledge, we propose to synthesize new biocompatible microgels as emulsion stabilizers. Using ligand-modified microgels sucrose-sensitive emulsions may be obtained, enlarging the possible application domains.

京都大学 / 0048 / 新制・課程博士 / 博士(医学) / 甲第22642号 / 医博第4625号 / 新制||医||1044(附属図書館) / 京都大学大学院医学研究科医学専攻 / (主査)教授 武田 俊一, 教授 増永 慎一郎, 教授 鈴木 実 / 学位規則第4条第1項該当 / Doctor of Medical Science / Kyoto University / DFAM

Video super-resolution (VSR) methods align and fuse consecutive low-resolution frames to generate high-resolution frames. One of the main difficulties for the VSR process is that video contains various motions, and the accuracy of motion estimation dramatically affects the quality of video restoration. However, standard CNNs share the same receptive field in each layer, and it is challenging to estimate diverse motions effectively. Neuroscience research has shown that the receptive fields of biological visual areas will be adjusted according to the input information. Diverse receptive fields in temporal and spatial dimensions have the potential to adapt to various motions, which is rarely paid attention in most known VSR methods. In this thesis, we propose to provide adaptive receptive fields for the VSR model. Firstly, we design a multi-kernel 3D convolution network and integrate it with a multi-kernel deformable convolution network for motion estimation and multiple frames alignment. Secondly, we propose a 2D multi-kernel convolution framework to improve texture restoration quality. Our experimental results show that the proposed framework outperforms the state-of-the-art VSR methods.

Interest in hippocampus increased sharply after his significance in the process of learning and retention of information was published. In particular, considerable interest was in its volume changes and their effect on Alzheimer’s disease. Understanding the structure and function hippocampus would contribute to a more accurate diagnosis of this disease. In this work was created a method of hippocampal segmentation using active contours. With its help, the data composed of both healthy and a diseased patients was segmented and the results were then statistically analyzed using statistical methods such as Kruskal-Walis test, Mann-Whitney test. The level of significance given by results of analysis supports alternative hypothesis that attaches significance of the difference in volume of the hippocampus between studied groups.

En esta Tesis se presenta una arquitectura innovadora para el control de tareas de manipulación de objetos deformables, usando sistemas robóticos compuestos por brazos articulados y manos humanoides. Esta arquitectura se basa principalmente en información sensorial obtenida desde sensores táctiles con los que se ha equipado a las manos robóticas. El principal objetivo del desarrollo de las técnicas que se describirán en esta memoria es obtener un sistema fiable, aplicable, y adaptable. Para que el sistema sea fiable, éste ha de ofrecer una respuesta correcta en ejecución continua durante su aplicación. La aplicabilidad del sistema se plantea también como un objetivo principal, ya que se desea que los algoritmos desarrollados puedan ser utilizados en usos reales de aplicación de manipulación robótica de objetos deformables. Por último, se plantea como objetivo principal del sistema la adaptabilidad, es decir, que el sistema desarrollado pueda aplicarse tanto con distintos tipos de elementos (robots, manos robóticas y sensores táctiles), como con distintos tipos de objetos deformables. La manipulación de objetos deformables es aún un reto abierto en el campo de la manipulación robótica. En la manipulación robótica de objetos rígidos, el modelado y cálculo de fuerzas y velocidades de interacción entre objeto y elemento prensor normalmente resultan viables. Sin embargo, cuando se trata de objetos deformables con múltiples grados de deformación, la complejidad de los modelados y cálculos aumenta considerablemente. Muchos han sido los trabajos presentados en los que se estudia el control de la manipulación de objetos deformables usando técnicas de control basadas en el modelado de los objetos y el cálculo de las fuerzas de interacción. Dichos trabajos usan versiones adaptadas de las leyes dinámicas que rigen la interacción entre dos objetos rígidos, incluyendo conceptos como el rango limitado de fuerzas aplicadas. Estas técnicas son muy precisas cuando se utilizan en entornos estructurados, pero no resultan viables cuando se intentan aplicar en entornos no estructurados o con múltiples tipos de objetos a tratar, para los que no se dispone de un modelo físico. Como respuesta al principal problema que ofrecen los sistemas de manipulación basados en utilización de modelos dinámicos, su falta de adaptabilidad, en esta Tesis se ofrece una visión alternativa para afrontar el reto de manipular objetos deformables, en la que el sistema no depende de tener previamente un modelo del objeto que va a usar. De esta manera se consigue un sistema ágil y adaptable que puede operar con una gran diversidad de objetos aun cuando el modelado no existe o es inapropiado. Esto se consigue controlando el sistema usando únicamente información interna de posicionamiento articular de los dedos y el brazo, e información de sensores táctiles colocados en las manos robóticas. El sistema se ha basado en el comportamiento humano para manipular objetos. El ser humano utiliza principalmente información táctil combinada con el propio conocimiento del posicionamiento y movimientos de los dedos de las manos para conocer cómo se deforma un objeto y si este se agarra con estabilidad o se producen deslizamientos entre mano y objeto. La arquitectura propuesta se ha organizado en tres niveles: agarre y exploración táctil, control táctil y planificación de tareas. El primer nivel se corresponde a la primera interacción entre mano y objeto, donde se establecen los puntos de contacto idóneos para realizar el agarre en función de la forma del objeto, y se incorpora además un procedimiento de exploración del objeto para analizar su rigidez combinando información táctil con información de desplazamiento de los dedos. De esta manera, se obtiene en la propia tarea de manipulación una descripción simplificada del objeto, sin tener que recurrir a un estudio dinámico previo del mismo. El segundo nivel se corresponde con el control de los dedos en función de la información táctil obtenida durante toda la tarea de manipulación, que permite tanto evitar deslizamientos y pérdida de contacto con el objeto, como producir deformaciones locales en él. En este nivel se presenta el concepto innovador de control táctil aplicado a los dedos de manos humanoides. Se describe también el concepto de imágenes táctiles, usadas para encapsular información táctil proveniente de distintos tipos de sensores en una misma representación escalada. Esta representación permite identificar el estado de las configuraciones de contacto, y por lo tanto utilizar el control táctil en función de las variaciones que se vayan produciendo en ellas. Por último, al nivel más alto, se presenta el método de planificación de tareas propuesto. Este método se basa en los niveles anteriores, que dan información descriptiva del objeto usado y de la configuración de contactos. Se divide en dos partes, un planificador global que establece movimientos de brazo y mano para realizar las trayectorias deseadas para llevar a cabo una tarea, y un planificador local que se encarga de controlar la interacción entre cada uno de los dedos y el objeto, previniendo la pérdida de contacto y aplicando deformaciones locales cuando la tarea lo requiere. La Tesis se ha organizado acordemente a la estructura descrita anteriormente. El primer Capítulo incluye una introducción de los objetivos, ámbito y motivación de la Tesis. En el segundo Capítulo se describe el mecanismo de agarre y exploración propuesto. Se hace además en este Capítulo un repaso sobre el estado del arte en técnicas de agarre y modelado, y una descripción de los principales conceptos relacionados con el agarre (matriz de agarre, modelado y medidas de calidad). En el tercer Capítulo se describe el sistema de control táctil propuesto y el uso de imágenes táctiles. Se añade además un repaso histórico sobre técnicas de control en la manipulación de objetos y tecnologías relacionadas con los sensores táctiles. El Capítulo cuarto describe el planificador propuesto, tanto a nivel local como a nivel global. En este Capítulo se presenta también un repaso histórico sobre técnicas de planificación en la manipulación de objetos, tanto usando un sistema uni-manual como un sistema bi-manual. Se incluye además un análisis sobre el comportamiento dinámico de objetos deformables, que se usa como base en la planificación de las tareas para provocar deformación. Los tres Capítulos que forman el núcleo de la Tesis, contienen una sección de pruebas en las que se justifica la utilización de los métodos propuestos en casos reales de aplicación y se demuestra la viabilidad del sistema. La Tesis se completa con un Capítulo final de conclusiones, resumen y enumeración de las publicaciones relacionadas con las aportaciones comentadas anteriormente.

This thesis deals with design, implementation and analysis of the model for dynamic changes in the terrain. Present state of terrain deformation in OpenSceneGraph environment is described and available relevant software called TDS, which allows terrain adaptation to new inserted objects is presented. Special emphasis is placed on design of model for physically based terrain deformations that are caused by moving object or by bomb explosion. The results of simulation tests are presented and on the base of model analysis, the optimizations, which significantly improve final algorithm, are designed and realized.

A substantial fraction of the automotive assembly comprises formed sheet metal parts. To reduce vehicle weight and improve fuel economy, total sheet metal mass should be minimized without compromising the structural integrity of the vehicle. Excessive deformation contributes to tearing or buckling of the metal, and therefore a forming limit is investigated experimentally to determine the extent to which each particular material can be safely strained. To assess sheet metal formability, this thesis proposes a novel framework for sheet metal surface strain measurement using a scalable dot-grid pattern. Aluminum sheet metal samples are marked with a regular grid of dot-features and imaged with a close-range monocular vision system. After forming, the sheet metal samples are imaged once again to examine the deformation of the surface pattern, and thereby resolve the material strain. Grid-features are localized with sub-pixel accuracy, and then topologically mapped using a novel algorithm for deformation-invariant grid registration. Experimental results collected from a laboratory setup demonstrate consistent robustness under practical imaging conditions. Accuracy, repeatability, and timing statistics are reported for several state-of-the-art feature detectors. / Thesis / Master of Applied Science (MASc)

One commonly used representation of complex objects in physics-based simulations are triangle meshes. This representation utilizes a collection of triangles to approximate an object. An alternative representation is a Signed Distance Field (SDF). This thesis aims to evaluate the effectiveness of representing a heavy machine bucket as an SDF, specifically in the application of collision detection with a de-formable terrain. Additionally, this thesis describes the implementation of two collision detection routines which uses SDFs to detect collisions with spheres and heightfields. The SDFs are stored using two alternative spatial data structures, a uniform grid and an octree. The implementations are compared against a triangle mesh representation. While there are limitations to the SDF representation, such as the need for high resolutions to capture fine details or that small features may become heavily distorted, the benefits of using SDFs include the ability to perform point to distance queries and provide a robust description of an object’s interior and exterior. The findings of this study showed that the SDF stored in a uniform grid demonstrated better performance in the benchmarks and was able to reproduce comparable data to the triangle mesh in the digging tests. These results indicate that the SDF representation could be a promising alternative to the triangle mesh representation. However, further development and research are required.