[pt] A integração do controle por computador de microscópios com a aquisição e análise digital de imagens levou à criação de uma nova área, denominada Microscopia Digital. Além de permitir um certo grau de automação, a Microscopia Digital abriu possibilidades realmente novas para a caracterização microestrutural. Uma destas novas e promissoras possibilidades é a Microscopia Co-localizada, que junta diversos tipos de informação, obtidas a partir de diferentes técnicas de microscopia. No presente trabalho foi desenvolvida e implementada uma metodologia de Microscopia Co-localizada que combina imagens de Microscopia Óptica de Luz Refletida (MO) e de Microscopia Eletrônica de Varredura (MEV). Esta metodologia envolve desde a aquisição das imagens nos microscópios até a análise das fases presentes através de técnicas de Reconhecimento de Padrões. Um procedimento automático de registro entre os dois tipos de imagens foi desenvolvido, permitindo o ajuste de magnificação, translação, rotação, tamanho de pixel e distorções locais. Desta forma, imagens de MO e de MEV de uma dada amostra podem ser combinadas precisamente. A metodologia foi testada com diversas amostras minerais, visando a discriminação de fases que são indistinguíveis por MO ou MEV. A Microscopia Co-localizada MOMEV foi empregada em uma rotina para a caracterização de amostras de minério de ferro e os resultados obtidos foram comparados com os da análise tradicional ao MEV. / [en] Computer-controlled microscopes with digital image acquisition and analysis led to the creation of a new field, called Digital Microscopy. Digital Microscopy not only allows a certain degree of automation but also has brought new possibilities to microstructural characterization. One of these new and promising possibilities is Co- Site Microscopy, that links different kinds of information, obtained from different microscopy techniques. The present work presents the development and implementation of a Co-Site Microscopy methodology that combines images obtained by Reflected Light Microscopy (RLM) and Scanning Electron Microscopy (SEM). This methodology involves the whole sequence, from image acquisition at the microscopes to the analysis of the phases using Pattern Recognition techniques. An automatic registration procedure for the two kinds of images was developed, allowing the adjustment of magnification, translation, rotation, and pixel size, and the correction of local distortions. The methodology was tested with several mineral samples, aiming at the discrimination of phases that are not distinguishable with either RLM or SEM. The RLM-SEM Co-Site Microscopy technique was employed in the characterization of iron ore samples and the obtained results were compared to the traditional analysis by SEM.

[pt] Na indústria do petróleo, problemas como dano mecânico causam redução da porosidade e permeabilidade de uma formação rochosa, reduzindo a produtividade e injetividade de poços de sistemas de produção de óleo e gás. Na perfuração do poço há alteração do estado de tensões no seu entorno, causando uma deformação na rocha que pode induzir a uma perda significativa da permeabilidade. Nesta dissertação foi realizado um estudo da influência do dano mecânico na porosidade de rochas do tipo arenito. Para isso, utilizou-se a técnica não-destrutiva de microtomografia de raios-x, que permite a visualização da estrutura interna de materiais, acoplada a uma célula desenvolvida para aplicação, in situ, de tensão hidrostática. Uma amostra de arenito como 8 mm de diâmetro foi tomografada em 3 condições: sem carregamento, após a aplicação de tensão hidrostática de 3300 psi e após o descarregamento. A célula permitiu que as variações de carga fossem realizadas sem retirar a amostra do tomógrafo, permitindo uma comparação quantitativa entre as imagens 3D. Nas 3 condições foram obtidos dados como porosidade total, variação da área porosa em cada camada, volume e forma dos poros. / [en] In the oil industry, problems such as mechanical damage reduce the porosity and permeability of a rock formation, reducing the productivity and injectivity of wells in oil and gas production systems. During the well drilling there is a change in the state of the stress in its surroundings, causing a deformation in the rock that can induce a significant loss of permeability. In this dissertation, it was carried out a study regarding the influence of mechanical damage on the porosity of sandstone rocks. In order to do this, the non-destructive technique of x-ray microtomography was used, which allows the visualization of the materials internal structure, coupled to a cell developed for in situ application of hydrostatic stress. A sandstone sample of 8 mm in diameter was scanned under 3 conditions: without load, after application of 3300 psi hydrostatic stress and after unloading. The cell allowed the load variations to be performed without removing the sample from the tomograph, allowing a quantitative comparison between the 3D images in the 3 conditions. Data such as total porosity, variation of the porous area in each layer, volume and shape of the pores were obtained.

[pt] A caracterização tridimensional tem sido mais utilizada na área da ciência dos materiais devido à necessidade de melhor compreensão e resultados mais precisos acerca da microestrutura dos materiais, que não são completamente revelados pelas técnicas tradicionais de microscopia bidimensional. No presente trabalho dois tipos de técnicas de caracterização 3D foram utilizadas: MicroTC - Microtomografia de Raios-X (com tomógrafos de bancada e baseados em fonte síncrotron) e FIB-SEM (feixe de íons focalizados acoplados a um MEV). Estas técnicas foram aplicadas a um sistema específico: descontinuidades em metal de solda subaquática molhada. Estas descontinuidades (poros, trincas e inclusões) apresentam tamanhos típicos variando de nanômetros a dezenas de micrômetros. Além disso, apresentam formas, distribuição espacial e orientação bastante variada e complexa. Assim, esta tese apresenta o desenvolvimento de metodologia de aquisição, processamento, análise e visualização 3D de poros, trincas e inclusões em solda subaquática molhada, a partir de imagens obtidas por MicroTC e FIB-SEM. As técnicas de aquisição foram otimizadas para os diferentes tipos de descontinuidades. Rotinas especializadas de processamento e análise de imagens foram criadas, sempre que possível utilizando um ambiente de software livre (FIJI/ImageJ). Diversas medidas foram automaticamente obtidas: número de objetos, volume, fração volumétrica, área superficial, diâmetro de Feret, espessura, esfericidade e compacidade. Além disso, a construção de imagens 3D permitiu observar a forma e a distribuição espacial das descontinuidades presentes. Visando avaliar a sensibilidade para detecção de trincas por MicroTC, um corpo de prova com seção variável foi submetido a um ensaio de tração, de forma que as diferentes seções sofressem diferentes valores de tensão. Foi verificada uma correlação positiva entre o valor de tensão e o número, comprimento e espessura das trincas detectadas. Este experimento também revelou o impacto da resolução espacial e do ruído sobre a possibilidade de detectar as trincas de forma acurada. / [en] 3D characterization is growing quickly in materials science due to the demands of better microstructural characterization, which cannot be fully achieved with the traditional 2D microscopy techniques. In this work, two types of 3D characterization techniques were employed: MicroCT – microcomputed x-ray tomography (with both bench top and synchrotron sources) and FIB-SEM (focused ion beam coupled to SEM). These techniques were applied to a specific system: discontinuities in underwater wet welds. These discontinuities (pores, cracks and inclusions) range in size from nanometers to tens of microns. Moreover, they present complex and varied shapes, spatial distribution and orientation. Thus, this thesis presents the development of methodology for the acquisition, processing, analysis and visualization of pores, cracks and inclusions in underwater wet welds, from images obtained by MicroCT and FIB-SEM. The acquisition techniques and conditions were optimized for the different kinds of discontinuities. Specialized routines for image processing and analysis were developed, employing a free software environment whenever possible (FIJI/ImageJ). Several measurements were automatically obtained: number of objects, volume, volume fraction, surface area, feret diameter, thickness, sphericity and compacity. Moreover, the rendering of 3D images allowed the observation of the shape and spatial distribution of the discontinuities in the weld metal. To evaluate the detection sensitivity of cracks by MicroCT, a specimen with varied cross-sections was submitted to a tensile test, so that the different sections were submitted to to different stress values. A positive correlation was observed between the stress value and the number, length and thickness of the detected cracks. This experiment also showed the influence of spatial resolution and noise upon the possibility of detecting cracks accurately.

[pt] A detecção e o subsequente rastreamento de objetos em sequencias de vídeo é um desafio no que tange o processamento de vídeos em tempo real. Nesta tese propomos um método de detecção em tempo real adequado para o processamento de vídeos de alta definição. Neste método utilizamos um procedimento de segmentação de quadros usando as imagens integrais de frente, o que permite o rápido descarte de várias partes da imagem a cada quadro, desta maneira atingindo uma alta taxa de quadros processados por segundo. Estendemos ainda o algoritmo proposto para que seja possível detectar múltiplos objetos em paralelo. Além disto, através da utilização de uma GPU e técnicas que podem ter seu desempenho aumentado por meio de paralelismo, como o operador prefix sum, conseguimos atingir um desempenho ainda melhor do algoritmo, tanto para a detecção do objeto, como na etapa de treinamento de novas classes de objetos. / [en] The detection and subsequent tracking of objects in video sequences is a challenge in terms of video processing in real time. In this thesis we propose an detection method suitable for processing high-definition video in real-time. In this method we use a segmentation procedure through integral image of the foreground, which allows a very quick disposal of various parts of the image in each frame, thus achieving a high rate of processed frames per second. Further we extend the proposed method to be able to detect multiple objects in parallel. Furthermore, by using a GPU and techniques that can have its performance enhanced through parallelism, as the operator prefix sum, we can achieve an even better performance of the algorithm, both for the detection of the object, as in the training stage of new classes of objects.

[pt] Pelotas de minério de ferro são formadas a partir da aglomeração de finos de minério e constituem o principal insumo para o processo de redução na indústria siderúrgica. As frações de fases sólidas e de poros afetam propriedades tais como resistência à compressão, permeabilidade a gases durante o processo de redução, e redutibilidade. No presente trabalho desenvolveu-se um método automático para a identificação e a quantificação automáticas das fases sólidas e poros presentes em pelotas de minério de ferro, mediante a correlação de imagens obtidas por duas técnicas diferentes – microscopia ótica (MO) e eletrônica de varredura (MEV). Imagens em mosaico cobrindo completamente uma seção transversal equatorial da pelota foram capturadas em MO e MEV. Utilizando técnicas de processamento de imagens, as fases e os poros foram identificados e quantificados em cada tipo de imagem. No entanto, cada técnica apresenta limitações na discriminação de certas fases, impedindo uma quantificação completa. Por outro lado, a combinação de imagens dos dois tipos permite discriminar todas as fases. Para isso as imagens de MO e MEV foram automaticamente registradas utilizando pontos de referência homólogos obtidos pela técnica SIFT – Scale Invariant Feature Transform. Após o registro, fases e poros foram individualmente identificadas e quantificadas, levando a resultados muito mais precisos do que os obtidos separadamente. Comparou-se também o resultado de porosidade com o obtido por microtomografia de raios-x (MicroCT). Para isso, um procedimento de correlação identificou a camada de uma tomografia 3D mais similar às imagens de MO ou MEV, foi realizado o registro e mediu-se a fração de área de poros. O valor encontrado foi muito menor na imagem de MicroCT, fato atribuído à pior resolução espacial desta técnica. / [en] Iron ore pellets are formed by an agglomeration process and currently constitute the main source for the reduction process in steel making. The fractions of solid phases and pores directly affect pellets´ properties such as compression resistance, gas permeability during the reduction process, and reducibility. In this work a method for the automatic identification and quantification of phases and pores in iron ore pellets was developed, based on the correlation between images obtained with two different techniques – optical microscopy (OM) and scanning electron microscopy (SEM). Mosaic images covering the full equatorial cross section of a pellet were acquired with OM and SEM. Employing digital image processing techniques the phases and pores were identified and quantified in each type of image. However, each imaging technique has limitations in the discrimination of certain phases, preventing a full quantification. On the other hand, the combination of the two types of images allows discriminating all phases. For that, OM and SEM images were automatically registered using homologous reference points obtained with the SIFT – Scale Invariant Feature Transform technique. After registration, phases and pores were individually identified and quantified, leading to much more accurate results than those provided separately by OM or SEM. The porosity was also compared with that provided by x-ray MicroCT. For that, a correlation procedure identified the closest matching MicroCT layer to the OM or SEM images, the image was registered and the pore fraction was measured. The obtained value is much lower for the MicroCT image, what was attributed to the worse spatial resolution of the technique.

[pt] A Segmentação de imagens representa uma etapa fundamental na análise de imagens e geralmente envolve um alto custo computacional, especialmente ao lidar com grandes volumes de dados. Devido ao significativo aumento nas resoluções espaciais, espectrais e temporais das imagens de sensoriamento remoto nos últimos anos, as soluções sequenciais e paralelas atualmente empregadas não conseguem alcançar os níveis de desempenho e escalabilidade esperados. Este trabalho propõe um método de segmentação de imagens distribuída capaz de lidar, de forma escalável e eficiente, com imagens grandes de altíssima resolução. A solução proposta é baseada no modelo MapReduce, que oferece uma estrutura altamente escalável e confiável para armazenar e processar dados muito grandes em ambientes de computação em clusters e, em particular, também para nuvens privadas e comerciais. O método proposto é extensível a qualquer algoritmo de crescimento de regiões podendo também ser adaptado para outros modelos. A solução foi implementada e validada usando a plataforma Hadoop. Os resultados experimentais comprovam a viabilidade de realizar a segmentação distribuída sobre o modelo MapReduce por intermédio da computação na nuvem. / [en] Image segmentation is a critical step in image analysis, and generally involves a high computational cost, especially when dealing with large volumes of data. Given the significant increase in the spatial, spectral and temporal resolutions of remote sensing imagery in the last years, current sequential and parallel solutions fail to deliver the expected performance and scalability. This work proposes a distributed image segmentation method, capable of handling very large high-resolution images in an efficient and scalable way. The proposed solution is based on the MapReduce model, which offers a highly scalable and reliable framework for storing and processing massive data in cluster environments and in private and public computing clouds. The proposed method is extendable to any region-growing algorithm and can be adapted to other models. The solution was implemented and validated using the Hadoop platform. Experimental results attest the viability of performing distributed segmentation over the MapReduce model through cloud computing.

[pt] O objetivo genérico desta tese foi o desenvolvimento de uma arquitetura computacional distribuída para a interpretação automática, baseada em objetos, de grandes volumes de dados de imagem de sensoriamento remoto, com foco na distribuição de dados e processamento em um ambiente de computação em nuvem. Dois objetivos específicos foram perseguidos: (i) o desenvolvimento de uma nova arquitetura distribuída para análise de imagens que é capaz de lidar com vetores e imagens ao mesmo tempo; e (ii) a modelagem e implementação de uma plataforma distribuída para a interpretação de grandes volumes de dados de sensoriamento remoto. Para validar a nova arquitetura, foram realizados experimentos com dois modelos de classificação – um de cobertura da terra e outro de uso do solo – sobre uma imagem QuickBird de uma área do município de São Paulo. Os modelos de classificação, propostos por Novack (Novack09), foram recriados usando as estruturas de representação do conhecimento da nova plataforma. Nos experimentos executados, a plataforma foi capaz de processar todo o modelo de classificação de cobertura da terra para uma imagem de 32.000x32.000 pixels (aproximadamente 3,81 GB), com aproximadamente 8 milhões de objetos de imagem (aproximadamente 23,2 GB), em apenas 1 hora, utilizando 32 máquinas em um serviço de nuvem comercial. Resultados igualmente interessantes foram obtidos para o modelo de classificação de uso do solo. Outra possibilidade de paralelismo oferecida pelas estruturas de representação de conhecimento da plataforma também foi avaliada. / [en] The general objective of this thesis was the development of a distributed computational architecture for the automatic, object-based interpretation of large volumes of remote sensing image data, focusing on data and processing distribution in a cloud computing environment. Two specific objectives were pursued: (i) the development of a novel distributed architecture for image analysis that is able to deal with vectors and rasters at the same time; and (ii) the design and implementation of an open-source, distributed platform for the interpretation of very large volumes of remote sensing data. In order to validate the new architecture, experiments were carried out using two classification models – land cover and land use – on a QuickBird image of an area of the São Paulo municipality. The classification models, proposed by Novack (Novack09), were recreated using the knowledge representation structures available in the new platform. In the executed experiments, the platform was able to process the whole land cover classification model on a 32,000x32,000-pixel image (approximately 3.81 GB), with approximately 8 million image objects (approximately 23.2 GB), in just one hour, using 32 machines in a commercial cloud computing service. Equally interesting results were obtained for the land use classification model. Another possibility of parallelism provided by the platform s knowledge representation structures was also evaluated.

[pt] Após instrumentação do canal radicular, uma camada de material orgânico/inorgânico é formada sobre a dentina. Não existe um consenso sobre o método ideal para a remoção deste smear layer e exposição dos túbulos dentinários, necessários à adaptação da obturação ao canal radicular. Geralmente, soluções quelantes são utilizadas com essa finalidade, mas a substância e o tempo ideais permanecem desconhecidos. Nesse estudo, foi analisado o poder quelante de EDTA, EDTAC e ácido cítrico (AC) 1%, 5% e 10% sobre dentina radicular. Através de microscopia óptica co-localizada foram capturadas imagens de vários campos de cada amostra, em 5 diferentes tempos de ataque ácido (15 a 300 s). Uma seqüência de processamento e análise de imagens foi utilizada para medir dezenas de imagens, obtendo dados relativos à fração de área ocupada e de tamanho de milhares de túbulos ao longo do tempo. Assim, foi possível acompanhar a evolução do processo e quantificar o efeito das substâncias. As soluções de AC apresentaram maior poder quelante. EDTA e AC 1% apresentaram efeitos similares após 300 s. O EDTAC teve o menor efeito. Experimentos análogos com microscopia eletrônica de varredura ambiental forneceram resultados similares, com maior informação sobre a rugosidade da superfície dentinária. AC 10% causou erosão severa após 60 s. / [en] Instrumentation methods currently used in endodontic therapy create a residual layer composed of organic and inorganic material. There is no universal consensus regarding the ideal method for removing this smear layer and exposing the dentinary tubules, necessary for the adaptation of root canal filling. In general, chelating solutions are used but the ideal solution and application time remain unknown. In the present study the chelating power of EDTA, EDTAC and 1, 5 and 10% citric acid (CA) on radicular dentine was analyzed. Co-site digital optical microscopy was used to capture images of several fields of each sample after acid etching for 5 experimental times (15-300 s). An image processing and analysis sequence measured tens of images, providing data of area fraction and size for thousands of tubules over time. Thus, it was possible to follow the phenomenon and quantitatively analyze the effect of the various substances. The CA solutions showed the greatest chelating power. EDTA and CA 1% showed similar effect after 300 s. EDTAC was the least effective. Equivalent experiments employing Environmental Scanning Electron Microscopy provided similar results, complemented by a better view of dentine surface roughness. CA 10% caused severe erosion of the surface

[pt] O minério de ferro é encontrado na natureza como agregado de minerais, dentre os principais minerais presentes em sua composição estão: hematita, magnetita, goethita e quartzo. Dada a importância do minério de ferro para a indústria, há um crescente interesse por sua caracterização com o objetivo de avaliar a qualidade do material. Com o avanço de pesquisas na área de análise de imagens e microscopia, rotinas de caracterização foram desenvolvidas utilizando ferramentas de Microscopia Digital e Processamento e Análise Digital de Imagens capazes de automatizar grande parte do processo. Porém esbarrava-se em algumas dificuldades, como por exemplo identificar e classificar as diferentes texturas das partículas de hematita, as diferentes formas de seus cristais ou discriminar quartzo e resina em imagens de microscopia ótica de luz refletida. Desta forma, a partir da necessidade de se construir sistemas capazes de aprender e se adaptar a possíveis variações das imagens deste material, surgiu a possibilidade de estudar a utilização de ferramentas de Deep Learning para esta função. Este trabalho propõe o desenvolvimento de uma nova metodologia de caracterização mineral baseada em Deep Learning utilizando o algoritmo Mask R-CNN. Através do qual é possível realizar segmentação de instâncias, ou seja, desenvolver sistemas capazes de identificar, classificar e segmentar objetos nas imagens. Neste trabalho, foram desenvolvidos dois modelos: Modelo 1 que realiza segmentação de instâncias para as classes compacta, porosa, martita e goethita em imagens obtidas em Campo Claro e o Modelo 2 que utiliza imagens adquiridas em Luz Polarizada Circularmente para segmentar as classes monocristalina, policristalina e martita. Para o Modelo 1 foi obtido F1-score em torno de 80 por cento e para o Modelo 2 em torno de 90 por cento. A partir da segmentação das classes foi possível extrair atributos importantes de cada partícula, como distribuição de quantidade, medidas de forma, tamanho e fração de área. Os resultados obtidos foram muito promissores e indicam que a metodologia desenvolvida pode ser viável para tal caracterização. / [en] Iron ore is found in nature as an aggregate of minerals. Among the main minerals in its composition are hematite, magnetite, goethite, and quartz. Given the importance of iron ore for the industry, there is a growing interest in its characterization to assess the material s quality. With the advancement of image analysis and microscopy research, characterization routines were developed using Digital Microscopy and Digital Image Processing and Analysis tools capable of automating a large part of the process. However, it encountered some difficulties, such as identifying and classifying the different textures of hematite particles, the different shapes of its crystals, or discriminating between quartz and resin in optical microscopy images of reflected light. Therefore, from the need to build systems capable of learning and adapting to possible variations of the images of this material, the possibility of studying the use of Deep Learning tools for this function arose. This work proposes developing a new mineral characterization methodology based on Deep Learning using the Mask R-CNN algorithm. Through this, it is possible to perform instance segmentation, that is, to develop systems capable of identifying, classifying, and segmenting objects in images. In this work, two models were developed: Model 1 performs segmentation of instances for the compact, porous, martite, and goethite classes in images obtained in Bright Field, and Model 2 uses images acquired in Circularly Polarized Light to segment the classes monocrystalline, polycrystalline and martite. For Model 1, F1-score was obtained around 80 percent, and for Model 2, around 90 percent. From the class segmentation, it was possible to extract important attributes of each particle, such as quantity distribution, shape measurements, size, and area fraction. The obtained results were very promising and indicated that the developed methodology could be viable for such characterization.

[pt] O processo de formação de pelotas de minério de ferro consiste na preparação das matérias-primas, formação da pelota crua e endurecimento por meio da queima. O produto final deve ser um material poroso que permita a difusão de gases no forno de redução e que, simultaneamente, resista a compressão, característica relevante durante o transporte e no carregamento do forno. No entanto, durante o tratamento térmico e o transporte podem surgir trincas que comprometem a integridade das pelotas. A discriminação de poros e trincas é, portanto, um importante fator para a análise microestrutural e controle de qualidade do material. A microtomografia de raios-x é uma técnica não destrutiva que gera imagens tridimensionais, o que permite uma visualização completa da pelota. No entanto, a metodologia usual de processamento digital de imagens, baseada em extração de atributos de tamanho e forma, apresenta limitações para discriminar poros de trincas. Redes Neurais Deep Learning são uma alternativa poderosa para classificar tipos de objetos em imagens, utilizando como entrada as intensidades dos pixels e atributos automaticamente determinados pela rede. Após treinar um modelo com os padrões correspondente a cada classe, é possível atribuir cada pixel da imagem a uma das classes presentes, permitindo uma segmentação semântica. Nesta dissertação, otimizou-se uma rede Deep Learning com arquitetura U-Net, usando como conjunto de treinamento poucas camadas 2D da imagem 3D original. Aplicando o modelo à pelota utilizada no treinamento foi possível discriminar poros de trincas de forma adequada. A aplicação do modelo a outras pelotas exigiu a incorporação de camadas destas pelotas ao treinamento e otimização de parâmetros do modelo. Os resultados apresentaram classificação adequada, apesar de apresentar dificuldades de criar um modelo geral para discriminação entre poros e trincas em pelotas de minério de ferro. / [en] The iron ore pellet forming process consists of preparing the raw materials, forming the raw pellet and hardening by firing. The end product must be a porous material which allows gas to diffuse in the blast furnace and at the same time resists compression, which is a relevant feature during transport and loading of the furnace. However, during heat treatment and transport cracks may appear that compromise the integrity of the pellets. The discrimination of pores and cracks is therefore an important factor for microstructural analysis and material quality control. X-ray microtomography is a non-destructive technique that generates three-dimensional images, allowing a full view of the pellet. However, the usual methodology of digital image processing, based on extraction of size and shape attributes, has limitations to discriminate crack from pores. Deep Learning Neural Networks are a powerful alternative to classifying object types in images, using as input the pixel intensities and attributes automatically determined by the network. After training a model with the patterns corresponding to each class, it is possible to assign each pixel of the image to one of the classes present, allowing a semantic segmentation. In this dissertation, a Deep Learning network with U-Net architecture was optimized, using as a training set a few 2D layers of the original 3D image. Applying the model to the pellet used in training it was possible to discriminate cracks pores properly. Application of the model to other pellets required the incorporation of layers of these pellets into the training and optimization of model parameters. The results were adequately classified, despite the difficulty of creating a general model for discrimination between pores and cracks in iron ore pellets.