[pt] A técnica de análise de imagens conhecida pelo acrônimo de GEOBIA (do inglês Geographic Object Based Image Analysis) torna possível a exploração de uma série de novos recursos no processo de classificação de imagens de sensoriamento remoto, em comparação com as alternativas tradicionais baseadas em pixel. Esta possibilidade resulta da introdução de uma etapa de segmentação no processo de análise. Os novos recursos referem-se às propriedades espectrais, texturais, morfológicas e topológicas computadas para os diferentes segmentos de imagem. A abordagem de segmentação habitual encontrada na maioria dos trabalhos de GEOBIA depende de uma hierarquia de segmentações, cada nível de hierarquia associado a um número de classes de objetos caracterizados por tamanhos similares, ou seja, detectáveis em uma determinada escala. A prática usual, porém, não considera segmentações específicas para cada uma das classes de interesse no problema de interpretação, agrupando objetos de mesma escala em um procedimento de segmentação única, ou seja, usando o mesmo algoritmo e parâmetros. A tese investigada neste trabalho baseia-se na suposição de que, se segmentações não são especializadas para cada classe de objeto, então muitos atributos a eles relacionados não podem ser devidamente explorados no processo de classificação. A metodologia proposta baseia-se em uma regra específica para resolver eventuais conflitos espaciais entre as diferentes segmentações. Os resultados experimentais obtidos com base nos experimentos realizados apresentaram um desempenho melhor que o de costume, isto é, produziu melhores resultados de classificação, na maior parte dos problemas de interpretação investigados. / [en] Geographic Object-Based Image Analysis (GEOBIA) makes it possible to exploit a number of new features in the remote sensing image classification process in comparison to the traditional pixel-based alternatives. Such possibility arises from the introduction of a segmentation step in the analysis process. The new features refer to aggregated spectral pixel values, textural, morphological and topological properties computed for the different image segments. The usual segmentation approach found in most GEOBIA works relies on a hierarchy of segmentations, each hierarchy level associated to a number of classes of objects characterized by similar sizes, i.e., which are detectable at a particular scale. The usual practice, therefore, does not consider specific, independent segmentations for each class of interest in the interpretation problem, grouping objects at the same scale through a single segmentation procedure, for instance, using the same algorithm and parameters. The thesis investigated in this work lied on the assumption that if segmentations are not specialized for each object class, then many object features cannot be properly exploited in the classification process. The proposed approach relies on a specific rule to solve eventual spatial conflicts among different segmentations. The experimental results have showed that the proposed approach performed better, i.e., produced better classification results, than the usual one in most of the investigated interpretation problems.

Melanoma é um tipo maligno de lesão de pele pigmentada, e atualmente está entre os tipos de câncer existentes mais perigosos. Entretanto, diferenciar casos malignos de benignos é uma tarefa difícil mesmo para experientes especialistas, e um sistema de diagnóstico auxiliado por computador pode ser uma ferramenta bastante útil. Normalmente, este sistema inicia por um pré-processamento da imagem, isto é, remoção de artefatos indesejados, como pelos, sardas ou efeitos de sombreamento. A seguir, o sistema executa uma etapa de segmentação, identificando as bordas da lesão. Por fim, baseando-se na área da imagem identificada como lesão, diversas feições são computadas e uma classificação é gerada. Neste tese, apresentada na forma de uma coleção de artigos publicados, nós apresentamos técnicas para automaticamente executar todos estes passos, resultando em um pré-diagnóstico para uma lesão de pele pigmentada baseado apenas em uma imagem convencional (uma simples fotografia). Nós testamos nossos métodos em bases de imagens públicas e atingimos melhores resultados de segmentação e classificação que os demais métodos presentes na literatura. / Melanoma is a type of malignant pigmented skin lesion, and currently is among the most dangerous existing cancers. However, differentiating malignant and benign cases is a hard task even for experienced specialists, and a computer-aided diagnosis system can be an useful tool. Usually, the system starts by pre-processing the image, i.e. removing undesired artifacts such as hair, freckles or shading effects. Next, the system performs a segmentation step to identify the lesion boundaries. Finally, based on the image area identified as lesion, several features are computed and a classification is provided. In this Thesis, presented as a collection of published papers, we detail approaches to automatically execute all these steps, resulting in a pre-diagnosis for a pigmented skin lesion based only in a standard camera image (i.e. a simple color photograph). We tested our methods on publicly available datasets and achieved better segmentation and classification results than methods previously proposed in the literature.

[pt] O objetivo geral deste trabalho é avaliar o impacto relativo da utilização de atributos de forma na segmentação de imagens de diferentes características e classes de objeto distintas. Para tanto, uma extensão do método de Segmentação Multiresolução (Baatz00) foi proposta e implementada, permitindo que vários atributos de forma possam ser considerados no processo de crescimento de regiões. Para se selecionar a métrica usada na avaliação da qualidade da segmentação, oito métricas disponíveis na literatura foram consideradas. O desempenho relativo das oito métricas foi verificado experimentalmente e avaliada a correlação entre este desempenho e a percepção humana da qualidade da segmentação. Na sequência, dez atributos de forma foram selecionados. A qualidade das segmentações realizadas considerando um atributo de forma de cada vez foi então comparada com a qualidade de segmentações baseadas somente na cor. Depois disso o impacto da utilização de pares de atributos de forma no processo de segmentação foi avaliado. Os experimentos foram realizados para quinze classes de objetos distintas presentes em doze imagens representativas de áreas de aplicação diferentes – sensoriamento remoto, microscopia e imagens médicas. Os resultados confirmam a importância dos atributos de forma na qualidade da segmentação e suscitam uma discussão sobre trabalhos futuros. / [en] This work’s general goal is to evaluate the relative impact of using different morphological attributes on the segmentation of different images and object classes. Therefore, this work proposes an extension to the Multiresolution Segmentation method (Baatz00), in a way that several morphological attributes can be considered in the region growing process. In order to select a segmentation quality assessment metric to be used in the evaluation of the proposed segmentation algorithm, a study on eight metrics available in the literature was conducted. This study aimed at assessing the relative performance of the quality metrics and to verify which of them presented the higher correlation with the human perception of segmentation quality. Eight shape attributes were then chosen to compose the heterogeneity criterion and the quality of segmentations using one shape attribute at a time was compared with the color only based segmentation. After that, the impact of using pairs of morphological attributes was also evaluated. The experiments were performed over fifteen classes of interest present in twelve different images, representing application areas such as remote sensing, microscopy and medical images. The results confirm the importance of including morphological attributes in the segmentation process and promote an interesting discussion about future works.

A presente tese apresenta a concepção de uma rede neural oscilatória e sua realização em arquitetura maciçamente paralela, a qual é adequada à implementação de chips de visão digitais para segmentação de imagens. A rede proposta, em sua versão final, foi denominada ONNIS-GI (Oscillatory Neural Network for Image Segmentation with Global Inhibition) e foi inspirada em uma rede denominada LEGION (Locally Excitatory Globally Inhibitory Oscillator Network), também de concepção recente. Inicialmente, é apresentada uma introdução aos procedimentos de segmentação de imagens, cujo objetivo é o de situar e enfatizar a importância do tema abordado dentro de um contexto abrangente, o qual inclui aplicações de visão artificial em geral. Outro aspecto abordado diz respeito à utilização de redes neurais artificiais em segmentação de imagens, enfatizando as denominadas redes neurais oscilatórias, as quais têm apresentado resultados estimulantes nesta área. A implementação de chips de visão, integrando sensores de imagens e redes maciçamente paralelas de processadores, é também abordada no texto, ressaltando o objetivo prático da nova rede neural proposta. No estudo da rede LEGION, são apresentados resultados de aplicações originais desenvolvidas em segmentação de imagens, nos quais é verificada sua propriedade de separação temporal dos segmentos. A versão contínua da rede, um arranjo paralelo de neurônios baseados em equações diferenciais, apresenta elevada complexidade computacional para implementação em hardware digital e muitos parâmetros, com procedimento de ajuste pouco prático. Por outro lado, sua arquitetura maciçamente paralela apresenta-se particularmente adequada à implementação de chips de visão analógicos com capacidade de segmentação de imagens. Com base nos bons resultados obtidos nas aplicações desenvolvidas, é proposta uma nova rede neural, em duas versões, ONNIS e ONNIS-GI, as quais suplantam a rede LEGION em diversos aspectos relativos à implementação prática. A estrutura dos elementos de processamento das duas versões da rede, sua implementação em arquitetura maciçamente paralela e resultados de simulações e implementações em FPGA são apresentados, demonstrando a viabilidade da proposta. Como resultado final, conclui-se que a rede ONNIS-GI apresenta maior apelo de ordem prática, sendo uma abordagem inovadora e promissora na solução de problemas de segmentação de imagens, possuindo capacidade para separar temporalmente os segmentos encontrados e facilitando a posterior identificação dos mesmos. Sob o ponto de vista prático, a nova rede pode ser utilizada para implementar chips de visão digitais com arquitetura maciçamente paralela, explorando a velocidade de tais topologias e apresentando também flexibilidade para implementação de procedimentos de segmentação de imagens mais sofisticados.

[pt] A segmentação de imagens com objetivo de determinar a forma de objetos é ainda um problema difícil. A separação de regiões que correspondem a objetos contidos na imagem geralmente leva em consideração propriedades de similaridade, proximidade e descontinuidade. A imagem a ser segmentada pode ser de diversas naturezas, como fotografias, imagens médicas e sísmicas. Podemos encontrar na literatura muitos métodos de segmentação propostos como possíveis soluções para diferentes problemas. Recentemente a técnica de superpixel tem sido utilizada como um passo inicial que reduz o tamanho da entrada do problema. Este trabalho propõe uma metodologia de segmentação de imagens fotográficas e de ultrassom que se baseia em variantes de superpixels. A metodologia proposta se adapta a natureza da imagem e a complexidade do problema utilizando diferentes medidas de similaridade e distância. O trabalho apresenta também resultados que buscam esclarecer o procedimento proposto e a escolha de seus parâmetros. / [en] Image segmentation for object modeling is a complex task that is still not well solved. The separation of the regions corresponding to each object in an image is based on proximity, similarity, and discontinuity of its boundaries. The image to be segmented can be of various natures, including photographs, medical and seismic images. We can find in literature many proposed segmentation methods used as solutions to different problems. Recently the superpixel technique has been used as an initial step that reduces the size of the problem input. This work proposes a methodology of segmentation of photographs and ultrasound images based on variants of superpixels. The proposed methodology adapts to the image s nature and to the problem s complexity using different measures of similarity and distance. This work also presents results that seek to clarify the proposed procedure and the choice of its parameters.

Melanoma é um tipo maligno de lesão de pele pigmentada, e atualmente está entre os tipos de câncer existentes mais perigosos. Entretanto, diferenciar casos malignos de benignos é uma tarefa difícil mesmo para experientes especialistas, e um sistema de diagnóstico auxiliado por computador pode ser uma ferramenta bastante útil. Normalmente, este sistema inicia por um pré-processamento da imagem, isto é, remoção de artefatos indesejados, como pelos, sardas ou efeitos de sombreamento. A seguir, o sistema executa uma etapa de segmentação, identificando as bordas da lesão. Por fim, baseando-se na área da imagem identificada como lesão, diversas feições são computadas e uma classificação é gerada. Neste tese, apresentada na forma de uma coleção de artigos publicados, nós apresentamos técnicas para automaticamente executar todos estes passos, resultando em um pré-diagnóstico para uma lesão de pele pigmentada baseado apenas em uma imagem convencional (uma simples fotografia). Nós testamos nossos métodos em bases de imagens públicas e atingimos melhores resultados de segmentação e classificação que os demais métodos presentes na literatura. / Melanoma is a type of malignant pigmented skin lesion, and currently is among the most dangerous existing cancers. However, differentiating malignant and benign cases is a hard task even for experienced specialists, and a computer-aided diagnosis system can be an useful tool. Usually, the system starts by pre-processing the image, i.e. removing undesired artifacts such as hair, freckles or shading effects. Next, the system performs a segmentation step to identify the lesion boundaries. Finally, based on the image area identified as lesion, several features are computed and a classification is provided. In this Thesis, presented as a collection of published papers, we detail approaches to automatically execute all these steps, resulting in a pre-diagnosis for a pigmented skin lesion based only in a standard camera image (i.e. a simple color photograph). We tested our methods on publicly available datasets and achieved better segmentation and classification results than methods previously proposed in the literature.

A presente tese apresenta a concepção de uma rede neural oscilatória e sua realização em arquitetura maciçamente paralela, a qual é adequada à implementação de chips de visão digitais para segmentação de imagens. A rede proposta, em sua versão final, foi denominada ONNIS-GI (Oscillatory Neural Network for Image Segmentation with Global Inhibition) e foi inspirada em uma rede denominada LEGION (Locally Excitatory Globally Inhibitory Oscillator Network), também de concepção recente. Inicialmente, é apresentada uma introdução aos procedimentos de segmentação de imagens, cujo objetivo é o de situar e enfatizar a importância do tema abordado dentro de um contexto abrangente, o qual inclui aplicações de visão artificial em geral. Outro aspecto abordado diz respeito à utilização de redes neurais artificiais em segmentação de imagens, enfatizando as denominadas redes neurais oscilatórias, as quais têm apresentado resultados estimulantes nesta área. A implementação de chips de visão, integrando sensores de imagens e redes maciçamente paralelas de processadores, é também abordada no texto, ressaltando o objetivo prático da nova rede neural proposta. No estudo da rede LEGION, são apresentados resultados de aplicações originais desenvolvidas em segmentação de imagens, nos quais é verificada sua propriedade de separação temporal dos segmentos. A versão contínua da rede, um arranjo paralelo de neurônios baseados em equações diferenciais, apresenta elevada complexidade computacional para implementação em hardware digital e muitos parâmetros, com procedimento de ajuste pouco prático. Por outro lado, sua arquitetura maciçamente paralela apresenta-se particularmente adequada à implementação de chips de visão analógicos com capacidade de segmentação de imagens. Com base nos bons resultados obtidos nas aplicações desenvolvidas, é proposta uma nova rede neural, em duas versões, ONNIS e ONNIS-GI, as quais suplantam a rede LEGION em diversos aspectos relativos à implementação prática. A estrutura dos elementos de processamento das duas versões da rede, sua implementação em arquitetura maciçamente paralela e resultados de simulações e implementações em FPGA são apresentados, demonstrando a viabilidade da proposta. Como resultado final, conclui-se que a rede ONNIS-GI apresenta maior apelo de ordem prática, sendo uma abordagem inovadora e promissora na solução de problemas de segmentação de imagens, possuindo capacidade para separar temporalmente os segmentos encontrados e facilitando a posterior identificação dos mesmos. Sob o ponto de vista prático, a nova rede pode ser utilizada para implementar chips de visão digitais com arquitetura maciçamente paralela, explorando a velocidade de tais topologias e apresentando também flexibilidade para implementação de procedimentos de segmentação de imagens mais sofisticados.

Melanoma é um tipo maligno de lesão de pele pigmentada, e atualmente está entre os tipos de câncer existentes mais perigosos. Entretanto, diferenciar casos malignos de benignos é uma tarefa difícil mesmo para experientes especialistas, e um sistema de diagnóstico auxiliado por computador pode ser uma ferramenta bastante útil. Normalmente, este sistema inicia por um pré-processamento da imagem, isto é, remoção de artefatos indesejados, como pelos, sardas ou efeitos de sombreamento. A seguir, o sistema executa uma etapa de segmentação, identificando as bordas da lesão. Por fim, baseando-se na área da imagem identificada como lesão, diversas feições são computadas e uma classificação é gerada. Neste tese, apresentada na forma de uma coleção de artigos publicados, nós apresentamos técnicas para automaticamente executar todos estes passos, resultando em um pré-diagnóstico para uma lesão de pele pigmentada baseado apenas em uma imagem convencional (uma simples fotografia). Nós testamos nossos métodos em bases de imagens públicas e atingimos melhores resultados de segmentação e classificação que os demais métodos presentes na literatura. / Melanoma is a type of malignant pigmented skin lesion, and currently is among the most dangerous existing cancers. However, differentiating malignant and benign cases is a hard task even for experienced specialists, and a computer-aided diagnosis system can be an useful tool. Usually, the system starts by pre-processing the image, i.e. removing undesired artifacts such as hair, freckles or shading effects. Next, the system performs a segmentation step to identify the lesion boundaries. Finally, based on the image area identified as lesion, several features are computed and a classification is provided. In this Thesis, presented as a collection of published papers, we detail approaches to automatically execute all these steps, resulting in a pre-diagnosis for a pigmented skin lesion based only in a standard camera image (i.e. a simple color photograph). We tested our methods on publicly available datasets and achieved better segmentation and classification results than methods previously proposed in the literature.

A presente tese apresenta a concepção de uma rede neural oscilatória e sua realização em arquitetura maciçamente paralela, a qual é adequada à implementação de chips de visão digitais para segmentação de imagens. A rede proposta, em sua versão final, foi denominada ONNIS-GI (Oscillatory Neural Network for Image Segmentation with Global Inhibition) e foi inspirada em uma rede denominada LEGION (Locally Excitatory Globally Inhibitory Oscillator Network), também de concepção recente. Inicialmente, é apresentada uma introdução aos procedimentos de segmentação de imagens, cujo objetivo é o de situar e enfatizar a importância do tema abordado dentro de um contexto abrangente, o qual inclui aplicações de visão artificial em geral. Outro aspecto abordado diz respeito à utilização de redes neurais artificiais em segmentação de imagens, enfatizando as denominadas redes neurais oscilatórias, as quais têm apresentado resultados estimulantes nesta área. A implementação de chips de visão, integrando sensores de imagens e redes maciçamente paralelas de processadores, é também abordada no texto, ressaltando o objetivo prático da nova rede neural proposta. No estudo da rede LEGION, são apresentados resultados de aplicações originais desenvolvidas em segmentação de imagens, nos quais é verificada sua propriedade de separação temporal dos segmentos. A versão contínua da rede, um arranjo paralelo de neurônios baseados em equações diferenciais, apresenta elevada complexidade computacional para implementação em hardware digital e muitos parâmetros, com procedimento de ajuste pouco prático. Por outro lado, sua arquitetura maciçamente paralela apresenta-se particularmente adequada à implementação de chips de visão analógicos com capacidade de segmentação de imagens. Com base nos bons resultados obtidos nas aplicações desenvolvidas, é proposta uma nova rede neural, em duas versões, ONNIS e ONNIS-GI, as quais suplantam a rede LEGION em diversos aspectos relativos à implementação prática. A estrutura dos elementos de processamento das duas versões da rede, sua implementação em arquitetura maciçamente paralela e resultados de simulações e implementações em FPGA são apresentados, demonstrando a viabilidade da proposta. Como resultado final, conclui-se que a rede ONNIS-GI apresenta maior apelo de ordem prática, sendo uma abordagem inovadora e promissora na solução de problemas de segmentação de imagens, possuindo capacidade para separar temporalmente os segmentos encontrados e facilitando a posterior identificação dos mesmos. Sob o ponto de vista prático, a nova rede pode ser utilizada para implementar chips de visão digitais com arquitetura maciçamente paralela, explorando a velocidade de tais topologias e apresentando também flexibilidade para implementação de procedimentos de segmentação de imagens mais sofisticados.

[pt] Nas últimas décadas, a área de detecção da face e suas características tem recebido bastante atenção da comunidade científica dada sua importância em diversas aplicações, tais como, reconhecimento de faces, interação humanocomputador, reconhecimento de expressões faciais, segurança, etc. Esta dissertação propõe a utilização de um classificador baseado em FERNS no treinamento e reconhecimento de pontos característicos a fim de possibilitar a detecção das características da face. São revistas, brevemente, as principais abordagens utilizadas na detecção de características faciais e a teoria de reconhecimento de pontos característicos utilizando os FERNS. Também é apresentada uma implementação de um detector de características da face baseado nos FERNS e os resultados obtidos. O método proposto conta com uma fase de treinamento offline durante a qual diversas vistas dos pontos característicos extraídos de uma imagem de treinamento são sintetizadas e utilizadas no treinamento dos FERNS. A detecção das características da face é realizada nas imagens obtidas, em tempo real, de diversos pontos de vista e sob diferentes condições de iluminação. / [en] Over the last decades, face detection and facial features detection have received a great deal of attention from the scientific community, since these tasks are essential for a number of important applications, such as face recognition, face tracking, human-computer interaction, face expression recognition, security, etc. This work proposes the use of a classifier based on FERNS to recognize interest points across images and then detect and track the facial features. We begin with a brief review of the most common approaches used in facial features detection and also the theory around the FERNS. In addition, an implementation of the facial features detection based on FERNS is present to provide results and conclusions. The method proposed here relies on an offline training phase during which multiple views of the keypoints to be matched are synthesized and used to train the FERNS. The facial features detection is performed on images acquired in real-time from many different viewpoints and under different lighting conditions.