Face detection, gesture recognition and pornography content assessment are some of the applications that require the detection of human skin in digital imagery. Most methods employ color as the main feature for this task. Whenever the acquisition conditions are controlled, there is available information about illumination, resolution and geometry, making the skin detection problem a relatively easy task for which there are plenty of results in the literature. The problem becomes more challenging in less structured conditions, mainly because of the influence illumination conditions have on the apparent color of objects. There are proposals for color correction that lead to both good and bad classification results, depending on the input data. When dealing with Web imagery, little can be assumed about their content or about the conditions in which they were acquired, and robust techniques are needed for skin detection. This MSc thesis makes a qualitative assessment of seven skin detection models and of four different types of input data. A heuristic is proposed for deciding if an image requires color correction and, if needed, which is the best suited technique. Results are compared by means of measures derived from confusion matrices, and our approach produces competitive classification products. / A detecção de pele humana em imagens digitais é utilizada para diversas aplicações como detecção de faces, reconhecimento de gestos e detecção de pornografia. A forma mais comum de detecção de pele encontrada na literatura é através da cor. A variação de iluminação pode redundar em efeitos nocivos à detecção de pele, pois a aparência da cor de um objeto é diretamente relacionada com a forma em que ele é iluminado. Para a detecção de pele pela cor exclusivamente, estratégias robustas às variações de iluminação e modelos descrevam corretamente o agrupamento das cores da pele devem ser utilizados. Ao enfrentarmos o problema de detecção de pele em ambientes onde não há controle sobre as características da imagem, não encontramos resultados satisfatórios na literatura, principalmente quando se refere à tentativa de minimizar os efeitos da variação de iluminação. As estratégias de correção de cor presentes na literatura melhoram consideravelmente a detecção de pele em algumas situações específicas, mas degradam esta classificação em outras situações. Neste trabalho, avaliamos o desempenho de sete diferentes modelos de detecção de pele, com quatro diferentes tipos de dados de entrada e propusemos uma estratégia para escolha das imagens que serão submetidas à correção de cor e o tipo de técnica de correção de cor mais adequado para esta imagem. A técnica que utiliza um modelo gaussiano bivariado, utilizando as duas primeiras componentes após aplicarmos transformação de componentes principais ao dados RGB da amostra de pele utilizada para treinamento resultou na melhor técnica abordada nesse trabalho ao utilizarmos a correção de cor proposta. Os resultados obtidos são comparados por meio de diversas métricas derivadas da matriz de confusão, e se mostram pelo menos tão bons quanto os alcançados por técnicas disponíveis na literatura.

Human skin is made of a stack of different layers, each of which reflects a portion of impinging light, after absorbing a certain amount of it by the pigments which lie in the layer. The main pigments responsible for skin color origins are melanin and hemoglobin. Skin segmentation plays an important role in a wide range of image processing and computer vision applications. In short, there are three major approaches for skin segmentation: rule-based, machine learning and hybrid. They differ in terms of accuracy and computational efficiency. Generally, machine learning and hybrid approaches outperform the rule-based methods but require a large and representative training dataset and, sometimes, costly classification time as well, which can be a deal breaker for real-time applications. In this work, we propose an improvement, in three distinct versions, of a novel method for rule-based skin segmentation that works in the YCbCr color space. Our motivation is based on the hypotheses that: (1) the original rule can be complemented and, (2) human skin pixels do not appear isolated, i.e. neighborhood operations are taken into consideration. The method is a combination of some correlation rules based on these hypotheses. Such rules evaluate the combinations of chrominance Cb, Cr values to identify the skin pixels depending on the shape and size of dynamically generated skin color clusters. The method is very efficient in terms of computational effort as well as robust in very complex images. / A pele humana é constituída de uma série de camadas distintas, cada uma das quais reflete uma porção de luz incidente, depois de absorver uma certa quantidade dela pelos pigmentos que se encontram na camada. Os principais pigmentos responsáveis pela origem da cor da pele são a melanina e a hemoglobina. A segmentação de pele desempenha um papel importante em uma ampla gama de aplicações em processamento de imagens e visão computacional. Em suma, existem três abordagens principais para segmentação de pele: baseadas em regras, aprendizado de máquina e híbridos. Elas diferem em termos de precisão e eficiência computacional. Geralmente, as abordagens com aprendizado de máquina e as híbridas superam os métodos baseados em regras, mas exigem um conjunto de dados de treinamento grande e representativo e, por vezes, também um tempo de classificação custoso, que pode ser um fator decisivo para aplicações em tempo real. Neste trabalho, propomos uma melhoria, em três versões distintas, de um novo método de segmentação de pele baseado em regras que funciona no espaço de cores YCbCr. Nossa motivação baseia-se nas hipóteses de que: (1) a regra original pode ser complementada e, (2) pixels de pele humana não aparecem isolados, ou seja, as operações de vizinhança são levadas em consideração. O método é uma combinação de algumas regras de correlação baseadas nessas hipóteses. Essas regras avaliam as combinações de valores de crominância Cb, Cr para identificar os pixels de pele, dependendo da forma e tamanho dos agrupamentos de cores de pele gerados dinamicamente. O método é muito eficiente em termos de esforço computacional, bem como robusto em imagens muito complexas.

Human skin is made of a stack of different layers, each of which reflects a portion of impinging light, after absorbing a certain amount of it by the pigments which lie in the layer. The main pigments responsible for skin color origins are melanin and hemoglobin. Skin segmentation plays an important role in a wide range of image processing and computer vision applications. In short, there are three major approaches for skin segmentation: rule-based, machine learning and hybrid. They differ in terms of accuracy and computational efficiency. Generally, machine learning and hybrid approaches outperform the rule-based methods but require a large and representative training dataset and, sometimes, costly classification time as well, which can be a deal breaker for real-time applications. In this work, we propose an improvement, in three distinct versions, of a novel method for rule-based skin segmentation that works in the YCbCr color space. Our motivation is based on the hypotheses that: (1) the original rule can be complemented and, (2) human skin pixels do not appear isolated, i.e. neighborhood operations are taken into consideration. The method is a combination of some correlation rules based on these hypotheses. Such rules evaluate the combinations of chrominance Cb, Cr values to identify the skin pixels depending on the shape and size of dynamically generated skin color clusters. The method is very efficient in terms of computational effort as well as robust in very complex images. / A pele humana é constituída de uma série de camadas distintas, cada uma das quais reflete uma porção de luz incidente, depois de absorver uma certa quantidade dela pelos pigmentos que se encontram na camada. Os principais pigmentos responsáveis pela origem da cor da pele são a melanina e a hemoglobina. A segmentação de pele desempenha um papel importante em uma ampla gama de aplicações em processamento de imagens e visão computacional. Em suma, existem três abordagens principais para segmentação de pele: baseadas em regras, aprendizado de máquina e híbridos. Elas diferem em termos de precisão e eficiência computacional. Geralmente, as abordagens com aprendizado de máquina e as híbridas superam os métodos baseados em regras, mas exigem um conjunto de dados de treinamento grande e representativo e, por vezes, também um tempo de classificação custoso, que pode ser um fator decisivo para aplicações em tempo real. Neste trabalho, propomos uma melhoria, em três versões distintas, de um novo método de segmentação de pele baseado em regras que funciona no espaço de cores YCbCr. Nossa motivação baseia-se nas hipóteses de que: (1) a regra original pode ser complementada e, (2) pixels de pele humana não aparecem isolados, ou seja, as operações de vizinhança são levadas em consideração. O método é uma combinação de algumas regras de correlação baseadas nessas hipóteses. Essas regras avaliam as combinações de valores de crominância Cb, Cr para identificar os pixels de pele, dependendo da forma e tamanho dos agrupamentos de cores de pele gerados dinamicamente. O método é muito eficiente em termos de esforço computacional, bem como robusto em imagens muito complexas.

Submitted by Erika Demachki (erikademachki@gmail.com) on 2015-10-23T18:23:32Z No. of bitstreams: 2 Dissertação - Rafael Divino Ferreira Feitosa - 2015.pdf: 7893703 bytes, checksum: 12af470c3ca2fb4a3d0bd3885bfde46d (MD5) license_rdf: 23148 bytes, checksum: 9da0b6dfac957114c6a7714714b86306 (MD5) / Approved for entry into archive by Erika Demachki (erikademachki@gmail.com) on 2015-10-23T18:25:45Z (GMT) No. of bitstreams: 2 Dissertação - Rafael Divino Ferreira Feitosa - 2015.pdf: 7893703 bytes, checksum: 12af470c3ca2fb4a3d0bd3885bfde46d (MD5) license_rdf: 23148 bytes, checksum: 9da0b6dfac957114c6a7714714b86306 (MD5) / Made available in DSpace on 2015-10-23T18:25:45Z (GMT). No. of bitstreams: 2 Dissertação - Rafael Divino Ferreira Feitosa - 2015.pdf: 7893703 bytes, checksum: 12af470c3ca2fb4a3d0bd3885bfde46d (MD5) license_rdf: 23148 bytes, checksum: 9da0b6dfac957114c6a7714714b86306 (MD5) Previous issue date: 2015-04-14 / Skin detection techniques are widely applied to locate and to track parts of the human body with the objective of posterior recognition, having received great attention in recent years in the development of research in reason to the innumerable possible applications with the detection and tracking of faces, identification of naked people, identification of hand movements, among others. The present work proposed the construction of mathematical models for the detection of human skin tones such as, white, yellow, brown and black in digital color images in the RGB and HSV color spaces. Using a set of human skin tone samples, mathematical models were constructed describing how the variables of each color pixel in the RGB and HSV systems interrelate. To understand the answer of the proposed system, the mechanistic model was chosen, dividing it into components, observing the behavior of each part and the interactions that occurred between them. The proposed RGB filter reached a 98.3657% reduction index of the spectrum, classifying only 1.6343% (253,159 tones) as possible skin tones and the HSV model reduced the likely spectrum to 2.5352% (94,030 tones), discarding 97.4648% of the colors as candidates for human skin tones. When the proposed filters, were applied to the reduction of the probable range of human skin tones, well-defined bands in the geometric representation of the color spaces were selected. The experimental validation of the effectiveness of the RGB model showed that the proposed filter has conservative characteristics in the detection of skin, mistakenly classifying as skin only 6.7163% of the sample space. The proposed RGB filter has low sensitivity of 61.0831% and high specificity of 95.2769% in the detection of human skin in digital images. The HSV model had rates of (54,6333%) low sensitivity and (92,6390%) high specificity, considered low when compared to the performance of the other algorithms. / Técnicas de detecção de pele são amplamente aplicadas para localizar e rastrear partes do corpo humano com o objetivo de posterior reconhecimento, tendo recebido nos últimos anos grande atenção no desenvolvimento de pesquisas em razão das inúmeras aplicações possíveis como detecção e rastreamento de faces, identificação de pessoas nuas, identificação de movimentos das mãos, entre outras. O presente trabalho propôs construir 2 modelos matemáticos para detecção de tons de pele humana branca, amarela, parda e preta em imagens digitais coloridas nos espaços de cores RGB e HSV. Utilizandose de um conjunto de amostras de tons de pele humana foram construídos modelos matemáticos que descrevem como as variáveis de cada pixel de cor nos sistemas RGB e HSV se relacionam. Para compreender a resposta do sistema proposto, foi escolhido o modelo mecanístico, dividindo-o em componentes e observando o comportamento de cada parte e das interações que ocorreram entre elas. O filtro RGB proposto alcançou o índice de redução de 98,3657% do espectro, classificando apenas 1,6343% (253.159 tons) como possíveis tons de pele e o modelo HSV reduziu para 2,5352% (94.030 tons) o espectro provável, descartando 97,4648% das cores como candidatas a tons de pele humana. Os filtros propostos, quando aplicados à redução do espectro provável de tons de pele humana, selecionaram faixas bem definidas na representação geométrica dos espaços de cores. A validação experimental da eficácia do modelo RGB mostrou que o filtro proposto apresenta características conservadoras na detecção de pele classificando como pele, erroneamente, apenas 4,5075% do espaço amostral. O filtro RGB proposto possui baixa sensibilidade de 56,9698% e elevada especificidade de 95,4925% na detecção de pele humana em imagens digitais. O modelo HSV apresentou taxas de baixa sensibilidade (54,6333%) e alta especificidade (92,6390%), quando comparadas ao desempenho dos demais algoritmos propostos na literatura.