In the field of computer vision, face detection concerns the positive identification of the faces of people within still images or video streams, which is extremely useful for applications such as counting, tracking, and recognition. When applied in large-scale environments, such as lecture theatres, we have found that existing technology can struggle greatly in detecting faces due primarily to the indiscernibility of their features, caused by partial occlusion, problematic orientation, and a lack of focus or resolution. We attempt to overcome this issue by proposing an adaptive framework, capable of collating the results of numerous existing detection systems in order to significantly improve recall rates. This approach uses supplementary modalities, invariant to the issues posed to features, to eliminate false detections from collated sets and allow us to produce results with extremely high confidence. The properties we have selected as the bases of detection classification are size and colour, as we believe that filters that consider them can be constructed adaptively, on a per-image basis, ensuring that the variabilities inherent to large-scale imagery can be fully accounted for, and that false detections and actual faces can be accurately distinguished between on a consistent basis. The application of principal component analysis to precise face detection results yields planar size distribution models that we can use to discard results that are either too large or too small to realistically represent faces within given images. Classifying a detection according to the correspondence of its general colour tone to the expected colour of skin is a more complex matter, however, as the apparent colour of skin is highly dependent upon incident illumination, and existing techniques are neither specific nor flexible enough to model it as accurately as we believe possible. Therefore, we propose another system, which will be able to adaptively model skin colour distributions according to the Gaussian probability densities exhibited by the colours of precise face detections. Furthermore, it will be suitable for independent application to real-time skin segmentation tasks as a result of considerable optimisation. This thesis details the design, the development, and the implementation of our systems, and thoroughly evaluates them with regards to the accuracy of their results and the efficiency of their performances, thereby establishing fully the suitability of them for solving certain types of presented problems.

A segmentação de pele em imagens é um importante processo para uma vasta gama de aplicações, como detecção e rastreamento de faces, reconhecimento de gestos, computação forense, entre outros. Um dos maiores problemas encontrados neste tipo de aplicação é a presença de objetos que possuem cor de pele nas imagens, mas não fazem parte de segmentos reais de pele, sendo muitas vezes erroneamente classificados como pele. A fim de reduzir a frequência destes falsos positivos, é apresentado neste trabalho um método de segmentação de pele humana em imagens faciais que possui duas diferentes etapas que reduzem a quantidade de falsos positivos do processo sem que se percam quantidades significantes de verdadeiros positivos. Estas duas etapas são chamadas de FPAR (False Positive Area Reduction) e aplicação de textura. A primeira visa remover segmentos não contínuos classificados como pele e a segunda aborda a aplicação de textura nas imagens, removendo áreas em que a textura não se assemelha à textura de pele humana. Para isto, foi desenvolvido o banco de imagens SFA (Skin of FERET and AR), constituído de imagens originais dos bancos de faces FERET e AR, seus respectivos ground truths de segmentação de pele e amostras de pele e não pele extraídas das imagens originais. O método apresentado neste trabalho apresenta resultados promissores atingindo até 46,9% de redução de falsos positivos sem que a acurácia aferida tenha redução significante (apenas 1,8%). Este trabalho tem como contribuições o método desenvolvido e o banco de imagens SFA que fica disponível online para download pela comunidade científica. / Skin segmentation is an important process for many kinds of application like face detection, face tracking, gesture recognition, forensic computing and others. One of the main problems found in this kind of application is the presence of objects which have skin color but are not part of actual skin segments, being wrongly classified as skin. Aiming to reduce the frequency of these false positives, this work presents a method of human skin segmentation in facial images which has two different steps that reduces the false positives without losing significant areas of true positives. These two steps are called FPAR (False Positive Area Reduction) and texture application. The first one removes segments classified as skin which are not continuous and the second one is an analysis of the image texture, removing areas which the texture is not alike human skin texture. To achieve this, the SFA (Skin of FERET and AR) image database was developed, constituted of original images retrieved from AR and FERET face databases, their respective ground truths of skin segmentation and skin and non-skin samples retrieved from the original images. The method presented in this work shows promising results, reaching up to 46.9% of false positive reduction without significant reduction of the accuracy (1.8%). This work has as contributions the developed method and the SFA database, which is available for download for scientific community.

A segmentação de pele em imagens é um importante processo para uma vasta gama de aplicações, como detecção e rastreamento de faces, reconhecimento de gestos, computação forense, entre outros. Um dos maiores problemas encontrados neste tipo de aplicação é a presença de objetos que possuem cor de pele nas imagens, mas não fazem parte de segmentos reais de pele, sendo muitas vezes erroneamente classificados como pele. A fim de reduzir a frequência destes falsos positivos, é apresentado neste trabalho um método de segmentação de pele humana em imagens faciais que possui duas diferentes etapas que reduzem a quantidade de falsos positivos do processo sem que se percam quantidades significantes de verdadeiros positivos. Estas duas etapas são chamadas de FPAR (False Positive Area Reduction) e aplicação de textura. A primeira visa remover segmentos não contínuos classificados como pele e a segunda aborda a aplicação de textura nas imagens, removendo áreas em que a textura não se assemelha à textura de pele humana. Para isto, foi desenvolvido o banco de imagens SFA (Skin of FERET and AR), constituído de imagens originais dos bancos de faces FERET e AR, seus respectivos ground truths de segmentação de pele e amostras de pele e não pele extraídas das imagens originais. O método apresentado neste trabalho apresenta resultados promissores atingindo até 46,9% de redução de falsos positivos sem que a acurácia aferida tenha redução significante (apenas 1,8%). Este trabalho tem como contribuições o método desenvolvido e o banco de imagens SFA que fica disponível online para download pela comunidade científica. / Skin segmentation is an important process for many kinds of application like face detection, face tracking, gesture recognition, forensic computing and others. One of the main problems found in this kind of application is the presence of objects which have skin color but are not part of actual skin segments, being wrongly classified as skin. Aiming to reduce the frequency of these false positives, this work presents a method of human skin segmentation in facial images which has two different steps that reduces the false positives without losing significant areas of true positives. These two steps are called FPAR (False Positive Area Reduction) and texture application. The first one removes segments classified as skin which are not continuous and the second one is an analysis of the image texture, removing areas which the texture is not alike human skin texture. To achieve this, the SFA (Skin of FERET and AR) image database was developed, constituted of original images retrieved from AR and FERET face databases, their respective ground truths of skin segmentation and skin and non-skin samples retrieved from the original images. The method presented in this work shows promising results, reaching up to 46.9% of false positive reduction without significant reduction of the accuracy (1.8%). This work has as contributions the developed method and the SFA database, which is available for download for scientific community.

O movimento dos lábios é um recurso visual relevante para a detecção da atividade de voz do locutor e para o reconhecimento da fala. Quando os lábios estão se movendo eles transmitem a idéia de ocorrências de diálogos (conversas ou períodos de fala) para o observador, enquanto que os períodos de silêncio podem ser representados pela ausência de movimentações dos lábios (boca fechada). Baseado nesta idéia, este trabalho foca esforços para detectar a movimentação de lábios e usá-la para realizar a detecção de atividade de voz. Primeiramente, é realizada a detecção de pele e a detecção de face para reduzir a área de extração dos lábios, sendo que as regiões mais prováveis de serem lábios são computadas usando a abordagem Bayesiana dentro da área delimitada. Então, a pré-segmentação dos lábios é obtida pela limiarização da região das probabilidades calculadas. A seguir, é localizada a região da boca pelo resultado obtido na pré-segmentação dos lábios, ou seja, alguns pixels que não são de lábios e foram detectados são eliminados, e em seguida são aplicados algumas operações morfológicas para incluir alguns pixels labiais e não labiais em torno da boca. Então, uma nova segmentação de lábios é realizada sobre a região da boca depois de aplicada uma transformação de cores para realçar a região a ser segmentada. Após a segmentação, é aplicado o fechamento das lacunas internas dos lábios segmentados. Finalmente, o movimento temporal dos lábios é explorado usando o modelo das cadeias ocultas de Markov (HMMs) para detectar as prováveis ocorrências de atividades de fala dentro de uma janela temporal. / Lips motion are relevant visual feature for detecting the voice active of speaker and speech recognition. When the lips are moving, they carries an idea of occurrence of dialogues (talk) or periods of speeches to the watcher, whereas the periods of silences may be represented by the absence of lips motion (mouth closed). Based on this idea, this work focus efforts to obtain the lips motion as features and to perform visual voice activity detection. First, the algorithm performs skin segmentation and face detection to reduce the search area for lip extraction, and the most likely lip regions are computed using a Bayesian approach within the delimited area. Then, the pre-segmentation of the lips is obtained by thresholding the calculated probability region. After, it is localized the mouth region by resulted obtained in pre-segmentation of the lips, i.e., some nonlips pixels detected are eliminated, and it are applied a simple morphological operators to include some lips pixels and non-lips around the mouth. Thus, a new segmentation of lips is performed over mouth region after transformation of color to enhance the region to be segmented. And, is applied the closing of gaps internal of lips segmented. Finally, the temporal motion of the lips is explored using Hidden Markov Models (HMMs) to detect the likely occurrence of active speech within a temporal window.

Dans cette thèse, nous nous intéressons au problème de la segmentation de portraits numériques. Nous appelons portrait numérique la photographie d’une personne avec un cadre allant grossièrement du gros plan au plan poitrine. Le problème abordé dans ce travail est un cas spécifique de la segmentation d’images où il s’agit notamment de définir précisément la frontière de la région « cheveux ». Ce problème est par essence très délicat car les attributs de la région « cheveux » (géométrie, couleur, texture) présentent une grande variabilité à la fois entre les personnes et au sein de la région. Notre cadre applicatif est un système d’« essayage virtuel » de lunettes à destination du grand public, il n’est pas possible de contrôler les conditions de prise de vue comme l’éclairage de la scène ou la résolution des images, ce qui accroît encore la diculté du problème. L’approche proposée pour la segmentation de portraits numériques est une approche du plus grossier au plus fin procédant par étapes successives. Nous formulons le problème comme celui d’une segmentation multi-régions, en introduisant comme « régions secondaires », les régions adjacentes à la région « cheveux » , c.-à-d. les régions « peau » et « fond ». La méthode est fondée sur l’apparence (appearance-based method) et a comme spécificité le fait de déterminer les descripteurs de régions les plus adaptés à partir d’une base d’images d’apprentissage et d’outils statistiques. À la première étape de la méthode, nous utilisons l’information contextuelle d’un portrait numérique — connaissances a priori sur les relations spatiales entre régions— pour obtenir des échantillons des régions « cheveux », « peau » et « fond ». L’intérêt d’une approche fondée sur l’apparence est de pouvoir s’adapter à la fois aux conditions de prises de vue ainsi qu’aux attributs de chaque régions. Au cours de cette étape, nous privilégions les modèles de forme polygonaux couplés aux contours actifs pour assurer la robustesse du modèle. Lors de la seconde étape, à partir des échantillons détectés à l’étape précédente, nous introduisons un descripteur prenant en compte l’information de couleur et de texture. Nous proposons une segmentation grossière par classification en nous appuyant à nouveau sur l’information contextuelle : locale d’une part grâce aux champs de Markov, globale d’autre part grâce à un modèle a priori de segmentation obtenu par apprentissage qui permet de rendre les résultats plus robustes. La troisième étape ane les résultats en définissant la frontière des « cheveux » comme une région de transition. Cette dernière contient les pixels dont l’apparence provient du mélange de contributions de deux régions (« cheveux »et « peau » ou «fond »). Ces deux régions de transition sont post-traitées par un algorithme de «démélange » (digital matting) pour estimer les coecients de transparence entre « cheveux » et « peau », et entre « cheveux » et « fond ». À l’issue de ces trois étapes, nous obtenons une segmentation précise d’un portrait numérique en trois « calques », contenant en chaque pixel l’information de transparence entre les régions « cheveux », « peau » et « fond ». Les résultats obtenus sur une base d’images de portraits numériques ont mis en évidence les bonnes performances de notre méthode. / In this thesis, we are interested in the problem of the segmentation of digital portraits. We call digital portrait the photography of a person with a frame roughly ranging from the close-up to the chest plane. The problem addressed in this work is a specific case of the segmentation of images where it is especially necessary to define precisely the border of the "hair" region. This problem is inherently very delicate because the attributes of the "hair" region (geometry, color, texture) present an important variability between people and within the region. Our application is a system of "virtual fitting" of glasses for the general audience, it is not possible to control the shooting conditions such as stage lighting or image resolution, which increases the difficulty of the problem. The approach proposed for the segmentation of digital portraits is an approach « coarse to fine », proceeding in successive stages. We formulate the problem as a multi-region segmentation, introducing as "secondary regions" regions adjacent to the "hair" region, ie, the "skin" and "background" regions. The method is based on appearance-based method and has as a specificity the determination of the descriptors of regions most adapted from a database of learning and statistical tools. In the first step of the method, we use the contextual information of a Digital portrait - a priori knowledge about the spatial relations between regions - to obtain samples of the regions "hair", "skin" and "background". The value of an appearance-based approach is to be able to adapt to both the shooting conditions and the attributes of each region. During this stage, we prefer polygonal shape models coupled with active contours to ensure the robustness of the model. In the second step, from the samples detected in the previous step, we introduce a descriptor taking into account the color and texture information. We propose a rough segmentation by classification by relying on the contextual information: local on the one hand thanks to the Markov fields, global on the other hand thanks to an a priori model of segmentation obtained by learning which il allow to obtain robust results. The third stage refines the results by defining the border of "hair" as a transition region. This région contains the pixels whose appearance comes from the mixture of contributions of two regions ("hair" and "skin" or "background"). These two transition regions are post-processed by a digital matting algorithm to estimate the coefficients of transparency between "hair" and "skin", and between "hair" and "background". At the end of these three steps, we obtain a precise segmentation of a digital portrait into three "layers", containing in each pixel the information of transparency between the regions "hair", "skin" and "background". The results obtained on the basis of images of digital portraits have highlighted the good performance of our method.

O movimento dos lábios é um recurso visual relevante para a detecção da atividade de voz do locutor e para o reconhecimento da fala. Quando os lábios estão se movendo eles transmitem a idéia de ocorrências de diálogos (conversas ou períodos de fala) para o observador, enquanto que os períodos de silêncio podem ser representados pela ausência de movimentações dos lábios (boca fechada). Baseado nesta idéia, este trabalho foca esforços para detectar a movimentação de lábios e usá-la para realizar a detecção de atividade de voz. Primeiramente, é realizada a detecção de pele e a detecção de face para reduzir a área de extração dos lábios, sendo que as regiões mais prováveis de serem lábios são computadas usando a abordagem Bayesiana dentro da área delimitada. Então, a pré-segmentação dos lábios é obtida pela limiarização da região das probabilidades calculadas. A seguir, é localizada a região da boca pelo resultado obtido na pré-segmentação dos lábios, ou seja, alguns pixels que não são de lábios e foram detectados são eliminados, e em seguida são aplicados algumas operações morfológicas para incluir alguns pixels labiais e não labiais em torno da boca. Então, uma nova segmentação de lábios é realizada sobre a região da boca depois de aplicada uma transformação de cores para realçar a região a ser segmentada. Após a segmentação, é aplicado o fechamento das lacunas internas dos lábios segmentados. Finalmente, o movimento temporal dos lábios é explorado usando o modelo das cadeias ocultas de Markov (HMMs) para detectar as prováveis ocorrências de atividades de fala dentro de uma janela temporal. / Lips motion are relevant visual feature for detecting the voice active of speaker and speech recognition. When the lips are moving, they carries an idea of occurrence of dialogues (talk) or periods of speeches to the watcher, whereas the periods of silences may be represented by the absence of lips motion (mouth closed). Based on this idea, this work focus efforts to obtain the lips motion as features and to perform visual voice activity detection. First, the algorithm performs skin segmentation and face detection to reduce the search area for lip extraction, and the most likely lip regions are computed using a Bayesian approach within the delimited area. Then, the pre-segmentation of the lips is obtained by thresholding the calculated probability region. After, it is localized the mouth region by resulted obtained in pre-segmentation of the lips, i.e., some nonlips pixels detected are eliminated, and it are applied a simple morphological operators to include some lips pixels and non-lips around the mouth. Thus, a new segmentation of lips is performed over mouth region after transformation of color to enhance the region to be segmented. And, is applied the closing of gaps internal of lips segmented. Finally, the temporal motion of the lips is explored using Hidden Markov Models (HMMs) to detect the likely occurrence of active speech within a temporal window.

O movimento dos lábios é um recurso visual relevante para a detecção da atividade de voz do locutor e para o reconhecimento da fala. Quando os lábios estão se movendo eles transmitem a idéia de ocorrências de diálogos (conversas ou períodos de fala) para o observador, enquanto que os períodos de silêncio podem ser representados pela ausência de movimentações dos lábios (boca fechada). Baseado nesta idéia, este trabalho foca esforços para detectar a movimentação de lábios e usá-la para realizar a detecção de atividade de voz. Primeiramente, é realizada a detecção de pele e a detecção de face para reduzir a área de extração dos lábios, sendo que as regiões mais prováveis de serem lábios são computadas usando a abordagem Bayesiana dentro da área delimitada. Então, a pré-segmentação dos lábios é obtida pela limiarização da região das probabilidades calculadas. A seguir, é localizada a região da boca pelo resultado obtido na pré-segmentação dos lábios, ou seja, alguns pixels que não são de lábios e foram detectados são eliminados, e em seguida são aplicados algumas operações morfológicas para incluir alguns pixels labiais e não labiais em torno da boca. Então, uma nova segmentação de lábios é realizada sobre a região da boca depois de aplicada uma transformação de cores para realçar a região a ser segmentada. Após a segmentação, é aplicado o fechamento das lacunas internas dos lábios segmentados. Finalmente, o movimento temporal dos lábios é explorado usando o modelo das cadeias ocultas de Markov (HMMs) para detectar as prováveis ocorrências de atividades de fala dentro de uma janela temporal. / Lips motion are relevant visual feature for detecting the voice active of speaker and speech recognition. When the lips are moving, they carries an idea of occurrence of dialogues (talk) or periods of speeches to the watcher, whereas the periods of silences may be represented by the absence of lips motion (mouth closed). Based on this idea, this work focus efforts to obtain the lips motion as features and to perform visual voice activity detection. First, the algorithm performs skin segmentation and face detection to reduce the search area for lip extraction, and the most likely lip regions are computed using a Bayesian approach within the delimited area. Then, the pre-segmentation of the lips is obtained by thresholding the calculated probability region. After, it is localized the mouth region by resulted obtained in pre-segmentation of the lips, i.e., some nonlips pixels detected are eliminated, and it are applied a simple morphological operators to include some lips pixels and non-lips around the mouth. Thus, a new segmentation of lips is performed over mouth region after transformation of color to enhance the region to be segmented. And, is applied the closing of gaps internal of lips segmented. Finally, the temporal motion of the lips is explored using Hidden Markov Models (HMMs) to detect the likely occurrence of active speech within a temporal window.

O reconhecimento de língua de sinais é uma importante área de pesquisa que tem como objetivo atenuar os obstáculos impostos no dia a dia das pessoas surdas e/ou com deficiência auditiva e aumentar a integração destas pessoas na sociedade majoritariamente ouvinte em que vivemos. Baseado nisso, esta dissertação de mestrado propõe o desenvolvimento de um sistema de informação para o reconhecimento automático de Língua Brasileira de Sinais (LIBRAS), que tem como objetivo simplificar a comunicação entre surdos conversando em LIBRAS e ouvintes que não conheçam esta língua de sinais. O reconhecimento é realizado por meio do processamento de sequências de imagens digitais (vídeos) de pessoas se comunicando em LIBRAS, sem o uso de luvas coloridas e/ou luvas de dados e sensores ou a exigência de gravações de alta qualidade em laboratórios com ambientes controlados, focando em sinais que utilizam apenas as mãos. Dada a grande dificuldade de criação de um sistema com este propósito, foi utilizada uma abordagem para o seu desenvolvimento por meio da divisão em etapas. Considera-se que todas as etapas do sistema proposto são contribuições para trabalhos futuros da área de reconhecimento de sinais, além de poderem contribuir para outros tipos de trabalhos que envolvam processamento de imagens, segmentação de pele humana, rastreamento de objetos, entre outros. Para atingir o objetivo proposto foram desenvolvidas uma ferramenta para segmentar sequências de imagens relacionadas à LIBRAS e uma ferramenta para identificar sinais dinâmicos nas sequências de imagens relacionadas à LIBRAS e traduzi-los para o português. Além disso, também foi construído um banco de imagens de 30 palavras básicas escolhidas por uma especialista em LIBRAS, sem a utilização de luvas coloridas, laboratórios com ambientes controlados e/ou imposição de exigências na vestimenta dos indivíduos que executaram os sinais. O segmentador implementado e utilizado neste trabalho atingiu uma taxa média de acurácia de 99,02% e um índice overlap de 0,61, a partir de um conjunto de 180 frames pré-processados extraídos de 18 vídeos gravados para a construção do banco de imagens. O algoritmo foi capaz de segmentar pouco mais de 70% das amostras. Quanto à acurácia para o reconhecimento das palavras, o sistema proposto atingiu 100% de acerto para reconhecer as 422 amostras de palavras do banco de imagens construído, as quais foram segmentadas a partir da combinação da técnica de distância de edição e um esquema de votação com um classificador binário para realizar o reconhecimento, atingindo assim, o objetivo proposto neste trabalho com êxito. / The recognition of sign language is an important research area that aims to mitigate the obstacles in the daily lives of people who are deaf and/or hard of hearing and increase their integration in the majority hearing society in which we live. Based on this, this dissertation proposes the development of an information system for automatic recognition of Brazilian Sign Language (BSL), which aims to simplify the communication between deaf talking in BSL and listeners who do not know this sign language. The recognition is accomplished through the processing of digital image sequences (videos) of people communicating in BSL without the use of colored gloves and/or data gloves and sensors or the requirement of high quality recordings in laboratories with controlled environments focusing on signals using only the hands. Given the great difficulty of setting up a system for this purpose, an approach divided in several stages was used. It considers that all stages of the proposed system are contributions for future works of sign recognition area, and can contribute to other types of works involving image processing, human skin segmentation, object tracking, among others. To achieve this purpose we developed a tool to segment sequences of images related to BSL and a tool for identifying dynamic signals in the sequences of images related to the BSL and translate them into portuguese. Moreover, it was also built an image bank of 30 basic words chosen by a BSL expert without the use of colored gloves, laboratory-controlled environments and/or making of the dress of individuals who performed the signs. The segmentation algorithm implemented and used in this study had a average accuracy rate of 99.02% and an overlap of 0.61, from a set of 180 preprocessed frames extracted from 18 videos recorded for the construction of database. The segmentation algorithm was able to target more than 70% of the samples. Regarding the accuracy for recognizing words, the proposed system reached 100% accuracy to recognize the 422 samples from the database constructed (the ones that were segmented), using a combination of the edit distance technique and a voting scheme with a binary classifier to carry out the recognition, thus reaching the purpose proposed in this work successfully.

Inspirado nas técnicas utilizadas por pintores que sobrepõem camadas de tintas de diversos matizes na geração de uma tela artística e também observando-se a distribuição da quantidade dos cones na retina do olho humano na interpretação destas cores, este trabalho propõe uma técnica de processamento de imagens baseada na mistura de cores. Trata-se de um método de quantização de cores estático que expressa a proporção das cores preto, azul, verde, ciano, vermelho, magenta, amarelo e branco obtida pela representação binária da cor que compõe os pixels de uma imagem RGB com 8 bits por canal. O histograma da mistura é denominado de misturograma e gera planos que interceptam o espaço RGB, definindo o espaço de cor HSM (Hue, Saturation and Mixture). A posição destes planos dentro do cubo RGB é modelada por meio da distribuição dos cones sensíveis aos comprimentos de onda curta (Short), média (Middle) e longa (Long) consideradas para a retina humana. Para demonstrar a aplicabilidade do espaço de cor HSM, é proposta, neste trabalho, a segmentação dos pixels de uma imagem digital em pele humana ou não pele com o uso dessa nova abordagem. Para análise de desempenho da mistura de cores foi implementado um método tradicional no espaço de cor RGB e também usando uma distribuição Gaussiana nos espaços de cores HSV e HSM. Os resultados obtidos demonstram o potencial da técnica que emprega a mistura de cores para a segmentação de imagens digitais coloridas. Verificou-se também que, baseando-se apenas na camada mais significativa da mistura de cores, gera-se a imagem esboço de uma imagem facial denominada esboço da face. Os resultados obtidos comprovam o bom desempenho do esboço da face em aplicações CBIR. / Inspired on the techniques used by painters to overlap layers of various hues of paint to create oil paintings, and also on observations of the distribution of cones in human retina for the interpretation of these colors, this thesis proposes an image processing technique based on color mixing. This is a static color quantization method that expresses the mixture of black, blue, green, cyan, red, magenta, yellow and white colors quantified by the binary weight of the color that makes up the pixels of an RGB image with 8 bits per channel. The mixture histogram, called a mixturegram, generates planes that intersect the RGB color space, defining the HSM (Hue, Saturation and Mixture) color space. The position of these planes inside the RGB cube is modeled by the distribution of cones sensitive to the short (S), middle (M) and long (L) wave lengths of the human retina. To demonstrate the applicability of the HSM color space, this thesis proposes the segmentation of the pixels of a digital image of human skin or non-skin using this new approach. The performance of the color mixture is analyzed by implementing a traditional method in the RGB color space and by a Gaussian distribution in the HSV and HSM color spaces. The results demonstrate the potential of the proposed technique for color image segmentation. It was also noted that, based only on the most significant layer of the colors mixture, it is possible generates the face sketch image. The results show the performance of the face sketch image in CBIR applications.

Human skin is made of a stack of different layers, each of which reflects a portion of impinging light, after absorbing a certain amount of it by the pigments which lie in the layer. The main pigments responsible for skin color origins are melanin and hemoglobin. Skin segmentation plays an important role in a wide range of image processing and computer vision applications. In short, there are three major approaches for skin segmentation: rule-based, machine learning and hybrid. They differ in terms of accuracy and computational efficiency. Generally, machine learning and hybrid approaches outperform the rule-based methods but require a large and representative training dataset and, sometimes, costly classification time as well, which can be a deal breaker for real-time applications. In this work, we propose an improvement, in three distinct versions, of a novel method for rule-based skin segmentation that works in the YCbCr color space. Our motivation is based on the hypotheses that: (1) the original rule can be complemented and, (2) human skin pixels do not appear isolated, i.e. neighborhood operations are taken into consideration. The method is a combination of some correlation rules based on these hypotheses. Such rules evaluate the combinations of chrominance Cb, Cr values to identify the skin pixels depending on the shape and size of dynamically generated skin color clusters. The method is very efficient in terms of computational effort as well as robust in very complex images. / A pele humana é constituída de uma série de camadas distintas, cada uma das quais reflete uma porção de luz incidente, depois de absorver uma certa quantidade dela pelos pigmentos que se encontram na camada. Os principais pigmentos responsáveis pela origem da cor da pele são a melanina e a hemoglobina. A segmentação de pele desempenha um papel importante em uma ampla gama de aplicações em processamento de imagens e visão computacional. Em suma, existem três abordagens principais para segmentação de pele: baseadas em regras, aprendizado de máquina e híbridos. Elas diferem em termos de precisão e eficiência computacional. Geralmente, as abordagens com aprendizado de máquina e as híbridas superam os métodos baseados em regras, mas exigem um conjunto de dados de treinamento grande e representativo e, por vezes, também um tempo de classificação custoso, que pode ser um fator decisivo para aplicações em tempo real. Neste trabalho, propomos uma melhoria, em três versões distintas, de um novo método de segmentação de pele baseado em regras que funciona no espaço de cores YCbCr. Nossa motivação baseia-se nas hipóteses de que: (1) a regra original pode ser complementada e, (2) pixels de pele humana não aparecem isolados, ou seja, as operações de vizinhança são levadas em consideração. O método é uma combinação de algumas regras de correlação baseadas nessas hipóteses. Essas regras avaliam as combinações de valores de crominância Cb, Cr para identificar os pixels de pele, dependendo da forma e tamanho dos agrupamentos de cores de pele gerados dinamicamente. O método é muito eficiente em termos de esforço computacional, bem como robusto em imagens muito complexas.