A detecção de gestos é uma etapa importante em aplicações de interação humanocomputador. Se a mão do usuário é detectada com precisão, tanto a análise quanto o reconhecimento do gesto de mão se tornam mais simples e confiáveis. Neste trabalho, descrevemos um novo método para detecção de pele humana, destinada a ser empregada como uma etapa de pré-processamento para segmentação de gestos de mão em sistemas que visam o seu reconhecimento. Primeiramente, treinamos os modelos de cor e textura de pele (material a ser identificado) a partir de um conjunto de treinamento formado por imagens de pele. Nessa etapa, construímos um modelo de mistura de Gaussianas (GMM), para determinar os tons de cor da pele e um dicionário de textons, para textura de pele. Em seguida, introduzimos um estratégia de fusão estocástica de regiões de texturas, para determinar todos os segmentos de diferentes materiais presentes na imagem (cada um associado a uma textura). Tendo obtido todas as regiões, cada segmento encontrado é classificado com base nos modelos de cor de pele (GMM) e textura de pele (dicionário de textons). Para testar o desempenho do algoritmo desenvolvido realizamos experimentos com o conjunto de imagens SDC, projetado especialmente para esse tipo de avaliação (detecção de pele humana). Comparado com outras técnicas do estado-daarte em segmentação de pele humana disponíveis na literatura, os resultados obtidos em nossos experimentos mostram que a abordagem aqui proposta é resistente às variações de cor e iluminação decorrentes de diferentes tons de pele (etnia do usuário), assim como de mudanças de pose da mão, mantendo sua capacidade de discriminar pele humana de outros materiais altamente texturizados presentes na imagem. / Gesture detection is an important task in human-computer interaction applications. If the hand of the user is precisely detected, both analysis and recognition of hand gesture become more simple and reliable. This work describes a new method for human skin detection, used as a pre-processing stage for hand gesture segmentation in recognition systems. First, we obtain the models of color and texture of human skin (material to be identified) from a training set consisting of skin images. At this stage, we build a Gaussian mixture model (GMM) for identifying skin color tones and a dictionary of textons for skin texture. Then, we introduce a stochastic region merging strategy, to determine all segments of different materials present in the image (each associated with a texture). Once the texture regions are obtained, each segment is classified based on skin color (GMM) and skin texture (dictionary of textons) model. To verify the performance of the developed algorithm, we perform experiments on the SDC database, specially designed for this kind of evaluation (human skin detection). Also, compared with other state-ofthe- art skin segmentation techniques, the results obtained in our experiments show that the proposed approach is robust to color and illumination variations arising from different skin tones (ethnicity of the user) as well as changes of pose, while keeping its ability for discriminating human skin from other highly textured background materials.

O movimento dos lábios é um recurso visual relevante para a detecção da atividade de voz do locutor e para o reconhecimento da fala. Quando os lábios estão se movendo eles transmitem a idéia de ocorrências de diálogos (conversas ou períodos de fala) para o observador, enquanto que os períodos de silêncio podem ser representados pela ausência de movimentações dos lábios (boca fechada). Baseado nesta idéia, este trabalho foca esforços para detectar a movimentação de lábios e usá-la para realizar a detecção de atividade de voz. Primeiramente, é realizada a detecção de pele e a detecção de face para reduzir a área de extração dos lábios, sendo que as regiões mais prováveis de serem lábios são computadas usando a abordagem Bayesiana dentro da área delimitada. Então, a pré-segmentação dos lábios é obtida pela limiarização da região das probabilidades calculadas. A seguir, é localizada a região da boca pelo resultado obtido na pré-segmentação dos lábios, ou seja, alguns pixels que não são de lábios e foram detectados são eliminados, e em seguida são aplicados algumas operações morfológicas para incluir alguns pixels labiais e não labiais em torno da boca. Então, uma nova segmentação de lábios é realizada sobre a região da boca depois de aplicada uma transformação de cores para realçar a região a ser segmentada. Após a segmentação, é aplicado o fechamento das lacunas internas dos lábios segmentados. Finalmente, o movimento temporal dos lábios é explorado usando o modelo das cadeias ocultas de Markov (HMMs) para detectar as prováveis ocorrências de atividades de fala dentro de uma janela temporal. / Lips motion are relevant visual feature for detecting the voice active of speaker and speech recognition. When the lips are moving, they carries an idea of occurrence of dialogues (talk) or periods of speeches to the watcher, whereas the periods of silences may be represented by the absence of lips motion (mouth closed). Based on this idea, this work focus efforts to obtain the lips motion as features and to perform visual voice activity detection. First, the algorithm performs skin segmentation and face detection to reduce the search area for lip extraction, and the most likely lip regions are computed using a Bayesian approach within the delimited area. Then, the pre-segmentation of the lips is obtained by thresholding the calculated probability region. After, it is localized the mouth region by resulted obtained in pre-segmentation of the lips, i.e., some nonlips pixels detected are eliminated, and it are applied a simple morphological operators to include some lips pixels and non-lips around the mouth. Thus, a new segmentation of lips is performed over mouth region after transformation of color to enhance the region to be segmented. And, is applied the closing of gaps internal of lips segmented. Finally, the temporal motion of the lips is explored using Hidden Markov Models (HMMs) to detect the likely occurrence of active speech within a temporal window.

Sistemas de Interação Humano-Computador baseados em toque são uma tecnologia disseminada em tablets, smartphones e notebooks. Trata-se de um grande avanço que aumenta a facilidade de comunicação e, ao mesmo tempo, diminui a necessidade de interfaces como mouse e teclado. Entretanto, a superfície de interação utilizada por esses sistemas normalmente é equipada com sensores para a captação dos movimentos realizados pelo usuário, o que impossibilita transformar uma superfície planar qualquer (uma mesa, por exemplo) em uma superfície de interação. Por outro lado, a popularização de sensores de profundidade a partir do lançamento do Microsoft Kinect propiciou o desenvolvimento de sistemas que adotam objetos do dia a dia como superfícies de interação. Nesta dissertação é proposta uma interface natural para interação com superfícies planares utilizando uma câmera RGB-D em posição descendente. Inicialmente, o plano de interação é localizado na nuvem de pontos 3D através de uma variação do algoritmo RANSAC com coerência temporal. Objetos acima do plano são segmentados a partir da transformada watershed baseada em uma função de energia que combina cor, profundidade e informação de confiança. A cor de pele é utilizada para isolar as mãos, e os dedos que interagem com o plano são identificados por um novo processo de esqueletonização 2D. Finalmente, as pontas dos dedos são rastreadas com o uso do algoritmo Húngaro, e o filtro de Kalman é usado para produzir trajetórias mais suaves. Para demonstrar a utilidade da técnica, foi desenvolvido um protótipo que permite ao usuário desenhar em uma superfície de forma natural e intuitiva. / Touch-based Human-Computer Interfaces (HCIs) are a widespread technology present in tablets, smartphones, and notebooks. This is a breakthrough which increases the ease of communication and at the same time reduces the need for interfaces such as mouse and keyboard. However, the interaction surface used by these systems is usually equipped with sensors to capture the movements made by the user, making it impossible to substitute this surface by any other such as a table, for example. On the other hand, the progress of commercial 3D depth sensing technologies in the past five years, having as a keystone Microsoft’s Kinect sensor, has increased the interest in 3D hand gesture recognition using depth data. In this dissertation, we present a natural Human-Computer Interface (HCI) for interaction with planar surfaces using a topdown RGB-D camera. Initially, the interaction plane is located in the 3D point cloud by using a variation of RANSAC with temporal coherence. Off-plane objects are segmented using the watershed transform based on an energy function that combines color, depth and confidence information. Skin color information is used to isolate the hand(s), and a novel 2D skeletonization process identifies the interaction fingers. Finally, the fingertips are tracked using the Hungarian algorithm, and a Kalman filter is applied to produce smoother trajectories. To demonstrate the usefulness of the technique, we also developed a prototype in which the user can draw on the surface using lines and sprays in a natural way.

A integração de dados oriundos de fontes autônomas e heterogêneas ainda é um grande problema para diversas aplicações. Na indústria de petróleo e gás, uma grande quantidade de dados é gerada diariamente a partir de múltiplas fontes, tais como dados sísmicos, dados de poços, dados de perfuração, dados de transporte e dados de marketing. No entanto, estes dados são adquiridos através da aplicação de diferentes técnicas e representados em diferentes formatos e padrões. Assim, estes dados existem de formas estruturadas em banco de dados e de formas semi-estruturadas em planilhas e documentos, tais como relatórios e coleções multimídia. Para lidar com a heterogeneidade dos formatos de dados, a informação precisa ser padronizada e integrada em todos os sistemas, disciplinas e fronteiras organizacionais. Como resultado, este processo de integração permitirá uma melhor tomada de decisão dentro de colaborações, uma vez que dados de alta qualidade poderão ser acessados em tempo hábil. A indústria do petróleo depende do uso eficiente desses dados para a construção de modelos computacionais, a fim de simplificar a realidade geológica e para ajudar a compreende-la. Tal modelo, que contém objetos geológicos analisados por diferentes profissionais—geólogos, geofísicos e engenheiros — não representa a realidade propriamente dita, mas a conceitualização do especialista. Como resultado, os objetos geológicos modelados assumem representações semânticas distintas e complementares no apoio à tomada de decisões. Para manter os significados pretendidos originalmente, ontologias estão sendo usadas para explicitar a semântica dos modelos e para integrar os dados e arquivos gerados nas etapas da cadeia de exploração. A principal reivindicação deste trabalho é que a interoperabilidade entre modelos da terra construídos e manipulados por diferentes profissionais e sistemas pode ser alcançada evidenciando o significado dos objetos geológicos representados nos modelos. Nós mostramos que ontologias de domínio desenvolvidas com o apoio de conceitos teórico de ontologias de fundamentação demonstraram ser uma ferramenta adequada para esclarecer a semântica dos conceitos geológicos. Nós exemplificamos essa capacidade através da análise dos formatos de comunicação padrões mais utilizados na cadeia de modelagem (LAS, WITSML e RESQML), em busca de entidades semanticamente relacionadas com os conceitos geológicos descritos em ontologias de Geociências. Mostramos como as noções de identidade, rigidez, essencialidade e unidade, aplicadas a conceitos ontológicos, conduzem o modelador à definir mais precisamente os objetos geológicos no modelo. Ao tornar explícitas as propriedades de identidade dos objetos modelados, o modelador pode superar as ambiguidades da terminologia geológica. Ao fazer isso, explicitamos os objetos e propriedades relevantes que podem ser mapeados a partir de um modelo para outro, mesmo quando eles estão representados em diferentes nomes e formatos. / The integration of data issued from autonomous and heterogeneous sources is still a significant problem for an important number of applications. In the oil and gas industry, a large amount of data is generated every day from multiple sources such as seismic data, well data, drilling data, transportation data, and marketing data. However, these data are acquired by the application of different techniques and represented in different standards and formats. Thus, these data exist in a structured form in databases, and in semi-structured forms in spreadsheets and documents such as reports and multimedia collections. To deal with this large amount of information, as well as the heterogeneous data formats of the data, the information needs to be standardized and integrated across systems, disciplines and organizational boundaries. As a result, this information integration will enable better decision making within collaborations, once high quality data will be accessible timely. The petroleum industry depends on the efficient use of these data to the construction of computer models in order to simplify the geological reality and to help understanding it. Such a model, which contains geological objects analyzed by different professionals – geologists, geophysicists and engineers – does not represent the reality itself, but the expert’s conceptualization. As a result, the geological objects modeled assume distinct semantic representations and complementary in supporting decision-making. For keeping the original intended meanings, ontologies were used for expliciting the semantic of the models and for integrating the data and files generated in the various stages of the exploration chain. The major claim of this work is that interoperability among earth models built and manipulated by different professionals and systems can be achieved by making apparent the meaning of the geological objects represented in the models. We show that domain ontologies developed with support of theoretical background of foundational ontologies show to be an adequate tool to clarify the semantic of geology concepts. We exemplify this capability by analyzing the communication standard formats most used in the modeling chain (LAS,WITSML, and RESQML), searching for entities semantically related with the geological concepts described in ontologies for Geosciences. We show how the notions of identity, rigidity, essentiality and unity applied to ontological concepts lead the modeler to more precisely define the geological objects in the model. By making explicit the identity properties of the modeled objects, the modeler who applies data standards can overcome the ambiguities of the geological terminology. In doing that, we clarify which are the relevant objects and properties that can be mapped from one model to another, even when they are represented with different names and formats.

A doença de Alzheimer produz alterações nas funções cognitivas, entre eles, de processos que são responsáveis pela linguagem e memória. Com o intuito de termos uma melhor compreensão das alterações da linguagem, este trabalho investigou características presentes em redes semânticas de pacientes com diagnóstico de provável Alzheimer, com foco nos verbos. Os resultados das comparações entre as redes de indivíduos saudáveis e pacientes com Alzheimer indicam diferenças topológicas entre eles. Neste trabalho, também foram construídos classificadores que poderiam captar as diferenças entre os vários perfis de indivíduos, e que podem ser utilizados para classificar novos indivíduos de acordo com o perfil mais próximo. Esse esforço se deu com o intuito de ajudar no diagnóstico de doenças que afetam a linguagem, como a doença de Alzheimer. / Alzheimer’s disease produces alterations of cognitive functions and of processes that are responsible for language and memory. In order to have a better understanding of language changes, we investigate the characteristics of the semantic networks of patients diagnosed with probable Alzheimer, focusing on verbs. The results of comparisons with networks of healthy individuals and patients with Alzheimer disease highlight some topological differences among them. We also constructed classifiers that could capture the differences between the various profiles of speakers, and that can be used to classify unknown speakers according to the closest profile. We made this effort in order to help the diagnosis of diseases that affect language, such as the Alzheimer’s disease.

A cintilografia renal é um exame amplamente utilizado para a avaliação visual do funcionamento do córtex renal. Ele permite visualizar a concentração do radiofármaco, o tamanho, a forma, a simetria e a posição dos rins. No entanto, a avaliação visual das impressões diagnósticas dessas imagens tende a ser um processo subjetivo. Isso faz com que ocorra uma significativa variabilidade entre as interpretações feitas por diferentes especialistas. Assim, este trabalho tem como objetivo propor medidas quantitativas que refletem impressões diagnósticas comumente observadas por especialistas nas imagens de cintilografia renal. São atribuídos valores numéricos a essas impressões, o que, potencialmente, reduz a subjetividade e a variabilidade da interpretação das descobertas. A fim de permitir a extração dessas medidas, um método de segmentação específico para essas imagens também é proposto. Os resultados indicam que as medidas propostas atingem níveis de concordância de no mínimo 90% dos casos quando comparadas com a avaliação visual de especialistas. Esses resultados sugerem que as medidas podem ser usadas para reduzir a subjetividade na avaliação das imagens, já que elas fornecem uma alternativa quantitativa e objetiva para reportar as impressões diagnosticas das imagens de cintilografia renal. / Renal scintigraphy is a well established functional technique for the visual evaluation of the renal cortical mass. It allows the visualization of the radiopharmaceutical tracer distribution, the size, the shape, the symmetry, and the position of the kidneys. However, the visual diagnostic impressions for these images tend to be a subjective process. It causes significant variability in the interpretation of findings. Thus, this work aims at proposing quantitative measures that reflect common diagnostic impressions for those images. These measures can potentially minimize the inter-observer variability. In order to make possible the extraction of these measures, a specific segmentation method is also proposed. The results indicate that our proposed features agree in at least 90% of the cases with the specialists visual evaluation. These results suggest that the features could be used to reduce the subjectivity in the evaluation of the images, since they provide a quantitative and objective alternative to report the diagnostic impressions.

A cintilografia renal é um exame amplamente utilizado para a avaliação visual do funcionamento do córtex renal. Ele permite visualizar a concentração do radiofármaco, o tamanho, a forma, a simetria e a posição dos rins. No entanto, a avaliação visual das impressões diagnósticas dessas imagens tende a ser um processo subjetivo. Isso faz com que ocorra uma significativa variabilidade entre as interpretações feitas por diferentes especialistas. Assim, este trabalho tem como objetivo propor medidas quantitativas que refletem impressões diagnósticas comumente observadas por especialistas nas imagens de cintilografia renal. São atribuídos valores numéricos a essas impressões, o que, potencialmente, reduz a subjetividade e a variabilidade da interpretação das descobertas. A fim de permitir a extração dessas medidas, um método de segmentação específico para essas imagens também é proposto. Os resultados indicam que as medidas propostas atingem níveis de concordância de no mínimo 90% dos casos quando comparadas com a avaliação visual de especialistas. Esses resultados sugerem que as medidas podem ser usadas para reduzir a subjetividade na avaliação das imagens, já que elas fornecem uma alternativa quantitativa e objetiva para reportar as impressões diagnosticas das imagens de cintilografia renal. / Renal scintigraphy is a well established functional technique for the visual evaluation of the renal cortical mass. It allows the visualization of the radiopharmaceutical tracer distribution, the size, the shape, the symmetry, and the position of the kidneys. However, the visual diagnostic impressions for these images tend to be a subjective process. It causes significant variability in the interpretation of findings. Thus, this work aims at proposing quantitative measures that reflect common diagnostic impressions for those images. These measures can potentially minimize the inter-observer variability. In order to make possible the extraction of these measures, a specific segmentation method is also proposed. The results indicate that our proposed features agree in at least 90% of the cases with the specialists visual evaluation. These results suggest that the features could be used to reduce the subjectivity in the evaluation of the images, since they provide a quantitative and objective alternative to report the diagnostic impressions.

A doença de Alzheimer produz alterações nas funções cognitivas, entre eles, de processos que são responsáveis pela linguagem e memória. Com o intuito de termos uma melhor compreensão das alterações da linguagem, este trabalho investigou características presentes em redes semânticas de pacientes com diagnóstico de provável Alzheimer, com foco nos verbos. Os resultados das comparações entre as redes de indivíduos saudáveis e pacientes com Alzheimer indicam diferenças topológicas entre eles. Neste trabalho, também foram construídos classificadores que poderiam captar as diferenças entre os vários perfis de indivíduos, e que podem ser utilizados para classificar novos indivíduos de acordo com o perfil mais próximo. Esse esforço se deu com o intuito de ajudar no diagnóstico de doenças que afetam a linguagem, como a doença de Alzheimer. / Alzheimer’s disease produces alterations of cognitive functions and of processes that are responsible for language and memory. In order to have a better understanding of language changes, we investigate the characteristics of the semantic networks of patients diagnosed with probable Alzheimer, focusing on verbs. The results of comparisons with networks of healthy individuals and patients with Alzheimer disease highlight some topological differences among them. We also constructed classifiers that could capture the differences between the various profiles of speakers, and that can be used to classify unknown speakers according to the closest profile. We made this effort in order to help the diagnosis of diseases that affect language, such as the Alzheimer’s disease.

A detecção de gestos é uma etapa importante em aplicações de interação humanocomputador. Se a mão do usuário é detectada com precisão, tanto a análise quanto o reconhecimento do gesto de mão se tornam mais simples e confiáveis. Neste trabalho, descrevemos um novo método para detecção de pele humana, destinada a ser empregada como uma etapa de pré-processamento para segmentação de gestos de mão em sistemas que visam o seu reconhecimento. Primeiramente, treinamos os modelos de cor e textura de pele (material a ser identificado) a partir de um conjunto de treinamento formado por imagens de pele. Nessa etapa, construímos um modelo de mistura de Gaussianas (GMM), para determinar os tons de cor da pele e um dicionário de textons, para textura de pele. Em seguida, introduzimos um estratégia de fusão estocástica de regiões de texturas, para determinar todos os segmentos de diferentes materiais presentes na imagem (cada um associado a uma textura). Tendo obtido todas as regiões, cada segmento encontrado é classificado com base nos modelos de cor de pele (GMM) e textura de pele (dicionário de textons). Para testar o desempenho do algoritmo desenvolvido realizamos experimentos com o conjunto de imagens SDC, projetado especialmente para esse tipo de avaliação (detecção de pele humana). Comparado com outras técnicas do estado-daarte em segmentação de pele humana disponíveis na literatura, os resultados obtidos em nossos experimentos mostram que a abordagem aqui proposta é resistente às variações de cor e iluminação decorrentes de diferentes tons de pele (etnia do usuário), assim como de mudanças de pose da mão, mantendo sua capacidade de discriminar pele humana de outros materiais altamente texturizados presentes na imagem. / Gesture detection is an important task in human-computer interaction applications. If the hand of the user is precisely detected, both analysis and recognition of hand gesture become more simple and reliable. This work describes a new method for human skin detection, used as a pre-processing stage for hand gesture segmentation in recognition systems. First, we obtain the models of color and texture of human skin (material to be identified) from a training set consisting of skin images. At this stage, we build a Gaussian mixture model (GMM) for identifying skin color tones and a dictionary of textons for skin texture. Then, we introduce a stochastic region merging strategy, to determine all segments of different materials present in the image (each associated with a texture). Once the texture regions are obtained, each segment is classified based on skin color (GMM) and skin texture (dictionary of textons) model. To verify the performance of the developed algorithm, we perform experiments on the SDC database, specially designed for this kind of evaluation (human skin detection). Also, compared with other state-ofthe- art skin segmentation techniques, the results obtained in our experiments show that the proposed approach is robust to color and illumination variations arising from different skin tones (ethnicity of the user) as well as changes of pose, while keeping its ability for discriminating human skin from other highly textured background materials.

Este trabalho apresenta uma proposta para a publicação eletrônica de imagens e metadados do formato DICOM, visando à interoperabilidade de sistemas heterogêneos, que têm a capacidade de se adaptarem às particularidades do ambiente médico, através da Web, proporcionando assim, ambientes propícios à área da saúde. Atualmente, para desenvolver ambientes de visualização de imagens na Web, são utilizados padrões de imagens, conceitos de metadados e adaptação de tecnologias para este fim. Utilizando o formato padrão de imagens médicas DICOM, com este trabalho se propõe construir um Framework para visualizar e trocar informações através da Web. Entre as suas aplicações estão a telemedicina e a integração de imagens aos sistemas de informação na área da saúde. / The present work presents a proposal for electronic publishing of images and metadata of the DICOM format. It aims interoperation of heterogeneous systems, which have the capacity to adapt themselves to the specificities of medical environment, via Web, providing this way, proper environments to the health area. Nowadays, in order to develop environments for visualizing images on the Web, it is necessary to use patterns of images, metadata concepts and adaptations of technologies for this purpose. Throughout the use of standard format of medical images DICOM, this work proposes the construction of a Framework to visualize and exchange information via Web. Among its applications are the telemedicine and the image integration to the information systems in the health area.