Recentemente, tem se percebido um interesse maior da área de computação pela pesquisa em análise de gestos. Parte dessas pesquisas visa dar suporte aos pesquisadores da área de \"estudos dos gestos\", que estuda o uso de partes do corpo para fins comunicativos. Pesquisadores dessa área analisam gestos a partir de transcrições de conversas ou discursos gravados em vídeo. Para a transcrição dos gestos, geralmente realiza-se a sua segmentação em unidades gestuais e fases. O presente trabalho tem por objetivo desenvolver estratégias para segmentação automatizada das unidades gestuais e das fases dos gestos contidos em um vídeo no contexto de contação de histórias, formulando o problema como uma tarefa de classificação supervisionada. As Máquinas de Vetores Suporte foram escolhidas como método de classificação, devido à sua capacidade de generalização e aos bons resultados obtidos para diversos problemas complexos. Máquinas de Vetores Suporte, porém, não consideram os aspectos temporais dos dados, características que são importantes na análise dos gestos. Por esse motivo, este trabalho investiga métodos de representação temporal e variações das Máquinas de Vetores Suporte que consideram raciocínio temporal. Vários experimentos foram executados neste contexto para segmentação de unidades gestuais. Os melhores resultados foram obtidos com Máquinas de Vetores Suporte tradicionais aplicadas a dados janelados. Além disso, três estratégias de classificação multiclasse foram aplicadas ao problema de segmentação das fases dos gestos. Os resultados indicam que um bom desempenho para a segmentação de gestos pode ser obtido ao realizar o treinamento da estratégia com um trecho inicial do vídeo para obter uma segmentação automatizada do restante do vídeo. Assim, os pesquisadores da área de \"estudos dos gestos\" poderiam segmentar manualmente apenas um trecho do vídeo, reduzindo o tempo necessário para realizar a análise dos gestos presentes em gravações longas. / Recently, it has been noted an increasing interest from computer science for research on gesture analysis. Some of these researches aims at supporting researchers from \"gesture studies\", which studies the use of several body parts for communicative purposes. Researchers of \"gesture studies\" analyze gestures from transcriptions of conversations and discourses recorded in video. For gesture transcriptions, gesture unit segmentation and gesture phase segmentation are usually employed. This study aims to develop strategies for automated segmentation of gestural units and phases of gestures contained in a video in the context of storytelling, formulating the problem as a supervised classification task. Support Vector Machines were selected as classification method, because of its ability to generalize and good results obtained for many complex problems. Support Vector Machines, however, do not consider the temporal aspects of data, characteristics that are important for gesture analysis. Therefore, this paper investigates methods of temporal representation and variations of the Support Vector machines that consider temporal reasoning. Several experiments were performed in this context for gesture units segmentation. The best results were obtained with traditional Support Vector Machines applied to windowed data. In addition, three strategies of multiclass classification were applied to the problem of gesture phase segmentation. The results indicate that a good performance for gesture segmentation can be obtained by training the strategy with an initial part of the video to get an automated segmentation of the rest of the video. Thus, researchers in \"gesture studies\" could manually segment only part of the video, reducing the time needed to perform the analysis of gestures contained in long recordings.

Recentemente, tem se percebido um interesse maior da área de computação pela pesquisa em análise de gestos. Parte dessas pesquisas visa dar suporte aos pesquisadores da área de \"estudos dos gestos\", que estuda o uso de partes do corpo para fins comunicativos. Pesquisadores dessa área analisam gestos a partir de transcrições de conversas ou discursos gravados em vídeo. Para a transcrição dos gestos, geralmente realiza-se a sua segmentação em unidades gestuais e fases. O presente trabalho tem por objetivo desenvolver estratégias para segmentação automatizada das unidades gestuais e das fases dos gestos contidos em um vídeo no contexto de contação de histórias, formulando o problema como uma tarefa de classificação supervisionada. As Máquinas de Vetores Suporte foram escolhidas como método de classificação, devido à sua capacidade de generalização e aos bons resultados obtidos para diversos problemas complexos. Máquinas de Vetores Suporte, porém, não consideram os aspectos temporais dos dados, características que são importantes na análise dos gestos. Por esse motivo, este trabalho investiga métodos de representação temporal e variações das Máquinas de Vetores Suporte que consideram raciocínio temporal. Vários experimentos foram executados neste contexto para segmentação de unidades gestuais. Os melhores resultados foram obtidos com Máquinas de Vetores Suporte tradicionais aplicadas a dados janelados. Além disso, três estratégias de classificação multiclasse foram aplicadas ao problema de segmentação das fases dos gestos. Os resultados indicam que um bom desempenho para a segmentação de gestos pode ser obtido ao realizar o treinamento da estratégia com um trecho inicial do vídeo para obter uma segmentação automatizada do restante do vídeo. Assim, os pesquisadores da área de \"estudos dos gestos\" poderiam segmentar manualmente apenas um trecho do vídeo, reduzindo o tempo necessário para realizar a análise dos gestos presentes em gravações longas. / Recently, it has been noted an increasing interest from computer science for research on gesture analysis. Some of these researches aims at supporting researchers from \"gesture studies\", which studies the use of several body parts for communicative purposes. Researchers of \"gesture studies\" analyze gestures from transcriptions of conversations and discourses recorded in video. For gesture transcriptions, gesture unit segmentation and gesture phase segmentation are usually employed. This study aims to develop strategies for automated segmentation of gestural units and phases of gestures contained in a video in the context of storytelling, formulating the problem as a supervised classification task. Support Vector Machines were selected as classification method, because of its ability to generalize and good results obtained for many complex problems. Support Vector Machines, however, do not consider the temporal aspects of data, characteristics that are important for gesture analysis. Therefore, this paper investigates methods of temporal representation and variations of the Support Vector machines that consider temporal reasoning. Several experiments were performed in this context for gesture units segmentation. The best results were obtained with traditional Support Vector Machines applied to windowed data. In addition, three strategies of multiclass classification were applied to the problem of gesture phase segmentation. The results indicate that a good performance for gesture segmentation can be obtained by training the strategy with an initial part of the video to get an automated segmentation of the rest of the video. Thus, researchers in \"gesture studies\" could manually segment only part of the video, reducing the time needed to perform the analysis of gestures contained in long recordings.

Sistemas de análise de gestos têm se destacado por suas contribuições para a interação entre humanos, humanos e máquinas, e humanos e ambiente. Nessa interação, a gesticulação natural é vista como parte do sistema linguístico que suporta a comunicação, e qualquer sistema de informação que objetiva usar interação para suporte à decisão deveria ser capaz de interpretá-la. Essa interpretação pode ser realizada por meio da segmentação das fases do gesto. Para resolver essa tarefa, o estabelecimento de uma representação de dados eficiente para os gestos é um ponto crítico. A representação escolhida e sua associação a técnicas de análise podem ou não favorecer a solução sob implementação. Neste trabalho, formas de representação de gestos são submetidas aos algoritmos de reconhecimento de padrões MLP e SOM para elaborar um ambiente propício à identificação das representações mais discriminantes, quais aspectos as diferentes representações descrevem com eficiência, e como elas podem ser combinadas para melhorar a segmentação das fases do gesto. Para construção das representações multidimensionais são usados aspectos espaciais e temporais combinados com a normalização dos dados e a aplicação do filtro wavelet na busca pela representação mais discriminante para o reconhecimento das fases do gesto. Ambos os algoritmos alcançaram bons resultados com o uso dos aspectos temporais. O MLP conseguiu classificar todas as fases do gesto em configurações de representação contendo dados sobre todos os membros monitorados. O SOM apresentou boa capacidade para formar grupos contendo dados de uma mesma fase do gesto mesmo com o uso de poucas características na construção da representação, porém não foi possível identificar a proposta de uma nova fase do gesto com o aprendizado não supervisionado / Gestures analysis systems have stood out for their contributions to the interaction between humans, humans and machines, and humans and environments. In this interaction, natural gesticulation is seen as part of a linguistic system that supports the communication, and all information systems aiming at the use of such an interaction in making decisions should be able to interpret it. Such an interpretation can be carried out through the gesture phases segmentation. In order to solve this task, the establishment of an efficient data representation for gestures is a critical issue. The chosen representation as well as its combination with techniques for analysis can or can not favor the solution being developed. In this work, different forms representation for gestures are applied to pattern recognition algorithms MLP and SOM to create an adequate environment to identify the more discriminative representations, which aspect the different representations describe with more efficiency, and how they can be combined in order to improve gesture phases segmentation. To construct the multidimensional representations we use spatial and temporal aspects combined with the normalization of the data and the application of the wavelet filter in the search for the most discriminating representation for the recognition of the gesture phases. Both algorithms achieved good results with the use of temporal aspects. MLP was able to classify all gesture phases using representation settings containing data about all monitored members. SOM presented good ability to form groups containing data of the same gesture phase even with the use of few characteristics in the construction of the representation, but it was not possible to identify the proposal of a new gesture phase with unsupervised learning

Sistemas de análise de gestos têm se destacado por suas contribuições para a interação entre humanos, humanos e máquinas, e humanos e ambiente. Nessa interação, a gesticulação natural é vista como parte do sistema linguístico que suporta a comunicação, e qualquer sistema de informação que objetiva usar interação para suporte à decisão deveria ser capaz de interpretá-la. Essa interpretação pode ser realizada por meio da segmentação das fases do gesto. Para resolver essa tarefa, o estabelecimento de uma representação de dados eficiente para os gestos é um ponto crítico. A representação escolhida e sua associação a técnicas de análise podem ou não favorecer a solução sob implementação. Neste trabalho, formas de representação de gestos são submetidas aos algoritmos de reconhecimento de padrões MLP e SOM para elaborar um ambiente propício à identificação das representações mais discriminantes, quais aspectos as diferentes representações descrevem com eficiência, e como elas podem ser combinadas para melhorar a segmentação das fases do gesto. Para construção das representações multidimensionais são usados aspectos espaciais e temporais combinados com a normalização dos dados e a aplicação do filtro wavelet na busca pela representação mais discriminante para o reconhecimento das fases do gesto. Ambos os algoritmos alcançaram bons resultados com o uso dos aspectos temporais. O MLP conseguiu classificar todas as fases do gesto em configurações de representação contendo dados sobre todos os membros monitorados. O SOM apresentou boa capacidade para formar grupos contendo dados de uma mesma fase do gesto mesmo com o uso de poucas características na construção da representação, porém não foi possível identificar a proposta de uma nova fase do gesto com o aprendizado não supervisionado / Gestures analysis systems have stood out for their contributions to the interaction between humans, humans and machines, and humans and environments. In this interaction, natural gesticulation is seen as part of a linguistic system that supports the communication, and all information systems aiming at the use of such an interaction in making decisions should be able to interpret it. Such an interpretation can be carried out through the gesture phases segmentation. In order to solve this task, the establishment of an efficient data representation for gestures is a critical issue. The chosen representation as well as its combination with techniques for analysis can or can not favor the solution being developed. In this work, different forms representation for gestures are applied to pattern recognition algorithms MLP and SOM to create an adequate environment to identify the more discriminative representations, which aspect the different representations describe with more efficiency, and how they can be combined in order to improve gesture phases segmentation. To construct the multidimensional representations we use spatial and temporal aspects combined with the normalization of the data and the application of the wavelet filter in the search for the most discriminating representation for the recognition of the gesture phases. Both algorithms achieved good results with the use of temporal aspects. MLP was able to classify all gesture phases using representation settings containing data about all monitored members. SOM presented good ability to form groups containing data of the same gesture phase even with the use of few characteristics in the construction of the representation, but it was not possible to identify the proposal of a new gesture phase with unsupervised learning