Gestos são ações que fazem parte da comunicação humana. Frequentemente, eles ocorrem junto com a fala e podem se manifestar por uma ação proposital, como o uso das mãos para explicar o formato de um objeto, ou como um padrão de comportamento, como coçar a cabeça ou ajeitar os óculos. Os gestos ajudam o locutor a construir sua fala e também ajudam o ouvinte a compreender a mensagem que está sendo transmitida. Pesquisadores de diversas áreas são interessados em entender como se dá a relação dos gestos com outros elementos do sistema linguístico, seja para suportar estudos das áreas da Linguística e da Psicolinguística, seja para melhorar a interação homem-máquina. Há diferentes linhas de estudo que exploram essa temática e entre elas está aquela que analisa os gestos a partir de fases: preparação, pré-stroke hold, stroke, pós-stroke hold, hold e retração. Assim, faz-se útil o desenvolvimento de sistemas capazes de automatizar a segmentação de um gesto em suas fases. Técnicas de aprendizado de máquina supervisionado já foram aplicadas a este problema e resultados promissores foram obtidos. Contudo, há uma dificuldade inerente à análise das fases do gesto, a qual se manifesta na alteração do contexto em que os gestos são executados. Embora existam algumas premissas básicas para definição do padrão de manifestação de cada fase do gesto, em contextos diferentes tais premissas podem sofrer variações que levariam a análise automática para um nível de alta complexidade. Este é o problema abordado neste trabalho, a qual estudou a variabilidade do padrão inerente à cada uma das fases do gesto, com apoio de aprendizado de máquina, quando a manifestação delas se dá a partir de um mesmo indivíduo, porém em diferentes contextos de produção do discurso. Os contextos de discurso considerados neste estudo são: contação de história, improvisação, descrição de cenas, entrevistas e aulas expositivas / Gestures are actions that make part of human communication. Commonly, gestures occur at the same time as the speech and they can manifest either through an intentional act, as using the hands to explain the format of an object, or as a pattern of behavior, as scratching the head or adjusting the glasses. Gestures help the speaker to build their speech and also help the audience to understand the message being communicated. Researchers from several areas are interested in understanding what the relationship of gestures with other elements of the linguistic system is like, whether in supporting studies in Linguistics or Psycho linguistics, or in improving the human-machine interaction. There are different lines of study that explore such a subject, and among them is the line that analyzes gestures according to their phases: preparation, pre-stroke hold, stroke, post-stroke hold, hold and retraction. Thus, the development of systems capable of automating the segmentation of gestures into their phases can be useful. Techniques that implement supervised machine learning have already been applied in this problem and promising results have been achieved. However, there is an inherent difficulty to the analysis of phases of gesture that is revealed when the context (in which the gestures are performed) changes. Although there are some elementary premises to set the pattern of expression of each gesture phase, such premises may vary and lead the automatic analysis to high levels of complexity. Such an issue is addressed in the work herein, whose purpose was to study the variability of the inherent pattern of each gesture phase, using machine learning techniques, when their execution is made by the same person, but in different contexts. The contexts of discourse considered in this study are: storytelling, improvisation, description of scenes, interviews and lectures

Recentemente, tem se percebido um interesse maior da área de computação pela pesquisa em análise de gestos. Parte dessas pesquisas visa dar suporte aos pesquisadores da área de \"estudos dos gestos\", que estuda o uso de partes do corpo para fins comunicativos. Pesquisadores dessa área analisam gestos a partir de transcrições de conversas ou discursos gravados em vídeo. Para a transcrição dos gestos, geralmente realiza-se a sua segmentação em unidades gestuais e fases. O presente trabalho tem por objetivo desenvolver estratégias para segmentação automatizada das unidades gestuais e das fases dos gestos contidos em um vídeo no contexto de contação de histórias, formulando o problema como uma tarefa de classificação supervisionada. As Máquinas de Vetores Suporte foram escolhidas como método de classificação, devido à sua capacidade de generalização e aos bons resultados obtidos para diversos problemas complexos. Máquinas de Vetores Suporte, porém, não consideram os aspectos temporais dos dados, características que são importantes na análise dos gestos. Por esse motivo, este trabalho investiga métodos de representação temporal e variações das Máquinas de Vetores Suporte que consideram raciocínio temporal. Vários experimentos foram executados neste contexto para segmentação de unidades gestuais. Os melhores resultados foram obtidos com Máquinas de Vetores Suporte tradicionais aplicadas a dados janelados. Além disso, três estratégias de classificação multiclasse foram aplicadas ao problema de segmentação das fases dos gestos. Os resultados indicam que um bom desempenho para a segmentação de gestos pode ser obtido ao realizar o treinamento da estratégia com um trecho inicial do vídeo para obter uma segmentação automatizada do restante do vídeo. Assim, os pesquisadores da área de \"estudos dos gestos\" poderiam segmentar manualmente apenas um trecho do vídeo, reduzindo o tempo necessário para realizar a análise dos gestos presentes em gravações longas. / Recently, it has been noted an increasing interest from computer science for research on gesture analysis. Some of these researches aims at supporting researchers from \"gesture studies\", which studies the use of several body parts for communicative purposes. Researchers of \"gesture studies\" analyze gestures from transcriptions of conversations and discourses recorded in video. For gesture transcriptions, gesture unit segmentation and gesture phase segmentation are usually employed. This study aims to develop strategies for automated segmentation of gestural units and phases of gestures contained in a video in the context of storytelling, formulating the problem as a supervised classification task. Support Vector Machines were selected as classification method, because of its ability to generalize and good results obtained for many complex problems. Support Vector Machines, however, do not consider the temporal aspects of data, characteristics that are important for gesture analysis. Therefore, this paper investigates methods of temporal representation and variations of the Support Vector machines that consider temporal reasoning. Several experiments were performed in this context for gesture units segmentation. The best results were obtained with traditional Support Vector Machines applied to windowed data. In addition, three strategies of multiclass classification were applied to the problem of gesture phase segmentation. The results indicate that a good performance for gesture segmentation can be obtained by training the strategy with an initial part of the video to get an automated segmentation of the rest of the video. Thus, researchers in \"gesture studies\" could manually segment only part of the video, reducing the time needed to perform the analysis of gestures contained in long recordings.

Recentemente, tem se percebido um interesse maior da área de computação pela pesquisa em análise de gestos. Parte dessas pesquisas visa dar suporte aos pesquisadores da área de \"estudos dos gestos\", que estuda o uso de partes do corpo para fins comunicativos. Pesquisadores dessa área analisam gestos a partir de transcrições de conversas ou discursos gravados em vídeo. Para a transcrição dos gestos, geralmente realiza-se a sua segmentação em unidades gestuais e fases. O presente trabalho tem por objetivo desenvolver estratégias para segmentação automatizada das unidades gestuais e das fases dos gestos contidos em um vídeo no contexto de contação de histórias, formulando o problema como uma tarefa de classificação supervisionada. As Máquinas de Vetores Suporte foram escolhidas como método de classificação, devido à sua capacidade de generalização e aos bons resultados obtidos para diversos problemas complexos. Máquinas de Vetores Suporte, porém, não consideram os aspectos temporais dos dados, características que são importantes na análise dos gestos. Por esse motivo, este trabalho investiga métodos de representação temporal e variações das Máquinas de Vetores Suporte que consideram raciocínio temporal. Vários experimentos foram executados neste contexto para segmentação de unidades gestuais. Os melhores resultados foram obtidos com Máquinas de Vetores Suporte tradicionais aplicadas a dados janelados. Além disso, três estratégias de classificação multiclasse foram aplicadas ao problema de segmentação das fases dos gestos. Os resultados indicam que um bom desempenho para a segmentação de gestos pode ser obtido ao realizar o treinamento da estratégia com um trecho inicial do vídeo para obter uma segmentação automatizada do restante do vídeo. Assim, os pesquisadores da área de \"estudos dos gestos\" poderiam segmentar manualmente apenas um trecho do vídeo, reduzindo o tempo necessário para realizar a análise dos gestos presentes em gravações longas. / Recently, it has been noted an increasing interest from computer science for research on gesture analysis. Some of these researches aims at supporting researchers from \"gesture studies\", which studies the use of several body parts for communicative purposes. Researchers of \"gesture studies\" analyze gestures from transcriptions of conversations and discourses recorded in video. For gesture transcriptions, gesture unit segmentation and gesture phase segmentation are usually employed. This study aims to develop strategies for automated segmentation of gestural units and phases of gestures contained in a video in the context of storytelling, formulating the problem as a supervised classification task. Support Vector Machines were selected as classification method, because of its ability to generalize and good results obtained for many complex problems. Support Vector Machines, however, do not consider the temporal aspects of data, characteristics that are important for gesture analysis. Therefore, this paper investigates methods of temporal representation and variations of the Support Vector machines that consider temporal reasoning. Several experiments were performed in this context for gesture units segmentation. The best results were obtained with traditional Support Vector Machines applied to windowed data. In addition, three strategies of multiclass classification were applied to the problem of gesture phase segmentation. The results indicate that a good performance for gesture segmentation can be obtained by training the strategy with an initial part of the video to get an automated segmentation of the rest of the video. Thus, researchers in \"gesture studies\" could manually segment only part of the video, reducing the time needed to perform the analysis of gestures contained in long recordings.

Gestos são ações que fazem parte da comunicação humana. Frequentemente, eles ocorrem junto com a fala e podem se manifestar por uma ação proposital, como o uso das mãos para explicar o formato de um objeto, ou como um padrão de comportamento, como coçar a cabeça ou ajeitar os óculos. Os gestos ajudam o locutor a construir sua fala e também ajudam o ouvinte a compreender a mensagem que está sendo transmitida. Pesquisadores de diversas áreas são interessados em entender como se dá a relação dos gestos com outros elementos do sistema linguístico, seja para suportar estudos das áreas da Linguística e da Psicolinguística, seja para melhorar a interação homem-máquina. Há diferentes linhas de estudo que exploram essa temática e entre elas está aquela que analisa os gestos a partir de fases: preparação, pré-stroke hold, stroke, pós-stroke hold, hold e retração. Assim, faz-se útil o desenvolvimento de sistemas capazes de automatizar a segmentação de um gesto em suas fases. Técnicas de aprendizado de máquina supervisionado já foram aplicadas a este problema e resultados promissores foram obtidos. Contudo, há uma dificuldade inerente à análise das fases do gesto, a qual se manifesta na alteração do contexto em que os gestos são executados. Embora existam algumas premissas básicas para definição do padrão de manifestação de cada fase do gesto, em contextos diferentes tais premissas podem sofrer variações que levariam a análise automática para um nível de alta complexidade. Este é o problema abordado neste trabalho, a qual estudou a variabilidade do padrão inerente à cada uma das fases do gesto, com apoio de aprendizado de máquina, quando a manifestação delas se dá a partir de um mesmo indivíduo, porém em diferentes contextos de produção do discurso. Os contextos de discurso considerados neste estudo são: contação de história, improvisação, descrição de cenas, entrevistas e aulas expositivas / Gestures are actions that make part of human communication. Commonly, gestures occur at the same time as the speech and they can manifest either through an intentional act, as using the hands to explain the format of an object, or as a pattern of behavior, as scratching the head or adjusting the glasses. Gestures help the speaker to build their speech and also help the audience to understand the message being communicated. Researchers from several areas are interested in understanding what the relationship of gestures with other elements of the linguistic system is like, whether in supporting studies in Linguistics or Psycho linguistics, or in improving the human-machine interaction. There are different lines of study that explore such a subject, and among them is the line that analyzes gestures according to their phases: preparation, pre-stroke hold, stroke, post-stroke hold, hold and retraction. Thus, the development of systems capable of automating the segmentation of gestures into their phases can be useful. Techniques that implement supervised machine learning have already been applied in this problem and promising results have been achieved. However, there is an inherent difficulty to the analysis of phases of gesture that is revealed when the context (in which the gestures are performed) changes. Although there are some elementary premises to set the pattern of expression of each gesture phase, such premises may vary and lead the automatic analysis to high levels of complexity. Such an issue is addressed in the work herein, whose purpose was to study the variability of the inherent pattern of each gesture phase, using machine learning techniques, when their execution is made by the same person, but in different contexts. The contexts of discourse considered in this study are: storytelling, improvisation, description of scenes, interviews and lectures

Sistemas de análise de gestos têm se destacado por suas contribuições para a interação entre humanos, humanos e máquinas, e humanos e ambiente. Nessa interação, a gesticulação natural é vista como parte do sistema linguístico que suporta a comunicação, e qualquer sistema de informação que objetiva usar interação para suporte à decisão deveria ser capaz de interpretá-la. Essa interpretação pode ser realizada por meio da segmentação das fases do gesto. Para resolver essa tarefa, o estabelecimento de uma representação de dados eficiente para os gestos é um ponto crítico. A representação escolhida e sua associação a técnicas de análise podem ou não favorecer a solução sob implementação. Neste trabalho, formas de representação de gestos são submetidas aos algoritmos de reconhecimento de padrões MLP e SOM para elaborar um ambiente propício à identificação das representações mais discriminantes, quais aspectos as diferentes representações descrevem com eficiência, e como elas podem ser combinadas para melhorar a segmentação das fases do gesto. Para construção das representações multidimensionais são usados aspectos espaciais e temporais combinados com a normalização dos dados e a aplicação do filtro wavelet na busca pela representação mais discriminante para o reconhecimento das fases do gesto. Ambos os algoritmos alcançaram bons resultados com o uso dos aspectos temporais. O MLP conseguiu classificar todas as fases do gesto em configurações de representação contendo dados sobre todos os membros monitorados. O SOM apresentou boa capacidade para formar grupos contendo dados de uma mesma fase do gesto mesmo com o uso de poucas características na construção da representação, porém não foi possível identificar a proposta de uma nova fase do gesto com o aprendizado não supervisionado / Gestures analysis systems have stood out for their contributions to the interaction between humans, humans and machines, and humans and environments. In this interaction, natural gesticulation is seen as part of a linguistic system that supports the communication, and all information systems aiming at the use of such an interaction in making decisions should be able to interpret it. Such an interpretation can be carried out through the gesture phases segmentation. In order to solve this task, the establishment of an efficient data representation for gestures is a critical issue. The chosen representation as well as its combination with techniques for analysis can or can not favor the solution being developed. In this work, different forms representation for gestures are applied to pattern recognition algorithms MLP and SOM to create an adequate environment to identify the more discriminative representations, which aspect the different representations describe with more efficiency, and how they can be combined in order to improve gesture phases segmentation. To construct the multidimensional representations we use spatial and temporal aspects combined with the normalization of the data and the application of the wavelet filter in the search for the most discriminating representation for the recognition of the gesture phases. Both algorithms achieved good results with the use of temporal aspects. MLP was able to classify all gesture phases using representation settings containing data about all monitored members. SOM presented good ability to form groups containing data of the same gesture phase even with the use of few characteristics in the construction of the representation, but it was not possible to identify the proposal of a new gesture phase with unsupervised learning

Sistemas de análise de gestos têm se destacado por suas contribuições para a interação entre humanos, humanos e máquinas, e humanos e ambiente. Nessa interação, a gesticulação natural é vista como parte do sistema linguístico que suporta a comunicação, e qualquer sistema de informação que objetiva usar interação para suporte à decisão deveria ser capaz de interpretá-la. Essa interpretação pode ser realizada por meio da segmentação das fases do gesto. Para resolver essa tarefa, o estabelecimento de uma representação de dados eficiente para os gestos é um ponto crítico. A representação escolhida e sua associação a técnicas de análise podem ou não favorecer a solução sob implementação. Neste trabalho, formas de representação de gestos são submetidas aos algoritmos de reconhecimento de padrões MLP e SOM para elaborar um ambiente propício à identificação das representações mais discriminantes, quais aspectos as diferentes representações descrevem com eficiência, e como elas podem ser combinadas para melhorar a segmentação das fases do gesto. Para construção das representações multidimensionais são usados aspectos espaciais e temporais combinados com a normalização dos dados e a aplicação do filtro wavelet na busca pela representação mais discriminante para o reconhecimento das fases do gesto. Ambos os algoritmos alcançaram bons resultados com o uso dos aspectos temporais. O MLP conseguiu classificar todas as fases do gesto em configurações de representação contendo dados sobre todos os membros monitorados. O SOM apresentou boa capacidade para formar grupos contendo dados de uma mesma fase do gesto mesmo com o uso de poucas características na construção da representação, porém não foi possível identificar a proposta de uma nova fase do gesto com o aprendizado não supervisionado / Gestures analysis systems have stood out for their contributions to the interaction between humans, humans and machines, and humans and environments. In this interaction, natural gesticulation is seen as part of a linguistic system that supports the communication, and all information systems aiming at the use of such an interaction in making decisions should be able to interpret it. Such an interpretation can be carried out through the gesture phases segmentation. In order to solve this task, the establishment of an efficient data representation for gestures is a critical issue. The chosen representation as well as its combination with techniques for analysis can or can not favor the solution being developed. In this work, different forms representation for gestures are applied to pattern recognition algorithms MLP and SOM to create an adequate environment to identify the more discriminative representations, which aspect the different representations describe with more efficiency, and how they can be combined in order to improve gesture phases segmentation. To construct the multidimensional representations we use spatial and temporal aspects combined with the normalization of the data and the application of the wavelet filter in the search for the most discriminating representation for the recognition of the gesture phases. Both algorithms achieved good results with the use of temporal aspects. MLP was able to classify all gesture phases using representation settings containing data about all monitored members. SOM presented good ability to form groups containing data of the same gesture phase even with the use of few characteristics in the construction of the representation, but it was not possible to identify the proposal of a new gesture phase with unsupervised learning