Orientador: Silvio Ferraz Mello Filho / Dissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Artes / Made available in DSpace on 2018-08-17T13:00:28Z (GMT). No. of bitstreams: 1 Castellani_FelipeMerker_M.pdf: 34231257 bytes, checksum: bc31cb58b5109989106920c3c78537a4 (MD5) Previous issue date: 2010 / Resumo: Abordamos no presente trabalho a noção de gesto musical circunscrita às poéticas dos compositores Luciano Berio e Brian Ferneyhough. O que as liga é a tomada de consciência de que os gestos musicais não devem ser entendidos como unidades fechadas e prontas para serem utilizadas, não importando o contexto em que serão inseridas. Seja por sua utilização como parte de um processo de significação musical, ou como parte de uma atitude composicional, o mais importante é sua possibilidade de desconstrução e reconstrução. Portanto, este é o principal foco deste trabalho.Nos escritos de Luciano Berio, a noção de gesto musical está interligada a outros aspectos como o virtuosismo, presente na prática instrumental e a teatralidade, produzida por uma relação entre corpo físico do instrumentista e o corpo sonoro gerado pelas ações do mesmo. Para ele os gestos são jogos de representação e significação, que ocorrem em função das convenções históricas e culturais. Por outro lado, para Ferneyhough, o gesto é o resultado de um trabalho paramétrico, que atua tanto com um enfoque tradicional, nas operações que manipulam as alturas e os ritmos, como em formas mais diferenciadas, nos modos de articulação e dedilhados instrumentais. O que o define não é um trabalho isolado, mas a interação entre os diversos procedimentos presentes em um contexto composicional que convergem em direção a um efeito global.Contextualizamos e integramos as questões teóricas através das análises das seguintes obras: as Sequenze de Luciano Berio e Second String Quartet, Time and Motion Study I, Time and Motion Study II e o quinto movimento de Kurze Schatten II, todas de autoria de Brian Ferneyhough.Além das investigações teórica e analítica, também propomos uma experiência prática composicional, que permite a ampliação e complementação de nosso campo problemático. Desta forma, apresentamos um relato de procedimentos composicionais trabalhado simultaneamente com o estudo da poética de Luciano Berio e Brian Ferneyhough / Abstract: In this work we approach the notion of musical gesture circumscribed to the poetic of the composers Luciano Berio and Brian Ferneyhough. What connects them is the awareness of the musical gestures that should not be regarded as closed units and ready for use, no matter the context in which they are inserted. Whether for its use as part of a process of musical signification, or as part of a compositional approach, the most important is its potential to deconstruction and reconstruction, so this is the main focus of this work. In the writings of Luciano Berio, the notion of musical gesture is interconnected to other aspects such as the virtuosity, present in the instrumental practice and the theatricality, produced by a relationship between the physical body and the sonorous body generated his the actions. For the composer the gestures are games of representation and meaning, which occur due to the historical and cultural conventions. On the other hand, for Ferneyhough, the gesture is the result of a parametric work, which operates both with a traditional approach, in the operations that manipulate pitches and rhythms, as in a more differentiated ways, in the modes of articulation and instrumental fingerings. What defines this gesture, it's not an isolated work, but the interaction between the various procedures found in a compositional context that converges toward a global effect. We contextualize and integrate the theoretical issues through the analysis of the following works: the Luciano Berio's Sequenze and Brian Ferneyhough's Second String Quartet, Time and Motion Study I, Time and Motion Study II and the fifth movement of Kurze Schatten II. In addition to the analysis, we also propose a practical compositional experience, which allows the expansion and complementation of our problematic field. Thus, we present a description of the compositional procedures worked simultaneously with the study of the poetics of Luciano Berio and Brian Ferneyhough / Mestrado / Processos Criativos / Mestre em Música

O objetivo deste trabalho é reconhecer gestos em tempo real apenas com o uso de câmeras, sem marcadores, roupas ou qualquer outro tipo de sensor. A montagem do ambiente de captura é simples, com apenas duas câmeras e um computador. O fundo deve ser estático, e contrastar com o usuário. A ausência de marcadores ou roupas especiais dificulta a tarefa de localizar os membros. A motivação desta tese é criar um ambiente de realidade virtual para treino de goleiros, que possibilite corrigir erros de movimentação, posicionamento e de escolha do método de defesa. A técnica desenvolvida pode ser aplicada para qualquer atividade que envolva gestos ou movimentos do corpo. O reconhecimento de gestos começa com a detecção da região da imagem onde se encontra o usuário. Nessa região, localizamos as regiões mais salientes como candidatas a extremidades do corpo, ou seja, mãos, pés e cabeça. As extremidades encontradas recebem um rótulo que indica a parte do corpo que deve representar. Um vetor com as coordenadas das extremidades é gerado. Para descobrir qual a pose do usuário, o vetor com as coordenadas das suas extremidades é classificado. O passo final é a classificação temporal, ou seja, o reconhecimento do gesto. A técnica desenvolvida é robusta, funcionando bem mesmo quando o sistema foi treinado com um usuário e aplicado a dados de outro. / Our aim in this work is to recognize gestures in real time with cameras, without markers or special clothes. The capture environment setup is simple, uses just two cameras and a computer. The background must be static, and its colors must be different the users. The absence of markers or special clothes difficults the location of the users limbs. The motivation of this thesis is to create a virtual reality environment for goalkeeper training, but the technique can be applied in any activity that involves gestures or body movements. The recognition of gestures starts with the background subtraction. From the foreground, we locate the more proeminent regions as candidates to body extremities, that is, hands, feet and head. The found extremities receive a label that indicates the body part it may represent. To classify the users pose, the vector with the coordinates of his extremities is compared to keyposes and the best match is selected. The final step is the temporal classification, that is, the gesture recognition. The developed technique is robust, working well even when the system was trained with an user and applied to another users data.

Para o estudo da emergência da linguagem expressiva na síndrome de Down (SD), foi realizado estudo qualitativo, segundo o método dialético-didático, com 12 crianças, acompanhadas durante três semestres consecutivos: oito com SD, com idades entre 33 e 52 meses no início, e quatro com desenvolvimento típico (DT), entre 14 e 16 meses, todas localizadas na transição do quinto para o sexto estágio do período sensório-motor. Ao final da pesquisa, os dados obtidos confirmaram a evolução do gesto para a expressão oral e indicaram que algumas crianças com SD apresentaram a predominância da comunicação gestual, enquanto outras apresentaram linguagem oral e comunicação gestual simultâneas / Aiming to study the emergence of expressive language in Down Syndrome (DS), a qualitative study was carried out, based on the dialetic-didactic method, with 12 children, who were followed for three consecutive semesters: eight with DS, with ages between 33 and 52 months at the beginning, and four in typical development (TD), with 14 to 16 months old, all of them, cognitively, in the transition from the fifth to the sixth stage of the sensorimotor period. At the end of the study, data confirmed the evolution from gesture to oral expression and showed that, in some children with DS, gestural communication was predominant, while others had both oral and gestural communication simultaneously

O objetivo deste trabalho é tornar possível a inserção de um robô humanoide para auxiliar pacientes em sessões de fisioterapia. Um sistema robótico é proposto que utiliza um robô humanoide, denominado NAO, visando analisar os movimentos feitos pelos pacientes e corrigi-los se necessário, além de motivá-los durante uma sessão de fisioterapia. O sistema desenvolvido permite que o robô, em primeiro lugar, aprenda um exercício correto de fisioterapia observando sua execução por um fisioterapeuta; em segundo lugar, que ele demonstre o exercício para que um paciente possa imitá-lo; e, finalmente, corrija erros cometidos pelo paciente durante a execução do exercício. O exercício correto é capturado por um sensor Kinect e dividido em uma sequência de estados em dimensão espaço-temporal usando k-means clustering. Estes estados então formam uma máquina de estados finitos para verificar se os movimentos do paciente estão corretos. A transição de um estado para o próximo corresponde a movimentos parciais que compõem o movimento aprendido, e acontece somente quando o robô observa o mesmo movimento parcial executado corretamente pelo paciente; caso contrário o robô sugere uma correção e pede que o paciente tente novamente. O sistema foi testado com vários pacientes em tratamento fisioterapêutico para problemas motores. Os resultados obtidos, em termos de precisão e recuperação para cada movimento, mostraram-se muito promissores. Além disso, o estado emocional dos pacientes foi também avaliado por meio de um questionário aplicado antes e depois do tratamento e durante o tratamento com um software de reconhecimento facial de emoções e os resultados indicam um impacto emocional bastante positivo e que pode vir a auxiliar pacientes durante tratamento fisioterapêuticos. / This dissertation develops a robotic system to guide patients through physiotherapy sessions. The proposed system uses the humanoid robot NAO, and it analyses patients movements to guide, correct, and motivate them during a session. Firstly, the system learns a correct physiotherapy exercise by observing a physiotherapist perform it; secondly, it demonstrates the exercise so that the patient can reproduce it; and finally, it corrects any mistakes that the patient might make during the exercise. The correct exercise is captured via Kinect sensor and divided into a sequence of states in spatial-temporal dimension using k-means clustering. Those states compose a finite state machine that is used to verify whether the patients movements are correct. The transition from one state to the next corresponds to partial movements that compose the learned exercise. If the patient executes the partial movement incorrectly, the system suggests a correction and returns to the same state, asking that the patient try again. The system was tested with multiple patients undergoing physiotherapeutic treatment for motor impairments. Based on the results obtained, the system achieved high precision and recall across all partial movements. The emotional impact of treatment on patients was also measured, via before and after questionnaires and via a software that recognizes emotions from video taken during treatment, showing a positive impact that could help motivate physiotherapy patients, improving their motivation and recovery.

Recentemente, tem se percebido um interesse maior da área de computação pela pesquisa em análise de gestos. Parte dessas pesquisas visa dar suporte aos pesquisadores da área de \"estudos dos gestos\", que estuda o uso de partes do corpo para fins comunicativos. Pesquisadores dessa área analisam gestos a partir de transcrições de conversas ou discursos gravados em vídeo. Para a transcrição dos gestos, geralmente realiza-se a sua segmentação em unidades gestuais e fases. O presente trabalho tem por objetivo desenvolver estratégias para segmentação automatizada das unidades gestuais e das fases dos gestos contidos em um vídeo no contexto de contação de histórias, formulando o problema como uma tarefa de classificação supervisionada. As Máquinas de Vetores Suporte foram escolhidas como método de classificação, devido à sua capacidade de generalização e aos bons resultados obtidos para diversos problemas complexos. Máquinas de Vetores Suporte, porém, não consideram os aspectos temporais dos dados, características que são importantes na análise dos gestos. Por esse motivo, este trabalho investiga métodos de representação temporal e variações das Máquinas de Vetores Suporte que consideram raciocínio temporal. Vários experimentos foram executados neste contexto para segmentação de unidades gestuais. Os melhores resultados foram obtidos com Máquinas de Vetores Suporte tradicionais aplicadas a dados janelados. Além disso, três estratégias de classificação multiclasse foram aplicadas ao problema de segmentação das fases dos gestos. Os resultados indicam que um bom desempenho para a segmentação de gestos pode ser obtido ao realizar o treinamento da estratégia com um trecho inicial do vídeo para obter uma segmentação automatizada do restante do vídeo. Assim, os pesquisadores da área de \"estudos dos gestos\" poderiam segmentar manualmente apenas um trecho do vídeo, reduzindo o tempo necessário para realizar a análise dos gestos presentes em gravações longas. / Recently, it has been noted an increasing interest from computer science for research on gesture analysis. Some of these researches aims at supporting researchers from \"gesture studies\", which studies the use of several body parts for communicative purposes. Researchers of \"gesture studies\" analyze gestures from transcriptions of conversations and discourses recorded in video. For gesture transcriptions, gesture unit segmentation and gesture phase segmentation are usually employed. This study aims to develop strategies for automated segmentation of gestural units and phases of gestures contained in a video in the context of storytelling, formulating the problem as a supervised classification task. Support Vector Machines were selected as classification method, because of its ability to generalize and good results obtained for many complex problems. Support Vector Machines, however, do not consider the temporal aspects of data, characteristics that are important for gesture analysis. Therefore, this paper investigates methods of temporal representation and variations of the Support Vector machines that consider temporal reasoning. Several experiments were performed in this context for gesture units segmentation. The best results were obtained with traditional Support Vector Machines applied to windowed data. In addition, three strategies of multiclass classification were applied to the problem of gesture phase segmentation. The results indicate that a good performance for gesture segmentation can be obtained by training the strategy with an initial part of the video to get an automated segmentation of the rest of the video. Thus, researchers in \"gesture studies\" could manually segment only part of the video, reducing the time needed to perform the analysis of gestures contained in long recordings.

Submitted by Caroline Xavier (caroline.xavier@pucrs.br) on 2017-10-24T13:14:04Z No. of bitstreams: 1 TES_MOEMA_VILELA_PEREIRA_PARCIAL.pdf: 9263620 bytes, checksum: 7cdee2140d395b3add7bd1429ffc3285 (MD5) / Made available in DSpace on 2017-10-24T13:14:04Z (GMT). No. of bitstreams: 1 TES_MOEMA_VILELA_PEREIRA_PARCIAL.pdf: 9263620 bytes, checksum: 7cdee2140d395b3add7bd1429ffc3285 (MD5) Previous issue date: 2017-01-25 / Coordena??o de Aperfei?oamento de Pessoal de N?vel Superior - CAPES / Conselho Nacional de Pesquisa e Desenvolvimento Cient?fico e Tecnol?gico - CNPq / This Thesis comprehends one book and two booklets of fiction, followed by four essays on and built on Creative Writing. The works investigate forms of short fiction as well as less central issues of literary theory and creation: the fictional works and the essays discuss short-short story and minifiction, gestures and the notes of a writer. The longest essay examines the contemporary theorization about minifiction, relating Hispanic American authors, to trace and problematize options for terminology, genre relations, formal, structural, and pragmatic characteristics. It also observes the consequence produced by the theoretical perspectives chosen to address these mentioned forms. On the other hand, the essays on notes and gestures develop examples for a theoretical-critical proposal within Creative Writing; the first case affiliated to the personal essay, a contemporary descendant of Montaigne, and the latter to the writing manual, teaching aspiring writers technical artifices and analyzing its different effects based on concrete cases. This Thesis presents artistic Creative Writing and theoretical Creative Writing works, for examining different possibilities within this relatively new research area in Brazil at PhD level, and the intersections of theory, criticism and creation. / Esta tese compreende um livro e dois livretos de fic??o, acompanhados de quatro ensaios sobre e a partir da Escrita Criativa, que investigam formas de extens?o curta, bem como problem?ticas menos centrais da teoria liter?ria e da cria??o: a fic??o e os ensaios tratam do miniconto e da minificc?o, dos gestos e das anota??es de um escritor. O ensaio mais longo observa a teoriza??o contempor?nea sobre a minificc?o, relacionando autores hispano?americanos para tra?ar e problematizar op??es de terminologia, rela??es geol?gicas, caracter?sticas formais, estruturais e pragm?ticas, e tamb?m a consequ?ncia das perspectivas te?ricas escolhidas para abordar essas formas, enquanto os ensaios sobre notas e gestos desenvolvem exemplos mais singulares de um material te?rico-cr?tico de Escrita Criativa, sendo o primeiro caso filiado ao ensaio pessoal, descendente contempor?neo de Montaigne, e o ultimo ao manual de escrita, ensinando aos aspirantes a escritores artimanhas t?cnicas e analisando seus diferentes efeitos a partir de casos concretos. Para examinar diferentes possibilidades de trabalho acad?mico em n?vel de doutorado nesta ?rea de concentra??o rec?m-criada no Brasil, a tese apresenta obras de Escrita Criativa art?sticas e te?ricas, no transito entre teoria, critica e cria??o.

A apraxia é uma desordem dos movimentos aprendidos que não é resultado de fraqueza ou alteração sensitiva. Esta alteração pode ser devida a um prejuízo na execução têmporo-espacial ou na própria elaboração do gesto. Um protocolo de avaliação de praxias deve conter elementos que sejam capazes de avaliar o sistema executivo sem a interferência do sistema conceitual e vice-versa. Para isso o sujeito deve produzir gestos, bem como deve ser capaz de reconhecê-los. Contudo essa avaliação pode sofrer influência de variáveis como a idade, o sexo e a escolaridade. Esse trabalho tem como objetivo avaliar a influência das variáveis sexo, idade e escolaridade no desempenho de indivíduos idosos saudáveis em um protocolo de produção e reconhecimento de gestos, bem como a confiabilidade intra e inter-examinador do protocolo de produção e a confiabilidade intra-examinador do protocolo de reconhecimento. Para isso foram avaliados 96 indivíduos divididos em dois grupos. Um grupo formado por indivíduos com idades de 60 a 74 anos e outro grupo formado por indivíduos com idades iguais ou superiores a 75 anos. Cada grupo era formado por um número igual de homens e mulheres e era subdivido em quatro grupos de acordo com a escolaridade: analfabetos, de 1 a 3 anos, de 4 a 7 anos e igual ou superior a 8 anos. No protocolo de produção de gestos solicitava-se aos indivíduos que realizassem gestos ao comando verbal e à imitação. No protocolo de reconhecimento, o indivíduo assistia a um vídeo no qual ele deveria ser capaz de discriminar gestos conhecidos de desconhecidos, gestos bem realizados de mal realizados, associar gestos a objetos, bem como nomear gestos. Os resultados revelaram que tanto a idade quanto a escolaridade influenciaram o desempenho no protocolo de produção de gestos. Os gestos ao comando verbal obtiveram menor porcentagem de acerto do que os gestos realizados à imitação. Já no protocolo de reconhecimento, as três variáveis influenciaram de forma significativa o desempenho. A análise final mostrou que, levando-se em conta a escolaridade, podemos observar três grandes grupos: os analfabetos, os indivíduos que estudaram de 1 a 7 anos e aqueles com oito ou mais anos de escolaridade. Também mostrou que os indivíduos mais velhos, a exemplo da produção, apresentam pior desempenho e que mulheres reconhecem mais gestos do que homens. Os achados estão de acordo com relatos de que o aumento da idade, a diminuição da escolaridade e mesmo o sexo são fatores capazes de influenciar o desempenho dos indivíduos em testes neuropsicológicos. O protocolo de produção apresentou elevada confiabilidade, tanto intra quanto inter-examinador, além de excelente consistência interna. O protocolo de reconhecimento também apresentou resultados satisfatórios tanto de confiabilidade inter-examinador quanto de consistência interna / Apraxia is a loss of the ability to perform learned skill movements when this loss cannot be accounted for by elemental motor deficits, such as weakness or sensory deficits. This disorder could result in damage of the spatio-temporal characteristics of the execution of the movement or in the proper elaboration of the gesture. A protocol of praxis evaluation must contain elements that are capable to evaluate the executive system without interference from the conceptual system and vice versa. For this purpose, subjects must produce gestures, and also recognize them. Nevertheless, this evaluation can suffer influence from variables such as age, gender and education. The goals of this work were to evaluate the influence of the variables gender, age and education in the performance of healthy elderly individuals in a protocol of gesture production and recognition, as well as the intra- and inter-examiner reliability of the production protocol and the intra-examiner reliability of the recognition protocol. For this 96 individuals divided in two groups were evaluated. A group (A) formed by subjects aged 60 to 74 years and another group formed by individuals aged 75 years or over. Each group was formed by an equal number of men and women and it was subdivides in four groups in accordance with the educational level of the subjects: illiterates, 1 to 3 years, 4 to 7 years and 8 or more years of schooling. In gesture production, individuals were requested to accomplish the tasks on verbal command and imitation. In the recognition protocol the individuals should watch a video in which they were asked to discriminate between known and unknown gestures, discriminate between correctly and incorrectly performed acts, to associate gestures to objects, as well as to perform gesture naming. The results revealed that age as well as educational level influence the performance in the protocol of gesture production. Gesture performance on verbal command was more difficult than on imitation. On the recognition protocol, the three variables significantly influence the performance. The final analysis showed that taking into account the educational level, three major groups emerged: the illiterates, the individuals with 1 to 7 years and those with eight or more years of schooling. The older individuals, similar to what was observed in the production protocol, presented worse performance than their younger counterparts, and women were able to recognize more gestures than men. These findings are in agreement with studies showing that with the increase of the age, the decrease of formal education and gender are factors that influence the performance of the individuals in neuropsychological tests. The production protocol presented both high intra- and inter-rater reliability and excellent internal consistency. The recognition protocol also showed adequate inter-examiner reliability as well as good internal consistency

Made available in DSpace on 2016-04-26T18:18:00Z (GMT). No. of bitstreams: 1 Elisabeth Leone Gandini Romero.pdf: 1417367 bytes, checksum: f50be271658d860eba1795a024151a7c (MD5) Previous issue date: 2009-05-29 / Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / The goal of this work is to investigate hand gestures in both communication and culture. It also aims to understand the gesture as image, analyzing some hand gestures in Image History. There are genetic and social-cultural codes interlaced in hand movements. Consequently, there is no way not to take them into account, for hands incorporate everything they reach for and everything that reaches for them too. This study embraces some aspects of gesture phylogeny due to the fact that mankind has its roots lost in time. Supported by recent etiologists researches, it confirms that no abyss separates man from other primates, and there are only common distinctions among species. Free hands encompass a true body revolution as well as a revolution in man s communication. In partnership with the brain, man faces material challenges with his technical gestures as well as with his psychological survival gestures present in culture. Gesture and image are mediators and both have their point of origin in the body. Therefore, this work privileges the primary media, but it also scopes secondary media. It shows the abundant hand gesture testimony present in cult images, art images and media images (Belting). The analysis of this corpus through Culture Semiotics Theory allows us to delineate an approach into hand gesture through some of its images: in communication and culture, ontogeny and phylogeny. Therefore the research supports itself on methodological resources developed by Ivan Bystrina, Harry Pross, Edgar Morin, Hans Belting, Régis Debray. It also articulates a dialogue with ideas and thoughts that come from the work of Ashley Montagu, Boris Cyrulnik, Eibl-Eibesfeldt, among other specialists in Communication Theory, Image Theory, Media Theory and Culture Theory / Este trabalho visa a investigar a gestualidade das mãos na comunicação e na cultura e, entendendo o gesto como imagem, refletir sobre as imagens de alguns gestos das mãos na História da Imagem. Nos gestos das mãos se entretecem os códigos genéticos e os socioculturais, e não se pode desconsiderá-los, pois as mãos incorporam tudo o que alcançam e tudo o que as alcança também. O estudo aborda alguns aspectos da filogênese do gesto pelo fato de os hominídeos terem raízes bem longínquas e, apoiado em recentes pesquisas de etólogos, confirma que nenhum abismo separa o homem dos outros primatas, mas apenas distinções comuns entre espécies. As mãos livres ensejam uma verdadeira revolução no corpo e na comunicação humana, e, em parceria com o cérebro, o homem enfrenta os desafios da matéria com seus gestos técnicos e os da sobrevivência psíquica, com seus gestos culturais. O gesto e a imagem são mediadores e têm seu ponto de origem no corpo. Assim, o trabalho focaliza a mídia primária, mas tange também a mídia secundária, evidenciando-se o testemunho prolixo da gestualidade das mãos presente nas imagens de culto, nas imagens da arte e nas imagens da mídia (Belting, 2001). A análise deste corpus pela Semiótica da Cultura nos permite delinear um percurso da gestualidade das mãos e de algumas de suas imagens, na comunicação e na cultura, na ontogênese e na filogênese. Para tanto, apoia-se em recursos metodológicos desenvolvidos por Ivan Bystrina, Harry Pross, Edgar Morin, Hans Belting e Régis Debray e articula um diálogo com as ideias de Ashley Montagu, Boris Cyrulnik e Eibl-Eibesfeldt, entre outros, nas teorias da Comunicação, da Imagem, da Mídia e da Cultura

A investigação da multimodalidade nas interações tem sido contemplada em campos de pesquisa cada vez mais diversos. No entanto, ainda é incipiente o entendimento de como os significados são construídos pela mobilização de múltiplas dimensões semióticas, atuando concomitantemente dentro do evento interacional. Esta tese busca contribuir para expandir esse entendimento, sobretudo, em episódios de desacordo. A Análise da Conversa, de base etnometodológica, e os Estudos dos Gestos são as linhas teóricas que balizam esta tese. Pelas contribuições da Análise da Conversa, pudemos observar como os próprios participantes se orientam uns em relação aos outros, revelando-nos os recursos mobilizados como práticas interacionais voltadas à realização e coordenação de suas ações durante a interação. Das contribuições dos Estudos dos Gestos, pudemos explorar as relações entre língua e ações gestuais e verificar o importante papel da gestualidade tanto para o estabelecimento de práticas interacionais quanto para o enquadramento das ações que estão em processo de formação. Os dados desta pesquisa compreendem vários tipos de interação realizados por falantes nativos de português brasileiro, perfazendo aproximadamente 15 horas de registros audiovisuais, coletados entre julho de 2012 e agosto de 2015. Desse material, selecionamos excertos para exemplificação teórica e 6 excertos para análise minuciosa, realizada dentro do programa ELAN, das sequências de desacordo. As análises mostram que os participantes se valem das ações gestuais como um recurso dinâmico e flexível que eles utilizam situadamente; que as ações faciais auxiliam os participantes a demonstrar suas posições e entendimentos a respeito das ações uns dos outros; que as ações gestuais dos coparticipantes produzidas em possíveis pontos de completude do turno do falante parecem ser tomadas como as primeiras manifestações das discordâncias que estão em processo de desenvolvimento; que o falante parece considerar essas ações do coparticipante para produzir seus enunciados subsequentes; que tal prática também parece servir ao propósito de oferecer ao falante uma oportunidade para promover ajustes interacionais antes que os desacordos verbais do coparticipante venham a ser produzidos. Algumas das contribuições desta tese são: (1) mostrar a necessidade de se estabelecer um padrão de transcrição multimodal que possa contemplar as várias dimensões semióticas envolvidas na interação, revelando toda a complexidade do que está acontecendo momento a momento; (2) mostrar como uma análise multimodal minuciosa elucida detalhes interacionais que ficam apagados na análise verbo-vocal; (3) apresentar uma mudança na compreensão das ações gestuais produzidas pelo coparticipante durante o turno do falante, mostrando como essas ações não devem ser entendidas como pré-ações antecipatórias de desacordos verbais, mas como primeiras manifestações da discordância em processo de formação; (4) mostrar como as ações gestuais emergem como parte de uma organização sequencial no desenrolar da interação, agregando informações a respeito do tipo de ação em desenvolvimento; e (5) mostrar como as ações gestuais são práticas recorrentes que podem ser definidas dentro da sequência interacional quando se analisa a sua progressão temporal. / Research on the multimodality of interaction is being carried out in increasingly diverse fields of studies. However, comprehension of how meanings are constructed through the deployment of multiple semiotic dimensions acting concomitantly within the interactional event is still in its infancy. This dissertation contributes to expanding this understanding specifically in episodes of disagreement. Conversation Analysis and Gesture Studies are the theoretical bases for this dissertation. By applying Conversation Analysis, we are able to observe how participants orient towards each other, revealing how resources are mobilized in interactional practices that help them coordinate and accomplish their actions during the interaction. By applying the findings of Gesture Studies, we are able to explore the relations between language and bodily actions and to verify the important role of bodily action both for the establishment of interactional practices and for the framing of action formation. Varied types of interaction, approximately 15 hours of audiovisual records, collected between July 2012 and August 2015, and performed by native speakers of Brazilian Portuguese compose the data of this research. From this material, using ELAN, we selected excerpts for theoretical exemplification and 6 excerpts for detailed analysis of sequences of disagreement. The analyses show that participants use bodily actions as a dynamic and flexible resource, locally performed; that facial actions help participants demonstrate their positions and understandings about one another\'s actions; that coparticipants bodily actions, produced at transitional-relevance places in the speaker\'s turn seem to be taken as first manifestations of disagreements that are in the process of developing; that the speaker appears to consider these coparticipant actions in producing his subsequent utterances. Such a practice also seems to serve the purpose of giving the speaker an opportunity to promote interactive adjustments before verbal disagreements of the co-participant would be produced. Some of the contributions of this dissertation are: (1) to show the need to establish a multimodal transcription pattern that can contemplate the multiple semiotic dimensions involved in the interaction, revealing all the complexity of what is happening moment by moment; (2) to show how a detailed multimodal analysis elucidates interactional details that are \"erased\" in the verb-vocal analysis; (3) to present a change in the understandings of the bodily actions produced by the coparticipant during the speaker\'s turn, showing how these actions should not be understood as anticipatory pre-actions of verbal disagreements, but as the first manifestations of the disagreement that is in the formation process; (4) to show how bodily actions emerge as part of a sequential organization in the course of the interaction, adding information about the type of action in development; and (5) to show how bodily actions are recurrent practices that can be defined within the interactional sequence when analyzing its temporal progression.

Crianças e adolescentes com síndrome de Down (SD) apresentam particularidades de linguagem e fala em função de múltipos fatores: anatômicos, fisiológicos, cognitivos, linguísticos, comprometendo a inteligibilidade de fala e as habilidades conversacionais. Caracterizam-se por atraso no desenvolvimento da linguagem, sobretudo expressiva, com uso prolongado dos gestos. Na condição de expressão verbal, apresentam comprometimentos quanto à sintaxe, morfologia, léxico, inteligibilidade de fala. Justifica-se, assim, o uso de Comunicação Suplementar e/ou Alternativa (CSA) para promover a capacidade de comunicação dos indivíduos com SD, com possibilidade de também promover a linguagem verbal. Objetivou-se neste estudo, verificar, em acompanhamento longitudinal (doze meses), a influência do uso da CSA na aquisição lexical em cinco participantes com SD (5;3 a 11;8 anos), que se encontravam no estágio cognitivo pré-operatório segundo pressupostos da Epistemologia Genética, e que apresentavam dificuldades severas de linguagem quanto à expressão, com uso prioritário do meio verbal e/ou vocal para se comunicarem. Utilizou-se avaliação de linguagem e cognição para identificar o estágio cognitivo; prova de pragmática para identificar o meio de comunicação; prova de vocabulário expressivo para as avaliações e reavaliações, no início e término de intervenção, para identificar o ganho lexical neste intervalo. Os dados foram analisados quanto aos resultados das avaliações e reavaliações de vocabulário expressivo, bem como quanto ao desempenho terapêutico dos participantes. Todos os participantes diminuíram o número de não respostas na prova de vocabulário expressivo, mas não necessariamente aumentaram as respostas corretas, e sim o uso dos processos de substituição. Nestes, incluem respostas pelo meio verbal e não-verbal. Houve aumento discreto do uso do meio verbal. Mas, destacou-se o uso de gestos idiossincráticos nesta população. Nem todos os participantes freqüentavam escola, parceria importante para o desenvolvimento do trabalho com a CSA. Para os que freqüentaram, o uso da CSA foi novidade para os profissionais, exigindo um trabalho maior de orientação desta abordagem. As famílias apresentaram dificuldades para mudarem suas condutas comunicativas com seus filhos, o que é comum em início de intervenção com CSA. Em terapia, melhoraram a capacidade de comunicação, apresentaram mais iniciativa e intenção comunicativa, e foram capazes de maior elaboração e sustentação das conversas com apoio da CSA, aspectos identificados qualitativamente. Evidências e explicações foram discutidas a respeito do ganho lexical observado no estudo, das implicações no trabalho inicial de CSA e para o seu desenvolvimento. E novas perspectivas para trabalhos futuros foram traçados / Children and adolescents with Down Syndrome (DS) present particular language and speech features due to multiple factors: anatomical, physiological, cognitive, linguistic, which compromise speech intelligibility and conversation skills. These deficits are characterized by late development in language particularly concerning expressive language, as well as prolonged use of gestures. In verbal expression, Downss patients present impaired syntax, morphology, lexicon and speech intelligibility. The use of Augmentative and Alternative Communication (AAC) is thus warranted to promote communication ability in DS patients, where verbal language can also benefit. The aim of the present study was to verify, through longitudinal follow up (twelve months), the influence of AAC use on lexical acquisition in five participants with DS (5;3 to 11;8 years), who were at the preoperative cognitive stage according to Genetic Epistemology, and presented severe language difficulties in terms of expression, with primary use of gestural and/or vocal means of communication. Language and cognitive assessments were used to identify cognitive stage, while a pragmatic test identified communication means. Also, an expressive vocabulary test was applied for assessments and reassessments at base line and the intervention end point in order to identify lexical gain over the period. Data from assessments and reassessments of both expressive vocabulary and therapeutic performance of patients were analyzed. All patients demonstrated a lower number of non-responses in the expressive vocabulary test, but did not necessarily increase number of correct answers, although substitution processes did increase. These included both verbal and non-verbal responses. A slight increase in verbal means of communication was observed. However, the use of idiosyncratic gestures was noted in this population. Not all participants went to school, an important ally in developing work with AAC. For schoolgoers, the use of AAC was new to the professionals, who required greater effort in guidance on this approach. A difficulty for families to change their communicative conduct with their children was evidenced, a common finding in initial AAC intervention. During therapy, they improved communication capacity, presenting greater communicative initiative and intention, and were able to produce and sustain more conversation with the aid of AAC according to qualitative evaluation. Findings and explanations were discussed with regard to lexical gain observed in the study, along with the implications of the initial AAC study and its development. New perspectives for future studies were outlined