A investigação da multimodalidade nas interações tem sido contemplada em campos de pesquisa cada vez mais diversos. No entanto, ainda é incipiente o entendimento de como os significados são construídos pela mobilização de múltiplas dimensões semióticas, atuando concomitantemente dentro do evento interacional. Esta tese busca contribuir para expandir esse entendimento, sobretudo, em episódios de desacordo. A Análise da Conversa, de base etnometodológica, e os Estudos dos Gestos são as linhas teóricas que balizam esta tese. Pelas contribuições da Análise da Conversa, pudemos observar como os próprios participantes se orientam uns em relação aos outros, revelando-nos os recursos mobilizados como práticas interacionais voltadas à realização e coordenação de suas ações durante a interação. Das contribuições dos Estudos dos Gestos, pudemos explorar as relações entre língua e ações gestuais e verificar o importante papel da gestualidade tanto para o estabelecimento de práticas interacionais quanto para o enquadramento das ações que estão em processo de formação. Os dados desta pesquisa compreendem vários tipos de interação realizados por falantes nativos de português brasileiro, perfazendo aproximadamente 15 horas de registros audiovisuais, coletados entre julho de 2012 e agosto de 2015. Desse material, selecionamos excertos para exemplificação teórica e 6 excertos para análise minuciosa, realizada dentro do programa ELAN, das sequências de desacordo. As análises mostram que os participantes se valem das ações gestuais como um recurso dinâmico e flexível que eles utilizam situadamente; que as ações faciais auxiliam os participantes a demonstrar suas posições e entendimentos a respeito das ações uns dos outros; que as ações gestuais dos coparticipantes produzidas em possíveis pontos de completude do turno do falante parecem ser tomadas como as primeiras manifestações das discordâncias que estão em processo de desenvolvimento; que o falante parece considerar essas ações do coparticipante para produzir seus enunciados subsequentes; que tal prática também parece servir ao propósito de oferecer ao falante uma oportunidade para promover ajustes interacionais antes que os desacordos verbais do coparticipante venham a ser produzidos. Algumas das contribuições desta tese são: (1) mostrar a necessidade de se estabelecer um padrão de transcrição multimodal que possa contemplar as várias dimensões semióticas envolvidas na interação, revelando toda a complexidade do que está acontecendo momento a momento; (2) mostrar como uma análise multimodal minuciosa elucida detalhes interacionais que ficam apagados na análise verbo-vocal; (3) apresentar uma mudança na compreensão das ações gestuais produzidas pelo coparticipante durante o turno do falante, mostrando como essas ações não devem ser entendidas como pré-ações antecipatórias de desacordos verbais, mas como primeiras manifestações da discordância em processo de formação; (4) mostrar como as ações gestuais emergem como parte de uma organização sequencial no desenrolar da interação, agregando informações a respeito do tipo de ação em desenvolvimento; e (5) mostrar como as ações gestuais são práticas recorrentes que podem ser definidas dentro da sequência interacional quando se analisa a sua progressão temporal. / Research on the multimodality of interaction is being carried out in increasingly diverse fields of studies. However, comprehension of how meanings are constructed through the deployment of multiple semiotic dimensions acting concomitantly within the interactional event is still in its infancy. This dissertation contributes to expanding this understanding specifically in episodes of disagreement. Conversation Analysis and Gesture Studies are the theoretical bases for this dissertation. By applying Conversation Analysis, we are able to observe how participants orient towards each other, revealing how resources are mobilized in interactional practices that help them coordinate and accomplish their actions during the interaction. By applying the findings of Gesture Studies, we are able to explore the relations between language and bodily actions and to verify the important role of bodily action both for the establishment of interactional practices and for the framing of action formation. Varied types of interaction, approximately 15 hours of audiovisual records, collected between July 2012 and August 2015, and performed by native speakers of Brazilian Portuguese compose the data of this research. From this material, using ELAN, we selected excerpts for theoretical exemplification and 6 excerpts for detailed analysis of sequences of disagreement. The analyses show that participants use bodily actions as a dynamic and flexible resource, locally performed; that facial actions help participants demonstrate their positions and understandings about one another\'s actions; that coparticipants bodily actions, produced at transitional-relevance places in the speaker\'s turn seem to be taken as first manifestations of disagreements that are in the process of developing; that the speaker appears to consider these coparticipant actions in producing his subsequent utterances. Such a practice also seems to serve the purpose of giving the speaker an opportunity to promote interactive adjustments before verbal disagreements of the co-participant would be produced. Some of the contributions of this dissertation are: (1) to show the need to establish a multimodal transcription pattern that can contemplate the multiple semiotic dimensions involved in the interaction, revealing all the complexity of what is happening moment by moment; (2) to show how a detailed multimodal analysis elucidates interactional details that are \"erased\" in the verb-vocal analysis; (3) to present a change in the understandings of the bodily actions produced by the coparticipant during the speaker\'s turn, showing how these actions should not be understood as anticipatory pre-actions of verbal disagreements, but as the first manifestations of the disagreement that is in the formation process; (4) to show how bodily actions emerge as part of a sequential organization in the course of the interaction, adding information about the type of action in development; and (5) to show how bodily actions are recurrent practices that can be defined within the interactional sequence when analyzing its temporal progression.

Submitted by Haroudo Xavier Filho (haroudo.xavierfo@ufpe.br) on 2016-03-11T14:13:00Z No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Dissertacao DANIEL LEITE VIANA.pdf: 4297126 bytes, checksum: fa862ba18fe815a710afe7b3e591cee8 (MD5) / Made available in DSpace on 2016-03-11T14:13:00Z (GMT). No. of bitstreams: 2 license_rdf: 1232 bytes, checksum: 66e71c371cc565284e70f40736c94386 (MD5) Dissertacao DANIEL LEITE VIANA.pdf: 4297126 bytes, checksum: fa862ba18fe815a710afe7b3e591cee8 (MD5) Previous issue date: 2015-08-10 / Sistemas baseados em gestos vêm se tornando uma alternativa para o desenvolvimento de aplicações mais intuitivas para os usuários, pois permitem a esses usuários interagirem de forma mais natural. Tais sistemas, em geral, requerem dispositivos de captura junto com alguma técnica de reconhecimento para que os gestos requeridos na interação natural sejam reconhecidos. A ausência de abstrações apropriadas para representação dos gestos dificulta as especificações de novas interações naturais. A representação de um gesto, quase sempre, envolve Aprendizagem de Máquina ou um avançado algoritmo de reconhecimento baseado nos dados da posição tridimensional do corpo humano fornecidos por sensores de profundidade, tal como o Microsoft Kinect. Além disso, as aplicações desenvolvidas tornam-se dependentes das bibliotecas de desenvolvimento dos dispositivos. Dessa forma, se o dispositivo for substituído por outro mais moderno ou de fabricante diferente quase todo o algoritmo de reconhecimento precisa ser reescrito. O principal objetivo desta dissertação é a especificação e implementação da Linguagem para Especificação de Gestos (LEG), uma Domain-Specific Language (DSL) para a especificação e reconhecimento de gestos livres do corpo humano com suporte a diferentes dispositivos de profundidade. A LEG é uma linguagem declarativa, baseada na análise das interfaces gestuais para computador e no estudo das abstrações e representações do movimento humano, a fim de reduzir a complexidade no desenvolvimento de aplicações baseadas em gestos. A implementação da linguagem foi realizada em duas etapas. Primeiro, foi criado um framework (Kinect Gesture) com a lógica para rastrear e identificar gestos descritos na linguagem. Na segunda etapa, foi definida a gramática e o interpretador foi construído. A abordagem adotada foi de DSL externa, sendo sua sintaxe textual e particular. A fim de avaliar a implementação proposta, 15 (quinze) gestos foram especificados em LEG e reconhecidos. Tendo como referência os resultados obtidos, chegou-se a conclusão que a linguagem apresentada neste trabalho diminuiu consideravelmente a complexidade necessária para realizar a especificação e o reconhecimento dos gestos. / Systems Based-gestures are becoming an alternative to the development of more intuitive applications for users, because enable users to interact more naturally. Generally these systems need of capture devices together with some technique for gesture recognition. The lack of appropriate abstractions for the representation of gestures difficult to specifications of new natural interactions. For specify gesture, it is almost always necessary to acquire advanced knowledge in gesture recognition area and skills on chosen device and it is for this reason that the development of gestures is restricted. Often developers are using Machine Learning as support to creating database. Another approach is to create a recognition algorithm based on data from the depth sensor Kinect. Furthermore, due to the nature of the software development kits (SDK) provided by the hardware vendors to build gesture-based applications, the developed applications often become tightly coupled with the SDK. The result is that significant portions of the application need to be rewritten to run it on another device. The main goal of this dissertation is to implement and evaluate GSL (Gesture Specific Language), a Domain-Specific Language for specification and identification of gestures with support to different depth sensors. GSL is a declarative programming language based on the analysis of gestural interfaces for computer and study of abstractions and representations of human movement, in order to reduce the complexity in application development based on gestures. The development was conducted in two phases: the first was implemented a framework (Kinect Gesture) with logic for tracking and identify gestures. In the second phase, we built an grammar and a compiler. We adopted a external DSL approach, with specific and textual syntax. In order to evaluate the proposed implementation, we used GSL for specification and recognition of fifteen gestures. The results obtained show that GSL reduced considerably the complexity on perform the specification and the recognition of gestures.

Crianças e adolescentes com síndrome de Down (SD) apresentam particularidades de linguagem e fala em função de múltipos fatores: anatômicos, fisiológicos, cognitivos, linguísticos, comprometendo a inteligibilidade de fala e as habilidades conversacionais. Caracterizam-se por atraso no desenvolvimento da linguagem, sobretudo expressiva, com uso prolongado dos gestos. Na condição de expressão verbal, apresentam comprometimentos quanto à sintaxe, morfologia, léxico, inteligibilidade de fala. Justifica-se, assim, o uso de Comunicação Suplementar e/ou Alternativa (CSA) para promover a capacidade de comunicação dos indivíduos com SD, com possibilidade de também promover a linguagem verbal. Objetivou-se neste estudo, verificar, em acompanhamento longitudinal (doze meses), a influência do uso da CSA na aquisição lexical em cinco participantes com SD (5;3 a 11;8 anos), que se encontravam no estágio cognitivo pré-operatório segundo pressupostos da Epistemologia Genética, e que apresentavam dificuldades severas de linguagem quanto à expressão, com uso prioritário do meio verbal e/ou vocal para se comunicarem. Utilizou-se avaliação de linguagem e cognição para identificar o estágio cognitivo; prova de pragmática para identificar o meio de comunicação; prova de vocabulário expressivo para as avaliações e reavaliações, no início e término de intervenção, para identificar o ganho lexical neste intervalo. Os dados foram analisados quanto aos resultados das avaliações e reavaliações de vocabulário expressivo, bem como quanto ao desempenho terapêutico dos participantes. Todos os participantes diminuíram o número de não respostas na prova de vocabulário expressivo, mas não necessariamente aumentaram as respostas corretas, e sim o uso dos processos de substituição. Nestes, incluem respostas pelo meio verbal e não-verbal. Houve aumento discreto do uso do meio verbal. Mas, destacou-se o uso de gestos idiossincráticos nesta população. Nem todos os participantes freqüentavam escola, parceria importante para o desenvolvimento do trabalho com a CSA. Para os que freqüentaram, o uso da CSA foi novidade para os profissionais, exigindo um trabalho maior de orientação desta abordagem. As famílias apresentaram dificuldades para mudarem suas condutas comunicativas com seus filhos, o que é comum em início de intervenção com CSA. Em terapia, melhoraram a capacidade de comunicação, apresentaram mais iniciativa e intenção comunicativa, e foram capazes de maior elaboração e sustentação das conversas com apoio da CSA, aspectos identificados qualitativamente. Evidências e explicações foram discutidas a respeito do ganho lexical observado no estudo, das implicações no trabalho inicial de CSA e para o seu desenvolvimento. E novas perspectivas para trabalhos futuros foram traçados / Children and adolescents with Down Syndrome (DS) present particular language and speech features due to multiple factors: anatomical, physiological, cognitive, linguistic, which compromise speech intelligibility and conversation skills. These deficits are characterized by late development in language particularly concerning expressive language, as well as prolonged use of gestures. In verbal expression, Downss patients present impaired syntax, morphology, lexicon and speech intelligibility. The use of Augmentative and Alternative Communication (AAC) is thus warranted to promote communication ability in DS patients, where verbal language can also benefit. The aim of the present study was to verify, through longitudinal follow up (twelve months), the influence of AAC use on lexical acquisition in five participants with DS (5;3 to 11;8 years), who were at the preoperative cognitive stage according to Genetic Epistemology, and presented severe language difficulties in terms of expression, with primary use of gestural and/or vocal means of communication. Language and cognitive assessments were used to identify cognitive stage, while a pragmatic test identified communication means. Also, an expressive vocabulary test was applied for assessments and reassessments at base line and the intervention end point in order to identify lexical gain over the period. Data from assessments and reassessments of both expressive vocabulary and therapeutic performance of patients were analyzed. All patients demonstrated a lower number of non-responses in the expressive vocabulary test, but did not necessarily increase number of correct answers, although substitution processes did increase. These included both verbal and non-verbal responses. A slight increase in verbal means of communication was observed. However, the use of idiosyncratic gestures was noted in this population. Not all participants went to school, an important ally in developing work with AAC. For schoolgoers, the use of AAC was new to the professionals, who required greater effort in guidance on this approach. A difficulty for families to change their communicative conduct with their children was evidenced, a common finding in initial AAC intervention. During therapy, they improved communication capacity, presenting greater communicative initiative and intention, and were able to produce and sustain more conversation with the aid of AAC according to qualitative evaluation. Findings and explanations were discussed with regard to lexical gain observed in the study, along with the implications of the initial AAC study and its development. New perspectives for future studies were outlined

Para o estudo da emergência da linguagem expressiva na síndrome de Down (SD), foi realizado estudo qualitativo, segundo o método dialético-didático, com 12 crianças, acompanhadas durante três semestres consecutivos: oito com SD, com idades entre 33 e 52 meses no início, e quatro com desenvolvimento típico (DT), entre 14 e 16 meses, todas localizadas na transição do quinto para o sexto estágio do período sensório-motor. Ao final da pesquisa, os dados obtidos confirmaram a evolução do gesto para a expressão oral e indicaram que algumas crianças com SD apresentaram a predominância da comunicação gestual, enquanto outras apresentaram linguagem oral e comunicação gestual simultâneas / Aiming to study the emergence of expressive language in Down Syndrome (DS), a qualitative study was carried out, based on the dialetic-didactic method, with 12 children, who were followed for three consecutive semesters: eight with DS, with ages between 33 and 52 months at the beginning, and four in typical development (TD), with 14 to 16 months old, all of them, cognitively, in the transition from the fifth to the sixth stage of the sensorimotor period. At the end of the study, data confirmed the evolution from gesture to oral expression and showed that, in some children with DS, gestural communication was predominant, while others had both oral and gestural communication simultaneously

A apraxia é uma desordem dos movimentos aprendidos que não é resultado de fraqueza ou alteração sensitiva. Esta alteração pode ser devida a um prejuízo na execução têmporo-espacial ou na própria elaboração do gesto. Um protocolo de avaliação de praxias deve conter elementos que sejam capazes de avaliar o sistema executivo sem a interferência do sistema conceitual e vice-versa. Para isso o sujeito deve produzir gestos, bem como deve ser capaz de reconhecê-los. Contudo essa avaliação pode sofrer influência de variáveis como a idade, o sexo e a escolaridade. Esse trabalho tem como objetivo avaliar a influência das variáveis sexo, idade e escolaridade no desempenho de indivíduos idosos saudáveis em um protocolo de produção e reconhecimento de gestos, bem como a confiabilidade intra e inter-examinador do protocolo de produção e a confiabilidade intra-examinador do protocolo de reconhecimento. Para isso foram avaliados 96 indivíduos divididos em dois grupos. Um grupo formado por indivíduos com idades de 60 a 74 anos e outro grupo formado por indivíduos com idades iguais ou superiores a 75 anos. Cada grupo era formado por um número igual de homens e mulheres e era subdivido em quatro grupos de acordo com a escolaridade: analfabetos, de 1 a 3 anos, de 4 a 7 anos e igual ou superior a 8 anos. No protocolo de produção de gestos solicitava-se aos indivíduos que realizassem gestos ao comando verbal e à imitação. No protocolo de reconhecimento, o indivíduo assistia a um vídeo no qual ele deveria ser capaz de discriminar gestos conhecidos de desconhecidos, gestos bem realizados de mal realizados, associar gestos a objetos, bem como nomear gestos. Os resultados revelaram que tanto a idade quanto a escolaridade influenciaram o desempenho no protocolo de produção de gestos. Os gestos ao comando verbal obtiveram menor porcentagem de acerto do que os gestos realizados à imitação. Já no protocolo de reconhecimento, as três variáveis influenciaram de forma significativa o desempenho. A análise final mostrou que, levando-se em conta a escolaridade, podemos observar três grandes grupos: os analfabetos, os indivíduos que estudaram de 1 a 7 anos e aqueles com oito ou mais anos de escolaridade. Também mostrou que os indivíduos mais velhos, a exemplo da produção, apresentam pior desempenho e que mulheres reconhecem mais gestos do que homens. Os achados estão de acordo com relatos de que o aumento da idade, a diminuição da escolaridade e mesmo o sexo são fatores capazes de influenciar o desempenho dos indivíduos em testes neuropsicológicos. O protocolo de produção apresentou elevada confiabilidade, tanto intra quanto inter-examinador, além de excelente consistência interna. O protocolo de reconhecimento também apresentou resultados satisfatórios tanto de confiabilidade inter-examinador quanto de consistência interna / Apraxia is a loss of the ability to perform learned skill movements when this loss cannot be accounted for by elemental motor deficits, such as weakness or sensory deficits. This disorder could result in damage of the spatio-temporal characteristics of the execution of the movement or in the proper elaboration of the gesture. A protocol of praxis evaluation must contain elements that are capable to evaluate the executive system without interference from the conceptual system and vice versa. For this purpose, subjects must produce gestures, and also recognize them. Nevertheless, this evaluation can suffer influence from variables such as age, gender and education. The goals of this work were to evaluate the influence of the variables gender, age and education in the performance of healthy elderly individuals in a protocol of gesture production and recognition, as well as the intra- and inter-examiner reliability of the production protocol and the intra-examiner reliability of the recognition protocol. For this 96 individuals divided in two groups were evaluated. A group (A) formed by subjects aged 60 to 74 years and another group formed by individuals aged 75 years or over. Each group was formed by an equal number of men and women and it was subdivides in four groups in accordance with the educational level of the subjects: illiterates, 1 to 3 years, 4 to 7 years and 8 or more years of schooling. In gesture production, individuals were requested to accomplish the tasks on verbal command and imitation. In the recognition protocol the individuals should watch a video in which they were asked to discriminate between known and unknown gestures, discriminate between correctly and incorrectly performed acts, to associate gestures to objects, as well as to perform gesture naming. The results revealed that age as well as educational level influence the performance in the protocol of gesture production. Gesture performance on verbal command was more difficult than on imitation. On the recognition protocol, the three variables significantly influence the performance. The final analysis showed that taking into account the educational level, three major groups emerged: the illiterates, the individuals with 1 to 7 years and those with eight or more years of schooling. The older individuals, similar to what was observed in the production protocol, presented worse performance than their younger counterparts, and women were able to recognize more gestures than men. These findings are in agreement with studies showing that with the increase of the age, the decrease of formal education and gender are factors that influence the performance of the individuals in neuropsychological tests. The production protocol presented both high intra- and inter-rater reliability and excellent internal consistency. The recognition protocol also showed adequate inter-examiner reliability as well as good internal consistency

El habla es el resultado de la combinación de señales verbales y no verbales en relación sistemática de interdependencia significativa (Bravo, 2000). Entre los numerosos no verbales que se producen en el habla, está la expresión corporal, que por ser propia de la danza y del habla, es posible estudiarla y describirla en ambos códigos. Creemos que al observar a los hispanohablantes bailarines residentes en Suecia en la realización del habla en situaciones de conversación cotidiana, encontraremos rasgos que pueden considerarse propios a su expresión corporal. Gracias a su profesión, dominan la relación entre el tiempo, el espacio y el gesto – es decir, trabajan con la función estética del movimiento – la cual hará la gran diferencia si comparamos estos comportamientos corporales con hablantes de español que no son bailarines y que, por ende, no pertenecen al mismo subconjunto sociocultural; pensamos además que mostrarán una mayor capacidad meta comunicativa con respecto a estos aspectos del habla de la que sea posible observar en hablantes no bailarines. Las filmaciones realizadas en dos escenarios ficticios (calle y escenario) a dos grupos distintos de hablantes en situación de conversación cara a cara, (grupo meta G1 de los bailarines y grupo de control GC de no bailarines), como también las encuestas realizadas a todos los participantes, indican que es posible identificar en el grupo de estudio (G1), un lenguaje básico de expresión que se distingue por su conciencia de esta función estética. Esta misma función, coopera con la posibilidad de ver en la danza aspectos similares al habla, como es el caso de crear nuevas secuencias de movimientos y gestos jamás realizados, de la misma manera que cada hablante es capaz de producir y comprender una infinidad de palabras y expresiones jamás encontradas anteriormente.

Este trabalho propõe um módulo básico de aquisição e pré-processamento de imagem colorida aplicado a robôs móveis, implementado em hardware reconfigurável, dentro do conceito de sistemas SoC (System-on-a-Chip). O módulo básico é apresentado em conjunto com funções mais específicas de pré-processamento de imagem, que são utilizadas como base para a verificação das funcionalidades implementadas no trabalho proposto. As principais funções realizadas pelo módulo básico são: montagem de frames a partir dos pixels obtidos da câmera digital CMOS, controle dos diversos parâmetros de configuração da câmera e conversão de padrões de cores. Já as funções mais específicas abordam as etapas de segmentação, centralização, redução e interpretação das imagens adquiridas. O tipo de dispositivo reconfigurável utilizado neste trabalho é o FPGA (Field-Programmable Gate Array), que permite maior adequação das funções específicas às necessidades das aplicações, tendo sempre como base o módulo proposto. O sistema foi aplicado para reconhecer gestos e obteve a taxa 99,57% de acerto operando a 31,88 frames por segundo. / This work proposes a basic module for a mobile robot color image capture and pre-processing, implemented in reconfigurable hardware based on SoC (System-on-a-Chip). The basic module is presented with a specifics image pre-processing function that are used as a base for verify the functionalities implemented in this research. The mains functions implemented on this basic module are: to read the pixels provide by the CMOS camera for compose the frame, to adjust the parameters of the camera control and to convert color space. The specifics image pre-processing functions are used to do image segmentation, centralization, reduction and image classification. The reconfigurable dispositive used in this research is the FPGA (Field-Programmable Gate Array) that permit to adapt the specific function according to the application needs. The system was applied to recognize gesture and had 99,57% rate of true recognition at 31,88 frames per second.

This research examines the nature of visual poetry and its educational potential in the processes of teaching and learning reading and writing in primary education. The first part looks into the internal and external logic of visual poetry, its cultural, historical and technical characteristics, and a knowledge goal is provisionally defined, which is then analyzed as a teaching and learning goal. It reviews the historicist approaches to visual poetry; it examines the definitions that have been established especially regarding its intermedia nature, and also the most interesting definitions that have been made by visual poets themselves. Following on from this, there is a historical overview of this poetic form, focusing mainly on the Western European tradition and on Catalonia from the twentieth century onwards. The second part of the thesis is the empirical research that justifies, applies and interprets the description and analysis of a didactic sequence of a teacher in a classroom in year two of primary education within the methodological and theoretical framework of contemporary research on specific didactics. Above all, it uses the theoretical foundations of comparative didactics and clinical methodologies. Based on close and participatory observation and an all-encompassing analysis of educational action, some interpretations are compared with the overall framework of knowledge of language and literature didactic. Hence the intrinsic cultural value of visual poetry is claimed as a catalyst to encourage the improvement of the reading and writing skills itself, while this teaching goal also serves as a pretext to consider and purpose new ways of teaching and learning reading and writing, in a richer and more complex way, especially in the field of critical literacy, creativity and intermediality / Aquesta investigació es planteja la naturalesa de la poesia visual i el seu potencial didàctic en els processos d’ensenyament-aprenentatge de la lectura i l’escriptura a Educació Primària. La primera part investiga la lògica interna i externa de la poesia visual, els seus trets culturals, històrics i tècnics i es delimita provisionalment un objecte de saber, el qual a continuació s’analitza com a objecte a ensenyar i objecte ensenyat. Es revisen les aproximacions històriques a la poesia visual; s’examinen les definicions que s’han fixat sobretot en el seu caràcter intermedial i també les definicions més interessants que n’han fet els mateixos poetes visuals. A continuació es fa una síntesi històrica d’aquesta forma poètica, centrant-se sobretot en la tradició europea occidental i, a partir del segle xx, a Catalunya. La segona part o recerca empírica justifica, aplica, i interpreta la descripció i anàlisi d'una seqüència didàctica d'una mestra en una aula de cicle inicial d’Educació Primària, dins del marc metodològic i teòric de les investigacions contemporànies en didàctiques específiques, servint-se sobretot dels fonaments teòrics de les didàctiques comparades i les metodologies clíniques. A partir de l'observació atenta i l’anàlisi global de l'acció didàctica, se n’extreuen unes interpretacions que es confronten amb el marc global del saber de les didàctiques de la llengua i la literatura. Així, es reivindica el valor cultural intrínsec de la poesia visual com a revulsiu per fomentar la lectura i l’expressió escrita per se però alhora aquest objecte d’ensenyament serveix de pretext per reflexionar i proposar noves formes d’ensenyar i aprendre la lectura i l’escriptura de forma més rica i complexa, sobretot en l'àmbit de la literacitat crítica, la creativitat i la intermedialitat. / Bei dieser Untersuchung wird die Frage über die visuelle Poesie und deren didaktischem Potential bei den Bildungs- und Lernprozessen beim Lesen und Schreiben in der Grundschule aufgeworfen, die diese Fähigkeiten in ihrem gesamten Umfang zu Beginn des 21. Jahrhunderts nach sich ziehen.

O sistema de TV digital interativa está em fase de implantação no Brasil. O middleware Ginga, responsável por permitir a apresentação de programas interativos, prevê que usuários possam interagir com aplicações apresentadas na TV ao pressionar de teclas em um controle remoto. Considerando que controles remotos tradicionais apresentam limitações de usabilidade, este trabalho teve o objetivo investigar a aplicação de conceitos de computação ubíqua, em particular interfaces naturais e multimodais, como alternativas para prover interatividade entre usuários e programas de TV digital. Como resultado, um dispositivo móvel alternativo ao controle remoto tradicional foi utilizado no projeto de novos mecanismos de interação que incluem interfaces baseadas em telas sensíveis ao toque, interfaces sensíveis a gestos capturados por dispositivos que contêm acelerômetros, e interfaces que contêm microfones que permitem entrada de dados por voz. A construção de protótipos correspondentes foi beneficiada pela (assim como beneficiou) implementação prévia de um componente que oferece funcionalidades para envio de dados multimodais para um receptor de TV digital contendo o middleware Ginga, e de um componente que, instalado no receptor, permite a comunicação peer-to-peer entre dispositivos sem fio / The tradicional Brazilian TV system is being replaced by an interactive digital platform. The Ginga middleware, responsible for allowing the presentation of interactive programs, is able to support user interactions with TV applications by means of key presses on a remote control. Since traditional remotes have usability limitations, this work aimed at investigating the application of ubiquitous computing concepts, such as natural and multimodal interfaces, to provide alternatives for the interaction among users and TV applications. Considering the availability of mobile devices such as smartphones, prototype interfaces based on touch screens, as well as gesture-based, accelerometer-based, and voice-based interfaces have been designed and implemented to allow the interaction usually provided by remote controls. The implementation of those interfaces was supported by the previous development of components providing multimodal interaction and peer-to-peer communication in the context of the Brazilian interactive digital TV system middleware

Sistemas de análise de gestos têm se destacado por suas contribuições para a interação entre humanos, humanos e máquinas, e humanos e ambiente. Nessa interação, a gesticulação natural é vista como parte do sistema linguístico que suporta a comunicação, e qualquer sistema de informação que objetiva usar interação para suporte à decisão deveria ser capaz de interpretá-la. Essa interpretação pode ser realizada por meio da segmentação das fases do gesto. Para resolver essa tarefa, o estabelecimento de uma representação de dados eficiente para os gestos é um ponto crítico. A representação escolhida e sua associação a técnicas de análise podem ou não favorecer a solução sob implementação. Neste trabalho, formas de representação de gestos são submetidas aos algoritmos de reconhecimento de padrões MLP e SOM para elaborar um ambiente propício à identificação das representações mais discriminantes, quais aspectos as diferentes representações descrevem com eficiência, e como elas podem ser combinadas para melhorar a segmentação das fases do gesto. Para construção das representações multidimensionais são usados aspectos espaciais e temporais combinados com a normalização dos dados e a aplicação do filtro wavelet na busca pela representação mais discriminante para o reconhecimento das fases do gesto. Ambos os algoritmos alcançaram bons resultados com o uso dos aspectos temporais. O MLP conseguiu classificar todas as fases do gesto em configurações de representação contendo dados sobre todos os membros monitorados. O SOM apresentou boa capacidade para formar grupos contendo dados de uma mesma fase do gesto mesmo com o uso de poucas características na construção da representação, porém não foi possível identificar a proposta de uma nova fase do gesto com o aprendizado não supervisionado / Gestures analysis systems have stood out for their contributions to the interaction between humans, humans and machines, and humans and environments. In this interaction, natural gesticulation is seen as part of a linguistic system that supports the communication, and all information systems aiming at the use of such an interaction in making decisions should be able to interpret it. Such an interpretation can be carried out through the gesture phases segmentation. In order to solve this task, the establishment of an efficient data representation for gestures is a critical issue. The chosen representation as well as its combination with techniques for analysis can or can not favor the solution being developed. In this work, different forms representation for gestures are applied to pattern recognition algorithms MLP and SOM to create an adequate environment to identify the more discriminative representations, which aspect the different representations describe with more efficiency, and how they can be combined in order to improve gesture phases segmentation. To construct the multidimensional representations we use spatial and temporal aspects combined with the normalization of the data and the application of the wavelet filter in the search for the most discriminating representation for the recognition of the gesture phases. Both algorithms achieved good results with the use of temporal aspects. MLP was able to classify all gesture phases using representation settings containing data about all monitored members. SOM presented good ability to form groups containing data of the same gesture phase even with the use of few characteristics in the construction of the representation, but it was not possible to identify the proposal of a new gesture phase with unsupervised learning