Sistemas de Interação Humano-Computador baseados em toque são uma tecnologia disseminada em tablets, smartphones e notebooks. Trata-se de um grande avanço que aumenta a facilidade de comunicação e, ao mesmo tempo, diminui a necessidade de interfaces como mouse e teclado. Entretanto, a superfície de interação utilizada por esses sistemas normalmente é equipada com sensores para a captação dos movimentos realizados pelo usuário, o que impossibilita transformar uma superfície planar qualquer (uma mesa, por exemplo) em uma superfície de interação. Por outro lado, a popularização de sensores de profundidade a partir do lançamento do Microsoft Kinect propiciou o desenvolvimento de sistemas que adotam objetos do dia a dia como superfícies de interação. Nesta dissertação é proposta uma interface natural para interação com superfícies planares utilizando uma câmera RGB-D em posição descendente. Inicialmente, o plano de interação é localizado na nuvem de pontos 3D através de uma variação do algoritmo RANSAC com coerência temporal. Objetos acima do plano são segmentados a partir da transformada watershed baseada em uma função de energia que combina cor, profundidade e informação de confiança. A cor de pele é utilizada para isolar as mãos, e os dedos que interagem com o plano são identificados por um novo processo de esqueletonização 2D. Finalmente, as pontas dos dedos são rastreadas com o uso do algoritmo Húngaro, e o filtro de Kalman é usado para produzir trajetórias mais suaves. Para demonstrar a utilidade da técnica, foi desenvolvido um protótipo que permite ao usuário desenhar em uma superfície de forma natural e intuitiva. / Touch-based Human-Computer Interfaces (HCIs) are a widespread technology present in tablets, smartphones, and notebooks. This is a breakthrough which increases the ease of communication and at the same time reduces the need for interfaces such as mouse and keyboard. However, the interaction surface used by these systems is usually equipped with sensors to capture the movements made by the user, making it impossible to substitute this surface by any other such as a table, for example. On the other hand, the progress of commercial 3D depth sensing technologies in the past five years, having as a keystone Microsoft’s Kinect sensor, has increased the interest in 3D hand gesture recognition using depth data. In this dissertation, we present a natural Human-Computer Interface (HCI) for interaction with planar surfaces using a topdown RGB-D camera. Initially, the interaction plane is located in the 3D point cloud by using a variation of RANSAC with temporal coherence. Off-plane objects are segmented using the watershed transform based on an energy function that combines color, depth and confidence information. Skin color information is used to isolate the hand(s), and a novel 2D skeletonization process identifies the interaction fingers. Finally, the fingertips are tracked using the Hungarian algorithm, and a Kalman filter is applied to produce smoother trajectories. To demonstrate the usefulness of the technique, we also developed a prototype in which the user can draw on the surface using lines and sprays in a natural way.

Made available in DSpace on 2015-04-22T22:10:42Z (GMT). No. of bitstreams: 1 gean.pdf: 4292257 bytes, checksum: 79d35d705a46274fc176df8647ceac74 (MD5) Previous issue date: 2013-05-03 / O ambiente virtual é usado pelas instituições de ensino como auxílio ao processo de aprendizado, de comunicação e disponibilização dos conteúdos para os alunos. Isso vem transformando o ensino quando se trata de estar cada vez mais presente na vida acadêmica dos discentes e docentes. O presente projeto permeia exatamente por essa relação l, onde a instituição e o professor disponibilizam conteúdos e informações essenciais sobre o processo educacional. Pretendeu-se aqui descobrir problemas e, posteriormente, propor melhorias que aprimore o uso desta ferramenta. Através do conceito de sociedade Informacional e os conhecimentos sobre usabilidade dos meios digitais elaborou-se um discurso exploratório sobre as questões que envolvem a interação homem/computador. O processo metodológico se deu por meio de uma avaliação qualitativa que determinou os aspectos que prejudicam a navegação do portal da Universidade Federal do Amazonas, usando as ferramentas de teste de interfaces digitais conhecidas como Ensaio de Interação e a Ergolist recomendadas pelos estudiosos em iteração homem-computador. Encontraram-se muitas falhas no que diz respeito a fatores que são essenciais na interação com o portal - principalmente na navegabilidade, o que prejudica a eficiência comprometendo a sua proposta como ferramenta de gestão educacional, sendo estes problemas identificados em todos os grupos de avaliadores que foram submetidos aos ensaios. Com o diagnóstico dos aspectos negativos do portal, foram propostos os ajustes para melhora do uso em uma versão aprimorada da ferramenta. Os resultados comprovaram a eficiência das ferramentas de avaliação de interfaces digitais, possibilitando que se observe como uma ferramenta de gestão pode ser melhorada quando submetida aos procedimentos corretos de projetação voltados para o usuário. / O ambiente virtual é usado pelas instituições de ensino como auxílio ao processo de aprendizado, de comunicação e disponibilização dos conteúdos para os alunos. Isso vem transformando o ensino quando se trata de estar cada vez mais presente na vida acadêmica dos discentes e docentes. O presente projeto permeia exatamente por essa relação l, onde a instituição e o professor disponibilizam conteúdos e informações essenciais sobre o processo educacional. Pretendeu-se aqui descobrir problemas e, posteriormente, propor melhorias que aprimore o uso desta ferramenta. Através do conceito de sociedade Informacional e os conhecimentos sobre usabilidade dos meios digitais elaborou-se um discurso exploratório sobre as questões que envolvem a interação homem/computador. O processo metodológico se deu por meio de uma avaliação qualitativa que determinou os aspectos que prejudicam a navegação do portal da Universidade Federal do Amazonas, usando as ferramentas de teste de interfaces digitais conhecidas como Ensaio de Interação e a Ergolist recomendadas pelos estudiosos em iteração homem-computador. Encontraram-se muitas falhas no que diz respeito a fatores que são essenciais na interação com o portal - principalmente na navegabilidade, o que prejudica a eficiência comprometendo a sua proposta como ferramenta de gestão educacional, sendo estes problemas identificados em todos os grupos de avaliadores que foram submetidos aos ensaios. Com o diagnóstico dos aspectos negativos do portal, foram propostos os ajustes para melhora do uso em uma versão aprimorada da ferramenta. Os resultados comprovaram a eficiência das ferramentas de avaliação de interfaces digitais, possibilitando que se observe como uma ferramenta de gestão pode ser melhorada quando submetida aos procedimentos corretos de projetação voltados para o usuário.

A definiçãoo e o reconhecimento de gestos multi-toque s~ao dois dos maiores desafios encontrados por desenvolvedores de aplicações para tabletops. Após a escolha dos gestos, geralmente após um longo e custoso estudo de usuário, os desenvolvedores precisam selecionar ou criar um algorítimo para reconhecê-los e integrá-lo à aplicação e ao hardware. Muitas bibliotecas e arcabouços para o reconhecimento de gestos multi-toque foram propostos nos últimos anos. Cada um deles buscou endereçar um dos diversos desafios encontrados pelos desenvolvedores quando desenvolvendo protótipos e implementando novas aplicações para tabletops, como a integração entre a camada de aplicação e a interface de hardware. Em uma das etapas de nossa pesquisa, foram identificados quatorze requisitos para tais arcabouços, variando desde o suporte ao multi-toque ao suporte a gestos colaborativo não conseguiram endereçar todos os requisitos identificados. Neste trabalho, nós apresentamos o MiTable Engine: um arcabouço flexível e configurável, criado com o objetivo de atender a todos os quatorze requisitos. Esta proposta pode ser utilizada tanto para suportar aplicações em mesas interativas para diversos usuários quanto aplicações para tablets e smartphones. O MiTable Engine foi construído a partir de uma arquitetura de quatro camadas com uma nova proposta de reconhecimento de gestos baseada em pipeline. Nossa proposta é capaz de processar diversas entradas de toque simultaneamente com grande desempenho e se torna muito flexível para personalizações. O MiTable também inclui alguns dos algorítmos do estado-da-arte para reconhecimento de gestos além de um conjunto de ferramentas para criação e inclusão de novos gestos nas aplicações. Neste trabalho, nós discutimos a engine proposta em detalhes, incluindo sua arquitetura, algorítmos e como cada requisito é endereçado. Para exercitar a engine e verificar seu funcionamento, nós apresentamos duas provas de conceito e desenvolvemos diversos testes unitários automatizados. / Gestures denition and recognition are two of the major challenges for tabletop developers. After choosing the gestures, usually after a costly user study, developers must select or create an algorithm to recognize them and integrate it to the main application layer and to the hardware interface layer. Several multi-touch gestures recognition systems and frameworks were proposed in the past years. Each of them tried to address one of several challenges developers have when prototyping and implementing new tabletop applications and to provide a seamless integration between the hardware interface and the main application. During our research, we identified fourteen requirements for multi-touch frameworks, ranging from supporting multi-touch to collaborative gestures. Although current state of art multi-touch gestures frameworks addresses several of them, there is no unique solution which addresses all the developers needs. In this work, we present the MiTable Engine: a flexible and configurable multi-touch gestures engine aimed to address all these requirements. The proposed engine is suitable for both large multi-user surfaces and for small single-user tabletops, such as tablets and smartphones. The MiTable Engine is built on top of a four layers architecture and introduces a novel multi-touch gestures recognition pipeline which can process several multi-touch inputs simultaneously with high performance and flexibility for customizations. The Engine also includes some of the state-of-art multi-touch gestures recognizers and a set of tools for creating and adding custom gestures to the application. In this work, we discuss the proposed engine in deep details, including its architecture, its algorithms and how it addresses each requirement. In order to exercise the engine and verify its functionality, we present two proof of concept applications and developed several automated unit tests.

Um fator relevante para a aceitação de metáforas de mundos virtuais 3D como interfaces homem máquina é a supressão do fator estranheza. Tal fator decorre da percepção de comportamentos não naturais entre as representações de usuários (avatares) e robôs (NPCs Non Playable Characters) nestes ambientes virtuais e acontece, principalmente, devido a diferenças sutís entre o comportamento esperado de um ser humano e o apresentado pelas representações virtuais (avatares). Ao conjunto de comportamentos exibidos denominamos persona. Assim, uma maneira de reduzir a barreira de estranheza entre usuários interagindo em mundos virtuais 3D é fazendo com que suas representações (avatares) tenham personas convincentes. Os seres humanos tem suas personas regidas por seus tratos emocionais. As interações com o ambiente e com outros seres humanos fornecem estímulos que modificam o estado emocional com relação ao estado de equilíbrio e, consequentemente, alteram o comportamento exterior observado. O estado emocional de equilíbrio pode ser obtido através da análise de corpo de comunicação em linguagem natural do usuário. Neste trabalho é defendida a tese de que através da análise do corpo das interações em linguagem natural de usuários nas mídias sociais é possível estabelecer um modelo de personalidade e persona que pode ser transposto para a representação dos usuários nem mundos virtuais 3D, de forma que as representações tenham comportamentos tais que reduzem o fator de estranheza. O modelo faz uso das interações recentes nas mídias sociais e das interações nos mundos virtuais 3D para determinar o estado emocional imediato e o comportamento instantâneo e é coerente com o paradigma do modelo OCC. Também é demonstrado que este modelo é evolutivo: pela análise contínua do corpo da comunicação é acompanhada a evolução da personalidade do usuário, bem como se adequa continuamente sua persona. Os traços de personalidade são analizados no modelo Big Five (Neuroticism, Extraversion, Agreeableness, Conscientiousness, Openness) e operacionalizados no modelo PAD (Personality, arousal, dominance). O modelo constrói um campo de personalidade, no espaço PAD, de tal forma que na ausência de excitação o estado emocional do avatar fica em repouso no centro deste campo. As excitações movimentam o estado ao longo dos eixos PAD e provocam mudanças no comportamento observado. A correspondência entre as mudanças de comportamento do avatar e o movimento do estado do usuário no campo emocional aumenta a concordância entre comportamento esperado e observado, reduzindo o fator de estranheza. / A key factor for the acceptance of 3D virtual world mataphor as human machine interface is the suppression of the strangeness factor, which appears due the perception of non natural behaviour in representations of users (avatars) and bots (NPCs). Such perception raises mostly due to subtle differences in expected behavior for a human being and observed behavior in virtual representations (avatars and NPCs). In this work we will call persona the set of exhibited behaviors. Thus, a way of diminishing the strangeness valley is by supplying avatars with convincing personas. Human beings rule their personas with intermediation of their emotional traits. Interactions with environment and other beings supply stimuli that change the emotional state from the equilibrium situation and, consequently, change observed behavior. Idle emotional state can be determined through natural language communication corpora analysis. In this thesis we state that through the analysis of user interactions in social media it is possible to establish a model of personality and persona that can be transposed to their representation in 3D virtual worlds, so such representation exhibits behavior that minimize strangeness. The model uses recent interations of user in social media and his interactions inside the 3D virtual world to establish current behavior and is coherent with OCC paradigm. It is also demonstrated that such model is evolutive: by the continuous analysis of communication corpora the user personality behavior is updated and its persona is continually adjusted. Personality traits are analysed in the Big Five model (neuroticism, agreeableness, conscientiousness, openness) and operationalized in the PAD model (personality, arousal, dominance). A personality field is built such as in the absence of inputs, emotional state lies in the center of this field. Inputs move state along PAD axes and cause changes in the observed behavior. Correspondence between avatar behavior changes and state changes of user regarding its emotional field enhance the compliance between expected and observed behavior, reducing strangeness.

Localizado na modalidade de aprendizagem um computador por aluno e no contexto da proposta metodológica de PAs (Projetos de Aprendizagem), este estudo tem por objetivo apresentar uma dinâmica de acompanhamento da conceituação a partir da enunciação sobre as produções escritas dos alunos. Parte-se da concepção de enunciação como apropriação ativa da língua, na qual se expõe a compreensão em muitos casos ausente no registro textual. Ferramentas do laptop em utilização na escola pólo do pré-piloto do Projeto UCA (Um Computador por Aluno) em Porto Alegre e o ambiente virtual de aprendizagem Amadis dão suporte ao trabalho. Sustentam a análise o Método Clínico de Piaget e a teoria de reações compensadoras proposta pelo mesmo autor, aplicáveis à amplitude de temas contemplados nos PAs e aos diferentes percursos empreendidos pelos estudantes em suas pesquisas. / Located in 1:1 (one computer per student) learning modality and in the context of Learning Projects methodology, this study aims to present a dynamics of monitoring the process of conceptualization considering students’ written productions. For the purpose of this study, enunciation is understood as an active process of language ownership, which exposes comprehension often lacking in textual speech. Resources from the laptop used in the trial school of UCA (One Computer per Child) Project pre-pilot in Porto Alegre and the virtual learning environment Amadis support the work. The analysis is based on Jean Piaget Clinical Method and on the Cognitive Compensation Reactions theory, proposed by the same author, applicable to the variety of themes covered in the projects and to the different paths taken by students in their researches.

Localizado na modalidade de aprendizagem um computador por aluno e no contexto da proposta metodológica de PAs (Projetos de Aprendizagem), este estudo tem por objetivo apresentar uma dinâmica de acompanhamento da conceituação a partir da enunciação sobre as produções escritas dos alunos. Parte-se da concepção de enunciação como apropriação ativa da língua, na qual se expõe a compreensão em muitos casos ausente no registro textual. Ferramentas do laptop em utilização na escola pólo do pré-piloto do Projeto UCA (Um Computador por Aluno) em Porto Alegre e o ambiente virtual de aprendizagem Amadis dão suporte ao trabalho. Sustentam a análise o Método Clínico de Piaget e a teoria de reações compensadoras proposta pelo mesmo autor, aplicáveis à amplitude de temas contemplados nos PAs e aos diferentes percursos empreendidos pelos estudantes em suas pesquisas. / Located in 1:1 (one computer per student) learning modality and in the context of Learning Projects methodology, this study aims to present a dynamics of monitoring the process of conceptualization considering students’ written productions. For the purpose of this study, enunciation is understood as an active process of language ownership, which exposes comprehension often lacking in textual speech. Resources from the laptop used in the trial school of UCA (One Computer per Child) Project pre-pilot in Porto Alegre and the virtual learning environment Amadis support the work. The analysis is based on Jean Piaget Clinical Method and on the Cognitive Compensation Reactions theory, proposed by the same author, applicable to the variety of themes covered in the projects and to the different paths taken by students in their researches.

Em projetos arquitetônicos, lápis e papel continuam sendo os instrumentos mais usados para elaborar desenhos à mão livre para dar suporte às atividades das etapas iniciais de projeto. Ferramentas digitais convencionalmente utilizadas por arquitetos carecem de funcionalidade apropriada e não oferecem interfaces amigáveis para os estágios iniciais de concepção arquitetônica. A solução para estes problemas fundamenta-se em dois apoios tecnológicos: (i) em dispositivos de hardware já disponíveis que podem ajudar projetistas a expressar suas ideias através de sketches à mão livre; e (ii) em princípios de funcionalidade presentes em softwares experimentais os quais, combinados com hardware apropriados, poderiam oferecer interações humano-computador amigáveis e intuitivas nas etapas iniciais de projetos arquitetônicos. Esta pesquisa revisa e sintetiza literatura relevante à esta hipótese, especialmente quanto às formas como projetistas de arquitetura interagem com os computadores, como dispositivos de entrada restringem possíveis interações e como diferentes funcionalidades podem ser exploradas através dessas interações. A revisão do estado da arte dos softwares experimentais de modelagem baseada em sketch para projetos arquitetônicos permitiu descrever em detalhe as funcionalidades oferecidas e argumentar que, se combinadas, essas funcionalidades forneceriam um apoio mais adequado para as etapas iniciais de projeto arquitetônico. Cenários de uso são desenvolvidos para explorar tais combinações e demonstrar possibilidades atuais e futuras das ferramentas digitais durante a fase de concepção do projeto arquitetônico. / In architectural design, pencil and paper remain the most used media to create freehand drawings to support the activities of early designing stages. Digital tools conventionally used by architects lack of appropriated functionality and do not offer friendly interfaces for early stages of architectural designing. The solutions for these problems are twofold: (i) hardware already available can help designers to express their first ideas by freehand sketches; and (ii) functionality principles are present in experimental software and, combined with appropriate hardware, could successfully provide a friendly and intuitive human-computer interaction in the early stages of architectural designing. This research revises and synthesizes literature relevant to this hypothesis, taking special attention to the way architectural designers interact with computers, how input devices constrain possible interactions and how functionalities can be explored through these interactions. The update to the state-of-the-art studies in experimental, sketch-based modeling software for architectural design allowed detailed descriptions of the functionality they offer and allowed to argue that, combined, this functionality would provide a more adequate support for initial stages of architectural designing. Scenarios of use are developed, exploring such combination and demonstrating current and future possibilities for digital tools to use during initial stages of architectural designing.

Localizado na modalidade de aprendizagem um computador por aluno e no contexto da proposta metodológica de PAs (Projetos de Aprendizagem), este estudo tem por objetivo apresentar uma dinâmica de acompanhamento da conceituação a partir da enunciação sobre as produções escritas dos alunos. Parte-se da concepção de enunciação como apropriação ativa da língua, na qual se expõe a compreensão em muitos casos ausente no registro textual. Ferramentas do laptop em utilização na escola pólo do pré-piloto do Projeto UCA (Um Computador por Aluno) em Porto Alegre e o ambiente virtual de aprendizagem Amadis dão suporte ao trabalho. Sustentam a análise o Método Clínico de Piaget e a teoria de reações compensadoras proposta pelo mesmo autor, aplicáveis à amplitude de temas contemplados nos PAs e aos diferentes percursos empreendidos pelos estudantes em suas pesquisas. / Located in 1:1 (one computer per student) learning modality and in the context of Learning Projects methodology, this study aims to present a dynamics of monitoring the process of conceptualization considering students’ written productions. For the purpose of this study, enunciation is understood as an active process of language ownership, which exposes comprehension often lacking in textual speech. Resources from the laptop used in the trial school of UCA (One Computer per Child) Project pre-pilot in Porto Alegre and the virtual learning environment Amadis support the work. The analysis is based on Jean Piaget Clinical Method and on the Cognitive Compensation Reactions theory, proposed by the same author, applicable to the variety of themes covered in the projects and to the different paths taken by students in their researches.

Sistemas de Interação Humano-Computador baseados em toque são uma tecnologia disseminada em tablets, smartphones e notebooks. Trata-se de um grande avanço que aumenta a facilidade de comunicação e, ao mesmo tempo, diminui a necessidade de interfaces como mouse e teclado. Entretanto, a superfície de interação utilizada por esses sistemas normalmente é equipada com sensores para a captação dos movimentos realizados pelo usuário, o que impossibilita transformar uma superfície planar qualquer (uma mesa, por exemplo) em uma superfície de interação. Por outro lado, a popularização de sensores de profundidade a partir do lançamento do Microsoft Kinect propiciou o desenvolvimento de sistemas que adotam objetos do dia a dia como superfícies de interação. Nesta dissertação é proposta uma interface natural para interação com superfícies planares utilizando uma câmera RGB-D em posição descendente. Inicialmente, o plano de interação é localizado na nuvem de pontos 3D através de uma variação do algoritmo RANSAC com coerência temporal. Objetos acima do plano são segmentados a partir da transformada watershed baseada em uma função de energia que combina cor, profundidade e informação de confiança. A cor de pele é utilizada para isolar as mãos, e os dedos que interagem com o plano são identificados por um novo processo de esqueletonização 2D. Finalmente, as pontas dos dedos são rastreadas com o uso do algoritmo Húngaro, e o filtro de Kalman é usado para produzir trajetórias mais suaves. Para demonstrar a utilidade da técnica, foi desenvolvido um protótipo que permite ao usuário desenhar em uma superfície de forma natural e intuitiva. / Touch-based Human-Computer Interfaces (HCIs) are a widespread technology present in tablets, smartphones, and notebooks. This is a breakthrough which increases the ease of communication and at the same time reduces the need for interfaces such as mouse and keyboard. However, the interaction surface used by these systems is usually equipped with sensors to capture the movements made by the user, making it impossible to substitute this surface by any other such as a table, for example. On the other hand, the progress of commercial 3D depth sensing technologies in the past five years, having as a keystone Microsoft’s Kinect sensor, has increased the interest in 3D hand gesture recognition using depth data. In this dissertation, we present a natural Human-Computer Interface (HCI) for interaction with planar surfaces using a topdown RGB-D camera. Initially, the interaction plane is located in the 3D point cloud by using a variation of RANSAC with temporal coherence. Off-plane objects are segmented using the watershed transform based on an energy function that combines color, depth and confidence information. Skin color information is used to isolate the hand(s), and a novel 2D skeletonization process identifies the interaction fingers. Finally, the fingertips are tracked using the Hungarian algorithm, and a Kalman filter is applied to produce smoother trajectories. To demonstrate the usefulness of the technique, we also developed a prototype in which the user can draw on the surface using lines and sprays in a natural way.

Esta tese de doutorado tem como base uma pesquisa exploratória que investigou as possibilidades e os elementos envolvidos na utilização de dispositivos móveis de consumo (consumer mobile devices) como ferramentas para atividades musicais. Dispositivos móveis comuns de informação e comunicação – telefones celulares, smartphones e computadores de mão – têm incorporado cada vez mais funcionalidades através do fenômeno da convergência, e tendem a se tornar plataformas de computação móvel genérica. Neste sentido, seu uso na música já vem sendo investigado por outros pesquisadores, tendo sido inclusive proposta uma área própria de pesquisa denominada Mobile Music (música em dispositivos móveis). Entretanto o tema ainda é emergente, justificando a abordagem exploratória adotada aqui. Os trabalhos existentes apresentam soluções específicas, havendo a necessidade de uma proposta de organização de conceitos gerais e de fundamentação para o design de interação nesta área. Do ponto de vista da área de Interação Humano-Computador, um problema central neste contexto é como realizar o design de interação de um sistema para atividades musicais que envolve dispositivos móveis não-específicos, ou seja, que não foram projetados originalmente para tarefas musicais. É o que identificamos neste trabalho como o problema do “reaproveitamento de dispositivos” (device repurposing). A solução envolve não modificar os dispositivos, e sim encontrar maneiras próprias e variadas (alternativas) de manipular dados e informações musicais utilizando os recursos já existentes nos aparelhos. Além disso, o design da interação musical não deve considerar apenas o paradigma instrumental – baseado na interação com instrumentos musicais tradicionais – mas sim incluir no espaço de design outros paradigmas de interação, muitos deles originados e já adotados na área de Computação Musical. Neste trabalho, esses diversos paradigmas ou formas de interação musical são identificados e formalizados como proto-patterns de interação. A coleta e o refinamento dos patterns foi possível por meio de uma metodologia exploratória baseada na experiência de desenvolvimento de vários protótipos musicais móveis, e que incluiu também uma extensa revisão bibliográfica e a análise de sistemas existentes. O resultado deste processo foi organizado na forma de uma infraestrutura composta por conceitos e princípios, patterns de interação e ferramentas para o apoio ao design de sistemas interativos musicais envolvendo dispositivos móveis de consumo. / The present thesis is an exploratory research on the possibilities and on the elements that may be relevant for making use of consumer mobile devices as tools for musical activities. Ordinary mobile information and communication devices – cell phones, smartphones, and PDAs – have been integrating more and more functionalities as a result of the “convergence” phenomenon. Today, these devices also tend to become generic mobile computing platforms. In this sense, their use in musicmaking is already being studied by other researchers, and even a specific research field has been proposed, called Mobile Music. Nevertheless, this topic is still emergent, which is the reason for adopting an exploratory approach in this thesis. Current papers tend to present particular solutions, and thus there is a need for proposals that deal with organizing general concepts, and also with the foundations for interaction design within this new field. From the perspective of Human-Computer Interaction, a basic problem in such context is how to carry out the interaction design of a system for musical activities which involves non-specific mobile devices. That is, these devices were not originally designed for musical tasks. This is what we identify in this work as the “device repurposing” problem. The answer lies not on adapting the device, but on finding unique and multiple (i.e., alternative) ways to manipulate data and musical information by using the features that the devices already provide. Additionally, musical interaction design should not consider just the instrumental paradigm – based on interaction with traditional musical instruments – but should also include other interaction models in the design space, most of which are well-known in the Computer Music domain. In this thesis, those various models or paradigms of musical interaction are identified and formalized as interaction design proto-patterns. Collecting and refining these patterns was made possible through an exploratory methodology, based on the experience of developing several mobile music prototypes, and which also included an extensive literature review and the analysis of existing systems. The product of this research was combined into an infrastructure, composed of concepts and principles, interaction design patterns, and tools, to support the design of interactive musical systems which involve consumer mobile devices.