Pesquisas em Interfaces Naturais, sub-área da Computação Ubíqua, investigam o uso de dispositivos não-tradicionais para possibilitar a interação entre usuários e aplicaçõs de maneiras menos intrusivas (gestos, voz e escrita baseada em tinta eletrônica, por exemplo). Com o aumento da popularidade de dispositivos equipados com sensores de aceleração, os desenvolvedores agora dispõem de um novo dispositivo que pode ser utilizado para prover interação entre usuários e diferentes aplicações, como por exemplo as que se encontram presentes em ambientes de TV interativos. Assim, aplicações que fazem uso de acelerômetros vêm sendo desenvolvidas para situações específicas, e suas implementações e formatos de dados manipulados são dependentes do domínio para o qual foram projetados. Este trabalho apresenta um modelo para a formalização do modo como esses dados podem ser manipulados, por meio de uma abordagem genérica e extensível. Além disso, o modelo permite a descrição de regras para agregação de valor a estes dados por meio da adição de significados. Isto e obtido com a proposta de uma arquitetura em camadas que possibilita a estruturação e compartilhamento desses dados de modo flexível. Três protótipos foram implementados na linguagem de programação Java, fazendo-se uso dessa arquitetura e de uma API desenvolvida para facilitar o uso do modelo. Essas implementações demonstram a viabilidade do modelo proposto como solução para a questão da interoperabilidade nos cenários ilustrados, e para a extensibilidade dos dados, nos casos em que uma mudança de requisitos faz-se necessária / Research in Natural Interfaces, sub-area of Ubiquitous Computing, investigates the use of non-traditional devices to support user interaction with applications in less intrusive ways (gestures, voice and writing based on electronic ink, for instance). With the increasing popularity of accelerometers, developers now have another tool that can be used to provide interaction between users and different applications, such as interactive TV environments. However, applications that make use of accelerometers are currently being developed for specific situations, and their implementations and handled documents are also dependent on the domain for which they were designed. This work aims to propose a model to formalize how the accelerometer data may be handled in a generic way. In addition, the model enables the description of rules to aggregate value to these data through the addition of meanings. This is done by proposing a layered architecture to structure and share data in a exible way. Three prototypes were implemented in the Java programming language, making use of this architecture and an API designed to facilitate the model implementation. These prototypes demonstrate the feasibility of the model proposed as a solution to the issue of interoperability in the scenarios illustrated, and the problem of data extensibility, whenever a change of requirements poses necessary

Pesquisas em Interfaces Naturais, sub-área da Computação Ubíqua, investigam o uso de dispositivos não-tradicionais para possibilitar a interação entre usuários e aplicaçõs de maneiras menos intrusivas (gestos, voz e escrita baseada em tinta eletrônica, por exemplo). Com o aumento da popularidade de dispositivos equipados com sensores de aceleração, os desenvolvedores agora dispõem de um novo dispositivo que pode ser utilizado para prover interação entre usuários e diferentes aplicações, como por exemplo as que se encontram presentes em ambientes de TV interativos. Assim, aplicações que fazem uso de acelerômetros vêm sendo desenvolvidas para situações específicas, e suas implementações e formatos de dados manipulados são dependentes do domínio para o qual foram projetados. Este trabalho apresenta um modelo para a formalização do modo como esses dados podem ser manipulados, por meio de uma abordagem genérica e extensível. Além disso, o modelo permite a descrição de regras para agregação de valor a estes dados por meio da adição de significados. Isto e obtido com a proposta de uma arquitetura em camadas que possibilita a estruturação e compartilhamento desses dados de modo flexível. Três protótipos foram implementados na linguagem de programação Java, fazendo-se uso dessa arquitetura e de uma API desenvolvida para facilitar o uso do modelo. Essas implementações demonstram a viabilidade do modelo proposto como solução para a questão da interoperabilidade nos cenários ilustrados, e para a extensibilidade dos dados, nos casos em que uma mudança de requisitos faz-se necessária / Research in Natural Interfaces, sub-area of Ubiquitous Computing, investigates the use of non-traditional devices to support user interaction with applications in less intrusive ways (gestures, voice and writing based on electronic ink, for instance). With the increasing popularity of accelerometers, developers now have another tool that can be used to provide interaction between users and different applications, such as interactive TV environments. However, applications that make use of accelerometers are currently being developed for specific situations, and their implementations and handled documents are also dependent on the domain for which they were designed. This work aims to propose a model to formalize how the accelerometer data may be handled in a generic way. In addition, the model enables the description of rules to aggregate value to these data through the addition of meanings. This is done by proposing a layered architecture to structure and share data in a exible way. Three prototypes were implemented in the Java programming language, making use of this architecture and an API designed to facilitate the model implementation. These prototypes demonstrate the feasibility of the model proposed as a solution to the issue of interoperability in the scenarios illustrated, and the problem of data extensibility, whenever a change of requirements poses necessary

Made available in DSpace on 2016-06-02T19:05:45Z (GMT). No. of bitstreams: 1 3181.pdf: 1568889 bytes, checksum: 9f3ad01b0a95806d1fe8e1a9edfd7648 (MD5) Previous issue date: 2010-02-02 / Financiadora de Estudos e Projetos / People comment about TV programs while watching. The technology found at Digital TV environment allow capturing and storing those comments. The combination between comments and the original program can result in a new multimedia document with personalized content. This is an ubiquitous authoring (editing) approach. This work explore the capture and access concepts and propose an architecture to allow the ubiquitous authoring of multimedia documents by end-user while a base-document is presented. The result of this activity is a new multimedia document which can replace the original document on-the-fly, changing the user experience. The main modules of the architecture are: client editing manger, code generator, private base manager, state machine manager, enhanced input manager, framebuffer recorder, elementary stream recorder, formatter (presentation engine) and media players. The proposed architecture was integrated to the Brazilian Digital TV Middleware (Ginga). The NCL language features like live editing, support to multi devices and documents seems interesting to apply the proposed model. Ginga supports NCL language and has open specifications and a reference implementation that can be reused. The reference implementation was expanded by adding new components and reusing others. / É bastante comum pessoas realizarem comentários a respeito dos programas de TV que assistem conjuntamente. As facilidades tecnológicas disponíveis em ambientes de TV Digital podem permitir que esses comentários, e outros eventualmente realizados por interação outra além da oral, possam ser capturados e armazenados. Os comentários, devidamente associados ao programa original, podem resultar em outro documento que incorpora particularidades dessas pessoas e caracterizam um processo de autoria ou de edição. A naturalidade inerente à situação pode caracterizar como ubíquo esse processo de autoria/edição. Este trabalho explora os conceitos de captura e acesso e propõe uma arquitetura computacional para viabilizar a autoria/edição ubíqua de documentos multimídia pelo interagente à medida que uma versão base vai sendo apresentada. O documento resultante pode substituir a versão base original, antes mesmo que sua apresentação chegue ao fim, e interferir na própria experiência original de interação, ou seja, o processo de autoria/edição desencadeia alterações no documento original que podem ser acessadas on-the-fly. Os principais módulos que compõem a arquitetura são os módulos: gerenciador de edições do cliente, gerador de código, gerenciador de bases privadas, gerenciador de máquina de estados, gerenciador de entradas, gravador de frames e fluxos elementares, formatador de documentos multimídia e players de objetos de mídia. A arquitetura proposta foi incorporada ao middleware Ginga para TV Digital. A linguagem NCL mostrou-se bastante adequada para a instanciação do modelo proposto já que propicia facilidades como edição ao vivo, múltiplos documentos e múltiplos dispositivos. O middleware Ginga tem a linguagem NCL como padrão para aplicações declarativas e tem uma arquitetura que pôde ser reusada e expandida com a incorporação dos novos componentes propostos neste trabalho. Alguns componentes da arquitetura do middleware apresentaram grande sinergia com o modelo proposto neste trabalho, permitindo o reúso em diversas instâncias

Neste trabalho foi investigado o problema de autoria automatizada de informação multimídia sob a perspectiva da computação ubíqua de modo geral, e da interação do usuário com aplicações de captura e accesso (C&A) de modo particular. O objetivo do projeto foi a definição de operadores sobre interação do usuário em ambientes e em aplicações para permitir a geração automática de documentos multimídia interativos, um dos temas de pesquisa da área de engenharia de documentos. A abordagem da proposta foi a generalização dos operadores Inkteractors, definidos sobre a interação do usuário com aplicações baseadas em tinta eletrônica, considerando a interação do usuário na voz, mensagens de texto, vídeo e lousa. Como resultado foram definido os novos Interactors: operadores de interação sobre informação capturada em aplicações que envolvem interação do usuário com as mídias. Os Interactors foram validados no contexto de engenharia de documentos ao serem utilizados para a geração automática de documentos multimídia interativos, associados a aplicações de C&A para oferecer novas possibilidades de indexar, visualizar e acessar os documentos multimídia / This study investigated the problem of automated authoring of multimedia information from the perspective of ubiquitous computing in general, and the user interaction with applications of capture and acess (C&A) in particular. The project goal was to formalize operators on user interaction environments and applications to enable automatic generation of interactive multimedia documents, one of the themes of the research area of document engineering. The proposed approach is a generalization of the Inkteractors operators, defined on the user interaction with electronic ink-based applications on the users interaction with digital voice, text messaging, video and whiteboard. As a result we defined the new Interactors: interaction operators of captured information in applications that involve user interaction with the media. TheInteractors were validated in the context of document engineering to be used for the automatic generation of interactive multimedia documents, and in C&A aplications to offer new possibilities for indexing, viewing and accessing multimedia documents

Multimedia production is an elaborate activity composed of multiple information management and transformation tasks that support an underlying creative goal. Examples of these activities are structuring, organization, modification and versioning of media elements, all of which depend on the maintenance of supporting documentation and metadata. In professional productions, which can count on proper human and material resources, such documentation is maintained by the production crew, being key to secure a high quality in the final content. In less resourceful configurations, such as amateur-oriented productions, at least reasonable quality standards are desirable in most cases, however the perceived difficulty in managing and transforming content can inhibit amateurs on producing content with acceptable quality. This problem has been tackled in many fronts, for instance via annotation methods, smart browsing methods and authoring techniques, just to name a few. In this dissertation, the primary objective is to take advantage of user-created annotations in order to aid amateur-oriented multimedia authoring. In order to support this objective, the contributions are built around an authoring approach based on structured multimedia documents. First, a custom language for Web-based multimedia documents is defined, based on SMIL (Synchronized Multimedia Integration Language). This language brings several contributions, such as the formalization of an extended graph-based temporal layout model, live editing of document elements and extended reuse features. Second, a model for document annotation and an algebra for document transformations are defined, both of which allows composition and extraction of multimedia document fragments based on annotations. Third, the previous contributions are integrated into a Web-based authoring tool, which allows manipulating a document while it is active. Such manipulations encompass several interaction techniques for enriching, editing, publishing and extending multimedia documents. The contributions have been instantiated with multimedia sessions obtained from synchronous collaboration tools, in scenarios of video-based lectures, meetings and video-based qualitative research. Such instantiations demonstrate the applicability and utility of the contributions / Produção multimídia é uma atividade complexa composta por múltiplas atividades de gerência e transformação de informação, as quais suportam um objetivo de criar conteúdo. Exemplos dessas atividades são estruturação, organização, modificação e versionamento de elementos de mídia, os quais dependem da manutenção de documentos auxiliares e metadados. Em produções profissionais, as quais podem contar com recursos humanos e materiais adequados, tal documentação é mantida pela equipe de produção, sendo instrumental para garantir a uma alta qualidade no produto final. Em configurações com menos recursos, como produções amadoras, ao menos padrões razoáveis de qualidade são desejados na maioria dos casos, contudo a dificuldade em gerenciar e transformar conteúdo pode inibir amadores a produzir conteúdo com qualidade aceitável. Esse problema tem sido atacado em várias frentes, por exemplo via métodos de anotação, métodos de navegação e técnicas de autoria, apenas para nomear algumas. Nesta tese, o objetivo principal é tirar proveito de anotações criadas pelo usuário com o intuito de apoiar autoria multimídia por amadores. De modo a subsidiar esse objetivo, as contribuições são construídas em torno uma abordagem de autoria baseada em documentos multimídia estruturados. Primeiramente, uma linguagem customizada para documentos multimídia baseados na Web é definida, baseada na linguagem SMIL (Synchronized Multimedia Integration Language). Esta linguagem traz diversas contribuições, como a formalização de um modelo estendido para formatação temporal baseado em grafos, edição ao vivo de elementos de um documento e funcionalidades de reúso. Em segundo, um modelo para anotação de documentos e uma álgebra para transformação de documentos são definidos, ambos permitindo composição e extração de fragmentos de documentos multimídia com base em anotações. Em terceiro, as contribuições anteriores são integradas em uma ferramenta de autoria baseada na Web, a qual permite manipular um documento enquanto o mesmo está ativo. Tais manipulações envolvem diferentes técnicas de interação com o objetivo de enriquecer, editar, publicar e estender documentos multimídia interativos. As contribuições são instanciadas com sessões multimídia obtidas de ferramentas de colaboração síncrona, em cenários de aulas baseadas em vídeos, reuniões e pesquisa qualitativa baseada em vídeos. Tais instanciações demonstram a aplicabilidade e utilidade das contribuições

Multimedia production is an elaborate activity composed of multiple information management and transformation tasks that support an underlying creative goal. Examples of these activities are structuring, organization, modification and versioning of media elements, all of which depend on the maintenance of supporting documentation and metadata. In professional productions, which can count on proper human and material resources, such documentation is maintained by the production crew, being key to secure a high quality in the final content. In less resourceful configurations, such as amateur-oriented productions, at least reasonable quality standards are desirable in most cases, however the perceived difficulty in managing and transforming content can inhibit amateurs on producing content with acceptable quality. This problem has been tackled in many fronts, for instance via annotation methods, smart browsing methods and authoring techniques, just to name a few. In this dissertation, the primary objective is to take advantage of user-created annotations in order to aid amateur-oriented multimedia authoring. In order to support this objective, the contributions are built around an authoring approach based on structured multimedia documents. First, a custom language for Web-based multimedia documents is defined, based on SMIL (Synchronized Multimedia Integration Language). This language brings several contributions, such as the formalization of an extended graph-based temporal layout model, live editing of document elements and extended reuse features. Second, a model for document annotation and an algebra for document transformations are defined, both of which allows composition and extraction of multimedia document fragments based on annotations. Third, the previous contributions are integrated into a Web-based authoring tool, which allows manipulating a document while it is active. Such manipulations encompass several interaction techniques for enriching, editing, publishing and extending multimedia documents. The contributions have been instantiated with multimedia sessions obtained from synchronous collaboration tools, in scenarios of video-based lectures, meetings and video-based qualitative research. Such instantiations demonstrate the applicability and utility of the contributions / Produção multimídia é uma atividade complexa composta por múltiplas atividades de gerência e transformação de informação, as quais suportam um objetivo de criar conteúdo. Exemplos dessas atividades são estruturação, organização, modificação e versionamento de elementos de mídia, os quais dependem da manutenção de documentos auxiliares e metadados. Em produções profissionais, as quais podem contar com recursos humanos e materiais adequados, tal documentação é mantida pela equipe de produção, sendo instrumental para garantir a uma alta qualidade no produto final. Em configurações com menos recursos, como produções amadoras, ao menos padrões razoáveis de qualidade são desejados na maioria dos casos, contudo a dificuldade em gerenciar e transformar conteúdo pode inibir amadores a produzir conteúdo com qualidade aceitável. Esse problema tem sido atacado em várias frentes, por exemplo via métodos de anotação, métodos de navegação e técnicas de autoria, apenas para nomear algumas. Nesta tese, o objetivo principal é tirar proveito de anotações criadas pelo usuário com o intuito de apoiar autoria multimídia por amadores. De modo a subsidiar esse objetivo, as contribuições são construídas em torno uma abordagem de autoria baseada em documentos multimídia estruturados. Primeiramente, uma linguagem customizada para documentos multimídia baseados na Web é definida, baseada na linguagem SMIL (Synchronized Multimedia Integration Language). Esta linguagem traz diversas contribuições, como a formalização de um modelo estendido para formatação temporal baseado em grafos, edição ao vivo de elementos de um documento e funcionalidades de reúso. Em segundo, um modelo para anotação de documentos e uma álgebra para transformação de documentos são definidos, ambos permitindo composição e extração de fragmentos de documentos multimídia com base em anotações. Em terceiro, as contribuições anteriores são integradas em uma ferramenta de autoria baseada na Web, a qual permite manipular um documento enquanto o mesmo está ativo. Tais manipulações envolvem diferentes técnicas de interação com o objetivo de enriquecer, editar, publicar e estender documentos multimídia interativos. As contribuições são instanciadas com sessões multimídia obtidas de ferramentas de colaboração síncrona, em cenários de aulas baseadas em vídeos, reuniões e pesquisa qualitativa baseada em vídeos. Tais instanciações demonstram a aplicabilidade e utilidade das contribuições

Neste trabalho foi investigado o problema de autoria automatizada de informação multimídia sob a perspectiva da computação ubíqua de modo geral, e da interação do usuário com aplicações de captura e accesso (C&A) de modo particular. O objetivo do projeto foi a definição de operadores sobre interação do usuário em ambientes e em aplicações para permitir a geração automática de documentos multimídia interativos, um dos temas de pesquisa da área de engenharia de documentos. A abordagem da proposta foi a generalização dos operadores Inkteractors, definidos sobre a interação do usuário com aplicações baseadas em tinta eletrônica, considerando a interação do usuário na voz, mensagens de texto, vídeo e lousa. Como resultado foram definido os novos Interactors: operadores de interação sobre informação capturada em aplicações que envolvem interação do usuário com as mídias. Os Interactors foram validados no contexto de engenharia de documentos ao serem utilizados para a geração automática de documentos multimídia interativos, associados a aplicações de C&A para oferecer novas possibilidades de indexar, visualizar e acessar os documentos multimídia / This study investigated the problem of automated authoring of multimedia information from the perspective of ubiquitous computing in general, and the user interaction with applications of capture and acess (C&A) in particular. The project goal was to formalize operators on user interaction environments and applications to enable automatic generation of interactive multimedia documents, one of the themes of the research area of document engineering. The proposed approach is a generalization of the Inkteractors operators, defined on the user interaction with electronic ink-based applications on the users interaction with digital voice, text messaging, video and whiteboard. As a result we defined the new Interactors: interaction operators of captured information in applications that involve user interaction with the media. TheInteractors were validated in the context of document engineering to be used for the automatic generation of interactive multimedia documents, and in C&A aplications to offer new possibilities for indexing, viewing and accessing multimedia documents