Thesis (MFA)--Rochester Institute of Technology, 1989. / Includes bibliographical references.

Thesis (Ed.D.)--Teachers College, Columbia University, 1996. / Typescript; issued also on microfilm. Sponsor: O. Roger Anderson. Dissertation Committee: Warren E. Yasso. Includes bibliographical references (leaves 112-119).

Thesis (M.B.A.)--University of Hong Kong, 1996. / Includes bibliographical references.

Interactions gestuelles multi-point et géométrie déformable pour l'édition 3D sur écran tactile: Malgré les progrès en capture d'objets réels et en génération procédurale, la création de contenus pour les mondes virtuels ne peut se faire sans interaction humaine. Cette thèse propose d'exploiter les nouvelles technologies tactiles (écrans "multi-touch") pour offrir une interaction 2D simple et intuitive afin de naviguer dans un environnement virtuel, et d'y manipuler, positionner et déformer des objets 3D. En premier lieu, nous étudions les possibilité et les limitations gestuelles de la main et des doigts lors d'une interaction sur écran tactile afin de découvrir quels gestes semblent les plus adaptés à l'édition des environnements et des objets 3D. En particulier, nous évaluons le nombre de degré de liberté efficaces d'une main humaine lorsque son geste est contraint à une surface plane. Nous proposons également une nouvelle méthode d'analyse gestuelle par phases permettant d'identifier en temps réel les mouvements clés de la main et des doigts. Ces résultats, combinés à plusieurs études utilisateur spécifiques, débouchent sur l'identification d'un patron pour les interactions gestuelles de base incluant non seulement navigation (placement de caméra), mais aussi placement, rotation et mise à l'échelle des objets. Ce patron est étendu dans un second temps aux déformations complexes (ajout et suppression de matière ainsi que courbure ou torsion des objets, avec contrôle de la localité). Tout ceci nous permet de proposer et d'évaluer une interface d'édition des mondes 3D permettant une interaction tactile naturelle, pour laquelle le choix du mode (navigation, positionnement ou déformation) et des tâches correspondantes est automatiquement géré par le système en fonction du geste et de son contexte (sans menu ni boutons). Enfin, nous étendons cette interface pour y intégrer des déformations plus complexe à travers le transfert de vêtements d'un personnage à un autre, qui est étendu pour permettre la déformation interactive du vêtement lorsque le personnage qui le porte est déformé par interaction tactile. / Multi-touch gesture interactions and deformable geometry for 3D edition on touch screen: Despite the advances made in the fields of existing objects capture and of procedural generation, creation of content for virtual worlds can not be perform without human interaction. This thesis suggests to exploit new touch devices ("multi-touch" screens) to obtain an easy, intuitive 2D interaction in order to navigate inside a virtual environment, to manipulate, position and deform 3D objects. First, we study the possibilities and limitations of the hand and finger gestures while interacting on a touch screen in order to discover which gestures are the most adapted to edit 3D scene and environment. In particular, we evaluate the effective number of degrees of freedom of the human hand when constrained on a planar surface. Meanwhile, we develop a new gesture analysis method using phases to identify key motion of the hand and fingers in real time. These results, combined to several specific user-studies, lead to a gestural design pattern which handle not only navigation (camera positioning), but also object positioning, rotation and global scaling. Then, this pattern is extended to complex deformation (such as adding and deleting material, bending or twisting part of objects, using local control). Using these results, we are able to propose and evaluate a 3D world editing interface that handle a natural touch interaction, in which mode selection (i.e. navigation, object positioning or object deformation) and task selections is automatically processed by the system, relying on the gesture and the interaction context (without any menu or button). Finally, we extend this interface to integrate more complex deformations, adapting the garment transfer from a character to any other in order to process interactive deformation of the garment while the wearing character is deformed.

Nos últimos anos, vários esforços têm sido realizados para desenvolver ambientes de simulação mais amigáveis para seus usuários (modeladores e tomadores de decisões). Técnicas de computação gráfica tem sido largamente utilizadas na interface com o usuário, tanto para a apresentação dos resultados da simulação em pós-processamento ou durante a experimentação, como para a construção de modelos de simulação através de editores gráficos. Desta forma, vários estudos na área de simulação têm sido direcionados para ambientes que ofereçam facilidades para a modelagem e experimentação, trazendo novos conceitos como simulação interativa visual (VIS - Visual Interactive Simulation) e modelagem interativa visual (VIM - Visual Interactive Modeling). A partir de estudos de diversos sistemas e ambientes de simulação, através de uma análise de seus recursos e facilidades disponíveis, são definidos de forma bem clara os conceitos de VIS e VIM. VIM se refere à construção do modelo de simulação com auxílio de recursos visuais e interativos na fase de modelagem, enquanto que VIS se refere a execução do modelo de simulação (usa a descrição gerada em VIM) através de recursos oferecidos na fase de experimentação. Desta forma, são estabelecidas as características desejáveis para ambientes de VIS e VIM. Com base nestes estudos foi identificada a ausência de um ambiente de simulação que integre os recursos de VIS e VIM, ao mesmo tempo, durante a experimentação do modelo. Deste modo, este trabalho propõe uma nova abordagem para ambientes de simulação que Integra propriedades e recursos encontrados em VIS e VIM. Esta nova abordagem, chamada VISM (Visual Interactive Simulation and Modeling), tem como objetivo o controle completo de todo o processo de simulação permitindo que o usuário tenha, ao mesmo tempo, controle sobre as tarefas de experimentação e possibilidade de modificação do modelo de simulação durante ela. Para permitir a validação desta nova abordagem, foi desenvolvido o ambiente VISME (Visual Interactive Simulation and Modeling Environment) que tem como característica principal o use de recursos visuais tanto na construção como experimentação do modelo. o ambiente VISME possui três módulos principais, totalmente integrados através de uma interface única: um diagrama de classes hierárquico para a construção da estrutura estática do modelo de simulação; um diagrama de estados para descrever o comportamento das entidades do modelo; e, um editor gráfico específico que permite construir o cenário (apresentação visual) do modelo utilizado na experimentação. Além destes módulos que dão suporte a fase de modelagem, o ambiente VISME possui todos os recursos necessários para experimentar com o modelo. Tais recursos, caracterizados por sua natureza gráfica e interativa, estão totalmente integrados com as ferramentas de modelagem. / In recent years, many efforts have been made to develop simulation environments that are more user friendly. Computer graphics techniques have been widely applied in user interface development, both for the presentation of simulation results in post-processing or during the experimentation and, for building models by means of graphic editors. On simulation several studies have aimed to develop environments that offer facilities for both modeling and experimentation, introducing concepts like Visual Interactive Simulation (VIS) and Visual Interactive Modeling (VIM). Based on studies of many systems and simulation environments, by analysis of their resources and facilities, the concepts of VIS and VIM are clearly defined. VIM refers to the construction of a simulation model by means of visual and interactive resources in the modeling phase, while VIS refers to the use of similar resources in the experimentation phase. This work presents the characteristics expected from VIS and VIM environments. Such study, allowed us to identify the lack of a simulation environment which integrates VIS and VIM resources at the same time during the model executation. This work proposes a new approach for simulation environments that integrates the properties and resources found in VIS and VIM. This new approach, called VISM (Visual Interactive Simulation and Modeling), aim to control the simulation process allowing the user to have at the same time control of the experimentation tasks and possibility of modifying the simulation model during the experimentation. To allow the validation of this new approach was developed the VISME environment (Visual Interactive Simulation and Modeling Environment). The VISME environment has as mainly characteristic the use of visual resources for construction and experimentation of the simulation model. The environment has three modules, fully integrated by a single interface: a hierarchical class diagram to construct the static structure of the simulation model; a state diagram to describe the behavior of the model entities; and, a specific graphical editor used to built the scenario of the model used in the experimentation. Besides these three modules which have support to the modeling phase, the VISME environment has all the resources to experiment with the model. These resources, of the visual and interactive nature, are totally integrated with the modeling tools.

Nos últimos anos, vários esforços têm sido realizados para desenvolver ambientes de simulação mais amigáveis para seus usuários (modeladores e tomadores de decisões). Técnicas de computação gráfica tem sido largamente utilizadas na interface com o usuário, tanto para a apresentação dos resultados da simulação em pós-processamento ou durante a experimentação, como para a construção de modelos de simulação através de editores gráficos. Desta forma, vários estudos na área de simulação têm sido direcionados para ambientes que ofereçam facilidades para a modelagem e experimentação, trazendo novos conceitos como simulação interativa visual (VIS - Visual Interactive Simulation) e modelagem interativa visual (VIM - Visual Interactive Modeling). A partir de estudos de diversos sistemas e ambientes de simulação, através de uma análise de seus recursos e facilidades disponíveis, são definidos de forma bem clara os conceitos de VIS e VIM. VIM se refere à construção do modelo de simulação com auxílio de recursos visuais e interativos na fase de modelagem, enquanto que VIS se refere a execução do modelo de simulação (usa a descrição gerada em VIM) através de recursos oferecidos na fase de experimentação. Desta forma, são estabelecidas as características desejáveis para ambientes de VIS e VIM. Com base nestes estudos foi identificada a ausência de um ambiente de simulação que integre os recursos de VIS e VIM, ao mesmo tempo, durante a experimentação do modelo. Deste modo, este trabalho propõe uma nova abordagem para ambientes de simulação que Integra propriedades e recursos encontrados em VIS e VIM. Esta nova abordagem, chamada VISM (Visual Interactive Simulation and Modeling), tem como objetivo o controle completo de todo o processo de simulação permitindo que o usuário tenha, ao mesmo tempo, controle sobre as tarefas de experimentação e possibilidade de modificação do modelo de simulação durante ela. Para permitir a validação desta nova abordagem, foi desenvolvido o ambiente VISME (Visual Interactive Simulation and Modeling Environment) que tem como característica principal o use de recursos visuais tanto na construção como experimentação do modelo. o ambiente VISME possui três módulos principais, totalmente integrados através de uma interface única: um diagrama de classes hierárquico para a construção da estrutura estática do modelo de simulação; um diagrama de estados para descrever o comportamento das entidades do modelo; e, um editor gráfico específico que permite construir o cenário (apresentação visual) do modelo utilizado na experimentação. Além destes módulos que dão suporte a fase de modelagem, o ambiente VISME possui todos os recursos necessários para experimentar com o modelo. Tais recursos, caracterizados por sua natureza gráfica e interativa, estão totalmente integrados com as ferramentas de modelagem. / In recent years, many efforts have been made to develop simulation environments that are more user friendly. Computer graphics techniques have been widely applied in user interface development, both for the presentation of simulation results in post-processing or during the experimentation and, for building models by means of graphic editors. On simulation several studies have aimed to develop environments that offer facilities for both modeling and experimentation, introducing concepts like Visual Interactive Simulation (VIS) and Visual Interactive Modeling (VIM). Based on studies of many systems and simulation environments, by analysis of their resources and facilities, the concepts of VIS and VIM are clearly defined. VIM refers to the construction of a simulation model by means of visual and interactive resources in the modeling phase, while VIS refers to the use of similar resources in the experimentation phase. This work presents the characteristics expected from VIS and VIM environments. Such study, allowed us to identify the lack of a simulation environment which integrates VIS and VIM resources at the same time during the model executation. This work proposes a new approach for simulation environments that integrates the properties and resources found in VIS and VIM. This new approach, called VISM (Visual Interactive Simulation and Modeling), aim to control the simulation process allowing the user to have at the same time control of the experimentation tasks and possibility of modifying the simulation model during the experimentation. To allow the validation of this new approach was developed the VISME environment (Visual Interactive Simulation and Modeling Environment). The VISME environment has as mainly characteristic the use of visual resources for construction and experimentation of the simulation model. The environment has three modules, fully integrated by a single interface: a hierarchical class diagram to construct the static structure of the simulation model; a state diagram to describe the behavior of the model entities; and, a specific graphical editor used to built the scenario of the model used in the experimentation. Besides these three modules which have support to the modeling phase, the VISME environment has all the resources to experiment with the model. These resources, of the visual and interactive nature, are totally integrated with the modeling tools.

Le manuel scolaire évolue avec le développement du numérique et propose de nouvelles ressources. Les illustrations ne sont plus statiques comme dans les manuels imprimés, mais fondées sur l’interactivité. Ces animations, schémas et cartes interactives ont une influence positive sur la mémorisation et la compréhension des élèves. De nombreux chercheurs spécialistes de l’apprentissage sur document multimédia ont fait ressortir ces effets positifs. D’après J. Sweller, l’apprentissage est favorisé dès lors que les documents pédagogiques permettent d’alléger la charge cognitive. J. Sweller a étudié les relations entre les processus de traitement de l’information et la présentation de l’information dans le document pédagogique. Selon la théorie de R.E. Mayer, le multimédia a des effets positifs sur l’apprentissage des élèves lorsque le document combine du texte et des illustrations. Ces nouvelles illustrations font également changer le rôle de l’élève qui n’est plus spectateur de l’image mais utilisateur. L’élève contrôle sa ressource en lui donnant une action. Il a ainsi la possibilité de faire apparaître les éléments qu’il souhaite sur une carte, les faire disparaître ou encore de prendre le temps dont il a besoin pour comprendre le sujet. Le premier objectif de cette thèse est de comprendre comment les enseignants s’approprient les manuels numériques et les illustrations interactives. Pour cela, deux enquêtes permettront de découvrir leurs usages. Le deuxième objectif est de déterminer, à partir d’expérimentations, si les illustrations interactives favorisent la mémorisation et la compréhension des élèves par rapport à une illustration statique. / The textbook evolves with the development of digital technology and proposes new resources. The illustrations are no longer static as in printed manuals, but based on interactivity. These animations, diagrams and interactive maps have a positive influence on students' memorization and understanding. Many researchers specializing in multimedia learning have highlighted these positive effects. According to J. Sweller, learning is favored when learning materials reduce the cognitive burden. J. Sweller studied the relationship between information processing processes and the presentation of information in the curriculum document. According to the theory of R.E. Mayer, multimedia has positive effects on student learning when the document combines text and illustrations. These new illustrations also change the role of the student who is no longer spectator of the image but user. The student controls his or her resource by giving it an action. He has the possibility to show the elements he wishes on a map, to make them disappear or to take the time he needs to understand the subject. The first objective of this thesis is to understand how teachers take digital textbooks and interactive illustrations. For this purpose, two surveys will reveal their uses. The second objective is to determine, from experiments, whether the interactive illustrations favor the memorization and understanding of students in relation to a static illustration.

Nos últimos anos, vários esforços têm sido realizados para desenvolver ambientes de simulação mais amigáveis para seus usuários (modeladores e tomadores de decisões). Técnicas de computação gráfica tem sido largamente utilizadas na interface com o usuário, tanto para a apresentação dos resultados da simulação em pós-processamento ou durante a experimentação, como para a construção de modelos de simulação através de editores gráficos. Desta forma, vários estudos na área de simulação têm sido direcionados para ambientes que ofereçam facilidades para a modelagem e experimentação, trazendo novos conceitos como simulação interativa visual (VIS - Visual Interactive Simulation) e modelagem interativa visual (VIM - Visual Interactive Modeling). A partir de estudos de diversos sistemas e ambientes de simulação, através de uma análise de seus recursos e facilidades disponíveis, são definidos de forma bem clara os conceitos de VIS e VIM. VIM se refere à construção do modelo de simulação com auxílio de recursos visuais e interativos na fase de modelagem, enquanto que VIS se refere a execução do modelo de simulação (usa a descrição gerada em VIM) através de recursos oferecidos na fase de experimentação. Desta forma, são estabelecidas as características desejáveis para ambientes de VIS e VIM. Com base nestes estudos foi identificada a ausência de um ambiente de simulação que integre os recursos de VIS e VIM, ao mesmo tempo, durante a experimentação do modelo. Deste modo, este trabalho propõe uma nova abordagem para ambientes de simulação que Integra propriedades e recursos encontrados em VIS e VIM. Esta nova abordagem, chamada VISM (Visual Interactive Simulation and Modeling), tem como objetivo o controle completo de todo o processo de simulação permitindo que o usuário tenha, ao mesmo tempo, controle sobre as tarefas de experimentação e possibilidade de modificação do modelo de simulação durante ela. Para permitir a validação desta nova abordagem, foi desenvolvido o ambiente VISME (Visual Interactive Simulation and Modeling Environment) que tem como característica principal o use de recursos visuais tanto na construção como experimentação do modelo. o ambiente VISME possui três módulos principais, totalmente integrados através de uma interface única: um diagrama de classes hierárquico para a construção da estrutura estática do modelo de simulação; um diagrama de estados para descrever o comportamento das entidades do modelo; e, um editor gráfico específico que permite construir o cenário (apresentação visual) do modelo utilizado na experimentação. Além destes módulos que dão suporte a fase de modelagem, o ambiente VISME possui todos os recursos necessários para experimentar com o modelo. Tais recursos, caracterizados por sua natureza gráfica e interativa, estão totalmente integrados com as ferramentas de modelagem. / In recent years, many efforts have been made to develop simulation environments that are more user friendly. Computer graphics techniques have been widely applied in user interface development, both for the presentation of simulation results in post-processing or during the experimentation and, for building models by means of graphic editors. On simulation several studies have aimed to develop environments that offer facilities for both modeling and experimentation, introducing concepts like Visual Interactive Simulation (VIS) and Visual Interactive Modeling (VIM). Based on studies of many systems and simulation environments, by analysis of their resources and facilities, the concepts of VIS and VIM are clearly defined. VIM refers to the construction of a simulation model by means of visual and interactive resources in the modeling phase, while VIS refers to the use of similar resources in the experimentation phase. This work presents the characteristics expected from VIS and VIM environments. Such study, allowed us to identify the lack of a simulation environment which integrates VIS and VIM resources at the same time during the model executation. This work proposes a new approach for simulation environments that integrates the properties and resources found in VIS and VIM. This new approach, called VISM (Visual Interactive Simulation and Modeling), aim to control the simulation process allowing the user to have at the same time control of the experimentation tasks and possibility of modifying the simulation model during the experimentation. To allow the validation of this new approach was developed the VISME environment (Visual Interactive Simulation and Modeling Environment). The VISME environment has as mainly characteristic the use of visual resources for construction and experimentation of the simulation model. The environment has three modules, fully integrated by a single interface: a hierarchical class diagram to construct the static structure of the simulation model; a state diagram to describe the behavior of the model entities; and, a specific graphical editor used to built the scenario of the model used in the experimentation. Besides these three modules which have support to the modeling phase, the VISME environment has all the resources to experiment with the model. These resources, of the visual and interactive nature, are totally integrated with the modeling tools.

Orientador: Yuzo Iano / Dissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de Computação / Made available in DSpace on 2018-08-15T10:41:57Z (GMT). No. of bitstreams: 1 VelardeAllazo_EdwarAndres_M.pdf: 3447132 bytes, checksum: 9d8a9e2dcb547707ecc88e6b25fbb79f (MD5) Previous issue date: 2009 / Resumo: Apresentam-se nesta dissertação as tecnologias necessárias para desenvolvimento de aplicações interativas na área m-government de TV digital móvel. Para o desenvolvimento, utiliza-se a parte declarativa de middleware Ginga (Sistema Brasileiro de Televisão Digital) e Lua como linguagem imperativa. Essa linguagem permite realizar processamento matemático, manipulação de dados e principalmente o uso de canal de interatividade. O Ginga NCL é obrigatório em dispositivos portáteis numa plataforma particular nesses dispositivos. A presente proposta visa a seu uso num cenário destinado ao diálogo entre o governo e a população. / Abstract: This work presents the technologies required for the implementation of interactive applications in the m-government area of mobile digital TV. For that development, we use the declarative environment of Ginga middleware of the Brazilian Digital Television System (SBTVD). Besides we use Lua as an imperative language that allows mathematical processing, data handling and, especially, the application of an interactivity channel. In order to provide interaction, the use of Gin-ga-NCL is required for portable devices on a particular platform. The present proposal aims at employing it in a scenario set to the dialogue between government and population. / Mestrado / Telecomunicações e Telemática / Mestre em Engenharia Elétrica

The practical part of my thesis - Interactive Electronic Book for Children – is the book titled The Story of a tree. The application contains the author's text, which tells the story about the old tree that lives its own life and also comes alive all around him. The text is completed by illustrations that are created by combining techniques (line drawing, watercolor, photography) and digitally edited. Some illustrations are animated, others require the interaction of the reader, to set in motion, a sound, etc. Each page contains sound or music.