Softwaresysteme sind komplexe immaterielle Systeme mit einer Vielzahl von Bestandteilen und Beziehungen. Um den Aufbau, die Funktionsweise und die Entwicklung von Softwaresystemen besser zu verstehen, eignen sich Softwarevisualisierungen, welche die abstrakte Datengrundlage in eine visuelle Repräsentation übertragen. Auf Grund der Masse und der Komplexität der in der Visualisierung enthaltenen Informationen, kommt es schnell zur Unübersichtlichkeit, was sich negativ auf den Prozess des Verstehens auswirkt. Zur Beherrschung der Komplexität muss der Betrachter daher die Gesamtheit zuerst in mehrere Perspektiven unterteilen, um diese anschließend gezielt nach verschiedenen Aspekten untersuchen zu können. Die dafür benötigten Interaktionsmöglichkeiten sind Gegenstand der Untersuchungen in dieser Arbeit, wobei im Wesentlichen Visualisierungen der Struktur von Software als Ausgangspunkt genutzt werden. Insbesondere wird der Frage nachgegangen, wie die Interaktion gestaltet werden kann, damit der Benutzer ein möglichst umfassendes Verständnis der Struktur erlangt. Zur Umsetzung der theoretischen Erkenntnisse wird ein Prototyp vorgestellt, der automatisiert aus den Strukturinformationen eines Ecore-Modells eine interaktive dreidimensionale Softwarevisualisierung der Struktur im freien standardisierten Format Extensible 3D generiert. Der Prozess der Visualisierung wird dabei durch Werkzeuge des openArchitectureWare-Frameworks realisiert. Zur Integration in den Entwicklungsprozess ist der Prototyp in ein Plugin für Eclipse eingebettet.:1 Einleitung 1.1 Motivation 1.2 Ziele 1.3 Aufbau 2 Softwarevisualisierung 2.1 Visualisierung 2.1.1 Grundlagen 2.1.2 Aufgaben und Ziele 2.1.3 Teilgebiete 2.2 Definition 2.3 Ziele und Aufgaben 2.4 Visualisierungspipeline 2.5 Visualisierungstechniken 2.5.1 Graphen 2.5.2 Visuelle Metaphern 2.6 Taxonomie für Softwarevisualisierungen 3 Interaktion mit einer Softwarevisualisierung 3.1 Einordnung 3.2 Definition 3.3 Ziele 3.4 Benutzungsschnittstelle 3.5 Aufbau der Benutzungsschnittstelle 3.5.1 Anwendungsschnittstelle 3.5.2 Dialogschnittstelle 3.5.3 Ein-/Ausgabenschnittstelle 3.6 Interaktionstechnik 3.7 Taxonomie der Interaktionstechniken 3.8 Konzept zur Interaktion mit einer Softwarevisualisierung 4 Technische Grundlagen des Prototyps 4.1 Eclipse 4.2 Das openArchitectureWare-Framework 4.2.1 Modellgetriebene Softwareentwicklung 4.2.2 Aufbau des Frameworks 4.2.3 oAW-Workflow 4.2.4 Ecore 4.2.5 Xtend Modell-zu-Modell-Transformationen 4.3 Extensible 3D 4.3.1 Grundlagen 4.3.2 Szenegraph 4.3.3 Ereignismodell 4.3.4 X3D-Prototypen 5 Basisprototyp 5.1 Funktionsweise 5.2 Einordnung 5.3 Visualisierungsprozess des Generators 5.3.1 Modelltransformation von Ecore zu Graph 5.3.2 Modellmodifikation des Graphen 5.3.3 Modelltransformation von Graph zu X3D 5.4 Ansatzpunkte der Erweiterung 6 Erweiterung des Prototyps für die Interaktion 6.1 Benutzungsschnittstelle 6.1.1 Direkte Manipulation 6.1.2 Manipulation nach Elementtyp 6.1.3 Navigation durch Pakethierarchie und Klassengraph 6.1.4 Identifikation nach Bezeichner und Tooltip 6.2 Architektur des interaktiven X3D-Modells 6.3 Erweiterung des Generators 6.3.1 Anpassung der Transformationen des Basisprototyps 6.3.2 Modelltransformation in ein interaktives X3D-Modell 6.4 Integration in das Eclipse-Plugin 7 Fazit und Ausblick

Since the introduction of programmable Graphics Processing Units (GPUs) and procedural shaders, hardware vendors have each developed their own individual real-time shading language standard. None of these shading languages is fully platform independent. Although this real-time programmable shader technology could be developed into 3D application on a single system, this platform dependent limitation keeps the shader technology away from 3D Internet applications. The primary purpose of this dissertation is to design a framework for translating different shader formats to platform independent shaders and embed them into the eXtensible 3D (X3D) scene for 3D web applications. This framework includes a back-end core shader converter, which translates shaders among different shading languages with a middle XML layer. Also included is a shader library containing a basic set of shaders that developers can load and add shaders to. This framework will then be applied to some applications in Biomolecular Visualization.

Η εργασία αυτή επικεντρώνεται στις τεχνολογίες τρισδιάστατης απεικόνισης στο διαδίκτυο. Αρχικά δίνεται μια σύντομη επισκόπηση των κυριότερων αντιπροσώπων των τεχνολογιών αυτών παρουσιάζοντας τα διακριτά χαρακτηριστικά τους. Στη συνέχεια, έχοντας πλέον περιγράψει τις δυνατότητες της τεχνολογίας αυτής, παρουσιάζεται η υλοποίηση ενός συστήματος που συνδυάζει στοιχεία της τεχνολογίας X3D με αυτή της HTML. Η εφαρμογή έχει ως στόχο να αναδείξει τις δυνατότητες συνεργασίας των δύο αυτών τεχνολογιών τόσο μεταξύ τους όσο και σε επίπεδο αλληλεπίδρασης με το χρήστη. / This study is focused on web 3D technologies. Starting with a short review of current major web 3D technology representatives, highlighting their distinct characteristics. Following, having all major capabilities of web 3D technology described, a system that combines X3D and HTML technologies is presented. This application aims on advancing the X3D and HTML unification benefits on internal and user interaction.

Approved for public release, distribution is unlimited / Modern technology is making virtual environments a part of daily life. However, some constraints about the usage of virtual environments, such as the need for high performance and well-configured computers, prevent users from accessing virtual environments in some places other than special computer rooms. Mobile devices may be used to solve this limitation in a virtual environment. The remote-control approach to access virtual worlds on the Internet or on a corporate network is a new concept that opens new doors to users. First step of this approach is already in use, such as games implemented for mobile devices using the screen of a mobile device as display, and has given satisfying results for some users. This research will take the user, who not only wants to be mobile but also does not want to sacrifice high resolution textures and complex models, closer to his/her goal. Mobile devices provide mobility to the user, but sacrifice not only the reality of the virtual environments but also screen size, which is very important for visibility of complex virtual environments. The hybrid approach with wireless internet connection by using mobile devices as remote control gives the user the advantages of mobility over desktop PCs. On the other hand, the realism provided by high-quality PCs on the server side exceeds the capabilities of mobile devices. / Lieutenant Junior Grade, Turkish Navy

Approved for public release, distribution is unlimited / This research involves the development of a human-body motion tracking system constructed with the use of commercial off-the-shelf (COTS) components. The main component of the system investigated in this thesis is the Control Interface Unit (CIU). The CIU is a component designed to receive data from the magnetic, angular rate, and gravity (MARG) sensors and prepare them to be transmitted through a wireless configuration. A simple and effective algorithm is used to filter the sensor data without singularities, providing the measured attitude in the quaternion form for each human limb. Initial calibration of the MARG sensors is also performed with the use of linear calibrating algorithms. The testing and evaluation of the whole system is performed by MATLABʼ and SIMULINKʼ simulations, and by the realtime visualization using a human avatar designed with the X3D graphics specifications. Through this research, it is discovered that the MARG sensors had to be redesigned to overcome an erratum on the Honeywell magnetometer HMC1051Z data sheet. With the redesigned MARG sensors, the testing results showed that the CIU was performing extremely well. The overall motion tracking system is capable of tracking human body limb motions in real time. / Lieutenant Junior Grade, Hellenic Navy

While semantic web data is machine-understandable and well suited for advanced filtering, in its raw representation it is not conveniently understandable to humans. Therefore, visualization is needed. A core challenge when visualizing the structured but heterogeneous data turned out to be a flexible mapping to Visual Variables. This work deals with a highly flexible, semi-automatic solution with a maximum support of the visualization process, reducing the mapping possibilities to a useful subset. The basis for this is knowledge, concerning metrics and structure of the data on the one hand and available visualization structures, platforms and common graphical facts on the other hand — provided by a novel basic visualization ontology. A declarative, platform-independent mapping vocabulary and a framework was developed, utilizing current standards from the semantic web and the Model-Driven Architecture (MDA). / Während Semantic-Web-Daten maschinenverstehbar und hervorragend filterbar sind, sind sie — in ihrer Rohform — nicht leicht von Menschen verstehbar. Eine Visualisierung der Daten ist deshalb notwendig. Die Kernherausforderung dabei ist eine flexible Abbildung der strukturierten aber heterogenen Daten auf Visuelle Variablen. Diese Arbeit beschreibt eine hochflexible halbautomatische Lösung bei maximaler Unterstützung des Visualisierungsprozesses, welcher die Abbildungsmöglichkeiten, aus denen der Nutzer zu wählen hat, auf eine sinnvolle Teilmenge reduziert. Die Grundlage dafür sind einerseits Metriken und das Wissen über die Struktur der Daten und andererseits das Wissen über verfügbare Visualisierungsstrukturen, -plattformen und bekannte grafische Fakten, welche durch eine neuentwickelte Visualisierungsontologie bereitgestellt werden. Basierend auf Standards des Semantic Webs und der Model-getriebenen Architektur, wurde desweiteren ein deklaratives, plattformunabhängiges Visualisierungsvokabular und -framework entwickelt.

While semantic web data is machine-understandable and well suited for advanced filtering, in its raw representation it is not conveniently understandable to humans. Therefore, visualization is needed. A core challenge when visualizing the structured but heterogeneous data turned out to be a flexible mapping to Visual Variables. This work deals with a highly flexible, semi-automatic solution with a maximum support of the visualization process, reducing the mapping possibilities to a useful subset. The basis for this is knowledge, concerning metrics and structure of the data on the one hand and available visualization structures, platforms and common graphical facts on the other hand — provided by a novel basic visualization ontology. A declarative, platform-independent mapping vocabulary and a framework was developed, utilizing current standards from the semantic web and the Model-Driven Architecture (MDA).:ABSTRACT S. x 1. INTRODUCTION S. 1 2. VISUALIZATION OF STRUCTURED DATA IN GENERAL S. 4 2.1. Global and Local Interfaces S. 4 2.2. Steps of the Visualization Process S. 4 2.3. Existing Visual Selection Mechanisms S. 6 2.4. Existing Visualizations of Structured Data S. 12 2.5. Categorizing SemVis S. 25 3. REQUIREMENTS FOR A FLEXIBLE VISUALIZATION S. 27 3.1. Actors S. 27 3.2. Use Cases S. 27 4. FRESNEL, A STANDARD DISPLAY VOCABULARY FOR RDF S. 31 4.1. Fresnel Lenses S. 31 4.2. Fresnel Formats S. 33 4.3. Fresnel Groups S. 33 4.4. Primaries (Starting Points) S. 33 4.5. Selectors and Inference S. 34 4.6. Application and Reusability S. 34 4.7. Implementation S. 35 5. A VISUALIZATION ONTOLOGY S. 37 5.1. Describing and Formalizing the Field of Visualization S. 37 5.2. Overview S. 37 5.3. VisualVariable S. 38 5.4. DiscreteVisualValue S. 39 5.5. VisualElement S. 41 5.6. VisualizationStructure S. 42 5.7. VisualizationPlatform S. 42 5.8. PresentationScenario S. 43 5.9. Facts S. 44 6. A NOVEL MAPPING VOCABULARY FOR SEMANTIC VISUALIZATION S. 45 6.1. Overview S. 45 6.2. Mapping S. 46 6.3. PropertyMapping S. 47 6.4. ImplicitMapping S. 48 6.5. ExplicitMapping S. 53 6.6. MixedMapping S. 54 6.7. ComplexMapping S. 55 6.8. Inference S. 58 6.9. Explicit Display of Relations S. 58 6.10. Limitations s. 59 7. A MODEL-DRIVEN ARCHITECTURE FOR FLEXIBLE VISUALIZATION S. 60 7.1. A Model-Driven Architecture S. 61 7.2. Applications of the MDA Pattern S. 62 7.3. Complete System Overview S. 71 7.4. Additional Knowledge of the System S. 72 7.5. Comparison to the Graphical Modelling Framework — GMF S. 77 8. VISUALIZATION PLATFORMS S. 80 8.1. Extensible 3D (X3D) S. 80 8.2. Scalable Vector Graphics (SVG) S. 81 8.3. XHTML + CSS S. 82 8.4. Text S. 82 9. OUTLOOK AND CONCLUSION S. 84 9.1. Advanced Mapping Vocabulary S. 84 9.2. Reusing Standardized Ontologies S. 84 9.3. Enabling Dynamic, Interaction and Animation S. 84 9.4. Implementation and Evaluation S. 85 9.5. Conclusion S. 85 GLOSSARY S. 86 BIBLIOGRAPHY S. 87 A. S. 90 A.1. Schemata S. 90 / Während Semantic-Web-Daten maschinenverstehbar und hervorragend filterbar sind, sind sie — in ihrer Rohform — nicht leicht von Menschen verstehbar. Eine Visualisierung der Daten ist deshalb notwendig. Die Kernherausforderung dabei ist eine flexible Abbildung der strukturierten aber heterogenen Daten auf Visuelle Variablen. Diese Arbeit beschreibt eine hochflexible halbautomatische Lösung bei maximaler Unterstützung des Visualisierungsprozesses, welcher die Abbildungsmöglichkeiten, aus denen der Nutzer zu wählen hat, auf eine sinnvolle Teilmenge reduziert. Die Grundlage dafür sind einerseits Metriken und das Wissen über die Struktur der Daten und andererseits das Wissen über verfügbare Visualisierungsstrukturen, -plattformen und bekannte grafische Fakten, welche durch eine neuentwickelte Visualisierungsontologie bereitgestellt werden. Basierend auf Standards des Semantic Webs und der Model-getriebenen Architektur, wurde desweiteren ein deklaratives, plattformunabhängiges Visualisierungsvokabular und -framework entwickelt.:ABSTRACT S. x 1. INTRODUCTION S. 1 2. VISUALIZATION OF STRUCTURED DATA IN GENERAL S. 4 2.1. Global and Local Interfaces S. 4 2.2. Steps of the Visualization Process S. 4 2.3. Existing Visual Selection Mechanisms S. 6 2.4. Existing Visualizations of Structured Data S. 12 2.5. Categorizing SemVis S. 25 3. REQUIREMENTS FOR A FLEXIBLE VISUALIZATION S. 27 3.1. Actors S. 27 3.2. Use Cases S. 27 4. FRESNEL, A STANDARD DISPLAY VOCABULARY FOR RDF S. 31 4.1. Fresnel Lenses S. 31 4.2. Fresnel Formats S. 33 4.3. Fresnel Groups S. 33 4.4. Primaries (Starting Points) S. 33 4.5. Selectors and Inference S. 34 4.6. Application and Reusability S. 34 4.7. Implementation S. 35 5. A VISUALIZATION ONTOLOGY S. 37 5.1. Describing and Formalizing the Field of Visualization S. 37 5.2. Overview S. 37 5.3. VisualVariable S. 38 5.4. DiscreteVisualValue S. 39 5.5. VisualElement S. 41 5.6. VisualizationStructure S. 42 5.7. VisualizationPlatform S. 42 5.8. PresentationScenario S. 43 5.9. Facts S. 44 6. A NOVEL MAPPING VOCABULARY FOR SEMANTIC VISUALIZATION S. 45 6.1. Overview S. 45 6.2. Mapping S. 46 6.3. PropertyMapping S. 47 6.4. ImplicitMapping S. 48 6.5. ExplicitMapping S. 53 6.6. MixedMapping S. 54 6.7. ComplexMapping S. 55 6.8. Inference S. 58 6.9. Explicit Display of Relations S. 58 6.10. Limitations s. 59 7. A MODEL-DRIVEN ARCHITECTURE FOR FLEXIBLE VISUALIZATION S. 60 7.1. A Model-Driven Architecture S. 61 7.2. Applications of the MDA Pattern S. 62 7.3. Complete System Overview S. 71 7.4. Additional Knowledge of the System S. 72 7.5. Comparison to the Graphical Modelling Framework — GMF S. 77 8. VISUALIZATION PLATFORMS S. 80 8.1. Extensible 3D (X3D) S. 80 8.2. Scalable Vector Graphics (SVG) S. 81 8.3. XHTML + CSS S. 82 8.4. Text S. 82 9. OUTLOOK AND CONCLUSION S. 84 9.1. Advanced Mapping Vocabulary S. 84 9.2. Reusing Standardized Ontologies S. 84 9.3. Enabling Dynamic, Interaction and Animation S. 84 9.4. Implementation and Evaluation S. 85 9.5. Conclusion S. 85 GLOSSARY S. 86 BIBLIOGRAPHY S. 87 A. S. 90 A.1. Schemata S. 90

Approved for public release, distribution is unlimited / alities. The extensible Markup Language (XML) is used for data storage and message exchange, Extensible 3D (X3D) Graphics for visualization and XML Schema-based Binary Compression (XSBC) for data compression. The AUV Workbench provides an intuitive cross-platform-capable tool with extensibility to provide for future enhancements such as agent-based control, asynchronous reporting and communication, loss-free message compression and built-in support for mission data archiving. This thesis also investigates the Jabber instant messaging protocol, showing its suitability for text and file messaging in a tactical environment. Exemplars show that the XML backbone of this open-source technology can be leveraged to enable both human and agent messaging with improvements over current systems. Integrated Jabber instant messaging support makes the NPS AUV Workbench the first custom application supporting XML Tactical Chat (XTC). Results demonstrate that the AUV Workbench provides a capable testbed for diverse AUV technologies, assisting in the development of traditional single-vehicle operations and agent-based multiple-vehicle methodologies. The flexible design of the Workbench further encourages integration of new extensions to serve operational needs. Exemplars demonstrate how in-mission and post-mission event monitoring by human operators can be achieved via simple web page, standard clients or custom instant messaging client. Finally, the AUV Workbench's potential as a tool in the development of multiple-AUV tactics and doctrine is discussed. / Civilian, Singapore Defence Science and Technology Agency