Master of Science / Department of Computer Science / Mitchell L. Neilsen / Smart glasses, like smart phones, have separate operating systems, and can execute many different kinds of software and games. Smart glasses can be used to add a schedule, map navigation, interact with friends, take photos and videos, and make video calls with friends through voice control. They can support wireless network access through a mobile communication network. Bluetooth is a radio technology that supports short-range communication between of the devices. It can exchange information between devices including mobile phones, wireless headsets, laptops, etc. Bluetooth technology can effectively simplify the communication between mobile devices. This thesis focuses on smart glasses applications for high-throughput phenotyping which requires a data monitor, data synchronization, Bluetooth service, and voice control between devices. On the Android side, the application, which is extended, is called Field Book. The new software called Field Book AR, includes a data monitor module and a Bluetooth server module to achieve data exchange with smart glasses. On the smart glasses side, the application is called DataReceiver. It receives voice commands from users and controls the actions of Field Book AR. Also, when Field Book detects data changing, it accepts new data and shows changes to the users.

Localization is critical to a number of wireless network applications. In many situations GPS is not suitable. This dissertation (i) develops novel localization schemes for wireless networks by explicitly incorporating mobility information and (ii) applies localization to physical analytics i.e., understanding shoppers' behavior within retail spaces by leveraging inertial sensors, Wi-Fi and vision enabled by smart glasses. More specifically, we first focus on multi-hop mobile networks, analyze real mobility traces and observe that they exhibit temporal stability and low-rank structure. Motivated by these observations, we develop novel localization algorithms to effectively capture and also adapt to different degrees of these properties. Using extensive simulations and testbed experiments, we demonstrate the accuracy and robustness of our new schemes. Second, we focus on localizing a single mobile node, which may not be connected with multiple nodes (e.g., without network connectivity or only connected with an access point). We propose trajectory-based localization using Wi-Fi or magnetic field measurements. We show that these measurements have the potential to uniquely identify a trajectory. We then develop a novel approach that leverages multi-level wavelet coefficients to first identify the trajectory and then localize to a point on the trajectory. We show that this approach is highly accurate and power efficient using indoor and outdoor experiments. Finally, localization is a critical step in enabling a lot of applications --- an important one is physical analytics. Physical analytics has the potential to provide deep-insight into shoppers' interests and activities and therefore better advertisements, recommendations and a better shopping experience. To enable physical analytics, we build ThirdEye system which first achieves zero-effort localization by leveraging emergent devices like the Google-Glass to build AutoLayout that fuses video, Wi-Fi, and inertial sensor data, to simultaneously localize the shoppers while also constructing and updating the product layout in a virtual coordinate space. Further, ThirdEye comprises of a range of schemes that use a combination of vision and inertial sensing to study mobile users' behavior while shopping, namely: walking, dwelling, gazing and reaching-out. We show the effectiveness of ThirdEye through an evaluation in two large retail stores in the United States. / text

User attitude and their perceptions are increasingly being explored by a variation of methods. This thesis addresses the perception that one might have for employing smart glasses as a potential online educational tool. Furthermore, it explores the challenges that are associated with designing educational apps for smart glasses as a medium for e-learning in general. For addressing and identifying these challenges and exploring user attitude, this thesis employs two different approaches. Firstly, by identifying the current challenges associated with e-learning in literature-related studies and secondly, based on the related literature surrounding the topic of e-learning and augmented reality, this thesis conducts a field study using semi-structured interviews. This study proposes the final conclusion based on the field study and by reviewing identified challenges in literature.

Les dispositifs mobiles tels que les smartphones, les montres connectées ou les lunettes électroniques ont révolutionné la façon dont nous interagissons. Les lunettes électroniques nous intéressent, car elles fournissent aux utilisateurs une vision simultanée des mondes physique et numérique. Cependant, l’interaction sur les lunettes électroniques n’est pas bien explorée. L’amélioration de l’interaction sur ce dispositif peut convaincre les utilisateurs à l’utiliser plus dans la vie quotidienne. Le sujet de thèse est focalisé sur l’étude et le développement de nouvelles techniques d'interaction avec les lunettes électroniques. En effet, il n'est pas possible d'interagir aussi finement en mobilité ou en situation d'urgence par rapport à une situation stable telle qu’assis devant un bureau. Notre contexte de travail se situe dans le domaine de la santé et en particulier celui du personnel médical visitant un patient dans un hôpital. Le personnel médical doit pouvoir accéder aux données du patient déjà collectées, obtenir des données physiologiques en temps réel, préparer son diagnostic et communiquer avec ses collègues. Le verrou scientifique pour la thèse ici est de trouver des solutions qui permettent au personnel médical de réaliser ces tâches de façon plus précise et moins contraignante. Le but est de rendre plus efficace le diagnostic et le partage d’informations et de faire d'un dispositif encore non maîtrisé un outil fonctionnel en milieu professionnel de la santé. Dans cette optique, les travaux de cette thèse présentent des contributions théoriques et applicatives. Nous avons tout d’abord répertorié les différents travaux effectués dans le cadre des lunettes électroniques pour le domaine de la santé, tout en indiquant le potentiel, les résultats pertinents et les limites. Nous nous sommes focalisés sur les lunettes électroniques pour afficher et manipuler les dossiers patients. D’un point de vue conceptuel, nous avons proposé un espace de conception à huit dimensions pour identifier les lacunes dans les systèmes existants et aider à la conception de nouveaux systèmes. D’un point de vue applicatif, en interaction en sortie, nous avons introduit une technique appelée K-Fisheye sur une interface à tuiles qui permet de parcourir un grand ensemble de données comme celui présent dans le dossier patient. Nous avons utilisé ensuite l’espace de conception pour porter un système existant sur les lunettes électroniques. Le prototype obtenu s’appelle mCAREglass. En interaction en entrée, nous avons exploré quatre techniques de pointage sur les lunettes électroniques avec la norme ISO 9241-411 pour sélectionner les techniques qui ne sont pas contraignantes pour naviguer dans le dossier patient. Ensuite, nous avons conçu une nouvelle technique d’entrée de texte appelé TEXTile qui permet de saisir du texte sur un tissu interactif communiquant avec les lunettes. / Mobile devices such as smartphones, smartwatches or smart glasses have revolutionized how we interact. We are interested in smart glasses because they have the advantage of providing a simultaneous view of both the physical and the digital worlds. However, the interaction for smart glasses is not well explored. More suitable interactions on this device can convince users to use it more in everyday life. The thesis subject is focused on the study and development of new interaction techniques with smart glasses. Indeed, it is not possible to interact so finely in mobility or in an emergency situation compared to a stable situation such as sitting in front of a desktop. The work context is in the health field and in particular a healthcare professional visiting his patient in a hospital. The professional must be able to access the patient's data already collected, obtain physiological data in real time, prepare his diagnosis and communicate with his colleagues. The scientific problem for the thesis here is to find solutions that allow him to perform these tasks in a more precise and less restrictive way. The goal is to make the diagnosis and information sharing more effective and to make a device still uncontrolled a functional system in a professional healthcare environment. In this perspective, the work of this thesis presents theoretical and applicative contributions. We first listed the various work performed in the context of smart glasses for the health field, while indicating potential, relevant results and limitations. We focused on smart glasses to visualize and manipulate patient records. From a conceptual point of view, we have proposed an eight-dimensional design space to identify gaps in existing systems and assist in the design of new systems. From an application point of view, for output interaction, we introduced a technique called K-Fisheye on a tile-based interface that allows the user to browse a large dataset like in the health record. We used the design space to adapt an existing system for the smart glasses. The prototype obtained called mCAREglass. For input interactions, we studied four pointing techniques on smart glasses. We used the ISO 9241-411 standard to select techniques easy to use for exploring the health record. Finally, we designed a new text entry technique called TEXTile by using a new interactive fabric communicating with glasses.

In recent years wearable devices have been advancing at a rapid pace and one of the largest growing segments is the smart glass segment. In this thesis the feasibility of today’s ARM-based smart glasses are evaluated for automatic license plate recognition (ALPR). The license plate is by far the most prominent visual feature to identify a spe- cific vehicle, and exists on both old and newly produced vehicles. This thesis propose an ALPR system based on a sequence of vertical edge detection, a cascade classifier, verti- cal and horizontal projection as well as a general purpose optical character recognition library. The study further concludes that the optimal input resolution for license plate detection using vertical edges is 640x360 pixels and that the license plate need to be at least 20 pixels high or the characters 15 pixels high in order to successfully segment the plate and recognize each character. The separate stages were successfully implemented into a complete ALPR system that achieved 79.5% success rate while processing roughly 3 frames per second when running on a pair of Google Glass. / Under de senaste åren har området wearables avancerat i snabb takt, och ett av de snabbast växande segmenten är smarta glaögon. I denna examensuppsats utvärderas lämpligheten av dagens ARM-baserade smarta glasögon med avseende på automatisk registreringsskyltigenkänning. Registreringsskylten är den i särklass mest framträdande visuella egenskapen som kan användas för att identifiera ett specifikt fordon, och den finns på både gamla och nyproducerade fordon. Detta examensarbete föreslår ett system för automatisk registreringsskyltigenkänning baserat på en följd av vertikal kantdetektering, en kaskad av boostade klassificerare, vertikal och horisontell projektion samt ett optiskt teckenigenkänningsbibliotek. Studien konstaterar vidare att den optimala upplösningen för registreringsskyltdetektion med hjälp av vertikala kanter på smarta glasögonär 640x360 pixlar och att registreringsskylten måste vara minst 20 pixlar hög eller tecknen 15 pixlar höga för att registreringsskylten framgångsrikt skall kunna segmenteras samt tecken identifieras. De separata stegen implementerades framgångsrikt till ett system för automatisk registreringsskyltigenkänning på ett par Google Glass och lyckades känna igen 79,5% av de testade registreringsskyltarna, med en hastighet av ungefär 3 bilder per sekund.

It is widely considered that in-store shopping is a repetitive yet vital activity in human life. People are accustomed to making shopping lists on a piece of paper or on their mobile phones, or more commonly, memorizing the list in their minds. However, people tend to forget the items they want to buy if they cannot write them down immediately when they have the shopping demand, let alone keeping the list in their minds. Some work has started to help people resolve this problem, yet most of them are based on smartphones and are focused on riching add-on functions of the shopping list applications instead of allowing real-time recording. Namely, these existing shopping-list systems cannot let people record items and satisfy their information needs while minimizing the intervention to their ongoing activities. In this study, a new Augmented Reality (AR) solution named AR Shopping List was proposed. It is a smart-glasses application that allows users to add items at any time and place and with arbitrary input formats (photos, videos, and voice to text). We conducted semi-structured interviews with twelve participants aged from 20 to 30 by letting them experience the AR Shopping List app themselves on Microsoft HoloLens (1st gen). Our interviews reveal that the AR Shopping List realizes real-time recording, and therefore releases people’s hands from touching a physical device when making a list. It also shows the app’s potential in helping people reduce the opportunity of forgetting something to buy, as well as shopping more targeted. Furthermore, this research sheds light on future designs on smart-glasses applications for assisting people in recording and remembering items, building a new memorizing habit, and further functioning as people’s working memory expansion. / Trots att det är repetitivt att handla i butik så anses det allmänt vara en vital del av vardagen. Det är vanligt förekommande att inköpslistor skrivs ner på ett paper eller på en mobiltelefon, men även att memorera inköpslistor är vanligt förekommande. Att memorera en inköpslista är dock svårt, och det är ofta viktigt att skriva ner varor som behöver införskaffas, så fort behovet att köpa varorna uppstår. Några metoder har tagits fram för att lösa detta problem, men de flesta av dessa metoder är till för att användas på mobiltelefoner och fokuserar främst på att lägga till funktioner för att skapa avancerade inköpslistor, istället för att tillåta skapandet av listor i realtid. Framförallt så kan de existerande systemen för att skapa inköpslistor inte registrera varor och tillfredsställa användarens andra behov, utan att användarens pågående aktiviteter påverkas. I denna studie presenteras en ny lösning kallad AR Shopping List baserad på Augmented Reality (AR). Det är en applikation för smarta glasögon som tillåter användare att lägga till varor när som helst och var som helst, med godtyckligt format (bilder, videor och text genererad med rösten). Vi genomförde semistrukturerade intervjuer där tolv deltagare i åldrarna 20 till 30 år, fick prova på att använda AR Shopping List applikationen på en Microsoft HoloLens (första generationen). Våra intervjuer visar att AR Shopping List kan skapa inköpslistor i realtid, utan att användarna behöver använda en fysisk enhet. De visar även potentialen som applikationen har för att minska antalet tillfällen där varor som behöver köpas in glöms bort, samt potentialen för mer riktade inköp. Dessutom belyser denna rapport designen för framtida applikationer till smarta glasögon för att underlätta skapandet av inköpslistor, bygga upp nya minnesvanor, och för att utöka det aktiva minnet.

Die dynamische Entwicklung mobiler Systeme macht es erforderlich, adaptive Informationen auf der Grundlage der Position von Objekten bereitzustellen. Im Anwendungsgebiet der Indoor Positioning, bei dem die Signale des globalen Navigationssatellitensystems nicht erreichbar sind, existiert bisher keine Standardlösung für die optimale Umsetzung. Im Rahmen dieser Arbeit wird die Umsetzung anhand von realen und abstrakten Systemen für die adaptive und mobile Bereitstellung von Informationen analysiert und in Bezug auf den medizinischen Bereich vertieft. Dementsprechend wird die Integration mehrerer Positionierungsverfahren in ein System zur Nutzung von Smart Glasses implementiert. Der Entwurf- und Implementierungsprozess basiert auf einer Analyse aktueller Lösungen und Methoden. Abschließend ist das Konzept mit Hilfe einer Anforderungsanalyse, einer Evaluationsstrategie und einer Simulationsumgebung untersucht worden.:1. Einleitung 1 2. Adaptive, mobile Informationsbereitstellung 5 3. Indoor Positioning 10 4. Analyse 18 5. Design und Realisierung 25 6. Evaluation 33 7. Diskussion und Fazit 36

Smarta och hjälpsamma teknologier kommer ut varje år och blir snabbt en del avvår vardag. Teknologierna blir mer och mer medvetna om när och var vi behöverdem och stödjer oss i att nå personliga mål såsom att ta cykeln istället för bilen tilljobbet. Dock har dessa teknologier begränsad funktionalitet när vi inte interagerarmed dem, vilket resulterar i att vi behöver interagera med dem och förlorar fokusfrån andra uppgifter.Vi tror att det ett decennium fram kommer att finnas enkla applikationsgränssnitti glasögon med förstärkt verklighet (AR-glasögon). Förstärkt verklighet kan vara ettkraftfullt verktyg för att skapa ett skikt över den riktiga världen så önskar vi ocksåatt gränssnitten inte stör upplevelsen av den riktiga världen.I denna studie har vi undersökt vilka möjligheter det finns i att skicka visuellastimuli till en användare på ett subtilt eller subliminalt sätt. Slutsatsen är att detinte uppenbarligen går att säga att det visuella stimuli i systemet somimplementerades i denna studie var subliminalt. Dock så kunde vi dra slutsatsenatt tiden det tar att upptäcka ett visuellt stimuli som gradvis ökar med tiden skiljersig mellan användare och att användare är mer benägna att fokusera på objekt somär placerade i ögonhöjd, vilket bör beaktas när man ska bestämma vart visuellastimuli ska placeras. / Smart and helpful technologies are released every year and are quick to become partof our everyday lives. Technologies are becoming more aware of when and where weneed them and help us to achieve personal goals, such as taking the bike instead ofthe car to work. Still, many of these smart technologies have only limitedfunctionality without us interacting with them, resulting in us having to interactwith them and losing focus on other tasks.We believe that a decade from now, some future application interfaces will reside inaugmented reality smart glasses. While augmented reality can be a powerful toolwhen overlaying the real world, we also wish that the augmented reality interfacesdo not break the immersion of everyday life.In this study, we have explored the possibilities of sending visual cues to a user in asubtle or even a subliminal way in an augmented reality setting. In conclusion, thereis no obvious answer to whether a cue in the system that was implemented in thisstudy was subliminal. However, we found that the time it took to perceive a cue thatgradually intensifies with time differed between people and that people are moreinclined to focus on objects placed at an eye-level height which should be taken inconsideration when deciding on where to place visual cues.

Geschäftsprozesse gelten als kritischer Erfolgsfaktor für die Unternehmensgestaltung und im Kontext der digitalen Transformation als essentielles Werkzeug für die Entwicklung von Informationssystemen. Zur Modellierung von Geschäftsprozessen werden sogenannte Prozessmodellierungssprachen verwendet. Die Ereignisgesteuerte Prozesskette (EPK) ist eine der verbreitetsten Modellierungssprachen und nutzt u.a. Ereignisse, Funktionen und Verbindungselemente, um einen betrieblichen Ablauf als semi-formales Modell abzubilden. Obwohl die Bedeutung und der positive Einfluss vorliegender Geschäftsprozessmodelle auf die Unternehmensgestaltung und den Unternehmenserfolg in Wissenschaft und Praxis dokumentiert sind, steht die Geschäftsprozessmodellierung mit der EPK vor vielfältigen Herausforderungen: Da die EPK bislang kein systematisches Spezifikationsverfahren durchlaufen hat, werden die Modellierungstätigkeiten und der Modellaustausch erschwert wird, wodurch als Konsequenz zunehmend auf andere Modellierungssprachen zurückgegriffen wird. Gleichzeitig leidet die Geschäftsprozessmodellierung an generellen Akzeptanzproblemen: Modellierungssprachen werden immer komplexer, sodass Anwender verstärkt auf rein visuelle, kaum formalisierte Modellierungsformen und grafische Standardsoftware zu Modellierungszwecken zurückgreifen. Auch das Ausbleiben von Innovationssprüngen der Modellierung führt dazu, dass die Akzeptanz und der wahrgenommene Nutzen der Prozessmodellierung in den Hintergrund rücken. Noch immer werden primär statische Desktop-Computer und umfangreiche Software-Systeme zur Prozessmodellierung verwendet, was dem mehr und mehr durch Mobilität und Agilität geprägten Arbeitsalltag der Anwender nicht mehr gerecht wird. Vor dem Hintergrund dieser Herausforderungen ist die Zielsetzung der vorliegenden Forschungsarbeit die Konstruktion und Spezifikation von Modellierungssprachen, die nicht nur für klassischen Arbeitsumgebungen wie Desktop-Computer geeignet sind, sondern auch auf neuartigen, mobilen Endgeräte wie Tablets oder Smart Glasses zur Prozessmodellierung zum Einsatz kommen können. Um die Anwendbarkeit und Zweckmäßigkeit der entwickelten Sprache zu erhöhen, sind dabei insbesondere Anwendungsfall- als auch Technologie-spezifische Anforderungen der Endgeräte berücksichtigen. Eingebettet in einen gestaltungsorientierten Forschungsrahmen werden innerhalb von sechs Einzelbeiträgen in dieser kumulativen Dissertation geeignete Forschungsmethoden der Wirtschaftsinformatik angewandt und sinnvoll verknüpft, um die skizzierte Zielsetzung sukzessive zu adressieren. Die Forschungsarbeit demonstriert die (Weiter-)Entwicklung einer Prozessmodellierungssprache auf Basis der EPK, die insbesondere eine Anwendung innerhalb des mobilen Endgeräts „Smart Glasses“ in den Mittelpunkt rückt. Gleichzeitig wird die Anwendbarkeit der entwickelten Sprachvariante durch die Implementierung innerhalb einer Smart-Glasses-basierten Prozessmodellierungsumgebung unterstrichen.

No description available.