When paramedics arrive at an accident site there are a lot of complex variables that they must keep in mind when making decisions. Thus, a problem of too much information presented at once makes the decision-making harder. To aid paramedics, smart glasses can be used to streamline the workflow and present relevant information immediately. Attempts at implementing smart glasses within prehospital care have previously been made. However, with no extensive research regarding what an implementation of how the user interface could look like has been presented. In addition, providing paramedics with optimal information to aid in decision making. Thus the goal of this thesis is to develop an Android application for the Google Glass Enterprise Edition 2 to visualise a patient's vital signs to aid paramedics to focus more on treating the patient. A limitation of the project was to only focus on the visualisation of the following vital parameters were focused: pulse from ECG, SpO2, EtCO2, and NiBP. To determine what would be demanded from the application, interviews with paramedics of varying seniority ranging from 7 to 23 years experience, were conducted. The paramedics interviewed were from different regions within Sweden and the UK. This gave a generalised understanding of how paramedics work and what would be desired by paramedics from smart glasses as an assisting tool. The Android application used a Wi-Fi Direct connection with the MobiMed Patient Unit which was transmitting the patient's vital sign data. The data was packaged in a JSON file and then transmitted over User Datagram Protocol to the Google Glass. The data was visualised with a focused layout of only one vital sign showing. In addition, a dual view where two vitals are shown simultaneously was created. The implementation was then run through different experiments to ensure that the glasses would be able to perform under relevant circumstances that could occur at an accident site. Finally, several topics for future development and use cases for the project in pre-hospital and hospital care were explored. / När ambulanspersonal anländer till en olycksplats finns många komplexa variabler som bör beaktas vid fattande av ett avgörande beslut. Genom detta uppstår ett problem där ett överflöde av information presenteras samtidigt vilket försvårar beslutstagande. För att lösa detta introduceras smarta glasögon då det kan effektivisera arbetet och medföra relevant information med en gång. Försök att implementera smarta glasögon inom den prehospitala vården har tidigare gjorts. Men utan omfattande forskning om hur en implementering skulle se ut samt att tillföra ambulanspersonal med information för att underlätta deras beslutsfattande har tidigare gjorts. Därför är målet med detta examensarbete att utveckla en Android-applikation för Google Glass för att visualisera en patients vitalparametrar för att hjälpa ambulanspersonal att fokusera mer på att behandla patienten. För att avgränsa projektet fokuserades visualisering på följande patient parametrarna; puls från EKG, SpO2, EtCO2, och NiBP. För att avgöra vad som skulle krävas från ambulanspersonalen så utfördes en intervjustudie med personal av varierande tjänstgöringstid från 7 till 23 år. Ambulanspersonalen som intervjuades var från olika län i Sverige och Storbritannien. Detta gav en generaliserad förståelse för hur ambulanspersonal arbetar och vad som skulle önskas av ambulanspersonal från smarta glasögon som ett hjälpmedel. Android-applikationen som skapades använde en Wi-Fi Direct-anslutning med MobiMed patientenheten som överför patientens vitalparametrar. Informationen paketerades i en JSON-fil och överfördes sedan via UDP till Google Glass. Data visualiserades med en fokuserad design där endast en parameter visas. Dessutom skapades en dubbelparameter design där två parametrar visas samtidigt. Implementeringen kördes sedan genom olika experiment för att säkerställa att glasögonen skulle kunna prestera under vissa omständigheter som skulle kunna inträffa vid vårdtillfällen. Slutligen undersöktes framtida utvecklingsarbeten och användningsfall för projektet.

The evolution of technology has led the research into new emerging wearable devices such as the Smart Glasses. This technology provides with new visualization techniques. Augmented Reality is an advanced technology that could significantly ease the execution of much complex operations. Augmented Reality is a combination of both Virtual and Actual Reality, making accessible to the user new tools to safeguard in the transfer of knowledge in several environments and for several processes. This thesis explores the development of an android based image recognition application. The feature point detectors and descriptors are used as they can deal great with the correspondence problems. The selection of best image recognition technique on the smart glasses is chosen based on the time taken to retrieve the results and the amount of power consumed in the process. As the smart glasses are equipped with the limited resources, the selected approach should use low computation on it by making the device operations uninterruptable. The effective and efficient method for detection and recognition of the safety signs from images is selected. The ubiquitous SIFT and SURF feature detectors consume more time and are computationally complex and require very high-level hardware components for processing. The binary descriptors are taken into account as they are light weight and can support low power devices in a much effective style. A comparative analysis is being done on the working of binary descriptors like BRIEF, ORB, AKAZE, FREAK, etc., on the smart glasses based on their performance and the requirements. ORB is the most efficient among the binary descriptors and has been more effective for the smart glasses in terms of time measurements and low power consumption.

Les recherches menées au cours de cette thèse de Doctorat s'inscrivent dans les activités du laboratoire commun OPERA (OPtique EmbaRquée Active) impliquant ESSILOR-LUXOTTICA et le CNRS. L’objectif est de contribuer au développement des “lunettes du futur” intégrant des fonctions d'obscurcissement, de focalisation ou d'affichage qui s’adaptent en permanence à la scène et au regard de l’utilisateur. Ces nouveaux dispositifs devront être dotés de capacités de perception, de décision et d’action, et devront respecter des contraintes d'encombrement, de poids, de consommation énergétique et de temps de traitement. Ils présentent par conséquent des connexions évidentes avec la robotique. Dans ce contexte, les recherches ont consisté à investiguer la structure et la construction de tels systèmes afin d’identifier leurs enjeux et difficultés. Pour ce faire, la première tâche a été de mettre en place des émulateurs de divers types de lunettes actives, qui permettent de prototyper et d’évaluer efficacement diverses fonctions. Dans cette phase de prototypage et de test, ces émulateurs s’appuient naturellement sur une architecture logicielle modulaire typique de la robotique. La seconde partie de la thèse s'est focalisée sur le prototypage d’un composant clé des lunettes du futur, qui implique une contrainte supplémentaire de basse consommation : le système de suivi du regard, aussi appelé oculomètre. Le principe d’un assemblage de photodiodes et d’un traitement par réseau de neurones a été proposé. Un simulateur a été mis au point, ainsi qu’une étude de l'influence de l'agencement des photodiodes et de l’hyper-paramétrisation du réseau sur les performances de l'oculomètre. / The research carried out during this doctoral thesis takes place within the OPERA joint laboratory (OPtique EmbaRquée Active) involving ESSILOR-LUXOTTICA and the CNRS. The aim is to contribute to the development of "glasses of the future", which feature obscuration, focus or display capabilities that continuously adapt to the scene and the user gaze. These new devices will be endowed with perception, decision and action capabilities, and will have to respect constraints of space, weight, energy consumption and processing time. They therefore show obvious connections with robotics. In this context, the structure and building of such systems has been investigated in order to identify their issues and difficulties. To that end, the first task was to set up emulators of various types of active glasses, which enable the prototyping and effective testing of various functions. In this prototyping and testing phase, these emulators naturally rely on a modular software architecture typical of robotics. The second part of the thesis focused on the prototyping of a key component which implies an additional constraint on low consumption, namely the eye tracking system, also known as gaze tracker. The principle of a photodiode assembly and of a neural network processing has been proposed. A simulator has been developed, as well as a study of the influence of the arrangement of photodiodes and the hyper-parametrization of the network on the performance of the oculometer.

Ces travaux de recherche présentés dans cette thèse s’intègrent dans le cadre d’un partenariat entre Generix Group, éditeur de logiciels collaboratifs pour l’écosystème du commerce, et l’École Centrale de Lille portant sur la réalisation d’un système d’aide au déplacement des opérateurs intégrant la Réalité Augmentée (RA) dans le domaine de la supply chain. Dans la gestion des entrepôts, la préparation des commandes représente un processus important. Avoir une gestion optimisée des entrepôts en aidant les opérateurs à travailler dans des meilleures conditions est un enjeu majeur. Le but de cette thèse est de proposer un Système d’Aide à la Décision (SAD) dans les entrepôts pour l’optimisation des processus de picking et putting. L’aspect dynamique et ouvert du problème nous a conduits à adopter une modélisation multi-agent. Le système multi-agent proposé s’appuie sur les méta heuristiques pour gérer l’affectation aux opérateurs des chemins optimisés de préparation de commandes. Le système d’Alliance entre l’Optimisation et les Systèmes Multi-agent (AOSMA) proposé est basé sur une approche de modélisation, optimisation et simulation orientée agent intégrant la technologie des lunettes à RA. En effet, les lunettes connectées permettent d’afficher d’une manière confortable dans le champ de vision de l’opérateur les informations nécessaires afin d’améliorer l’efficacité et le rendement et de réduire les erreurs de picking et putting. Les résultats expérimentaux présentés dans cette thèse justifient l’alliance entre les Systèmes Multi-Agent et l’optimisation tout en intégrant la nouvelle technologie de RA pour assurer le pilotage des parcours de picking et putting / The research presented in this thesis belongs to a partnership between Generix Group, collaborative software vendor for Retail ecosystem, and the Ecole Centrale of Lille which aims to implement a Support System for Travel (SST) distance of pickers integrating Augmented Reality (AR) in the area of the supply chain. In warehouse management, order picking is an important process. Having an optimized warehouse management by helping order pickers to work in better conditions is a major issues. The aim of this thesis is to propose a Decision Support System (DSS) in warehouses to optimize picking and putting processes. The dynamic and open aspect of the problem has led us to adopt a multi-agent modelling approach. The proposed multi-agent system is based on metaheuristics to manage the optimized paths allocation to order pickers. The Alliance between the Optimization and Multi-Agent System (AOMAS) proposed is based on a modeling approach, optimization and agent-oriented simulation integrating Augmented Reality (AR) Smart Glasses. Indeed, the connected glasses can display in the operator's field of vision the necessary information to improve efficiency and effectiveness and reduce errors in picking and putting. The experimental results presented in this thesis, justify the alliance between the multi-agent systems and optimization integrating the new AR technology to ensure the piloting of picking and putting path.

In today’s world, we live in a technologically advanced environment where information access is huge and limitless. The advantage to this is that, people are able to create more information, share and communicate with each other instantly on the go regardless of where they are in the world. However on the downside, with endless information, it becomes confusing and difficult to filter which information is right for a person’s need. This goes hand-in-hand for business companies, as it requires strategic processes and tools to identify the information from the market, store and evaluate it into meaningful insights and lastly communicate it efficiently so that the value of it is not lost along the way. Therefore this study focuses on how augmented reality (AR) as an emerging digital technology is able to dissect and communicate information and bring value to those who are implementing it. What is more interesting in this study is to see the usefulness and ease of using AR from commercial and non-commercial aspects in B2B field. This study was conducted through a qualitative research approach with semi-structured interviews with five companies providing and using AR applications. In conclusion, AR brings value by transferring data faster and communicating it effectively through visualization of integrating computer-generated information with the real world as one. From commercial aspect, companies could use this technology in their marketing communication to increase customer involvement and perception of the brand. In contrast, from non-commercial perspective, companies could use AR as an internal resource to increase efficiency in operation process.

As we navigate the world, for example when driving a car from our home to the work place, we continuously perceive the 3D structure of our surroundings and intuitively recognise the objects we see. Such capabilities help us in our everyday lives and enable free and accurate movement even in completely unfamiliar places. We largely take these abilities for granted, but for robots, the task of understanding large outdoor scenes remains extremely challenging. In this thesis, I develop novel algorithms for (near) real-time dense 3D reconstruction and semantic segmentation of large-scale outdoor scenes from passive cameras. Motivated by "smart glasses" for partially sighted users, I show how such modeling can be integrated into an interactive augmented reality system which puts the user in the loop and allows her to physically interact with the world to learn personalized semantically segmented dense 3D models. In the next part, I show how sparse but very accurate 3D measurements can be incorporated directly into the dense depth estimation process and propose a probabilistic model for incremental dense scene reconstruction. To relax the assumption of a stereo camera, I address dense 3D reconstruction in its monocular form and show how the local model can be improved by joint optimization over depth and pose. The world around us is not stationary. However, reconstructing dynamically moving and potentially non-rigidly deforming texture-less objects typically require "contour correspondences" for shape-from-silhouettes. Hence, I propose a video segmentation model which encodes a single object instance as a closed curve, maintains correspondences across time and provide very accurate segmentation close to object boundaries. Finally, instead of evaluating the performance in an isolated setup (IoU scores) which does not measure the impact on decision-making, I show how semantic 3D reconstruction can be incorporated into standard Deep Q-learning to improve decision-making of agents navigating complex 3D environments.

The evolution of technology has led the research into new emerging wearable devices such as the Smart Glasses. This technology provides with new visualization techniques. Augmented Reality is an advanced technology that could significantly ease the execution of much complex operations. Augmented Reality is a combination of both Virtual and Actual Reality, making accessible to the user new tools to safeguard in the transfer of knowledge in several environments and for several processes. This thesis explores the development of an android based image recognition application. The feature point detectors and descriptors are used as they can deal great with the correspondence problems. The selection of best image recognition technique on the smart glasses is chosen based on the time taken to retrieve the results and the amount of power consumed in the process. As the smart glasses are equipped with the limited resources, the selected approach should use low computation on it by making the device operations uninterruptable. The effective and efficient method for detection and recognition of the safety signs from images is selected. The ubiquitous SIFT and SURF feature detectors consume more time and are computationally complex and require very high-level hardware components for processing. The binary descriptors are taken into account as they are light weight and can support low power devices in a much effective style. A comparative analysis is being done on the working of binary descriptors like BRIEF, ORB, AKAZE, FREAK, etc., on the smart glasses based on their performance and the requirements. ORB is the most efficient among the binary descriptors and has been more effective for the smart glasses in terms of time measurements and low power consumption.

Der betriebliche Einsatz von Smart Glasses zur Unterstützung von manuellen Dienstleistungsprozessen bietet viele Vorteile, die mit anderen Technologien nicht erreicht werden können. Insbesondere im Bereich der Logistik kann von der Informationsversorgung bei gleichzeitiger Mobilität Gebrauch gemacht werden. Um dieses Potenzial auszunutzen, bedarf es allerdings Softwarelösungen, die auf die jeweiligen Anforderungen zugeschnitten sind. In dieser Forschungsarbeit wird daher untersucht, wie Smart-Glasses-basierte Informationssysteme zur Unterstützung der Logistik zu gestalten und zu implementieren sind. Die Forschungsarbeit folgt dabei zwei Zielen: (A) Die Unterstützung von Logistikprozessen durch Smart-Glasses-basierte Informationssysteme wird im Hinblick auf Anforderungen, Herausforderungen und Gestaltungsprinzipien untersucht, und (B) wird der Entwicklungsprozess zur Gestaltung und Implementierung von derartigen Informationssystemen im Rahmen eines Forschungsprojekts konzipiert und evaluiert. Das Vorgehen wird durch methodische Betrachtungen von Gestaltungsanforderungen und -prinzipien geleitet und entspricht so dem gestaltungsorientierten Forschungsansatz der Wirtschaftsinformatik. Die genauere Beantwortung der gestellten Forschungsfrage erfolgt in drei Schritten: (1) Methoden zur Initiierung von agilen Softwareprojekten und der Integration von Softwareentwicklung und -betrieb werden basierend auf der Wissensbasis agiler Methoden, Praktiken und Ansätze abgeleitet, (2) Grundlagen zur thematischen Fokussierung auf die Technologie Smart Glasses und die Anwendungsdomäne der Logistik werden durch multimethodische Studien geschaffen, und (3) werden entsprechende Systeme zur Mitarbeiterunterstützung instanziiert, evaluiert und die Forschungsergebnisse in ein Vorgehensframework zur Durchführung von Implementierungsprojekten überführt. Die vorliegende Dissertation trägt somit zur Wissensbasis der gestaltungsorientierten Wirtschaftsinformatik durch die erreichten Erkenntnisse zur Initiierung und Durchführung von Softwareentwicklungsprojekten zur Unterstützung von betrieblichen Prozessen durch Smart-Glasses-basierte Informationssysteme bei. Darüber hinaus bietet die Arbeit durch die bewusst praxisnahe Orientierung mit dem generierten Gestaltungswissen einen Mehrwert für Praktiker aus den betrachteten Bereichen, insbesondere für Stakeholder für die Einführung mobiler Informationssysteme in betrieblichen Umfeldern.

Akzeptanzprobleme gelten als ein Hindernis für die erfolgreiche Entwicklung und Diffusion digitaler Innovationen. Dabei findet das Konzept der Technologieakzeptanz aktuell in Wissenschaft und Praxis primär in der Evaluation Anwendung. Es wird ein ganzheitlicher Ansatz zur Berücksichtigung dieses Phänomens in der Systementwicklung benötigt. Zielsetzung dieser Forschungsarbeit ist daher die Integration von Akzeptanz als Gestaltungsziel (Acceptance-by-Design) in die Entwicklung mobiler und tragbarer Informationssysteme. Dazu werden zunächst im Rahmen der Entwicklung tragbarer Informationssysteme (1) nutzbringende Anwendungsfälle identifiziert, (2) Einflussfaktoren der Benutzerfreundlichkeit betrachtet und (3) ein ganzheitliches Vorgehen zur Systementwicklung unter der Anwendung des Ansatzes Acceptance-by-Design untersucht. Anschließend werden (4) die Erkenntnisse durch den Transfer auf einen Anwendungsfall für ein mobiles Informationssystem überprüft und erweitert. In einem gestaltungsorientierten Ansatz wird die identifizierte Forschungslücke mit Erkenntnissen aus zwei Anwendungsbeispielen adressiert. Zum einen wird die Anwendung von Smart Glasses in den Prozessen der Intralogistik und Mehrwertdienstleistungen eruiert. Zum anderen erfolgt die Betrachtung einer Analogiekonstruktion durch den Transfer eines mobilen Informationssystems für den technischen Kundendienst auf eine mHealth-Applikation zur Unterstützung medizinischer Dienstleistungen in ländlichen Regionen von Entwicklungsländern. Die vorliegende Dissertation trägt damit zur Wissensbasis der gestaltungsorientierten Wirtschaftsinformatik mit Erkenntnissen zur akzeptanzorientierten Gestaltung von tragbaren und mobilen Informationssystemen bei. Damit entsteht gleichzeitig ein Beitrag zur Wissensbasis der Akzeptanzforschung in Form eines gestaltungsorientierten Ansatzes, um Akzeptanz ganzheitlich in der Systementwicklung zu integrieren. Darüber hinaus wird das Service System Engineering als Teildisziplin der Wirtschaftsinformatik adressiert mit Gestaltungswissen zur Entwicklung von Informationssystemen für die Unterstützung von Dienstleistungsprozessen auf Basis digitaler Innovationen.

Innerhalb der Fachdomäne Logistik ist ein ausgeprägter Bedarf zur Unterstützung von immer komplexer werdenden und dynamischen Dienstleistungsprozessen durch mobile Informationssysteme festzustellen. Besonders neue Kommunikationstechnologien ermöglichen die Neugestaltung zugehöriger logistischer Wertschöpfungssysteme durch die Vernetzung von produzierenden Unternehmen, Dienstleistern und Endkunden entlang der Supply Chain. Für die Logistik wird die Technologie Augmented Reality (AR) als nutzenstiftendes Werkzeug zur Prozessunterstützung und Realisierung von zwischenmenschlichen Kollaborationen als auch Mensch-Maschine-Kollaborationen bewertet. Hierzu zählen besonders Datenbrillen, sogenannte „Smart Glasses“, die als Trägersystem für die augmentierte Prozessunterstützung zum Einsatz kommen. Zielsetzung dieser Forschungsarbeit ist die Gestaltung von logistischen Wertschöpfungssystemen mittels augmentierter Prozessunterstützung auf Basis Smart-Glasses-basierter Assistenzsysteme. Dazu werden zunächst (1) domänenspezifische als auch branchenübergreifende nutzenstiftende Anwendungsfälle identifiziert und aggregiert, (2) ein Vorgehensmodell zur Konzeption, Integration und Implementierung von entsprechen mobilen Informationssystemen erstellt und (3) Gestaltungsrichtlinien für mensch-zentrierte Assistenzsysteme und zugehörige Kollaborationsfunktionen mit Fokus auf die Gebrauchstauglichkeit (engl. Usability) etabliert. Mittels eines gestaltungsorientierten Vorgehens (Design Science Research) wird der identifizierte Forschungsbedarf mit Erkenntnissen aus einem in der Dienstleistungslogistik verorteten Konsortialforschungsprojekt als auch mehreren prototypischen Instanziierungen praktisch fundiert. Die vorliegende Arbeit erweitert durch die Gestaltung von gebrauchstauglichen Smart-Glasses-basierten Assistenzsystemen und die Schaffung entsprechender Kollaborationsfunktionen das Forschungsgebiet der Mensch-Computer-Interaktion und hier speziell den Forschungsbereich der Computer-Supported Cooperative Work. Zusätzlich wird der Bereich des Service Systems Engineering als Teildisziplin der Wirtschaftsinformatik mit Gestaltungswissen ergänzt. Zugleich wird die Wissensbasis der Fachdomäne Logistik (und hier speziell der Dienstleistungslogistik) um konkrete Anwendungsfälle für eine augmentierte Prozessunterstützung erweitert.