In this research, we integrate the voice commands technique into Google Map. It means that we can control part of the movements for Google Map search without using the mouse or keyboard but with voice. Our voice command system is built on the client side. The biggest different between our system and state-of-the-art real-time speech processing system is that all the computation about the speech process always work on the client side. For our corpus, we choose the Top100 scenic spots in Taiwan and some specific control commands as our training data. In the experiment of our research, we make use of the different ways to train the acoustic models and design dictionary and language models to estimate the efficiency on our system. Actual usage in the system, we can move the map center to the specific location sequentially by voice command operations for location, control and coordinate. we estimate the overall search process time on some specific locations by different users. It spends 20.8 seconds in average which spends most of time in recording stage.

Today voice recognition is becoming mainstream and nowadays it is also possible to include in individual smartphone apps. However, it has not previously been investigated for which tasks it is preferable from a usability perspective to use voice recognition rather than touch. In order to investigate this, a voice user interface was created for a smartphone radio application, which already had a touch interface. The voice user interface was also tested with users in order to improve its usability. After that, a test was conducted where the participants were asked to perform the same tasks using both the touch and voice interface. The time they took to complete the tasks was measured and the participants rated the experience of completing the task on a scale. Finally, they were asked which interaction method they preferred. For most of the tasks tested, the voice interaction was both faster and got a higher rating. However, it should be noted that in a case where users don’t have specific tasks to perform it might be harder for them to know what a voice controlled app can and cannot do than when they are using touch. Many users also expressed that they were reluctant to use voice commands in public spaces out of fear of appearing strange. These results can be applied to other radio/podcast apps and, to a lesser extent, app for watching TV series and playing music. / Röststyrningen blir vanligare och numera är den också möjligt att använda i individuella appar för smartphones. Det har dock inte tidigare undersökts för vilka uppgifter det ur ett användbarhetsperspektiv är att föredra framför pekskärmsinteraktion. För att undersöka det skapades ett röstinterface för en radiooch podcast applikation som redan hade ett pekskärmsinterface. Röstinterfacet testades också med användare för att förbättra dess användbarhet. Efter det gjordes ett test där deltagarna blev ombedda att utföra samma uppgift med både pekskärm- och röstinterface. Den tid de tog på sig uppmättes och deltagarna betygsatte upplevelsen av att utföra uppgiften på en skala. Slutligen blev de tillfrågade omvilken interaktionsmetod de föredrog. För de flesta av de testade uppgifterna var röstinteraktion snabbare och fick högre betyg. Det ska dock noteras att i fall då användaren inte har specifika uppgifter att utföra kan det vara svårare för dem att veta vad en röststyrd app kan och inte kan göra än när de använder pekskärm. Många användare uttryckte också att de var motvilliga till att använda röstkommandon i allmänna utrymmen av rädsla föratt verka underliga. Dessa resultat kan tillämpas på radio/podcast appar och, i mindre utsträckning, appar för att titta på TV-serier och spela musik.

The first part of the report reads up on food waste and makes account for how to reduce food waste in households by documenting it. The goal of this project is to examine how a measure of method consisting of voice commands is working as compared to a classic method of measurement with paper and pen. Food waste is a big issue and to decrease food waste, it is important to document this waste in several ways. Since food waste can include different kinds of food depending on how it’s phrased, the concept of food waste is described as both food that could have been eaten but also food that could not be eaten. In studies of food waste, taking notes is a common method of measurement – but it has couple of flaws. In example subjects often forget to take notes when this is required. In this study we are investigating how voice control could be a new alternative to log food waste. The problem statement is based on whether households find easier to log something with the help of voice commands rather than writing it down with paper and pen. We have built a system that will be tested on five subjects. The subjects of the study will use voice commands with a Google Home Mini. In this study they will use voice commands while documenting food waste in each subject’s household, this will be going on in single households. To analyse the data there will be a trashcan prototype created which counts each time something is thrown in the bin. With the help of the counter there will be a possibility to examine if more food waste is thrown than being logged. Furthermore, every interaction with the voice control that is related to food waste will be saved in a spreadsheet. In the method section, an analysis of how the five subjects will be tested is done. The first week the subjects will log food waste by voice commands and will only be using the prototype that was created as the designated food waste bin. The second week, subjects will log on to paper and pen instead. Finally, the prototypes are collected to analyse the data on the microcontroller as well as the logged data collected in a spreadsheet. Qualitative data is gathered through a survey. The result indicated that the majority preferred voice control as a measurement method once it worked, deficiencies such as communication problems were a major reason why this method was not the most optimal. One subject preferred the measurement method with paper and pen over voice control. Several test subjects thought it was difficult to keep track of paper and pencil but appreciated that it was a safe method of measurement in which they could see what was on the paper. This study is of interest to systems where voice control is used in, for example smart homes but also a contribution to the development of measurement methods. One conclusion in the study is that voice control is a possible measurement method but that more studies are needed in the subject. / Matsvinn är ett stort problem och för att minska matsvinn är det viktigt att öka medvetenhet och kunskap om vad som slängs och varför. Eftersom matsvinn kan omfatta olika typer av livsmedel definieras begreppen matsvinn som mat som hade kunnat ätas och matavfall definieras som matsvinn samt oundvikligt matavfall. Vid forskning om matsvinn är anteckningar en vanlig datainsamlingsmetod, men den lider av brister där exempelvis testpersoner glömmer bort att anteckna. I denna studie undersöker vi möjligheterna att använda röststyrning som ett nytt alternativ till att logga matsvinn. Problemformuleringen grundar sig i att undersöka om hushåll anser att det är enklare att logga något med hjälp av röstkommandon jämfört med att skriva ned det med papper och penna. Vi har byggt ett system som testas på fem testpersoner. För att använda sig av röststyrning blev testpersonerna i studien tilldelade varsin Google Home Mini. I denna studie appliceras denna mätmetod på att mäta matsvinn i singelhushåll. För att analysera datan byggde varsin kompostpåsehållare som räknar varje gång svinn slängs i papperskorgen. Genom räknaren kan det undersökas om det slängs mer än det antecknas. Dessutom loggas allt testpersonerna säger till röstassistenten som har med matsvinn att göra. Första veckan under undersökningen loggades deltagarna allt de slängde med röstkommandon samt använder sig enbart av den givna prototypen för att slänga matsvinn. Andra veckan loggade deltagarna istället på papper och penna. Slutligen samlades prototyperna för att analysera datan på mikrokontrollern samt den loggade datan som samlades i ett kalkylark. Kvalitativ data samlades genom en enkät. Resultatet tyder på att majoriteten föredrog röststyrning som mätmetod när det väl fungerade, brister som kommunikationsproblem med röstassistenten var en stor anledning till varför denna metod inte var den mest optimala. En testperson föredrog mätmetoden med papper och penna framför röststyrning. Flera testpersoner tyckte att det var jobbigt att ha koll på papper och penna men uppskattade att det var en säker mätmetod då de kunde se vad som stod på pappret. Studien är av intresse för system där röststyrning används i exempelvis smarta hem men även ett bidrag till utveckling av mätmetoder. En slutsats i studien är att röststyrning är en möjlig mätmetod men att fler studier behövs göras i ämnet.

The amount and variety of visual information presented on electronic displays is ever-increasing. Finding and acquiring relevant information in the most effective manner possible is of course desirable. While there are advantages to presenting a large number of information objects on a screen at the same time, it can also hinder fast detection of objects of interest. One way of addressing that problem is Voice Assisted Visual Search (VAVS). A user supported by VAVS calls out an object of interest and is immediately guided to the object by a highlighting cue. This thesis is an initial study of the VAVS user interface technique. The findings suggest that VAVS is a promising approach, supported by theory and practice. A working prototype shows that locating objects of interest can be sped up significantly, requiring only half the amount of time taken without the use of VAVS, on average. / Voice-Assisted Visual Search

Current Google provides almost all type of information in a similar way - list of web pages. But Each information needs a different manner of mediation. A different way of visualisation. Therefore I decided to create Google of tomorrow. I am focused on a new way of spreading information and communication. I created new tools which help to achieve this vision. These tools operate in augmented reality. My diploma is mainly work of design fiction and information design. I use extrapolation to create possible future scenarios. Future abilities of Google tools are extrapolated from its current technologies.

Röststyrning som användargränssnitt kan erbjuda flera fördelar jämfört med mer traditionella styrmetoder. Det saknas dock färdiga lösningar för specifika industriella miljöer, vilka ställer särskilda krav på att korta kommandon tolkas korrekt i olika grad av buller och med begränsad eller ingen internetuppkoppling. Detta arbete ämnade undersöka potentialen för röststyrning i industriella miljöer. Ett koncepttest genomfördes där ordfelsfrekvens (på engelska Word Error Rate eller kortare WER) användes för att utvärdera träffsäkerheten för olika kombinationer av taligenkänningsarkitekturer, brusreduceringstekniker samt kommandolängder i verkliga bullriga miljöer. Undersökningen tog dessutom hänsyn till Lombard-effekten.  Resultaten visar att det för samtliga testade miljöer finns god potential för röststyrning med avseende på träffsäkerheten. Framför allt visade DeepSpeech, en djupinlärd taligenkänningsmodell med rekurrent lagerstruktur, kompletterad med domänspecifika språkmodeller och en riktad kardioid-mikrofon en ordfelsfrekvens på noll procent i vissa scenarier och sällan över fem procent. Resultaten visar även att utformningen av kommandon påverkar ordfelsfrekvensen.  För en verklig implementation i industriell miljö behövs ytterligare studier om säkerhetslösningar, inkluderande autentisering och hantering av risker med falskt positivt tolkade kommandon. / Voice command as a user interface can offer several advantages over more traditional control methods. However, there is a lack of ready-made solutions for specific industrial environments, which place particular demands on short commands being interpreted correctly in varying degrees of noise and with limited or no internet connection. This work aimed to investigate the potential for voice command in industrial environments. A proof of concept was conducted where Word Error Rate (WER) was used to evaluate the accuracy of various combinations of speech recognition architectures, noise reduction techniques, and command lengths in authentic noisy environments. The investigation also took into account the Lombard effect.  The results indicate that for all tested environments there is good potential for voice command with regard to accuracy. In particular, DeepSpeech, a deep-learned speech recognition model with recurrent layer structure, complemented with domain-specific language models and a directional cardioid microphone, showed WER values of zero percent in certain scenarios and rarely above five percent. The results also demonstrate that the design of commands influences WER. For a real implementation in an industrial environment, further studies are needed on security solutions, including authentication and management of risks with false positive interpreted commands.