Many workplaces and service centers are interested in direct feedback from employees and customers in order to optimize the company and the working environment. Sogeti is interested in automating this process using artificial intelligence from Microsoft's Cognitive Services. The purpose of the project was to create a prototype that uses image recognition to get information about people and their mood. The development resulted in a prototype consisting of a Windows Presentation Foundation (WPF) application and a web application that together analyze passers-byes and report the results to a user. The project shows the constraints and challenges that affected the reliability of the service and how it can be further developed.

Covid-19 pandemin är den mest omfattande pandemin i modern tid. Länder världen över har infört olika typer av krav och rekommendationer för att hämma smittspridningen, däribland rekommendationer om att bära munskydd. Tidigare studier har utvecklat modeller och system för att avgöra huruvida personer bär munskydd eller ej. Syftet med denna studie är att bevisa att det är tekniskt genomförbart att utveckla och implementera en IT-artefakt på en Google Coral Dev Board som i realtid inte bara kan avgöra om en person bär munskydd eller ej, utan även kan klassificera om ett munskydd bärs korrekt samt ge återkoppling om eventuell felanvändning. Ett sådant system skulle kunna användas för att uppmuntra och påminna om korrekt användning av munskydd. Det utvecklade systemet bygger på en två-stegs-arkitektur bestående av två stycken Convolutional Neural Networks (CNN), en förtränad ansiktsdetekteringsmodell samt en egenutvecklad klassificeringsmodell som bygger på en MobileNetV3-arkitektur. Klassificeringsmodellen tränades med hjälp av ett dataset bestående av 184 572 bilder och kategoriserar ansikten i fyra olika kategorier: munskydd används korrekt, munskydd täcker ej näsa, munskydd placerat på haka och munskydd används ej. Vid 5-delad korsvalidering uppnådde klassificeringsmodellen en genomsnittlig accuracy på >0.9994. Resultaten för studien var goda och bevisar den tekniska genomförbarheten. Den utvecklade prototypen kunde med hög tillförlitlighet detektera och korrekt klassificera ansikten i en videoström. Dock kommer studien fram till att denna typ av två-stegs-arkitektur är mindre lämplig i situationer då ett större antal ansikten är synliga i bild samtidigt då tiden som krävs för att behandla en bild ökar när antalet ansikten blir fler, vilket innebär att systemet ej kommer upplevas som responsivt.