Context: The Telecommunication industry has experienced a great revolution since last decade. Mobile devices become the new fashion trend and play a vital role in every one´s life. Due to this reason, major industry experts predict the upcoming time to be the time of Mobile Industry. The success of mobile industry is by and large dependent on its consumers. Therefore it is necessary for the vendors to focus on their target audience i.e. what are the needs and requirements of their consumers and how they feel and perceive about their products. UX evaluation of mobile products and services (MPS) can help the organizations for developing more user friendly products and services that can meet the user expectations, needs and acceptance. Objectives: In this thesis study, one of our main focuses was to explore different definitions and concepts of UX present in academia, ISO and other standards. Also, we were interested to identify different UXEMs and the UX role in mobile industry in order to develop a better understanding about the importance of UX in the success of Mobile products and services (MPS). Methods: An exploratory case study was carried out to answer the research questions of this thesis study. At the end, the results of the case study were evaluated from a workshop, held at Ericsson AB (Karlskrona). On the basis of case study and workshop, final results are presented. Results: During this thesis study, we have proposed an initial framework to understand UX. We have also proposed a toolkit of UXEMs that can provide guideline about UXEMs i.e. which UXEM is suitable for which factor of UX and during which phase of development life cycle. Conclusions: In academia (literature), different definitions and terminologies are present for UX but still no consensus is found on one single definition of UX. In academia, different authors have identified different UX factors that may influence the UX in adoption of MPS. Through Case Study, we identified different UXEMs and UX evaluation criteria that are used to capture the UX. We have presented different UX factors that need to be focused for evaluating UX in Mobile Industry. We conclude that there is a need of such UXEM or UXEMs that can capture the broader picture of UX as most of the identified UXEMs were only useful to measure some of the UX factors. After conducting workshop at Ericsson AB (Karlskrona), we conclude that there is need to make industry and academia more closer for developing good understanding about UX i.e. still industry people are not much familiar with different UXEMs and UX factors .

No description available.

This paper describes the process of evaluating an audience engagement tool developed by a company called Stagecast. It is evaluated using the system usability scale, which is a common and simple way of measuring the usability of an application. The process starts with developing a feedback moment for the application that includes questions from the system usability scale. The application is then first tested in a laboratory setting with the feedback moment launched after an event, and second, it is tested in a real live event. The results in this paper indicate that the overall satisfaction with the Stagecast application was average, based on scoring of previous usability tests, with a score of 65.96 for the SMASK live event, though the participation in the feedback moment was limited. / Den här rapporten beskriver processen för utvärderandet av en produkt för att engagera publiken under live event som utvecklats av företaget Stagecast. Produkten är utvärderad med hjälp av system usability scale (SUS), vilket är ett vanligt och simpelt sätt att mäta användarvänlighet för applikationer. Processen börjar med att utveckla en feedback moment för applikationen som innehåller frågor från system usability scale. Applikationen är sedan testad i en studio där feedbackmoment lanseras efter eventet. Steg nummer två är att lansera feedbackmoment efter ett live event. Resultaten i den här rapporten indikerar att generella tillfredsställelsen med Stagecast applikationen var medel, baserat på en sammanställning av tidigare undersökningar med SUS. Poängen blev 65.96 för SMASK eventet, men deltagandet i feedbackmoment var begränsat.

The purpose of this qualitative case study is to evaluate an early stage survey skill developed for the social robot Furhat, and look into how the user experience (UX) and voice user interface (VUI) of that skill can be improved. Several qualitative methods have been used: expert evaluations using heuristics for human-robot interaction (HRI), user evaluations including observations and interviews, as well as a quantitative questionnaire (RoSAS – Robot Social Attribution Scale). The empirical findings have been classified into the USUS Evaluation Framework for Human-Robot Interaction. The user evaluations were performed in two modes, one group of informants talked and interacted with Furhat with the support of a graphical user interface (GUI), and the other group without the GUI. A positive user experience was identified in both modes, showing that the informants found interacting with Furhat a fun, engaging and interesting experience. The mode with the supportive GUI could be suitable in noisy environments, and for longer surveys with many response alternatives to choose from, whereas the other mode could work better for less noisy environments and for shorter surveys. General improvements that can contribute to a better user experience in both modes were found; such as having the robot adopt a more human-like character when it comes to the dialogue and the facial expressions and movements, along with addressing a number of technical and usability issues. / Syftet med den här kvalitativa fallstudien är att utvärdera en enkätskill för den sociala roboten Furhat. Förutom utvärderingen av denna skill, som är i ett tidigt skede av utvecklingen, är syftet även att undersöka hur användarupplevelsen (UX) och röstgränssnittet (VUI) kan förbättras. Olika kvalitativa metoder har använts: expertutvärderingar med heuristik för MRI (människa-robot-interaktion), användarutvärderingar bestående av observationer och intervjuer, samt ett kvantitativt frågeformulär (RoSAS – Robot Social Attribution Scale). Resultaten från dessa har placerats in i ramverket USUS Evaluation Framework for Human- Robot Interaction. Användarutvärderingarna utfördes i två olika grupper: en grupp pratade och interagerade med Furhat med stöd av ett grafiskt användargränssnitt (GUI), den andra hade inget GUI. En positiv användarupplevelse konstaterades i båda grupperna: informanterna tyckte att det var roligt, engagerande och intressant att interagera med Furhat. Att ha ett GUI som stöd kan passa bättre för bullriga miljöer och för längre enkäter med många svarsalternativ att välja bland, medan ett GUI inte behövs för lugnare miljöer och kortare enkäter. Generella förbättringar som kan bidra till att höja användarupplevelsen hittades i båda grupperna; till exempel att roboten bör agera mer människolikt när det kommer till dialogen och ansiktsuttryck och rörelser, samt att åtgärda ett antal tekniska problem och användbarhetsproblem.

Tesis por compendio / [ES] El uso de nuevas tecnologías y el número de usuarios de sistemas de enseñanza online universitaria se han extendido alrededor del mundo en las últimas décadas, mostrando un mayor incremento con la propagación de la pandemia Covid-19 desde 2020. Adicionalmente, la normativa ISO 9241-210:2019 establece los estándares internacionales de calidad para diseñar productos, servicios y sistemas de interacción persona-ordenador que cumplan con requisitos de usabilidad, accesibilidad y de experiencia de usuario (User eXperience - UX). Por tanto, el concepto de UX ha cobrado mucha importancia como requisito de calidad. Para diversos autores, la UX es un concepto multidimensional que incluye las motivaciones, sentimientos y necesidades de los usuarios finales. Por otra parte, el Objetivo de Desarrollo Sostenible (ODS) 4 de la Organización de las Naciones Unidas (ONU) para el 2030 persigue asegurar a nivel global una educación inclusiva, igualitaria, para todos y de calidad. En este sentido, con el fin de diseñar interfaces y experiencias de aprendizaje en entornos universitarios que respeten todas especificaciones de calidad se requiere evaluar previamente la UX de estos entornos de manera automática y precisa. Por tanto, el objetivo principal de esta tesis es identificar las características concretas más relevantes en la UX de entornos de e-learning universitarios que permitan analizar específica y automáticamente el sentimiento de los estudiantes con el fin de asentar las bases para diseñar plataformas de aprendizaje virtual centradas en los usuarios. Con esta finalidad, el estudio plantea analizar las necesidades y sentimientos de los estudiantes on-line universitarios con métodos digitales, avanzados y eficientes de inteligencia artificial. Por ello, el presente proyecto investiga la aplicación de modelos de aprendizaje automático de análisis de sentimiento para la evaluación UX. Estas técnicas de inteligencia artificial se han aplicado sobre las respuestas recibidas de entre los más de 2.000 estudiantes universitarios encuestados procedentes de estudios de posgrado online y de cursos en línea masivos y abiertos (MOOCs). Los resultados presentan las bases de un modelo que permite clasificar ontológicamente categorías o aspectos de la educación en línea universitaria y conocer la polaridad del sentimiento de los usuarios respecto a su experiencia e-learning de manera automática. De este modo, se han podido conocer las opiniones de los estudiantes de manera automatizada con respecto a categorías claves de la enseñanza digital. Además, los comentarios de los estudiantes se han clasificado en distintas dimensiones UX e-learning o UXEL (Conexiones Sociales, y Recursos y Herramientas de Aprendizaje). Así mismo, se ha identificado la polaridad del sentimiento para cada dimensión. En resumen, este trabajo ha generado importantes contribuciones a la comunidad científica. En primer lugar, una adaptación del cuestionario validado UEQ-S integrado y adaptado a tres plataformas de e-learning para cursos específicos de postgrado en la Universitat de València y en la Universidad Rey Juan Carlos; y para MOOCs en la Universitat Politècnica de València. En segundo lugar, esta tesis ha generado una aplicación innovadora de métodos de análisis de sentimiento y aprendizaje automático mediante el procesamiento del lenguaje natural para la evaluación de la experiencia de usuario de estudiantes universitarios online. Así, este método proporciona el análisis de las opiniones de los alumnos y las clasifica según su polaridad en positivas, negativas o neutras. Y en tercer lugar, este trabajo científico aporta una ontología propia de aspectos para la experiencia de aprendizaje virtual asociada a dimensiones UX con herramientas de análisis de sentimiento. Esta ontología clasifica la polaridad de las opiniones de los alumnos por categorías e-learning: VLE, Profesor, Alumno, Sonido, Imagen, Material, Ejercicio, Evaluación y y Comunicación. / [CA] L'ús de noves tecnologies i el nombre d'usuaris de sistemes d'ensenyament en línia universitària s'han estés al voltant del món en les últimes dècades, mostrant un major increment amb la propagació de la pandèmia COVID-19 des de 2020. Addicionalment, la normativa ISO 9241-210:2019 estableix els estàndards internacionals de qualitat per a dissenyar productes, serveis i sistemes d'interacció persona-ordenador que complisquen amb requisits d'usabilitat, accessibilitat i d'experiència d'usuari (User eXperience - UX). Per tant, el concepte de UX ha cobrat molta importància com a requisit de qualitat. Per a diversos autors, la UX és un concepte multidimensional que inclou les motivacions, sentiments i necessitats dels usuaris finals. D'altra banda, l'Objectiu de Desenvolupament Sostenible (ODS) 4 de l'Organització de les Nacions Unides (ONU) per al 2030 persegueix assegurar a nivell global una educació inclusiva, igualitària, per a tots i de qualitat. En aquest sentit, amb la finalitat de dissenyar interfícies i experiències d'aprenentatge en entorns universitaris que respecten totes especificacions de qualitat es requereix avaluar prèviament la UX d'aquests entorns de manera automàtica i precisa. Per tant, l'objectiu principal d'aquesta tesi és identificar les característiques concretes més rellevants en l'experiència d'usuari d'entorns d'e-learning universitaris que permeten analitzar específica i automàticament el sentiment dels estudiants amb la finalitat d'assentar les bases per a dissenyar plataformes d'aprenentatge virtual centrades en els usuaris. Amb aquesta finalitat, l'estudi planteja analitzar les necessitats i sentiments dels estudiants en línia universitaris amb mètodes digitals, avançats i eficients d'intel·ligència artificial. Per això, el present projecte investiga l'aplicació de models d'aprenentatge automàtic d'anàlisi de sentiment per a l'avaluació de la UX. Aquestes tècniques d'intel·ligència artificial s'han aplicat sobre les respostes rebudes d'entre els més de 2.000 estudiants universitaris enquestats procedents d'estudis de postgrau en línia i de cursos massius en línia en obert (MOOCs). Els resultats presenten les bases d'un model que permet classificar ontològicament categories o aspectes de l'educació en línia universitària i conéixer la polaritat del sentiment dels usuaris respecte a la seua experiència e-learning automàticament. D'aquesta manera, s'han pogut conéixer les opinions dels estudiants de manera automatitzada respecte a categories claus de l'ensenyament digital. A més, s'han classificat els comentaris dels estudiants en diferents dimensions UX e-learning o UXEL. D'aquesta manera, s'han identificat la polaritat del sentiment per a cada dimensió. En resum, aquest treball ha generat importants contribucions a la comunitat científica. En primer lloc, una adaptació del qüestionari validat UEQ-S integrat i adaptat a tres plataformes d'e-learning per a cursos específics de postgrau a la Universitat de València i en la Universidad Rey Juan Carlos; i per a MOOCs a la Universitat Politècnica de València. En segon lloc, aquesta tesi ha generat una aplicació innovadora de mètodes d'anàlisis de sentiment i aprenentatge automàtic mitjançant el processament del llenguatge natural per a l'avaluació de l'experiència d'usuari d'estudiants universitaris en línia. Així, aquest mètode proporciona l'anàlisi de les opinions dels alumnes i les classifica segons la seua polaritat en positives, negatives o neutres. I en tercer lloc, aquest treball científic aporta una ontologia pròpia d'aspectes per a l'experiència d'aprenentatge virtual associada a dimensions UX. Aquesta ontologia utilitzada amb eines d'anàlisis de sentiment, permet classificar la polaritat de les opinions dels alumnes per categories clau de l'e-learning (VLE, Professor, Alumne, So, Imatge, Material, Exercici, Avaluació i Comunicació) i agrupar els comentaris en tres dimensions UXEL (VLE, Connexions Socials, i Recursos i Eines d'Aprenentatge). / [EN] The use of new technologies and the number of users of university online learning systems have spread around the world in the last decades, showing a further increase with the spread of the Covid-19 pandemic since 2020. Additionally, ISO 9241-210:2019 sets international quality standards for designing human-computer interaction products, services, and systems that meet usability, accessibility, and User eXperience (UX) requirements. Therefore, the concept of UX has become very important as a quality requirement. For several authors, UX is a multidimensional concept that includes the motivations, feelings, and needs of end users. On the other hand, the United Nations' (UN) Sustainable Development Goal (SDG) 4 for 2030 aims to ensure inclusive, equitable, quality education for all globally. In this sense, in order to design interfaces and learning experiences in university environments that respect all quality specifications, it is necessary to evaluate the user experience of these environments automatically and accurately beforehand. Thus, the main objective of this thesis is to identify the most relevant specific characteristics in the user experience of university e-learning environments that allow specific and automatic analysis of the students' feelings in order to lay the foundations for the design of user-centered e-learning platforms. To this end, the study proposes to analyse the needs and feelings of online university students with digital, advanced, and efficient artificial intelligence methods. Therefore, this project investigates the application of machine learning models of sentiment analysis for the evaluation of user experience. These artificial intelligence techniques have been applied to the responses received from more than 2,000 university students surveyed from postgraduate online studies and massive open online courses (MOOCs). The results present the basis of a model that allows ontologically classifying categories or aspects of university online education and knowing the users' polarity of feeling about their e-learning experience in an automatic way. In this way, it has been possible to find out the students' opinions in an automated way with regard to key categories of digital teaching. In addition, student comments have been classified into several UX e-learning or UXEL dimensions. Also, it has been identified the polarity of sentiment for each dimension. To sum up, this work has generated four major contributions to the scientific community. Firstly, an adaptation of the validated questionnaire UEQ-S integrated and adapted to three e-learning platforms for specific postgraduate courses at the Universitat de València and at the Universidad Rey Juan Carlos; and for MOOCs at the Universitat Politècnica de València. Secondly, this thesis has generated an innovative application of sentiment analysis and machine learning methods through natural language processing for the evaluation of the user experience of university online students. Therefore, this method provides the analysis of learners opinions and classifies them according to their polarity in positive, negative or neutral. And thirdly, this scientific work brings out a proprietary ontology of aspects for the virtual learning experience associated with UX dimensions. This ontology used with sentiment analysis tools, allows classifying the polarity of student opinions (positive, neutral, negative) by key categories of e-learning (VLE, Teacher, Student, Sound, Image, Material, Exercise, Evaluation and Communication) and group the comments in three dimensions UX e-learning or UXEL (VLE, Social Connections, and Learning Resources and Tools). Finally, these contributions will help to evaluate in an automatic and accurate way several university e-learning environments in order to design user-centered virtual learning experiences more personalised and inclusive for all which suit quality standards and meet UN SDG 4 for 2030. / Sanchis Font, R. (2023). User eXperience evaluation on university virtual learning through sentiment analysis [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/194059 / Compendio