No description available.

Machine Learning (ML) and Artificial Intelligence (AI) impact many aspects of human life, from recommending a significant other to assist the search for extraterrestrial life. The area develops rapidly and exiting unexplored design spaces are constantly laid bare. The focus in this work is one of these areas; ML systems where decisions concerning ML model training, usage and selection of target domain lay in the hands of domain experts.  This work is then on ML systems that function as a tool that augments and/or enhance human capabilities. The approach presented is denoted Human In Command ML (HIC-ML) systems. To enquire into this research domain design experiments of varying fidelity were used. Two of these experiments focus on augmenting human capabilities and targets the domains commuting and sorting batteries. One experiment focuses on enhancing human capabilities by identifying similar hand-painted plates. The experiments are used as illustrative examples to explore settings where domain experts potentially can: independently train an ML model and in an iterative fashion, interact with it and interpret and understand its decisions.  HIC-ML should be seen as a governance principle that focuses on adding value and meaning to users. In this work, concrete application areas are presented and discussed. To open up for designing ML-based products for the area an abstract model for HIC-ML is constructed and design guidelines are proposed. In addition, terminology and abstractions useful when designing for explicability are presented by imposing structure and rigidity derived from scientific explanations. Together, this opens up for a contextual shift in ML and makes new application areas probable, areas that naturally couples the usage of AI technology to human virtues and potentially, as a consequence, can result in a democratisation of the usage and knowledge concerning this powerful technology.

Background: Artificial Intelligence is a novel technology that is rapidly becoming an important part of everyday life. With the increasing implementation across industries, there are fears of massive job displacements in the future. Because of this, it is crucial to examine these effects and how Artificial Intelligence can be designed to comply with social sustainability.   Purpose: explore how social sustainability can be considered to mitigate negative outcomes related to individual perceptions of AI-related job displacement.  Method: To conduct this study, we have applied the Delphi method which consists of surveys and panels done with 9 participants (5 experts and 4 students). The data collected was then analysed with the IPA method and classed into themes, and clusters of themes. This allowed us to obtain findings which formed the basis of the theoretical and practical conclusions and implications that this paper obtained.   Conclusion: The research shows the potential benefits of designing Artificial Intelligence for social sustainability by adapting the model of Human-Centred AI to the context of AI-related job displacement.

The use of autonomous agents is an ever-growing possibility in our day-to-day life and, in some cases, already a reality. One future use might be autonomous robots performing last mile deliveries, a service the company HUGO delivery is currently developing. The goal of developing their autonomous delivery robot HUGO is to reduce the emissions from deliveries in the last mile by replacing delivery trucks with emission free autonomous robots. However, this new way of receiving deliveries introduces new design challenges since most people have little to no prior experience of interacting with autonomous agents. The user interface is therefore of great importance in making the user understand and be able to interact comfortably with the autonomous agent, thus also a key aspect in reaching user adoption. This thesis work examines how an interface for an autonomous food delivery service, such as the HUGO delivery, could be designed by applying a Human-Centered Artificial intelligence and Activity Centered Design focus in the design process, resulting in a design proposal for a web app. The conclusion of the thesis includes identification of the six essential interactions present in an autonomous food delivery service, as well as how HCAI and which of its guidelines can be applied when designing an interface for the interaction with an autonomous delivery robot.

[ES] Esta tesis explora el desarrollo de agentes conversacionales (ACs) confiables que puedan interactuar con niños, en alineamiento con la iniciativa de la Comisión Europea para que el desarrollo de la inteligencia artificial (IA) se centre en el ser humano. Los ACs están convirtiéndose en una parte cada vez más integral de la vida de los niños, siendo utilizados en diversos sectores como la educación, el entretenimiento y la atención médica. Sin embargo, los niños, como un grupo de usuarios único, presentan necesidades y desafíos particulares, lo que hace necesario el desarrollo de directrices y evaluaciones rigurosas para asegurar que estos sistemas sean confiables. La investigación comienza examinando los fundamentos de los ACs, enfocándose en su interacción con los niños. Una revisión de la literatura destaca tanto los beneficios como los riesgos asociados con estas tecnologías, subrayando la necesidad de enfoques multidisciplinarios para mitigar posibles preocupaciones éticas. Se introduce el concepto de confiabilidad, así como la falta de investigación existente en el desarrollo ético de los ACs. Para abordar esta laguna, la tesis integra conocimientos de múltiples dominios, combinando la exploración teórica con estudios empíricos. Este enfoque lleva al desarrollo de un conjunto de directrices que abordan las particularidades de la interacción niño-AC, destacando la importancia de la transparencia, el comportamiento adecuado a la edad, el fomento de la conciencia de qué es una IA, la participación de partes interesadas y la gestión de riesgos. Estas directrices se aplican luego en el diseño y desarrollo de un AC colaborativo de narración de cuentos. La confiabilidad del sistema se evalúa utilizando ALTAI y demostrando una mejora en la confiabilidad. Además, dicha evaluación se complementa con un estudio experimental que examina cómo los niños perciben e interactúan con estos sistemas, dando un protagonismo específico a los riesgos como la interpretación errónea de la naturaleza no humana del AC y el comportamiento de los niños en la revelación de datos. Los hallazgos resaltan el impacto positivo de la transparencia y la necesidad de un enfoque más eficaz para aclarar la agencia del AC. Las contribuciones de esta tesis proporcionan tanto ideas teóricas como orientaciones prácticas para el desarrollo de ACs confiables para niños, asegurando que estén alineados éticamente con los valores sociales y los derechos de los niños. Se anima a futuras investigaciones a expandir estos hallazgos a contextos culturales más amplios y a desarrollar herramientas de evaluación más matizadas para evaluar la confiabilidad en los ACs entorno a los niños. / [CA] Aquesta tesi explora el desenvolupament d'agents conversacionals (ACs) confiables que puguen interactuar amb xiquets, en alineació amb la iniciativa de la Comissió Europea per que el desenvolupament de la intel·ligència artificial (IA) se centre en l'ésser humà. Els ACs s'estan convertint en una part cada vegada més integral de la vida dels xiquets, sent utilitzats en diversos sectors com l'educació, l'entreteniment i l'atenció mèdica. No obstant això, els xiquets, com a grup d'usuaris únic, presenten necessitats i desafiaments particulars, el que fa necessari el desenvolupament de directrius i avaluacions rigoroses per a assegurar que aquests sistemes siguen confiables. La investigació comença examinant els fonaments dels ACs, centrant-se en la seua interacció amb els xiquets. Una revisió de la literatura destaca tant els beneficis com els riscos associats amb aquestes tecnologies, subratllant la necessitat d'enfocaments multidisciplinaris per a mitigar possibles preocupacions ètiques. S'introdueix el concepte de confiabilitat, així com la manca d'investigació existent en el desenvolupament ètic dels ACs. Per a abordar aquesta bretxa, la tesi integra coneixements de múltiples dominis, combinant l'exploració teòrica amb estudis empírics. Aquest enfocament porta al desenvolupament d'un conjunt de directrius que aborden les particularitats de la interacció xiquet-AC, destacant la importància de la transparència, el comportament adequat a l'edat, el foment de la consciència de què és una IA, la participació de parts interessades i la gestió de riscos. Aquestes directrius s'apliquen després en el disseny i desenvolupament d'un AC col·laboratiu de narració de contes. La confiabilitat del sistema s'avalua utilitzant ALTAI i demostrant una millora en la confiabilitat. A més, aquesta avaluació es complementa amb un estudi experimental que examina com els xiquets perceben i interactuen amb aquests sistemes, donant un protagonisme específic als riscos com la interpretació errònia de la naturalesa no humana de l'AC i el comportament dels xiquets en la revelació de dades. Els resultats ressalten l'impacte positiu de la transparència i la necessitat d'un enfocament més eficaç per a aclarir l'agència de l'AC. Les contribucions d'aquesta tesi proporcionen tant idees teòriques com orientacions pràctiques per al desenvolupament d'ACs confiables per a xiquets, assegurant que estiguen alineats èticament amb els valors socials i els drets dels xiquets. S'encoratja a futures investigacions a expandir aquests resultats a contextos culturals més amplis i a desenvolupar eines d'avaluació més matisades per a valorar la confiabilitat en els ACs involucrats amb xiquets. / [EN] This thesis explores the development of trustworthy conversational agents (CAs) that may interact with children, aligning with the European Commission's human-centred artificial intelligence (AI) initiative. CAs are becoming increasingly integral to children's lives, used in various sectors such as education, entertainment, and healthcare. However, children, as a unique user group, present particular needs and challenges, necessitating the development of guidelines and rigorous evaluations to ensure that these systems are trustworthy. The research begins by examining the fundamentals of CAs, focusing on their interaction with children. A literature review highlighted both the benefits and risks associated with these technologies, emphasising the need for multidisciplinary approaches to mitigate potential ethical concerns. The concept of trustworthiness is introduced, as well as a significant research gap in CA ethical development. To address this gap, the thesis integrates knowledge from multiple domains, combining theoretical exploration with empirical studies. This approach leads to the development of a set of guidelines that align with the needs of children and CAs, highlighting the importance of transparency, age-appropriate behaviour, AI awareness, stakeholder involvement, and risk management. These guidelines were then applied in the design and development of a collaborative storytelling CA. The system's trustworthiness was assessed using the ALTAI framework, demonstrating an improvement in trustworthiness. This evaluation is further supported by an experimental study, examining how children perceive and interact with these systems, with a specific focus on risks such as misinterpreting the CA's non-human nature and children's data sharing behaviour. Key findings underscored the positive impact of transparency, and the need for a more effective approach to clarify the CA's agency. The contributions of this thesis provide both theoretical insights and practical guidance for developing trustworthy CAs for children, ensuring they are ethically aligned with societal values and children's rights. Future research is encouraged to expand these findings to broader cultural contexts and develop more nuanced evaluation tools for assessing trustworthiness for children. / Escobar Planas, M. (2024). Trustworthy conversational agents for children [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/214061