Project

Back to overview

Understanding and Designing User Trust in Smart Personal Assistants

English title Understanding and Designing User Trust in Smart Personal Assistants
Applicant Leimeister Jan Marco
Number 192718
Funding scheme Project funding (Div. I-III)
Research institution Institut für Wirtschaftsinformatik Universität St. Gallen
Institution of higher education University of St.Gallen - SG
Main discipline Science of management
Start/End 01.10.2020 - 30.09.2024
Approved amount 476'600.00
Show all

Keywords (6)

trustworthy design; trust networks; trust in smart personal assistants; evolution of trust; antecedents and consequences of trust; smart personal assistants

Lay Summary (German)

Lead
Smarte persönliche Assistenten erfahren auf Basis ihres ökonomischen Potentials zunehmende Verbreitung auch in der Schweiz, bedingen aber aus Sicht der NutzerInnen neue Herausforderungen und Fragestellungen. Sie sind einerseits «lernende» Systeme, die sich entsprechend kontinuierlich weiterentwickeln und ihr Verhalten anpassen, und andererseits dialogische Systeme, die auf Basis natürlicher Sprache (dynamisch) mit den NutzerInnen interagieren. Das vorliegende Projekt untersucht den Einfluss dieser neuartigen Mensch-Maschine-Interaktionen auf die Vertrauensbildung und Verhalten der NutzerInnen. Zudem erarbeitet es Gestaltungsprinzipien für die mensch-zentrierte und vertrauenswürdige Entwicklung von smarten persönlichen Assistenten.
Lay summary

Smarte persönliche Assistenten, wie beispielsweise intelligente Sprachassistenten, verheissen die Interaktionen zwischen Menschen und Maschinen grundlegend zu verändern. Allerdings werden diese neuartigen Mensch-Maschine-Schnittstellen von vielen NutzerInnen aufgrund mangelnden Vertrauens nur zögerlich angenommen. Bisherige Forschungsarbeiten beschäftigen sich vornehmlich mit technologischen Fragestellungen, jedoch kaum mit den Implikationen bezüglich Vertrauensbildung und Nutzungsverhalten. Zudem wird Vertrauen in Systeme in der Forschung selten dynamisch betrachtet. Menschen verändern aber über den Zeitlauf unterschiedlich ihre Wahrnehmung und ihr Verhalten in und mit technischen Systemen. Dies wird vor dem Hintergrund des adaptiven Charakters dieser Systeme noch wichtiger, da das Systemverhalten für den Nutzer nicht immer vorhersehbar ist und bleibt.

Das geförderte Forschungsprogramm adressiert diese Forschungslücke und nimmt dabei zwei komplementäre Perspektiven ein. Einerseits wird - einem klassischen verhaltenswissenschaftlichen Ansatz folgend - ein theoretisches Modell zur Vertrauensentwicklung in diese aus dieser Perspektive noch wenig beforschte Mensch-Maschine-Schnittstellen entwickelt sowie auf dieser Grundlage das Vertrauen und die Nutzung über mehrere Zeitpunkte hinweg experimentell untersucht. Andererseits werden auf Basis eines gestaltungsorientierten Ansatzes Erkenntnisse in Form von Gestaltungsprinzipien zum vertrauenswürdigen Design dieser Agenten systematisch abgeleitet und über Labor- sowie Feldexperimente evaluiert. 

Die Ergebnisse dieses Forschungsprojekts tragen zu einem differenzierten Verständnis des Einflusses von intelligenten Sprachtechnologien auf das Nutzungsvertrauen und -verhalten bei. Zudem haben die Erkenntnisse bedeutsame Implikationen für die effektive und vertrauenswürdige Gestaltung von smarten persönlichen Assistenten.

Direct link to Lay Summary Last update: 23.09.2020

Responsible applicant and co-applicants

Employees

Project partner

Abstract

Based on recent technological advancements in the field of Artificial Intelligence (AI), it is predicted that Smart Personal Assistants (SPAs) such as Amazon`s Alexa, Google`s Google Assistant and Apple`s Siri will run on 870 million devices by 2022. This significantly increases the exposure of many to this technology in both B2B and B2C settings. These Information Systems (IS) provide assistance by engaging with users via natural language and have been promised to fundamentally change the ways how we perform tasks, consume services and products, and interact with our environment. However, SPAs face problems in terms of user acceptance, and one major source of these user reservations is a lack of trust. SPAs represent a novel class of IS that are characterized by high degrees of interaction and intelligence. These capabilities may fundamentally affect how people develop trust in these systems as for instance they are perceived by users as increasingly human and at the same time less predictable. Thus, we need to generate insights on how to build user trust in SPAs to avoid disuse - unrealized potential due to rejection of SPAs. In specific, there is a lack of a concise conceptual approach for studying user trust in SPAs as well as of empirical insights on how user trust in SPAs forms and evolves over time. Moreover, we are missing general design guidelines on how to develop more trustworthy SPAs. Therefore, in the scope of this project we plan to answer the following three research questions: RQ1: How should trust in Smart Personal Assistants be conceptualized? RQ2: How does trust in Smart Personal Assistants form and evolve over time? RQ3: How can insights from literature on trust be leveraged to design more trustworthy Smart Personal Assistants?To answer our research questions, this project proposal consists of two interwoven components: the first component focuses on conceptualizing trust in SPAs based on theoretical reasoning as well as the analysis of semi-structured interviews and on empirically investigating what drives user trust over time based on field experiments. This component resembles the behavioral part of the project aiming to increase our understanding of user trust in SPAs and to explain how it forms, and thus, how it can be influenced. The second component focuses on systematically deriving insights from the literature on trust in order to design SPAs in such a way that users are more likely to form trust and respectively continue trusting the system. Thereby, we combine different research methods such as semi-structured interviews with SPA designers and users as well as field experiments. This component resembles the design-oriented part of the project, aiming to use behavioral insights as a basis to design or redesign existing SPAs using a thorough design science research approach. Taken together, this project contributes to the body of knowledge by developing a conceptual approach for studying trust in SPAs and generating insights on the evolution of trust including changes in antecedents and consequences of trust over time. Moreover, we contribute to theory by creating a nascent design theory for building more trustworthy SPAs. Overall, these insights will help us to better understand how trust in SPAs can be systematically built.
-