TU Darmstadt / ULB / TUbiblio

Adoption of AI-based Information Systems from an Organizational and User Perspective

Tauchert, Christoph (2022)
Adoption of AI-based Information Systems from an Organizational and User Perspective.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00022944
Ph.D. Thesis, Primary publication, Publisher's Version

Abstract

Artificial intelligence (AI) is fundamentally changing our society and economy. Companies are investing a great deal of money and time into building corresponding competences and developing prototypes with the aim of integrating AI into their products and services, as well as enriching and improving their internal business processes. This inevitably brings corporate and private users into contact with a new technology that functions fundamentally differently than traditional software. The possibility of using machine learning to generate precise models based on large amounts of data capable of recognizing patterns within that data holds great economic and social potential—for example, in task augmentation and automation, medical diagnostics, and the development of pharmaceutical drugs. At the same time, companies and users are facing new challenges that accompany the introduction of this technology. Businesses are struggling to manage and generate value from big data, and employees fear increasing automation. To better prepare society for the growing market penetration of AI-based information systems into everyday life, a deeper understanding of this technology in terms of organizational and individual use is needed. Motivated by the many new challenges and questions for theory and practice that arise from AI-based information systems, this dissertation addresses various research questions with regard to the use of such information systems from both user and organizational perspectives. A total of five studies were conducted and published: two from the perspective of organizations and three among users. The results of these studies contribute to the current state of research and provide a basis for future studies. In addition, the gained insights enable recommendations to be derived for companies wishing to integrate AI into their products, services, or business processes. The first research article (Research Paper A) investigated which factors and prerequisites influence the success of the introduction and adoption of AI. Using the technology–organization–environment framework, various factors in the categories of technology, organization, and environment were identified and validated through the analysis of expert interviews with managers experienced in the field of AI. The results show that factors related to data (especially availability and quality) and the management of AI projects (especially project management and use cases) have been added to the framework, but regulatory factors have also emerged, such as the uncertainty caused by the General Data Protection Regulation. The focus of Research Paper B is companies’ motivation to host data science competitions on online platforms and which factors influence their success. Extant research has shown that employees with new skills are needed to carry out AI projects and that many companies have problems recruiting such employees. Therefore, data science competitions could support the implementation of AI projects via crowdsourcing. The results of the study (expert interviews among data scientists) show that these competitions offer many advantages, such as exchanges and discussions with experienced data scientists and the use of state-of-the-art approaches. However, only a small part of the effort related to AI projects can be represented within the framework of such competitions. The studies in the other three research papers (Research Papers C, D, and E) examine AI-based information systems from a user perspective, with two studies examining user behavior and one focusing on the design of an AI-based IT artifact. Research Paper C analyses perceptions of AI-based advisory systems in terms of the advantages associated with their use. The results of the empirical study show that the greatest perceived benefit is the convenience such systems provide, as they are easy to access at any time and can immediately satisfy informational needs. Furthermore, this study examined the effectiveness of 11 different measures to increase trust in AI-based advisory systems. This showed a clear ranking of measures, with effectiveness decreasing from non-binding testing to providing additional information regarding how the system works to adding anthropomorphic features. The goal of Research Paper D was to investigate actual user behavior when interacting with AI-based advisory systems. Based on the theoretical foundations of task–technology fit and judge–advisor systems, an online experiment was conducted. The results show that, above all, perceived expertise and the ability to make efficient decisions through AI-based advisory systems influence whether users assess these systems as suitable for supporting certain tasks. In addition, the study provides initial indications that users might be more willing to follow the advice of AI-based systems than that of human advisors. Finally, Research Paper E designs and implements an IT artifact that uses machine learning techniques to support structured literature reviews. Following the approach of design science research, an artifact was iteratively developed that can automatically download research articles from various databases and analyze and group them according to their content using the word2vec algorithm, the latent Dirichlet allocation model, and agglomerative hierarchical cluster analysis. An evaluation of the artifact on a dataset of 308 publications shows that it can be a helpful tool to support literature reviews but that much manual effort is still required, especially with regard to the identification of common concepts in extant literature.

Item Type: Ph.D. Thesis
Erschienen: 2022
Creators: Tauchert, Christoph
Type of entry: Primary publication
Title: Adoption of AI-based Information Systems from an Organizational and User Perspective
Language: English
Referees: Buxmann, Prof. Dr. Peter ; Benlian, Prof. Dr. Alexander
Date: 2022
Place of Publication: Darmstadt
Collation: XVI, 135 Seiten
Refereed: 17 November 2022
DOI: 10.26083/tuprints-00022944
URL / URN: https://tuprints.ulb.tu-darmstadt.de/22944
Abstract:

Artificial intelligence (AI) is fundamentally changing our society and economy. Companies are investing a great deal of money and time into building corresponding competences and developing prototypes with the aim of integrating AI into their products and services, as well as enriching and improving their internal business processes. This inevitably brings corporate and private users into contact with a new technology that functions fundamentally differently than traditional software. The possibility of using machine learning to generate precise models based on large amounts of data capable of recognizing patterns within that data holds great economic and social potential—for example, in task augmentation and automation, medical diagnostics, and the development of pharmaceutical drugs. At the same time, companies and users are facing new challenges that accompany the introduction of this technology. Businesses are struggling to manage and generate value from big data, and employees fear increasing automation. To better prepare society for the growing market penetration of AI-based information systems into everyday life, a deeper understanding of this technology in terms of organizational and individual use is needed. Motivated by the many new challenges and questions for theory and practice that arise from AI-based information systems, this dissertation addresses various research questions with regard to the use of such information systems from both user and organizational perspectives. A total of five studies were conducted and published: two from the perspective of organizations and three among users. The results of these studies contribute to the current state of research and provide a basis for future studies. In addition, the gained insights enable recommendations to be derived for companies wishing to integrate AI into their products, services, or business processes. The first research article (Research Paper A) investigated which factors and prerequisites influence the success of the introduction and adoption of AI. Using the technology–organization–environment framework, various factors in the categories of technology, organization, and environment were identified and validated through the analysis of expert interviews with managers experienced in the field of AI. The results show that factors related to data (especially availability and quality) and the management of AI projects (especially project management and use cases) have been added to the framework, but regulatory factors have also emerged, such as the uncertainty caused by the General Data Protection Regulation. The focus of Research Paper B is companies’ motivation to host data science competitions on online platforms and which factors influence their success. Extant research has shown that employees with new skills are needed to carry out AI projects and that many companies have problems recruiting such employees. Therefore, data science competitions could support the implementation of AI projects via crowdsourcing. The results of the study (expert interviews among data scientists) show that these competitions offer many advantages, such as exchanges and discussions with experienced data scientists and the use of state-of-the-art approaches. However, only a small part of the effort related to AI projects can be represented within the framework of such competitions. The studies in the other three research papers (Research Papers C, D, and E) examine AI-based information systems from a user perspective, with two studies examining user behavior and one focusing on the design of an AI-based IT artifact. Research Paper C analyses perceptions of AI-based advisory systems in terms of the advantages associated with their use. The results of the empirical study show that the greatest perceived benefit is the convenience such systems provide, as they are easy to access at any time and can immediately satisfy informational needs. Furthermore, this study examined the effectiveness of 11 different measures to increase trust in AI-based advisory systems. This showed a clear ranking of measures, with effectiveness decreasing from non-binding testing to providing additional information regarding how the system works to adding anthropomorphic features. The goal of Research Paper D was to investigate actual user behavior when interacting with AI-based advisory systems. Based on the theoretical foundations of task–technology fit and judge–advisor systems, an online experiment was conducted. The results show that, above all, perceived expertise and the ability to make efficient decisions through AI-based advisory systems influence whether users assess these systems as suitable for supporting certain tasks. In addition, the study provides initial indications that users might be more willing to follow the advice of AI-based systems than that of human advisors. Finally, Research Paper E designs and implements an IT artifact that uses machine learning techniques to support structured literature reviews. Following the approach of design science research, an artifact was iteratively developed that can automatically download research articles from various databases and analyze and group them according to their content using the word2vec algorithm, the latent Dirichlet allocation model, and agglomerative hierarchical cluster analysis. An evaluation of the artifact on a dataset of 308 publications shows that it can be a helpful tool to support literature reviews but that much manual effort is still required, especially with regard to the identification of common concepts in extant literature.

Alternative Abstract:
Alternative abstract Language

Künstliche Intelligenz (KI) ist gerade dabei, unsere Gesellschaft und Wirtschaft fundamental zu verändern. Unternehmen investieren große Geldsummen in den Aufbau entsprechender Kompetenzen und die Entwicklung von Prototypen, mit dem Ziel, KI in ihre Produkte und Dienstleistungen zu integrieren oder aber auch ihre internen Unternehmensprozesse damit anzureichern und zu verbessern. Hierdurch haben zwangsläufig Unternehmens- aber auch Privatanwender Kontakt mit einer Technologie, welche im Kern anders funktioniert als traditionelle Software. Die Möglichkeit, durch maschinelles Lernen auf der Basis großer Datenmengen präzise Modelle zu erzeugen, die in der Lage sind, Muster in diesen Daten zu erkennen, birgt große ökonomische und gesellschaftliche Potenziale – beispielsweise in der Augmentation und Automatisierung von Aufgaben aber auch in der medizinischen Diagnostik und der Entwicklung von Medikamenten. Allerdings stehen Unternehmen und Anwender gleichzeitig auch vor neuen Herausforderungen, die mit der Einführung dieser Technologie einhergehen. So kämpfen Unternehmen unter anderem damit, die großen Datenmengen zu verwalten und Werte daraus zu generieren. Gleichzeitig fürchten Angestellte um ihre Jobs durch die zunehmende Automatisierung. Um unsere Gesellschaft besser auf die wachsende Durchdringung des Alltags durch KI-basierte Informationssysteme vorzubereiten, wird ein tiefergehendes Verständnis dieser Technologie hinsichtlich organisationaler und individueller Nutzung benötigt. Motiviert durch die vielen neuen Herausforderungen und Fragestellungen für Theorie und Praxis, die sich durch KI-basierte Informationssysteme ergeben, werden in dieser Arbeit verschiedene Forschungsfragen im Hinblick auf die Nutzung solcher Informationssysteme adressiert – sowohl aus Anwenderperspektive als auch aus organisationaler Perspektive. Insgesamt wurden fünf Studien durchgeführt und publiziert: zwei Studien aus der Perspektive von Unternehmen sowie drei Studien unter Anwendern. Die Ergebnisse der durchgeführten Untersuchungen tragen zum aktuellen Stand der Forschung bei und stellen eine Basis für zukünftige Studien dar. Zudem ermöglichen die herausgearbeiteten Erkenntnisse das Ableiten von Handlungsempfehlungen für Unternehmen, welche KI in ihre Produkte, Dienste oder Unternehmensprozesse integrieren wollen. Im Rahmen des ersten Forschungsartikels (Forschungspapier A) wurde untersucht, welche Faktoren und Voraussetzungen den Erfolg bei der Einführung und Annahme von künstlicher Intelligenz beeinflussen. Basierend auf dem „Technologie-Organisation-Environment-Framework“ wurden durch die Analyse von Experteninterviews mit Managern, die Erfahrungen im Bereich KI gesammelt haben, verschiedene Faktoren in den Kategorien Technologie, Organisation und Umwelt identifiziert und validiert. Die Ergebnisse zeigen, dass vor allem Faktoren in Zusammenhang mit den Daten (insb. Verfügbarkeit, Qualität) sowie im Umgang mit KI-Projekten (insb. Projektmanagement, Anwendungsfälle) hinzugekommen sind, aber auch regulatorische Faktoren wie die Unsicherheit durch die Datenschutzgrundverordnung zu berücksichtigen sind. Der Fokus von Forschungspapier B liegt darin, zu untersuchen, aus welchen Beweggründen Unternehmen Data Science Wettbewerbe auf Online Plattformen veranstalten und welche Faktoren deren Erfolg beeinflussen. Bestehende Forschung hat gezeigt, dass zur Durchführung von KI-Projekten Mitarbeiter mit neuen Fähigkeiten gebraucht werden und das viele Unternehmen Probleme haben, entsprechende Mitarbeiter zu rekrutieren. Daher könnten solche Wettbewerbe eine Möglichkeit sein, die Durchführung von KI-Projekten per Crowdsourcing zu unterstützen. Die Ergebnisse der Studie (Experteninterviews) unter Datenwissenschaftlern zeigen, dass die Wettbewerbe viele Vorzüge bieten, wie bspw. der Austausch mit erfahrenen Datenwissenschaftlern sowie die Verwendung neuster Ansätze. Allerdings kann nur ein kleiner Teil des Aufwands, der bei KI-Projekten anfällt, im Rahmen solcher Wettbewerbe abgebildet werden. Die Studien der anderen drei Forschungsartikel (Forschungspapier C, D und E) betrachten KI-basierte Informationssysteme aus Anwenderperspektive – wobei zwei Studien das Verhalten von Nutzern untersuchen und bei einer Studie die Erstellung eines KI-basierten IT-Artefakts im Fokus steht. Forschungspapier C analysiert die Wahrnehmung von KI-basierten Beratungssystemen hinsichtlich der Vorteile, die sich aus deren Nutzung ergeben. Die Ergebnisse der empirischen Studie zeigen, dass der größte wahrgenommene Nutzen der gebotene Komfort ist, da die Systeme einfach und jederzeit zugänglich sind sowie eine sofortige Befriedigung des Informationsbedürfnisses bieten. Des Weiteren, wurde in dieser Studie die Wirksamkeit elf verschiedener Maßnahmen zur Steigerung des Vertrauens in KI-basierte Beratungssysteme untersucht. Hier zeigte sich eine klare Rangfolge der Maßnahmen mit abnehmender Wirksamkeit vom unverbindlichen Testen über das Bereitstellen zusätzlicher Informationen bezüglich der Funktionsweise des Systems hin zu dessen Vermenschlichung. Das Ziel von Forschungspapier D ist die Untersuchung des tatsächlichen Nutzungsverhalten von Anwendern während der Interaktion mit KI-basierten Beratungssystemen. Basierend auf den theoretischen Grundlagen des „Task-Technology Fit“ und von „Judge-Advisor Systems“ wurde ein Onlineexperiment durchgeführt. Die Ergebnisse zeigen, dass vor allem die wahrgenommene Expertise als auch die Möglichkeit, durch KI-basierte Beratungssysteme effizient Entscheidungen treffen zu können, beeinflussen, ob Anwender diese Systeme als geeignet zur Unterstützung bestimmter Aufgaben einschätzen. Zudem gibt die Studie erste Hinweise darauf, dass Anwender den Ratschlägen KI-basierter Systeme mehr Beachtung schenken könnten als denen menschlicher Berater. Schließlich wird in Forschungspapier E ein IT-Artefakt entworfen und implementiert, welches durch Nutzung von Techniken des maschinellen Lernens das Durchführen von strukturierten Literaturrecherchen unterstützt. Dem Vorgehen der „Design Science“ Forschung folgend, wurde iterativ ein Artefakt entwickelt, welches automatisiert Forschungsartikel von verschiedenen Datenbanken herunterladen sowie diese hinsichtlich ihres Inhalts analysieren und gruppieren kann. Hierzu wurde insbesondere der „word2vec“ Algorithmus, das „Latent Dirichlet Allocation“ Modell und agglomerative hierarchische Clusteranalyse verwendet. Eine Bewertung des Artefakts auf einem Datensatz von 308 Veröffentlichungen zeigt, dass es ein hilfreiches Werkzeug zur Unterstützung bei Literaturrecherchen sein kann, aber insbesondere hinsichtlich der Identifikation gemeinsamer Konzepte weiterhin viel manueller Aufwand erforderlich ist.

German
Status: Publisher's Version
URN: urn:nbn:de:tuda-tuprints-229445
Classification DDC: 000 Generalities, computers, information > 004 Computer science
300 Social sciences > 330 Economics
Divisions: 01 Department of Law and Economics
01 Department of Law and Economics > Betriebswirtschaftliche Fachgebiete
01 Department of Law and Economics > Betriebswirtschaftliche Fachgebiete > Information Systems
Date Deposited: 15 Dec 2022 13:56
Last Modified: 16 Dec 2022 10:18
PPN:
Referees: Buxmann, Prof. Dr. Peter ; Benlian, Prof. Dr. Alexander
Refereed / Verteidigung / mdl. Prüfung: 17 November 2022
Export:
Suche nach Titel in: TUfind oder in Google
Send an inquiry Send an inquiry

Options (only for editors)
Show editorial Details Show editorial Details