ChatGPT und halluzinierte Referenzen in Artikeln aus ausgewählten Bereichen der Betriebswirtschaftslehre.

التفاصيل البيبلوغرافية
العنوان:	ChatGPT und halluzinierte Referenzen in Artikeln aus ausgewählten Bereichen der Betriebswirtschaftslehre. (German)
Alternate Title:	ChatGPT and hallucinated references in articles from selected areas of business administration. (English) ChatGPT et références hallucinées dans des articles de certains domaines de la gestion d'entreprise. (French)
المؤلفون:	Schlögl †, Christian
المصدر:	Information -- Wissenschaft und Praxis; 2024, Vol. 75 Issue 4, p157-166, 10p
مصطلحات موضوعية:	CHATGPT, LANGUAGE models, ARTIFICIAL intelligence, TECHNICAL writing, BIBLIOGRAPHY
Abstract (English):	This paper examines the problem of hallucinations in four scientific articles generated by ChatGPT-4 from various sub-fields of business administration. Specifically, the aim is to check whether the references generated by ChatGPT exist and, if this is the case, whether they are correct. A first surprising result is that nearly 40 Prozent of the 174 sources referenced in the articles, whose bibliographic details were listed after the individual main chapters, were not included in the specially for each article generated bibliography. A check of the bibliographic entries revealed that between 18 % and 100 % of the sources in the individual articles could not be found with Google Scholar. Furthermore, half of the sources found were incorrect to varying degrees (wrong document type, wrong journal name, wrong page reference). On average, only a quarter of the bibliographic references were completely correct. In Web of Science, only a quarter of the sources could be verified, but most of them were correct. The above results show that ChatGPT-4 – besides ethical and legal concerns – should definitely not be used for writing scientific papers, as a large proportion of the references generated by ChatGPT (valid at the time of writing this paper) does not exist or is partially incorrect. Furthermore, it can be assumed that some of the article texts generated are also "invented" or come from unreferenced sources (plagiarism). Texts generated by ChatGPT must therefore be subject to a comprehensive review, which may not always be easy. The authors therefore agree with the recommendation of Gimpel et al. (2023) that ChatGPT should primarily be used as a supplement to writing (e. g., spell-checking, creating summaries, supporting the generation of ideas). [ABSTRACT FROM AUTHOR]
Abstract (French):	Résumé: Le présent article examine la problématique des hallucinations dans quatre articles scientifiques rédigés par ChatGPT-4 dans différents domaines de la gestion d'entreprise. Concrètement, il s'agit de vérifier si les références générées par ChatGPT existent et, si c'est le cas, si elles sont correctes. Un premier résultat surprenant est que près de 40 % des sources référencées dans les articles 174, dont les indications bibliographiques étaient éditées après chaque chapitre principal, n'étaient pas indiquées dans la bibliographie générée spécifiquement pour chaque article. Une vérification de toutes les données bibliographiques a montré que dans les différents articles, entre 18 et 100 pour cent des sources n'ont pas pu être trouvées dans Google Scholar. La moitié des sources ChatGPT trouvées étaient erronées à des degrés divers (mauvais type de document, mauvais nom de revue, mauvaise indication de la page). En moyenne, seul un quart des références bibliographiques étaient entièrement correctes. Dans le Web of Science, seul un quart des sources ont été identifiées, mais elles étaient en grande partie correctes. Les résultats ci-dessus montrent que ChatGPT-4 ne peut pas être recommandé pour la rédaction de travaux scientifiques – pas seulement en raison de préoccupations éthiques et juridiques – car une grande partie des références générées par ChatGPT (version valable au moment de la rédaction de ce travail) n'existe pas ou est partiellement erronée. On peut également supposer que les textes générés sont en partie inventés ou proviennent de sources non référencées (plagiat). Les textes générés par ChatGPT doivent donc être soumis à une vérification complète, ce qui ne devrait pas toujours être facile, surtout au niveau du contenu. Les auteurs se rallient donc à la recommandation de Gimpel et al. (2023) selon laquelle ChatGPT ne devrait être utilisé en premier lieu qu'à titre complémentaire lors de la rédaction (p. ex. contrôle orthographique, élaboration de résumés, aide à la génération d'idées). [ABSTRACT FROM AUTHOR]
Abstract (German):	Der vorliegende Aufsatz untersucht die Problematik von Halluzinationen in vier wissenschaftlichen Aufsätzen aus verschiedenen Bereichen der Betriebswirtschaftslehre, die von ChatGPT-4 verfasst wurden. Konkret soll geprüft werden, ob die von ChatGPT generierten Quellennachweise existieren und, wenn dies der Fall ist, ob sie korrekt sind. Ein erstes überraschendes Ergebnis ist, dass fast 40 Prozent der 174 in den Artikeln referenzierten Quellen, deren bibliografische Angaben nach den einzelnen Hauptkapiteln ausgegeben wurden, nicht im für jeden Aufsatz eigens generierten Literaturverzeichnis ausgewiesen waren. Eine Überprüfung aller bibliografischen Angaben ergab, dass in den einzelnen Artikeln zwischen 18 und 100 Prozent der Quellen in Google Scholar nicht gefunden werden konnten. Die Hälfte der gefundenen ChatGPT-Quellen war in unterschiedlichem Ausmaß fehlerhaft (falscher Dokumenttyp, falscher Zeitschriftenname, falsche Seitenangabe). Im Durchschnitt war nur ein Viertel der bibliografischen Quellenangaben vollständig korrekt. Im Web of Science konnte nur ein Viertel der Quellenangaben nachgewiesen werden, diese waren aber größtenteils korrekt. Obige Ergebnisse zeigen, dass ChatGPT-4 für das Verfassen von wissenschaftlichen Arbeiten – nicht nur aufgrund von ethischen und rechtlichen Bedenken – nicht empfohlen werden kann, da ein großer Teil der (zum Zeitpunkt des Verfassens dieser Arbeit gültigen Version) von ChatGPT generierten Referenzen nicht existiert oder teilweise fehlerhaft ist. Es ist weiter davon auszugehen, dass auch die erzeugten Texte teilweise erfunden sind oder von nicht referenzierten Quellen (Plagiate) stammen. Von ChatGPT erzeugte Texte müssen daher einer umfassenden Überprüfung unterzogen werden, die vor allem auf inhaltlicher Ebene nicht immer einfach sein dürfte. Die Autoren schließen sich daher der Empfehlung von Gimpel et al. (2023) an, dass ChatGPT beim Schreiben primär nur ergänzend (z. B. Rechtschreibkontrolle, Erstellung von Zusammenfassungen, Unterstützung bei der Ideengenerierung) verwendet werden sollte. [ABSTRACT FROM AUTHOR]
	Copyright of Information -- Wissenschaft und Praxis is the property of De Gruyter and its content may not be copied or emailed to multiple sites or posted to a listserv without the copyright holder's express written permission. However, users may print, download, or email articles for individual use. This abstract may be abridged. No warranty is given about the accuracy of the copy. Users should refer to the original published version of the material for the full abstract. (Copyright applies to all Abstracts.)
قاعدة البيانات:	Supplemental Index

الوصف
تدمد:	14344653
DOI:	10.1515/iwp-2024-2016