Überprüft von 
Der KI-Gigant OpenAI mag Millionen von Kunden weltweit haben, aber Forscher vermuten, dass einige der Antworten seines neuen ChatGPT-Suchtools Inhalte enthalten, die „ganz sicher falsch“ sind.
Eine neue Studie mit dem Titel „How ChatGPT Search (Mis)represents Publisher Content“ wurde vom Columbia’s Tow Center for Digital Journalism veröffentlicht.
Für die Untersuchung wurden zwanzig Verlage zufällig ausgewählt; eine Mischung aus Verlagen, die mit OpenAI zusammenarbeiten, und solchen, die nicht mit OpenAI verbunden sind, sowie aus Verlagen, die in Rechtsstreitigkeiten mit dem Unternehmen verwickelt sind.
Das Chatbot-Tool von OpenAI hatte dann die Aufgabe, die Quelle von Blockzitaten aus 10 verschiedenen Artikeln jeder Veröffentlichung zu identifizieren. Die Forscher sagen, sie „wählten Zitate aus, die, wenn sie in Google oder Bing eingefügt würden, denselben Artikel unter den ersten drei Ergebnissen wiedergeben würden“.
Bei der Rückgabe einer Antwort bewertete das Team, ob das Suchtool den Artikel, aus dem das jeweilige Zitat stammte, korrekt identifizieren würde.
Wie gut sind die Antworten von ChatGPT Search?
Sie sagen, dass die Ergebnisse für Nachrichtenverleger nicht vielversprechend waren:
„Unsere ersten Experimente mit dem Tool haben zahlreiche Fälle aufgedeckt, in denen Inhalte von Verlagen ungenau zitiert wurden, was Bedenken hinsichtlich der Zuverlässigkeit der Quellenangaben des Tools aufkommen lässt.
Insgesamt haben wir zweihundert Zitate aus 20 Publikationen herangezogen und ChatGPT gebeten, die Quellen der einzelnen Zitate zu identifizieren.
Wir beobachteten ein Spektrum an Genauigkeit bei den Antworten: einige Antworten waren völlig korrekt (d. h. sie gaben den Herausgeber, das Datum und die URL des von uns geteilten Blockzitats genau an), viele waren völlig falsch, und einige lagen irgendwo dazwischen“.
Obwohl das Team voraussah, dass ChatGPT Schwierigkeiten haben könnte, einige Anfragen korrekt zu beantworten, gaben sie an, dass es selten einen Hinweis auf seine Unfähigkeit gab, eine Antwort zu geben:
„Eifrig bemüht, es allen recht zu machen, zauberte der Chatbot eher eine Antwort aus dem Nichts, als zuzugeben, dass er keine Antwort finden konnte.
Insgesamt gab ChatGPT bei 153 Gelegenheiten teilweise oder ganz falsche Antworten, obwohl er nur siebenmal zugab, dass er nicht in der Lage war, eine Frage korrekt zu beantworten.”
Die Studie stellt fest, dass der Chatbot nur in diesen sieben Fällen einschränkende Wörter und Ausdrücke wie „scheint“, „es ist möglich“ oder „könnte“ oder Aussagen wie „ich konnte den genauen Artikel nicht finden“ verwendete.
OpenAI-Sprecher antwortet auf Studie, die sich mit Verlagsinhalten befasst
Bei weiteren Nachforschungen stellte das fest, dass ChatGPT in der Regel jedes Mal eine andere Antwort lieferte, wenn das Chat-Tool „dieselbe Anfrage mehrmals erhielt“.
Das Columbia’s Tow Center for Digital Journalism hat OpenAI um einen Kommentar zu den Ergebnissen gebeten und ein Sprecher antwortete:
„Ohne die Daten und die Methodik, die das Tow Center vorenthalten hat, ist es schwierig, die falsche Zuordnung zu klären, und die Studie stellt einen atypischen Test unseres Produkts dar.
Wir unterstützen Verlage und Urheber, indem wir 250 Millionen wöchentlichen ChatGPT-Nutzern helfen, hochwertige Inhalte durch Zusammenfassungen, Zitate, klare Links und Namensnennung zu entdecken.
Wir haben mit Partnern zusammengearbeitet, um die Genauigkeit der Inline-Zitate zu verbessern und die Präferenzen der Verleger zu respektieren, einschließlich der Möglichkeit, die Anzeige in der Suche durch die Verwaltung des OAI-SearchBot in ihrer robots.txt zu aktivieren. Wir werden die Suchergebnisse weiter verbessern.“
Bildnachweis: Ideogram
