Wie gut sind KI-Detektoren bei der Inhalts-Klassifizierung?
Die meisten KI-Content-Generierungstools basieren auf GPT-Sprachmodellen, die von OpenAI bereitgestellt werden. Daher ähneln sich die Muster, die sie bei der Erstellung von Inhalten verwenden, in gewisser Weise. Wir können jetzt Texte nicht nur direkt in der ChatGPT-Anwendung erstellen, verbessern oder bearbeiten, sondern auch in Notion.so-Dokumenten oder mit Hilfe des Grammarly-Plugins.
Heutzutage wird eine zunehmende Menge an Inhalten, die online veröffentlicht werden, von künstlicher Intelligenz generiert oder mit ihrer Hilfe erstellt. Als Folge davon entstehen neue Möglichkeiten, den Ursprung von Inhalten zu überprüfen: KI-Detektoren. Wir haben uns entschieden, ihre Zuverlässigkeit und das Vertrauen, das wir in sie setzen können, genauer zu untersuchen.
Wie funktionieren KI-Detektoren?
KI-Content-Detektoren basieren im Wesentlichen auf neuen Sprachmodellen, die darauf trainiert wurden, zwischen Texten, die von Menschen geschrieben wurden, und solchen, die von künstlicher Intelligenz erstellt wurden, zu unterscheiden. Diese Tools bestimmen ihre Wahrscheinlichkeit Bewertungen auf der Grundlage der Perplexität (Maß für die Zufälligkeit) und Burstiness (Maß für die Variation der Perplexität) des Textes. Menschen tendieren dazu, mit größerer Zufälligkeit zu schreiben - zum Beispiel fügen wir oft längere Sätze mit kürzeren, weniger komplexen Sätzen ein. KI-Content-Detektoren identifizieren diese Merkmale durch Training an Millionen von Beispielsätzen, die zuvor als menschlich geschrieben oder von KI erstellt kategorisiert wurden.
Während KI-Modelle wie ChatGPT und andere auf GPT basierten Tools Inhalte in verschiedenen Sprachen generieren können, unterstützen die meisten Überprüfungstools hauptsächlich Englisch. Wie kann man also Inhalte in anderen Sprachen überprüfen?
Eine Methode besteht darin, Texte zu überprüfen, die automatisch von Tools wie DeepL oder Google Translate übersetzt wurden. Es ist jedoch wichtig zu beachten, dass diese Übersetzungsmethode auch bestimmte Muster auf die Texte aufzwingt, nach denen sie automatisch übersetzt werden, was die Bewertung des Detektors beeinflusst. Dennoch sind einige Detektoren bereit, Inhalte in anderen Sprachen zu überprüfen, obwohl ihre offizielle Unterstützung auf Englisch beschränkt ist.
Jeder Detektor hat auch seine Einschränkungen hinsichtlich der Länge des Inhalts, den er überprüfen kann. Diese Einschränkungen können je nach Verwendung einer kostenlosen oder kostenpflichtigen Version variieren. Darüber hinaus verwenden die Detektoren unterschiedliche Methoden, um den Ursprung des Inhalts zu bewerten. Einige geben einen Prozentsatz der Gewissheit an, , dass der Text von einer bestimmten Quelle generiert wurde, während andere verbale Bewertungen oder eine binäre Skala verwenden: Ja oder Nein.
Geprüfte Tools
Aus dem Angebot auf dem Markt haben wir die vier beliebtesten Tools genauer unter die Lupe genommen und sie anhand einer Stichprobe von 20 Texten getestet. Wir haben 10 Texte ausgewählt, die von Menschen geschrieben wurden, und 10, die von künstlicher Intelligenz generiert wurden, um zu evaluieren, wie diese Tools sie klassifizieren würden.
In der Gruppe der traditionell geschriebenen Texte haben wir Artikel, die vollständig von Textern verfasst wurden (einige davon vor 2021, was die Beteiligung von KI an ihrer Erstellung ausschließt), Auszüge aus der Literatur (einschließlich Kinderbüchern), Nachrichtenartikel und Anleitungen aufgenommen. Der KI-generierte Inhalt beinhaltete Fragmente von Literatur, die auf diese Weise erstellt wurden, wie zum Beispiel "Das innere Leben einer KI: Eine Autobiografie" von ChatGPT (Memoirs by ChatGBT)und Bob dem Roboter(Bob the Robot), sowie Artikel, die mithilfe künstlicher Intelligenz produziert wurden (sowohl bereits online veröffentlichte als auch frisch von GPT-3.5 und GPT-4 erstellte). Wir haben auch polnische Texte zusammen mit ihren Übersetzungen durch DeepL und Google Translate in unsere analysierte Inhaltsprobe aufgenommen. Alle Tests wurden an denselben Textfragmenten durchgeführt, und aufgrund der unterschiedlichen Klassifizierungsmethoden haben wir die Ergebnisse einzeln für jedes einzelne Tool untersucht.
Im Folgenden präsentieren wir eine Zusammenstellung von Texten, die von Menschen geschrieben wurden
und diejenigen, die von künstlicher Intelligenz generiert wurden:
AI-Textklassifikator von OpenAI
Der KI-Textklassifikator von OpenAI, den Entwicklern der GPT-Modelle, ist das beliebteste Tool zur Erkennung von Inhalten, die von künstlicher Intelligenz erstellt wurden. Er bewertet und drückt seine Ergebnisse in Form der Wahrscheinlichkeit aus, dass der analysierte Text von künstlicher Intelligenz erstellt wurde. Dies erfolgt mit einer Reihe von Kategorien: 'sehr unwahrscheinlich', 'unwahrscheinlich', 'unklar', 'möglicherweise' und 'wahrscheinlich KI-generiert'. Wie Sie sehen können, bietet diese Skala eine faire Nuancierung. OpenAI selbst weist in der Beschreibung des Tools darauf hin, dass die Ergebnisse nicht immer genau sein können und dass der Detektor sowohl KI-erstellte als auch von Menschen geschriebene Inhalte möglicherweise falsch klassifizieren kann. Es ist wichtig anzumerken, dass das Modell, das zur Schulung des KI-Textklassifikators verwendet wurde, keine Studentenarbeiten einschloss. Daher wird es nicht empfohlen, solche Inhalte damit zu überprüfen.
Von den 10 von Menschen geschriebenen Texten klassifizierte der KI-Textklassifikator korrekt 9 als 'sehr unwahrscheinlich' oder 'unwahrscheinlich', um von künstlicher Intelligenz erstellt worden zu sein. Allerdings hat er mehr Schwierigkeiten mit der Klassifizierung der von KI generierten Texte. In diesem Fall wird der Text häufig als 'unklar', 'unwahrscheinlich' oder 'möglicherweise' KI-generiert eingestuft.
Originality.AI
Ein weiteres weit verbreitetes Tool zur Überprüfung von mit künstlicher Intelligenz erstellten Inhalten ist Originality. Die Entwickler behaupten, dass es eine Effektivitätsrate von 95,93% hat. Es ist das einzige kostenpflichtige Tool auf unserer Liste und berechnet $0,01 pro 100 Wörter, die überprüft werden. Das kleinste Paket kostet $20. Neben der Überprüfung des Ursprungs des Inhalts durchsucht Originality diesen auch nach Plagiaten.
Originality verwendet Prozentsätze, um die Sicherheit darüber auszudrücken, wie der Inhalt erstellt wurde. Eine Originalitätswertung von 66% bedeutet nicht, dass der Text zu 66% von einem Menschen und zu 34% von KI geschrieben wurde, sondern dass Originality zu 66% sicher ist, dass der Inhalt von einem Menschen erstellt wurde. Das Tool hebt die Teile, von denen es glaubt, dass sie von KI generiert wurden, in Rot hervor, und die Teile, von denen es überzeugt ist, dass sie von Menschen stammen, in Grün. Interessanterweise ist es oft der Fall, dass in Texten, die letztendlich als von Menschen geschrieben kategorisiert werden, der Großteil oder zumindest die Hälfte des Inhalts rot markiert ist.
Originality hat manchmal Schwierigkeiten, von Menschen geschriebenen Inhalt definitiv zu kategorisieren. Von allen überprüften Textfragmenten wurde nur eines zu 100% als von einem Menschen geschrieben bewertet. Die Ergebnisse für die übrigen Texte lagen zwischen 52 und 92% sicher, dass der Inhalt von Menschen stammt.
Das Tool war etwas besser darin, Inhalte, die von KI generiert wurden, zu überprüfen. Bei 7 von 10 Texten lag die Sicherheit, dass der Inhalt von KI generiert wurde, bei 100% oder 99%. Zweifel traten auf, als es um von KI generierten Inhalt auf Polnisch ging, der dann ins Englische übersetzt wurde. Obwohl der Artikel von einem der älteren GPT-Modelle generiert wurde (und im September 2022 auf einem Blog veröffentlicht wurde) und einige stilistische Fehler aufwies, war Originality zu 92% sicher, dass die polnische Version von einem Menschen geschrieben wurde. Aber während die Übersetzungen fortgesetzt wurden, neigte die Gewichtung zugunsten von KI: Originality war zu 57% sicher, dass der von DeepL übersetzte Inhalt von KI generiert wurde, und zu 85% sicher für die Google Translate-Version.
Der Text, der Originality am meisten Schwierigkeiten bereitete, war ein Artikel von der beliebten Website Bankrate.com, bei dem der Inhalt von KI generiert und von Menschen überprüft wurde. Dies war der einzige Fall, in dem das Tool zu 88% sicher war, dass der Artikel von einem Menschen geschrieben wurde, obwohl er tatsächlich mit Hilfe von KI erstellt wurde. Es scheint also, dass der Schlüssel zum "Täuschen" von Originality in einer sorgfältigen Bearbeitung des Textes liegt.
CopyLeaks
Die Gesamtbewertung des Inhalts in CopyLeaks ist binär. Die möglichen Ergebnisse lauten "Dies ist ein menschlicher Text" und "KI-Inhalt erkannt". Eine detaillierte Überprüfung für bestimmte Abschnitte kann nur angezeigt werden, indem der Text mit der Maus überfahren wird. Das Tool gibt dann an, wie wahrscheinlich es ist, dass der ausgewählte Absatz von einem Menschen oder von KI geschrieben wurde.
Von den 10 von Menschen geschriebenen Texten erkannte CopyLeaks in zwei davon KI-generierten Inhalte. Bei Inhalten, die von KI generiert wurden, bewertete das Tool sie als ungefähr gleichzeitig von Menschen und KI erstellt. Daher sind die Ergebnisse nicht zuverlässig und könnten sogar als nutzlos betrachtet werden. Es ist überraschend, wie "empfindlich" CopyLeaks auf Änderungen reagiert. In den überprüften Beispielen reichte bereits eine einfache Änderung der Eingabeaufforderung oder die Hinzufügung von Kapitelnummer und -titel aus, um das Ergebnis der Bewertung vollständig zu verändern.
Content at Scale - AI DETECTOR
Content at Scale dient in erster Linie als Werkzeug für die automatische Erstellung von Inhalten, wobei die Überprüfungsfunktion eine zusätzliche Funktion darstellt. Die Entwickler des Tools behaupten, dass Texte, die von ihrem System generiert werden, von KI-Detektoren nicht erkannt werden können. Dies wirft die Frage auf, ob der Detektor darauf ausgelegt wurde, die Wirksamkeit des Generators zu bestätigen.
Das Unternehmen liefert auf seiner Website einen Beispieltext, der von Content at Scale generiert wurde. Gemäß ihrem eigenen Detektor wurde dieser Text mit einer Wahrscheinlichkeit von 95% als von einem Menschen geschrieben bewertet. Der AI Text Classifier hingegen hielt es für unwahrscheinlich, dass er von KI stammt. Originality und CopyLeaks ließen sich jedoch nicht so leicht täuschen. Originality bewertete den Text als zu 100% von KI generiert, während CopyLeaks KI-Inhalt erkannte. Wie man sehen kann, bieten verschiedene Detektoren unterschiedliche Perspektiven.
Der Detektor von Content at Scale schnitt recht gut bei der Erkennung von Inhalten ab, die von Menschen geschrieben wurden. Bei 9 von 10 überprüften Fragmenten überstieg die Wahrscheinlichkeit, dass sie von Menschen geschrieben wurden, 90%.
Jedoch hatte er mehr Schwierigkeiten mit KI-generierten Inhalten. In 6 von 10 Fällen bewertete er Texte als von Menschen und KI erstellt. Der Rest wurde fälschlicherweise als von Menschen geschrieben eingestuft.
Detektoren täuschen
Die Detektoren von KI-Inhalten lassen sich tatsächlich austricksen, und es gibt verschiedene Tricks, um Inhalte zu generieren, die an ihrer Erkennung vorbei schlüpfen können. Hinter der Generierung von KI-generierten Inhalten steht immer ein Mensch, der die Eingabeaufforderungen entwickelt. Die Frage lautet also: Können wir Wege finden, um KI-Inhaltsdetektoren zu täuschen und Inhalte zu generieren, die ihre Erkennung Fähigkeiten überlisten?
Das Internet ist voll von verschiedenen Tricks, um nicht erkennbare Eingabeaufforderungen zu erstellen. Einer davon besteht darin, dem Chatbot die Konzepte der "Perplexität" und "Burstiness" zu erklären. Die Idee besteht darin, die KI dazu zu bringen, diese Faktoren bei der Generierung neuer Texte zu berücksichtigen. Um dies zu testen, haben wir einen Chatbot, der vom GPT-4-Modell angetrieben wird, beauftragt, einen Artikel über die besten Kletterorte rund um Paris zu entwerfen.
Die Ergebnisse waren interessant. Wir haben das Ergebnis der ursprünglichen Textversion mit einem zweiten Versuch verglichen, bei dem wir die Bewertungskriterien für den Chatbot klargestellt und ihn angeleitet haben, den Inhalt menschenähnlicher erscheinen zu lassen:
Das einzige Tool, das nicht getäuscht wurde, war Originality. Allerdings haben wir den AI Text Classifier erfolgreich getäuscht, der zu dem Schluss kam, dass die Wahrscheinlichkeit, dass beide Inhalte von KI generiert wurden, gering ist. Interessanterweise änderten Content at Scale und CopyLeaks ihre Meinung, nachdem ChatGPT-4 den Text verfasst hatte und die Richtlinien zur Perplexität und Burstiness berücksichtigt wurden.
Was macht Detektoren unzuverlässig?
Detektoren sind darauf ausgelegt, nach vorhersehbaren Elementen von Inhalten zu suchen, die als "Perplexität" bezeichnet werden. Je geringer die Vorhersagbarkeit ist, desto größer ist die Wahrscheinlichkeit, dass der Text auf traditionelle Weise, also von einem Menschen, verfasst wurde. Allerdings können schon geringfügige Änderungen in den Eingabeaufforderungen eines Chatbots wie ChatGPT zu völlig unterschiedlichen Ergebnissen führen. Eine geringfügige Modifikation im zu überprüfenden Text (die möglicherweise nur geringfügig die Bedeutung ändert) kann auch die Bewertung dieser Tools verändern.
Nehmen wir zum Beispiel das Kinderbuch "Bob der Roboter" (Bob the Robot), das zu 80% von künstlicher Intelligenz generiert wurde. Der Verlag schrieb die restlichen 20% der Texterstellung der menschlichen Bearbeitung zu. Das Segment, das wir in Bezug auf die Entstehung des Buches überprüft haben, war das erste Kapitel mit 276 Wörtern. Wir haben im Grunde genommen denselben Text zweimal überprüft, mit nur einer geringfügigen Änderung: Wir haben "Kapitel 1: Star City" vor dem Inhalt des Kapitels hinzugefügt. Dadurch änderte Copyleaks.com seine Bewertung des Ursprungs des Buches vollständig. In dem sauberen Text des Kapitels erkannte das Tool Inhalte, die von KI generiert wurden, aber derselbe Text mit Informationen über die Kapitelnummer und den Titel wurde als menschlich geschrieben eingestuft.
Wie reagieren Detektoren auf übersetzte Inhalte? Als Beispiel haben wir Inhalte verwendet, die von einem Texter ohnee Hilfe von künstlicher Inteligenz verfasst wurden. Der Artikel wurde auf Polnisch geschrieben. Obwohl einige Tools diese Sprache nicht unterstützen, versuchen sie dennoch, den Inhalt zu überprüfen, ohne Fehler anzuzeigen. Die von originality.ai bereitgestellten Ergebnisse zeigten eine Wahrscheinlichkeit von 77%, dass der Inhalt von einem Menschen verfasst wurde, als der polnische Text überprüft wurde. Derselbe Text, wenn er mit DeepL übersetzt wurde, ergab für das Tool nur eine Wahrscheinlichkeit von 67%, dass er von einem Menschen geschrieben wurde. Diese Wahrscheinlichkeit sinkt auf 36%, wenn der Text von Google Translate übersetzt wird.
Interessanterweise hat ein anderes Tool, Copyleaks, das offiziell polnische Inhalte unterstützt, alle Versionen korrekt klassifiziert. Die Wahrscheinlichkeit, dass der Großteil des Textes von einem Menschen verfasst wurde (wobei das Tool einzelne Teile des Textes separat bewertet), betrug 99,9% für die polnische Version, 89,8% für die DeepL-Übersetzung und 90,2% für die Google Translate-Version. Obwohl die Unterschiede gering sind, ist es faszinierend, dass die Übersetzung von Google als näher am Schreibstil eines Menschen angesehen wird als DeepL, das von Originality entgegengesetzt klassifiziert wurde.
Wie unterscheiden sich KI-Inhaltsdetektoren von Menschen?
Forscher der School of Engineering and Applied Science an der University of Pennsylvania haben untersucht, wie Menschen KI-generierte Inhalte erkennen. Können wir die Unterschiede erkennen und welche Faktoren berücksichtigen wir in unserem Urteil?
Quelle: https://arxiv.org/pdf/2212.12672.pdf
Bei verschiedenen Arten von Inhalten konzentrieren wir uns in erster Linie auf die Relevanz, die in der Regel den stärksten Einfluss auf unsere Bewertung ausübt. Innerhalb von KI-generierten Inhalten erkennen wir auch Fehler, die auf einen Mangel an gesundem Menschenverstand und das Vorhandensein widersprüchlicher Abschnitte zurückzuführen sind, die KI-Tools nicht überprüfen können.
KI-Detektoren stützen ihre Bewertungen hauptsächlich auf die Vorhersagbarkeit und Zufälligkeit des Textes, ohne viele andere Faktoren zu berücksichtigen, die von den Teilnehmern der Studie hervorgehoben wurden. Wir haben dies mit einem Artikel getestet, der im September 2022 von künstlicher Intelligenz erstellt wurde, bevor ChatGPT bekannt wurde. Der Artikel ist voller stilistischer Fehler, unlogischer Sätze und unbeholfener Formulierungen, aber andererseits ist er tatsächlich "originell" und bemerkenswert zufällig.
Der Text war ursprünglich auf Polnisch, daher haben wir den Vorgang der automatischen Übersetzungen über DeepL und Google Translate wiederholt und zur Sicherheit auch den Originaltext untersucht (beachten Sie, dass nicht alle Tools die polnische Sprache unterstützen, sie aber dennoch ihre Bewertung vornehmen).
Hier sind die Ergebnisse:
Wie ersichtlich, hat Originality.ai die Aufgabe der Bewertung des übersetzten Textes am besten gemeistert, aber die Ergebnisse sind nicht eindeutig. Beachten Sie, dass der Prozess der automatischen Übersetzung ein "unnatürliches" Element in den Inhalt einbringen kann, was teilweise zu einer erhöhten Wahrscheinlichkeit führen kann, dass der Inhalt als KI-generiert wahrgenommen wird.
Zusammenfassung
Das Paradoxon von KI-Inhalten-Erkennungswerkzeugen besteht darin, dass wir trotz unserer Skepsis gegenüber der Qualität von KI-generierten Texten auf andere KI-basierte Werkzeuge angewiesen sind, um sie zu erkennen. Dadurch ergeben sich wichtige Fragen: Können wir mit absoluter Sicherheit feststellen, wie ein Stück Inhalt erstellt wurde? Spielt es wirklich eine Rolle, wie es geschrieben wurde, wenn der Artikel gut geschrieben und sachlich korrekt ist?
Es herrscht weitgehend die Überzeugung, dass KI-generierter Inhalt von geringer Qualität ist, und einige argumentieren, dass Websites, die solchen Inhalt verwenden, bestraft werden könnten. Suchmaschinen wie Bing und Google integrieren jedoch künstliche Intelligenz in ihre Algorithmen, was auf die wahrgenommenen Vorteile von KI-Lösungen hinweist.
Keines der Erkennungswerkzeuge ist fehlerfrei. Bei Tests schnitten einige besser bei der Bewertung von von Menschen geschriebenen Texten ab, während andere bei KI-generierten Texten herausragten. Die Ergebnisse für bestimmte Inhalte können zwischen den Werkzeugen erheblich variieren. Tests ohne vorherige Kenntnis darüber, wie der Inhalt erstellt wurde, durchzuführen, würde die Ergebnisse unzuverlässig machen. Die größte Herausforderung bei diesen Werkzeugen besteht in der Unsicherheit ihrer Genauigkeit, was es schwierig macht, ihnen in jedem einzelnen Fall vollständig zu vertrauen.
Der Artikel, ursprünglich auf Polnisch von Agata Gruszka verfasst, erkundet die Welt der KI-Inhalteerkennung und ihre Herausforderungen bei der Klassifizierung.
(Hinweis: Die Zusammenfassung ist eine gekürzte Version des Originalartikels und enthält möglicherweise nicht alle Details und Feinheiten des Originaltexts.)