KI-Detektoren können hilfreich sein, um Muster zu erkennen, die häufig in KI-generierten Texten vorkommen, doch kein Detektor ist in jeder Situation zu 100% genau.
Sind KI-Detektoren also zuverlässig? Die Antwort hängt vom jeweiligen Tool, der Art und Länge des zu prüfenden Textes, dem zur Erstellung verwendeten KI-Modell sowie davon ab, ob der Inhalt bearbeitet oder umformuliert wurde.
Moderne KI-Modelle können Texte erzeugen, die menschlichen Texten sehr ähnlich sind, während menschliche Texte manchmal so vorhersehbar wirken, dass sie einen KI-Detektor auslösen. Dies führt zu zwei häufigen Problemen: „False Positives“, bei denen menschliche Texte als KI-Texte markiert werden, und „False Negatives“, bei denen KI-generierte Texte als menschliche Texte eingestuft werden.
Um zu sehen, wie sich die verschiedenen Tools schlagen, haben wir 10 beliebte KI-Detektoren anhand desselben Benchmarks mit fünf Texten getestet. Das Ziel war nicht, zu beweisen, dass ein Detektor universell genau ist, sondern zu vergleichen, wie konsistent sie unter denselben Bedingungen abschneiden.
Das haben wir herausgefunden.
Wichtigste Erkenntnisse
- KI-Detektoren suchen nach Mustern wie der Vorhersagbarkeit von Wörtern, der Variation von Sätzen, der Syntax und anderen Merkmalen, die mit KI-generierten Texten in Verbindung stehen.
- Kein KI-Detektor ist vollkommen zuverlässig. Es kann zu falsch-positiven und falsch-negativen Ergebnissen kommen, insbesondere bei kurzen, bearbeiteten oder sehr vorhersehbaren Texten.
- Unser Test mit fünf Proben ergab erhebliche Unterschiede zwischen den Detektoren: Einige Tools klassifizierten alle fünf Proben korrekt, während andere eine oder mehrere falsch einstuften.
- Ein Detektorwert sollte als Anhaltspunkt betrachtet werden und nicht als eindeutiger Beweis dafür, wer einen Inhalt verfasst hat.
- Um bessere Ergebnisse zu erzielen, sollten Sie längere Textbeispiele testen, die Ergebnisse verschiedener Tools vergleichen und berücksichtigen, wie der Inhalt erstellt und bearbeitet wurde.
Was sind AI-Detektoren und wie funktionieren sie?
KI-Detektoren sind Tools, mit denen sich abschätzen lässt, ob ein Text von einem Menschen verfasst oder von künstlicher Intelligenz generiert wurde.
Anstatt nach einem versteckten Hinweis wie “Von KI generiert” zu suchen, analysieren die meisten Erkennungsprogramme Merkmale innerhalb des Textes. Dazu können Wortwahl, Satzbau, Vorhersehbarkeit, Syntax sowie Muster gehören, die aus umfangreichen Sammlungen von von Menschen und KI generierten Texten gelernt wurden.
KI-generiertes Schreiben können statistische Muster enthalten, die sich von typischen menschlichen Texten unterscheiden. Da Sprachmodelle Texte durch die Vorhersage wahrscheinlicher Wortfolgen generieren, kann ihre Ausgabe manchmal vorhersehbarer oder konsistenter wirken als natürlich verfasste Inhalte.
Machen Sie sich nie wieder Sorgen, dass KI Ihre Texte erkennt. Undetectable AI Kann Ihnen helfen:
- Lassen Sie Ihr AI-unterstütztes Schreiben erscheinen menschenähnlich.
- Bypass alle wichtigen KI-Erkennungstools mit nur einem Klick.
- Verwenden Sie AI sicher und zuversichtlich in Schule und Beruf.
Zwei Begriffe, die häufig mit der Erkennung künstlicher Intelligenz in Verbindung gebracht werden, sind „Perplexity“ und „Burstiness“.
Perplexität
Die Perplexität gibt an, wie vorhersehbar eine Wortfolge für ein Sprachmodell ist.
Ein niedrigerer Perplexity-Wert bedeutet in der Regel, dass der Wortlaut leichter vorherzusagen ist. Von KI generierte Texte können manchmal einen niedrigeren Perplexity-Wert aufweisen, da Sprachmodelle dazu neigen, statistisch wahrscheinliche Wortfolgen auszuwählen.
Menschliche Autoren sind weniger konsistent. Sie verwenden möglicherweise ungewöhnliche Ausdrücke, unerwartete Wortwahlen, persönliche Formulierungen oder Satzstrukturen, die schwerer vorhersehbar sind.
Perplexität allein reicht jedoch nicht aus, um die Urheberschaft zuverlässig nachzuweisen. Auch menschliche Texte können in hohem Maße vorhersehbar sein, insbesondere wenn es sich um technische, formale oder sich wiederholende Inhalte handelt.
Burstiness
Der Begriff „Burstiness“ beschreibt Schwankungen in Satzlänge, Satzstruktur und Rhythmus.
Menschliche Texte bestehen oft aus einer Mischung aus kurzen und langen Sätzen. Von KI generierte Texte wirken manchmal einheitlicher, da sie über den gesamten Text hinweg ähnliche Satzstrukturen und ein gleichmäßiges Tempo aufweisen.
Moderne Sprachmodelle sind jedoch mittlerweile deutlich besser darin, ihre Ausgabe zu variieren. Dadurch verliert die Burstigkeit als eigenständiges Signal an Aussagekraft und ist ein Grund dafür, dass die aktuelle KI-Erkennung in der Regel auf mehrere Signale zurückgreift, anstatt sich auf eine einzige einfache Messung zu stützen.
Warum die Erkennung von AI so schwierig ist
Die Grundidee hinter der KI-Erkennung klingt einfach: Es geht darum, die Muster zu identifizieren, die menschliche Texte von maschinell generierten Texten unterscheiden.
In der Praxis ist diese Grenze jedoch weitaus weniger klar.
Menschliches und KI-generiertes Schreiben bedienen sich derselben Sprache. KI-Modelle werden anhand von von Menschen erstelltem Material trainiert, sodass sie viele der gleichen grammatikalischen Strukturen, Wortschatzmuster und Schreibkonventionen erlernen, die auch Menschen verwenden.
Das stellt Erkennungssysteme vor mehrere Herausforderungen.
Von Menschen und KI verfasste Texte können sich ähneln
KI-Modelle sind darauf ausgelegt, natürliche Sprache zu erzeugen. Mit der Weiterentwicklung der Modelle kann ihr Schreibstil weniger repetitiv und kontextbezogener werden.
Gleichzeitig schreiben Menschen oft auf vorhersehbare Weise. Wissenschaftliche Texte, Geschäftskorrespondenz, Produktbeschreibungen und technische Dokumentationen folgen möglicherweise festgelegten Strukturen, die ein KI-Detektor als maschinell erstellt interpretieren könnte.
Das bedeutet, dass ein Detektor nicht einfach fragt: “Klingt das nach KI?”
Es wird abgeschätzt, ob die statistischen und sprachlichen Merkmale des Textes eher mit Mustern übereinstimmen, die mit KI-generierten Inhalten in Verbindung gebracht werden.
Falsch-Positive und Falsch-Negative
Ein „False Positive“ liegt vor, wenn von Menschen verfasster Text fälschlicherweise als von einer KI generiert eingestuft wird.
Ein „falsch negativ“ ist das Gegenteil davon. Von KI generierter Text wird als von Menschen verfasst eingestuft.
Beides ist wichtig.
Ein „False Positive“ kann zu Problemen führen, wenn jemand beschuldigt wird, KI genutzt zu haben, obwohl er den Inhalt selbst verfasst hat. Ein „False Negative“ kann dazu führen, dass KI-generiertes Material ein Erkennungssystem passiert, ohne dass es als solches gekennzeichnet wird.
Untersuchungen haben zudem ergeben, dass die Leistung von Erkennungssystemen je nach Art des Textes, des verwendeten Modells und der Frage, ob der Inhalt verändert wurde, erheblich variieren kann.
KI-Modelle ändern sich ständig
Die Erkennung künstlicher Intelligenz ist ein sich ständig veränderndes Ziel, da sich die Systeme, die den Text generieren, ständig weiterentwickeln.
Ältere KI-Modelle erzeugten oft deutlichere Muster, darunter sich wiederholende Formulierungen und vorhersehbare Strukturen. Neuere Modelle können abwechslungsreichere Texte erstellen und sich besser an den Kontext anpassen.
Das bedeutet nicht, dass moderne, durch KI generierte Inhalte nicht erkannt werden können. Es bedeutet vielmehr, dass die Entwickler von Erkennungsprogrammen ihre Systeme ständig aktualisieren müssen, um neuen Modellen und neuen Schreibmustern Rechnung zu tragen.
Wie genau sind KI-Detektoren heute?
Es gibt keinen einheitlichen Genauigkeitswert, der für jeden KI-Detektor gilt.
Ein Tool kann bei unverändertem, KI-generiertem Text hervorragende Ergebnisse liefern, hat jedoch möglicherweise Schwierigkeiten mit umformulierten oder von Menschen bearbeiteten Inhalten. Ein anderer Detektor ist möglicherweise konservativer und erzeugt weniger Fehlalarme, übersieht dabei jedoch einige KI-generierte Passagen.
Unabhängige Untersuchungen zeigen dasselbe Muster. Manche Erkennungsprogramme erzielen unter bestimmten Testbedingungen gute Ergebnisse, doch die Leistung kann nachlassen, wenn der Text verändert wird oder wenn der Test verschiedene Textarten umfasst.
Aus diesem Grund sollten Aussagen wie “100% genau” mit Vorsicht interpretiert werden.
Ein Detektor kann bei einem bestimmten Benchmark 100% erzielen, ohne bei jedem möglichen Text, Modell, Genre oder jeder realen Situation eine Genauigkeit von 100% zu erreichen.
Die ZDNet-Studie Im Rahmen der Studie, die als Grundlage für unsere Tests diente, wurden mehrere KI-Detektoren anhand von fünf Beispielen bewertet: drei davon wurden von ChatGPT generiert, zwei von Menschen verfasst.
Für unseren Vergleich haben wir denselben grundlegenden Maßstab herangezogen.
Die Ergebnisse liefern einen nützlichen Überblick darüber, wie diese Tools bei der Analyse derselben Beispiele abgeschnitten haben. Sie sollten nicht als allgemeingültige Rangliste der Erkennungsgenauigkeit von KI-Systemen betrachtet werden.
So haben wir 10 KI-Detektoren getestet
Um den Vergleich so einheitlich wie möglich zu gestalten, haben wir 10 KI-Detektoren anhand derselben fünf Textbeispiele getestet.
Der Referenzwert umfasste:
- Drei mit ChatGPT erstellte, KI-generierte Beispiele.
- Zwei von Menschen verfasste Beispiele.
- Jedem Detektor wurde derselbe Text zugeführt.
- Die Ergebnisse wurden danach erfasst, ob das jeweilige Tool die Stichprobe korrekt klassifiziert hat.
- Ein Ergebnis wurde als korrekte Einstufung gewertet, wenn die Punktzahl des Detektors den in unserem Test verwendeten Schwellenwert erreichte.
Um die Übereinstimmung mit der ursprünglichen, von ZDNet inspirierten Methodik zu gewährleisten, wurde ein KI-Wahrscheinlichkeitswert über 70% als KI-Call gewertet.
Die Genauigkeit wurde berechnet, indem die Anzahl der korrekt klassifizierten Proben durch die Gesamtzahl von fünf Proben geteilt wurde.
Beispielsweise erhielt ein Detektor, der vier der fünf Proben korrekt klassifiziert hatte, einen Genauigkeitswert von 80%.
Die Tests wurden im Rahmen des ursprünglichen Vergleichs für diesen Artikel durchgeführt. Da sich KI-Detektoren und die ihnen zugrunde liegenden Modelle im Laufe der Zeit ändern, sollten diese Ergebnisse eher als Momentaufnahme denn als dauerhaftes Ranking betrachtet werden.
Vor allem reichen fünf Beispiele nicht aus, um eine allgemeine Genauigkeit nachzuweisen. Ein umfangreicherer Benchmark mit einer größeren Vielfalt an Schreibstilen, Textlängen, KI-Modellen, Sprachen und bearbeiteten Beispielen würde ein aussagekräftigeres Bild der Leistung in der Praxis liefern.
Testergebnisse zur Genauigkeit des KI-Detektors
Hier finden Sie einen vereinfachten Überblick darüber, wie sich die 10 Detektoren in unserem Test mit fünf Proben geschlagen haben.
| AI-Detektor | Richtige Ergebnisse | Testgenauigkeit |
|---|---|---|
| Nicht nachweisbare AI | 5/5 | 100% |
| GPTZero | 5/5 | 100% |
| QuillBot | 5/5 | 100% |
| ZeroGPT | 5/5 | 100% |
| Originalität.ai | 5/5 | 100% |
| Monica | 5/5 | 100% |
| Copyleaks | 4/5 | 80% |
| Grammarly | 3/5 | 60% |
| Writer.com | 3/5 | 60% |
| Bäumchen | 0/5 | 0% |
Diese Ergebnisse beziehen sich ausschließlich auf diesen speziellen Test mit fünf Stichproben. Sie sollten nicht so ausgelegt werden, dass ein Detektor bei jedem Inhalt die gleiche Genauigkeit aufweist.
Nicht nachweisbare AI
Testergebnis: 5 von 5 richtig
Genauigkeit: 100%
Was ist passiert: „Undetectable AI“ hat alle fünf Beispiele in unserem Test korrekt klassifiziert, darunter sowohl von Menschen verfasste Beispiele als auch alle drei von der KI generierten Beispiele.
Mit diesem Ergebnis gehörte es zu den besten Modellen in diesem speziellen Vergleich.
Die Plattform stützt sich auf mehrere Erkennungsmerkmale, anstatt sich auf ein einziges Merkmal der Schreibweise zu verlassen. Dieser Mehrfachsignal-Ansatz ist sinnvoll, da kein einzelnes Merkmal – wie beispielsweise die Satzlänge oder die Vorhersagbarkeit von Wörtern – für sich allein ausreicht, um die Urheberschaft zu bestimmen.
Fazit: Die nicht nachweisbare KI zeigte in allen fünf Beispielen unseres Tests eine gleichbleibende Leistung, doch das Ergebnis spiegelt eher diesen Benchmark wider als eine allgemeingültige Genauigkeit von 100%.
GPTZero
Testergebnis: 5 von 5 richtig
Genauigkeit: 100%
Was ist passiert: GPTZero hat alle fünf Beispiele gemäß unserem Testschwellenwert korrekt klassifiziert.
Es ergab bei einigen der generierten Beispiele sehr hohe KI-Wahrscheinlichkeiten und identifizierte gleichzeitig die von Menschen verfassten Beispiele korrekt.
Die Ergebnisse zeigen, dass GPTZero bei klar voneinander getrennten Beispielen von Menschen und KI gute Leistungen erbringt, obwohl andere Untersuchungen ergeben haben, dass die Leistung je nach Textlänge und Schreibstil variieren kann.
Fazit: GPTZero hat in diesem Test gut abgeschnitten, doch sollte das Ergebnis dennoch unter Berücksichtigung der Art und Länge des analysierten Textes interpretiert werden.
Copyleaks
Testergebnis: 4 von 5 richtig
Genauigkeit: 80%
Was ist passiert: Copyleaks hat das erste von Menschen verfasste Beispiel fälschlicherweise als das von der KI generierte Beispiel „100%“ eingestuft.
Außerdem wurden mehrere Formulierungen als potenziell KI-bezogen identifiziert, obwohl der Text von einer Person verfasst worden war.
Die übrigen vier Proben wurden korrekt klassifiziert.
Damit erreichte Copyleaks in unserem Test eine Gesamtgenauigkeit von 80%.
Fazit: Copyleaks schnitt insgesamt gut ab, zeigte jedoch, dass selbst ein leistungsstarker Detektor bei von Menschen verfassten Texten immer noch Fehlalarme auslösen kann.
QuillBot
Testergebnis: 5 von 5 richtig
Genauigkeit: 100%
Was ist passiert: QuillBot hat alle fünf Beispiele in unserem Test korrekt erkannt.
Das Tool ist vor allem für seine Funktionen zum Verfassen und Umformulieren von Texten bekannt, doch auch sein KI-Detektor schnitt im Vergleichstest sehr gut ab.
Die Ergebnisse zeigen, warum die Erkennung durch KI anhand praktischer Tests bewertet werden sollte und nicht anhand von Annahmen, die darauf beruhen, wofür ein Tool in erster Linie bekannt ist.
Fazit: QuillBot hat jedes Beispiel in diesem Test korrekt klassifiziert und gehörte zu den besten Teilnehmern im Vergleich.
ZeroGPT
Testergebnis: 5 von 5 richtig
Genauigkeit: 100%
Was ist passiert: ZeroGPT stufte das erste von Menschen verfasste Beispiel als „0% – von KI generiert“ und das zweite als „9,44% – von KI generiert“ ein.
Beide wurden nach unseren Testkriterien als von Menschen verfasst eingestuft.
Außerdem wurden alle drei KI-generierten Beispiele korrekt als KI-verfasst identifiziert.
Fazit: ZeroGPT lieferte in diesem Benchmark mit fünf Texten sowohl bei den von Menschen verfassten als auch bei den KI-generierten Beispielen konsistente Ergebnisse.
Grammarly
Testergebnis: 3 von 5 richtig
Genauigkeit: 60%
Was ist passiert: Grammarly lieferte gemischte Ergebnisse.
Es identifizierte zwei der drei KI-generierten Beispiele korrekt, mit KI-Wahrscheinlichkeiten von 92% und 81%. Das dritte KI-generierte Beispiel erhielt einen KI-Wert von 54% und wurde daher gemäß unserem Schwellenwert nicht als korrekte KI-Einstufung gewertet.
Es hat zudem eine von Menschen verfasste Probe korrekt identifiziert, die andere jedoch als von einer KI generiert eingestuft.
Fazit: Die Ergebnisse von Grammarly fielen in diesem speziellen Test weniger konsistent aus als die der leistungsstärksten Tools.
Originalität.ai
Testergebnis: 5 von 5 richtig
Genauigkeit: 100%
Was ist passiert: Originality.ai hat alle fünf Beispiele korrekt identifiziert und sowohl für KI- als auch für von Menschen erstellte Inhalte hohe Konfidenzwerte ermittelt.
Die Plattform ist speziell auf die Überprüfung von Inhalten ausgerichtet und umfasst neben anderen Funktionen zur Inhaltsanalyse auch eine KI-gestützte Erkennung.
Die Leistung des Geräts war bei diesem Test bei beiden Probenarten gleichbleibend.
Fazit: Originality.ai hat alle fünf Beispiele in unserem Benchmark korrekt klassifiziert, was jedoch noch keine allgemeingültige Genauigkeit belegt.
Writer.com
Testergebnis: 3 von 5 richtig
Genauigkeit: 60%
Was ist passiert: Der Detektor von Writer.com hat drei der fünf Beispiele korrekt klassifiziert, zwei von der KI verfasste Beispiele jedoch fälschlicherweise als von Menschen verfasst identifiziert.
Das bedeutet, dass der Detektor in unserem Test falsch-negative Ergebnisse geliefert hat.
Dies ist ein wichtiger Unterschied, da ein Detektor zwar konservativ erscheinen kann, aber dennoch KI-generierte Inhalte übersehen kann.
Fazit: Writer.com zeigte in unserem Benchmark uneinheitliche Ergebnisse, insbesondere bei der Erkennung einiger der KI-generierten Beispiele.
Monica
Testergebnis: 5 von 5 richtig
Genauigkeit: 100%
Was ist passiert: Monica hat in unserem Test alle fünf Proben fehlerfrei identifiziert.
Die Ergebnisse waren sowohl bei den von Menschen verfassten als auch bei den von KI generierten Beispielen einheitlich.
Fazit: Monica hat bei diesem Test sehr gut abgeschnitten und alle fünf Beispiele korrekt klassifiziert.
Sapling AI-Detektor
Testergebnis: 0 von 5 Punkten richtig bei der ursprünglichen Testauswertung
Genauigkeit: 0%
Was ist passiert: Sapling hat in unserem Test mehrere fehlerhafte Klassifizierungen geliefert, darunter die Einstufung von zwei von Menschen verfassten Beispielen als „100%“ (KI-generiert).
Das Ergebnis verdeutlichte eines der größten Probleme bei der KI-Erkennung: Ein sehr hoher KI-Wert bedeutet nicht zwangsläufig, dass der Text von einer KI generiert wurde.
Sapling selbst hat ebenfalls Einschränkungen hinsichtlich falsch-positiver Ergebnisse eingeräumt, insbesondere bei kürzeren Texten.
Fazit: Sapling schnitt bei diesem speziellen Benchmark schlecht ab und zeigte damit, warum die Ergebnisse von Detektoren mit Vorsicht gewertet werden sollten.
Warum KI-Detektoren Fehlalarme auslösen
Ein „False Positive“ liegt vor, wenn ein KI-Detektor von Menschen verfasste Inhalte als KI-generiert einstuft.
Dafür kann es verschiedene Gründe geben.
Menschliche Schrift kann vorhersehbar sein
Menschen schreiben nicht immer auf sehr unterschiedliche Weise.
In formellen Aufsätzen, technischen Dokumenten, wissenschaftlichen Arbeiten, geschäftlichen E-Mails und Lehrinhalten kommen häufig konventionelle Vokabeln und Satzstrukturen zum Einsatz.
Ein Detektor, der nach vorhersehbaren Sprachmustern sucht, könnte daher manche von Menschen verfasste Texte als ähnlich wie KI-generierte Texte einstufen.
Ein kurzer Text liefert den Detektoren weniger Informationen
Ein Detektor benötigt ausreichend Text, um aussagekräftige Muster zu analysieren.
Kurze Textabschnitte liefern weniger Anhaltspunkte. Einige wenige Sätze enthalten möglicherweise nicht genügend Abwechslung in Bezug auf Wortschatz, Syntax oder Satzrhythmus, um eine zuverlässige Vorhersage zu treffen.
Dies ist ein Grund, warum manche Erkennungssysteme die Nutzer davor warnen, Kurztext-Bewertungen als endgültig anzusehen.
Vorhersehbares Schreiben kann wie KI wirken
Jemand, der klar und einheitlich schreibt, verfasst möglicherweise Texte, die statistisch vorhersehbar sind.
Ein Satz wie “In der Studie wurden die Auswirkungen von KI auf das Bildungswesen untersucht” folgt beispielsweise einer sehr konventionellen Struktur.
Das allein bedeutet noch nicht, dass der Text von einer KI generiert wurde, aber eine sehr vorhersehbare Sprache kann die Bewertung durch einen KI-Detektor beeinflussen.
Durch Bearbeiten lassen sich neue Muster schaffen
Die manuelle Bearbeitung macht es nicht immer einfacher, einen Text einzuordnen.
Wenn jemand einen von einer KI generierten Text umfassend überarbeitet, kann das Ergebnis eine Mischung aus KI-typischen und menschenähnlichen Mustern enthalten. Dasselbe kann passieren, wenn eine Person ihren eigenen Text aus Gründen der Klarheit oder Konsistenz überarbeitet.
Dadurch lässt sich der endgültige Text schwerer als rein menschlich oder rein KI-generiert einordnen.
Warum KI-Detektoren KI-generierte Texte übersehen
Falsch-negative Ergebnisse treten auf, wenn von KI generierte Inhalte als von Menschen verfasst eingestuft werden.
Dies kann passieren, wenn der Text nicht mehr den Mustern entspricht, die ein Detektor erwartet.
Paraphrasieren kann Erkennungssignale verändern
Das Umschreiben von KI-generiertem Text kann den Wortschatz, den Satzbau und die Wortstellung verändern.
Selbst wenn der ursprüngliche Inhalt von einem KI-Modell stammt, können ausreichende Änderungen es einem Detektor erschweren, die ursprünglichen statistischen Muster zu erkennen.
Untersuchungen haben ergeben, dass manche Erkennungsprogramme deutlich schlechter funktionieren, wenn KI-generierter Text umformuliert oder verändert wurde.
Durch manuelle Bearbeitung wird die ursprüngliche Ausgabe verändert
Oft werden von KI generierte Inhalte vor der Veröffentlichung überarbeitet.
Sie können persönliche Beispiele hinzufügen, sich wiederholende Formulierungen entfernen, Satzstrukturen ändern oder ganze Abschnitte umschreiben.
Die endgültige Version entspricht nicht mehr dem vom Modell erzeugten Text, was die Erkennung erschweren kann.
Neuere KI-Modelle erzeugen abwechslungsreichere Texte
KI-Modelle verbessern kontinuierlich ihre Fähigkeit, den Kontext zu berücksichtigen und ihren Schreibstil zu variieren.
Das bedeutet, dass sich die Detektoren ständig anpassen müssen.
Ein Erkennungsverfahren, das bei einer bestimmten Modellgeneration gut funktioniert hat, erzielt möglicherweise bei einem neueren Modell oder einer anderen Art von generiertem Text keine ebenso guten Ergebnisse.
Inhalte, die aus menschlichen und KI-Ergebnissen bestehen, lassen sich schwerer klassifizieren
Viele Dokumente aus der Praxis sind weder vollständig von Menschen noch vollständig von KI erstellt.
Manche verfassen die Einleitung vielleicht selbst, erstellen mithilfe von KI eine Gliederung, generieren ein paar Absätze und überarbeiten dann alles manuell.
Das endgültige Dokument enthält mehrere Autorenangaben.
Ein einzelner Prozentsatz kann diese Komplexität nicht immer genau widerspiegeln.
Kann man den Bewertungswert eines KI-Detektors vertrauen?
Sie können den Wert eines KI-Detektors als nützlichen Anhaltspunkt nutzen, sollten ihn jedoch nicht als endgültigen Beweis für die Urheberschaft betrachten.
Ein Ergebnis wie „95% KI-generiert“ bedeutet beispielsweise nicht, dass mit einer Sicherheit von 95% feststeht, dass der Text von einer KI verfasst wurde.
Der Prozentsatz gibt die Bewertung des Detektors wieder, die auf seinem eigenen Modell und seinem eigenen Bewertungssystem basiert.
Verschiedene Erkennungsprogramme können für denselben Textabschnitt auch unterschiedliche Bewertungen ergeben.
Dies ist von Bedeutung, da das Ergebnis eines Detektors von den Trainingsdaten des Systems, dem Erkennungsansatz, dem Schwellenwert und den Annahmen darüber abhängt, wie KI-Text aussieht.
Unabhängige Studien haben ergeben, dass selbst leistungsstarke Erkennungssysteme sowohl falsch-positive als auch falsch-negative Ergebnisse liefern können und dass die Leistungsfähigkeit je nach Art der Inhalte – ob KI-generiert oder von Menschen verfasst – variiert.
Bei Entscheidungen mit weitreichenden Konsequenzen sollte ein KI-Detektor daher eher als ein Beweiselement denn als endgültige Instanz betrachtet werden.
So setzen Sie KI-Detektoren zuverlässiger ein
KI-Detektoren können nützlicher sein, wenn man sie eher als Screening-Instrumente denn als absolute Richter betrachtet.
Hier sind ein paar praktische Tipps, wie Sie Ihre Ergebnisse verbessern können.
Verwenden Sie ausreichend Text
Analysieren Sie nach Möglichkeit einen aussagekräftigen Textabschnitt statt eines einzelnen Satzes oder eines sehr kurzen Absatzes.
Längere Sprachbeispiele liefern dem Detektor mehr sprachliche Informationen, mit denen er arbeiten kann.
Mehrere Detektoren vergleichen
Verlassen Sie sich nicht auf eine einzige Punktzahl.
Wenn mehrere unabhängige Tools denselben Textabschnitt als wahrscheinlich KI-generiert identifizieren, ist dies ein deutlicheres Indiz als das Ergebnis eines einzelnen Detektors.
Das Gegenteil trifft ebenfalls zu. Wenn ein Detektor einen hohen AI-Wert liefert, während mehrere andere den Text als von einem Menschen verfasst identifizieren, sollte das Ergebnis genauer untersucht werden.
Den ursprünglichen Kontext prüfen
Überlegen Sie, woher der Inhalt stammt und wie er entstanden ist.
Wurde der Text vollständig von einer Person verfasst? Wurde KI zum Brainstorming eingesetzt? Wurde der Inhalt generiert und anschließend umfassend überarbeitet?
Das Verständnis des Schreibprozesses kann Erkenntnisse liefern, die ein KI-Detektor nicht erkennen kann.
Betrachten Sie den Spielstand als Signal
Ein sehr hoher oder sehr niedriger Wert kann zwar hilfreich sein, sollte jedoch nicht automatisch die Frage nach der Urheberschaft klären.
Entscheiden Sie anhand des Ergebnisses, ob eine weitere Überprüfung erforderlich ist.
Bewahren Sie Belege für den Schreibprozess auf
Bei wichtigen Arbeiten können Entwürfe, Änderungshistorien, Notizen und andere Unterlagen einen stichhaltigeren Nachweis für die Urheberschaft liefern als die Bewertung durch einen KI-Detektor allein.
Dies ist insbesondere im Bildungswesen, im Verlagswesen, bei der Personalauswahl und in anderen Situationen von Nutzen, in denen eine falsche Anschuldigung schwerwiegende Folgen haben kann.
Gängige AI-Erkennungsmethoden werden erklärt
KI-Detektoren nutzen verschiedene Kombinationen aus statistischer Analyse, maschinellem Lernen und anderen Verfahren.
Es gibt keinen Ansatz, der in jeder Situation perfekt funktioniert.
Statistische Sprachmodellierung
Statistische Methoden untersuchen, wie wahrscheinlich es ist, dass bestimmte Wörter, Wortgruppen und Satzstrukturen gemeinsam vorkommen.
„Perplexity“ und „Burstiness“ sind zwei Begriffe, die häufig mit diesem Ansatz in Verbindung gebracht werden.
Das Ziel besteht darin, Muster zu identifizieren, die in von KI generierten Texten häufiger vorkommen als in von Menschen verfassten Texten.
Metadaten und Watermarking
Metadaten können Aufschluss darüber geben, wie Inhalte erstellt wurden, sofern diese Informationen vorliegen.
Beim Wasserzeichen wird ein anderer Ansatz verfolgt. Anstatt nur den fertigen Text zu analysieren, kann ein Wasserzeichen bereits während des Erstellungsvorgangs eingebettet werden.
Einige Forschungssysteme haben gezeigt, dass Text-Wasserzeichen in großem Maßstab implementiert werden können, darunter auch das SynthID-Text-System von Google für von Gemini generierte Inhalte.
Das Einfügen von Wasserzeichen ist jedoch nicht mit einer gewöhnlichen KI-Erkennung gleichzusetzen, und seine Wirksamkeit hängt davon ab, wie das Wasserzeichen implementiert wird und ob der Text anschließend verändert wird.
Untersuchungen haben zudem gezeigt, dass manche Wasserzeichensysteme nach dem Überschreiben oder anderen Transformationen an Wirksamkeit verlieren können.
Maschinelles Lernen Klassifikatoren
Viele moderne KI-Detektoren nutzen Modelle des maschinellen Lernens, die anhand von Beispielen menschlich verfasster und KI-generierter Texte trainiert wurden.
Der Detektor lernt Muster, die mit den einzelnen Kategorien verbunden sind, und wendet diese Muster auf neue Inhalte an.
Dieser Ansatz kann viele sprachliche Merkmale gleichzeitig berücksichtigen und ist damit flexibler als die Verwendung einer einzigen Messgröße.
Der Detektor nimmt jedoch nach wie vor eine probabilistische Klassifizierung vor. Er hat weder direkten Zugriff auf die Identität des Autors noch über eine eindeutige Aufzeichnung darüber, wer die Wörter getippt hat.
Häufig gestellte Fragen
Sind KI-Detektoren genau?
KI-Detektoren können in vielen Situationen präzise sein, aber keiner sollte als 100% zuverlässig für jede Art von Text angesehen werden. Die Ergebnisse können je nach Textlänge, Schreibstil, KI-Modell und der Frage, ob der Inhalt bearbeitet oder umformuliert wurde, variieren.
Können KI-Detektoren ChatGPT erkennen?
Ja. KI-Detektoren können Muster erkennen, die typischerweise mit von ChatGPT generierten Texten in Verbindung gebracht werden. Eine Erkennung ist jedoch nicht garantiert, insbesondere wenn der Inhalt stark überarbeitet, umformuliert oder mit von Menschen verfassten Texten kombiniert wurde.
Können KI-Detektoren Fehlalarme auslösen?
Ja. Ein falsch-positives Ergebnis liegt vor, wenn von Menschen verfasste Inhalte fälschlicherweise als KI-generiert eingestuft werden. Vorhersehbare Schreibweisen, kurze Textabschnitte und bestimmte formale Schreibstile können das Risiko einer falschen Einstufung erhöhen.
Warum kennzeichnen KI-Detektoren von Menschen verfasste Texte?
KI-Detektoren analysieren Muster, die sowohl in von Menschen verfassten Texten als auch in KI-generierten Texten vorkommen können. Wenn ein von Menschen verfasster Text sehr vorhersehbar, formell oder strukturell einheitlich ist, kann es vorkommen, dass ein Detektor diese Muster fälschlicherweise mit KI-generierten Inhalten in Verbindung bringt.
Kann KI-generierter Text KI-Detektoren umgehen?
Von KI generierte Texte können manchmal unentdeckt bleiben, insbesondere nach einer Umformulierung, einer Bearbeitung durch Menschen oder anderen Änderungen. Die Erkennungsleistung variiert zudem je nach KI-Modell und den einzelnen Erkennungssystemen.
Welcher KI-Detektor ist am genauesten?
Es gibt keinen einzelnen Detektor, der in jeder Situation als der genaueste bezeichnet werden kann. In unserem Test mit fünf Beispielen haben „Undetectable AI“, „GPTZero“, „QuillBot“, „ZeroGPT“, „Originality.ai“ und „Monica“ alle fünf Beispiele korrekt klassifiziert. Um eine umfassendere Genauigkeit festzustellen, wären umfangreichere und vielfältigere Tests erforderlich.
Sollte man den Bewertungen eines KI-Detektors vertrauen?
Betrachten Sie den Wert eines KI-Detektors eher als Anhaltspunkt denn als eindeutigen Beweis für eine KI-Urheberschaft. Vergleichen Sie bei wichtigen Entscheidungen mehrere Tools miteinander und berücksichtigen Sie dabei den Entstehungsverlauf, Entwürfe, Bearbeitungsprotokolle und andere verfügbare Belege.
Schlussfolgerung
Sind KI-Detektoren also zuverlässig? Sie können nützlich sein, und unser Test mit fünf Beispielen hat gezeigt, dass mehrere Detektoren unter denselben Testbedingungen sehr gute Ergebnisse lieferten.
Ein gutes Benchmark-Ergebnis bedeutet jedoch nicht, dass ein Detektor bei jedem Text eine Genauigkeit von 100% erreicht.
Falsch-positive Ergebnisse, falsch-negative Ergebnisse, kurze Textbeispiele, Umformulierungen, manuelle Bearbeitung, gemischte Urheberschaft und neuere KI-Modelle können die Erkennungsergebnisse beeinflussen.
Am zuverlässigsten ist es, einen KI-Detektor als Screening-Instrument zu betrachten. Verwenden Sie längere Textbeispiele, vergleichen Sie die Ergebnisse verschiedener Detektoren und berücksichtigen Sie den breiteren Kontext des Textes, bevor Sie eine Entscheidung über die Urheberschaft treffen.
Wenn Sie die Ergebnisse der KI-Erkennung für Ihre eigenen Inhalte vergleichen möchten, probieren Sie doch einmal die AI Checker von Nicht nachweisbare AI als Teil Ihres Überprüfungsprozesses.