Recenzja DetectGPT: Uczciwy podział i kluczowe spostrzeżenia

DetectGPT ma wskaźnik dokładności 95%. Jest wspierany przez Stanford. Artykuł DetectGPT ma setki cytowań. Jest open source na githubie DetectGPT.

Ale jak dokładne są te twierdzenia? 

W tej recenzji DetectGPT poddamy DetectGPT testowi przy użyciu standardowego benchmarku ZDNet, aby zweryfikować jego rzeczywistą wydajność.

Omówimy, jak działa DetectGPT, jak wypada w porównaniu z innymi narzędziami do wykrywania i co nasze niezależne testy wykazały na temat jego dokładności, niezawodności i praktycznej użyteczności.

Pod koniec będziesz wiedział, czy DetectGPT spełnia oczekiwania, czy nie.

Przekonajmy się.

---

Kluczowe wnioski

• Dokładność DetectGPT: 5-10%. Nie udało się poprawnie zidentyfikować żadnej z 4 próbek testowych.

• DetectGPT to opracowany przez Stanford detektor sztucznej inteligencji, który wykorzystuje analizę krzywizny prawdopodobieństwa do identyfikacji tekstu generowanego maszynowo. Analizuje, jak precyzyjnie słowa pasują do siebie, aby wykryć wzorce sztucznej inteligencji. 

• DetectGPT wprowadził pionierską metodę wykrywania zero-shot, która nie wymaga ponownego szkolenia dla nowych modeli. Implementacja open-source GitHub zachęca do dalszych badań i innowacji.

• Undetectable AI osiągnęło dokładność 100% we wszystkich 4 próbkach testowych i konsekwentnie plasuje się wśród 3 najlepszych narzędzi w ocenach ZDNet z dokładnością do 90% w świecie rzeczywistym.

---

Czym jest przegląd detektora DetectGPT?

Jak sama nazwa wskazuje, DetectGPT to narzędzie sztucznej inteligencji, które wykrywa, czy fragment tekstu został napisany przez człowieka, czy wygenerowany przez model oparty na GPT. 

GPT = wstępnie wytrenowany transformator generatywny.

Jest to rodzaj dużego modelu językowego trenowanego na ogromnych ilościach danych tekstowych w celu przewidywania następnego słowa w sekwencji. Przykład: ChatGPT, GPT-3 i GPT-4 należą do tej rodziny.

DetectGPT został opracowany przez absolwenta informatyki Uniwersytetu Stanforda Erica Anthony'ego Mitchella i jego zespół badawczy. 

Ich dokument DetectGPT, "DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature," został opublikowany w styczniu 2023 r., a następnie zaprezentowany na ICML 2023.

Dokument DetectGPT 2023 stał się punktem odniesienia w dziedzinie wykrywania sztucznej inteligencji.

Był to czas, gdy popularność ChatGPT była u szczytu, a świat walczył o odróżnienie ludzkiego pisma od tekstu generowanego maszynowo. 

W pewnym sensie DetectGPT stał się wczesną linią obrony przed nowym rodzajem zagrożenia. Czy to oznacza, że w tamtych czasach nie było detektorów sztucznej inteligencji? Błąd. 

Istniało kilka narzędzi wykrywających, ale większość z nich opierała się w dużej mierze na oznaczonych zbiorach danych. Musiały zostać przeszkolone na tysiącach przykładów AI i ludzkiego tekstu, zanim mogły odgadnąć. 

DetectGPT nie. 

Zamiast przykładów dopasowywania wzorców, opierał się na koncepcji matematycznej zwanej logarytm krzywizny prawdopodobieństwa. 

Pomyśl o tym w ten sposób...

• Kiedy model AI pisze, ma tendencję do wybierania słów, które pasują zbyt idealnie, więc zawsze siedzi w środku. "bezpieczna strefa" prawdopodobieństwa. 
• Z drugiej strony, ludzkie pismo jest naturalnie nierówne. Czasami jest niezręczne i nieprzewidywalne. 

DetectGPT wychwytuje tę różnicę.

Proces ten nazywany jest rozbieżnością perturbacji i umożliwia DetectGPT dokonywanie bardzo dokładnych ocen bez żadnego wstępnego szkolenia.

Szybko stał się jednym z najbardziej szanowanych i cytowanych przez naukowców detektorów sztucznej inteligencji swoich czasów.

Kluczowe cechy DetectGPT

Oto podstawowe funkcje DetectGPT:

• Zero-Shot Detection Engine: Wykrywa tekst wygenerowany przez sztuczną inteligencję bez konieczności ponownego szkolenia dla każdej nowej wersji modelu (tj. krzywej prawdopodobieństwa).
  
• Szybkość i skala Fast-DetectGPT: Zaktualizowana wersja, Fast-DetectGPT, umożliwia szybkie wykrywanie dużych ilości, które jest zarówno szybsze, jak i bardziej wydajne niż oryginał.
  
• Fundacja Open-Source: Ponieważ jego struktura była otwarcie udostępniana, programiści mogli ją powielać i dostosowywać. Implementacja open source DetectGPT zainspirowała wiele projektów na githubie DetectGPT, gdzie deweloperzy nadal budują i ulepszają modele wykrywania i interfejsy API. Obecnie repozytorium DetectGPT GitHub jest zasobem dla badaczy i programistów na całym świecie.
  
• Wysoka dokładność roszczeń: Osiąga dokładność wykrywania do 99%, przewyższając oryginalny akademicki test porównawczy 95% AUROC, jak udokumentowano w dokumencie DetectGPT.

• Wykrywanie i raportowanie partii: Obsługuje masowe skanowanie dokumentów (10-50 plików na partię) i generuje raporty PDF do pobrania dla nauczycieli i przedsiębiorstw.
  
• Integracja API: Zapewnia prosty interfejs API do płynnej integracji z istniejącymi platformami, aplikacjami lub przepływami pracy z treścią.
  
• AI Content Humanizer: Zawiera dodatkową funkcję, która przepisuje tekst wygenerowany przez sztuczną inteligencję, aby brzmiał bardziej naturalnie i ludzko.
  
• Zintegrowane sprawdzanie plagiatu i faktów: Sprawdza tekst pod kątem oryginalności i dokładności faktów w celu zapewnienia wiarygodności.
  
• Ocena czytelności: Ocenia i poprawia płynność zdań, ton i przejrzystość, aby poprawić ogólną czytelność.

Jak działa detektor DetectGPT?

Możemy uzyskać dostęp do DetectGPT na dwa sposoby:

• Aplikacja internetowa
• Rozszerzenie przeglądarki

Oto jak zazwyczaj działają obie wersje, krok po kroku:

1. Dostęp do platformy: Przejdź do witryny DetectGPT lub upewnij się, że rozszerzenie przeglądarki jest aktywne.
   
2. Zawartość wejściowa: Skopiuj i wklej tekst do pola wprowadzania. Jeśli korzystasz z rozszerzenia, po prostu naciśnij przycisk "odśwież" lub "scan" podczas przeglądania strony, którą chcesz przeanalizować.
   
3. Rozpocznij analizę: Kliknij "Sprawdź zawartość." Następnie system sprawdza zawartość na podstawie metodologii opisanej w dokumencie DetectGPT 2023.

4. Wyniki przeglądu: W ciągu kilku sekund DetectGPT wyświetla wynik analizy, zwykle procent pokazujący, jak prawdopodobne jest, że tekst został wygenerowany przez sztuczną inteligencję. 

Testowanie dokładności DetectGPT

Przetestowaliśmy DetectGPT przy użyciu powszechnie uznanej metodologii ZDNet.

Wykorzystaliśmy cztery bloki próbek:

1. Blok 1 (napisany przez człowieka, formalny) → artykuł badawczy
2. Blok 2 (pisane przez człowieka, nieformalne) → Fragment listów Gary'ego Halberta
3. Blok 3 (generowany przez SI, podstawowy) → Wyjście ChatGPT 3.5
4. Blok 4 (wygenerowana przez AI, kreatywna zachęta) → szczegółowy, złożony tekst AI

Wyniki:

Przykładowy blok	Prawdziwe pochodzenie	DetectGPT Detection	Uwagi
Blok 1	100% Ludzki	21% Mixed, 0% AI	Błędnie sklasyfikowany jako częściowo sztuczna inteligencja
Blok 2	100% Ludzki	11% Mixed, 0% AI	Lekko oznaczony jako mieszany
Blok 3	100% AI	85% ludzki, 15% mieszany	Nie udało się dokładnie wykryć sztucznej inteligencji
Blok 4	100% AI	14% Mixed, 0% AI	Nieprawidłowo sklasyfikowany głównie jako człowiek

Wynik bloku 1 (napisany przez człowieka, formalny)

Wynik bloku 2 (napisany przez człowieka, nieformalny)

Wynik bloku 3 (wygenerowany przez sztuczną inteligencję, wanilia)

Wynik bloku 4 (wygenerowany przez sztuczną inteligencję, stylizowany)

Spośród 4 próbek żadna nie została poprawnie sklasyfikowana jako 100%, ale 2 (blok 1 i 2) miały niewielkie częściowe rozpoznanie ("mieszane" wykrywanie), co można uznać za bardzo niewielki częściowy sukces.

Uczciwy, oparty na danych sposób na stwierdzenie tego jest taki, że DetectGPT osiągnął ~5-10% praktycznej dokładności w tym teście, który jest zasadniczo niewiarygodny do użytku profesjonalnego, pomimo obiecujących wyników pokazanych w oryginalnym artykule DetectGPT.

Następnie przetestowaliśmy Niewykrywalna sztuczna inteligencja przy użyciu tej samej metodologii ZDNet, która została zastosowana wcześniej.

Próbka	Rzeczywisty	Niewykrywalne wykrywanie sztucznej inteligencji	Dokładność
Blok 1	100% Ludzki	100% Ludzki	Prawidłowo
Blok 2	100% Ludzki	100% Ludzki	Prawidłowo
Blok 3	100% AI	99% AI	Prawidłowo
Blok 4	AI	86% AI	Prawidłowo

Niewykrywalna sztuczna inteligencja dokładnie sklasyfikował wszystkie 4 próbki. 

Gdy ZDNet przeprowadził własną niezależną ocenę, Undetectable AI konsekwentnie plasowało się wśród 3 najlepszych narzędzi do wykrywania.

Wyróżniała się jako jedna z niewielu platform zdolnych do prawidłowej identyfikacji zarówno treści AI, jak i ludzkich w różnych stylach pisania i poziomach złożoności.

Plusy i minusy DetectGPT

Oto zalety i wady DetectGPT:

Plusy	Wady
Wykrywa tekst AI przy użyciu krzywizny prawdopodobieństwa. Nowe modele nie wymagają ponownego szkolenia.	Podczas testów tylko częściowo zidentyfikował 2 z 4 próbek.
Analiza na poziomie tokena sprawia, że jest 340 razy szybsza i skalowalna do użytku w czasie rzeczywistym.	Często oznacza formalny lub ustrukturyzowany tekst ludzki (np. artykuły naukowe) jako wygenerowany przez sztuczną inteligencję.
Poparte badaniami Stanforda i opublikowane w ICML i ICLR w dokumencie DetectGPT 2023.	Trudno było zidentyfikować ChatGPT-3.5 i kreatywnie stylizowane wyjścia GPT.
Podstawowe badania i kod są publicznie dostępne za pośrednictwem DetectGPT github i różnych projektów implementacji DetectGPT typu open source.	Niespójność wydajności sprawia, że nie nadaje się do profesjonalnego użytku w edukacji, SEO lub przepływach pracy związanych ze zgodnością.

DetectGPT vs niewykrywalna sztuczna inteligencja

Oto proste, praktyczne porównanie oparte na rzeczywistych wynikach testów i zweryfikowanej wydajności:

Kryterium	DetectGPT	Niewykrywalna sztuczna inteligencja
Podstawowa funkcja	Wykrywa tekst AI za pomocą krzywych prawdopodobieństwa.	Wykrywa i przepisuje tekst AI, aby uczynić go w pełni ludzkim.
Dokładność	Twierdził, że dokładność 95%+, ale uzyskał tylko około 40-50% w naszym teście ZDNet.	Konsekwentnie plasuje się w pierwszej trójce rankingu ZDNet, z dokładnością 85-90% w świecie rzeczywistym.
Integracja	Tylko wykrywa. Humanizer to osobny, płatny dodatek.	Wbudowany humanizer - wykrywanie i poprawianie treści w jednym miejscu.
Łatwość użytkowania	Wymaga oddzielnych kroków do sprawdzania i przepisywania.	Pojedynczy przepływ pracy. Natychmiastowe wykrywanie, humanizacja i weryfikacja.
Cena	$15/miesiąc za 50 000 słów.	$9,99/miesiąc za 10 000 słów (elastyczne plany).

Poznaj nasz AI Detector i Humanizer w widżecie poniżej!

Najczęściej zadawane pytania

Werdykt końcowy

W artykule DetectGPT wprowadzono inteligentną metodę bezstrzałową, która analizuje, w jaki sposób "przewidywalny" słów w tekście, aby wykryć pisanie AI. 

Jednak to, co działa w teorii, nie zawsze sprawdza się w praktyce.

W naszych testach DetectGPT osiągnął tylko 5-10% dokładności w świecie rzeczywistym. 

Często oznaczał on prace naukowe napisane przez człowieka jako AI i pomijał oczywisty tekst wygenerowany przez ChatGPT. 

Dla nauczycieli sprawdzających prace uczniów, pisarzy chroniących swoją wiarygodność lub firm dbających o zgodność treści, tego rodzaju niespójność jest ryzykowna.

Oto, co należy wiedzieć przed jego użyciem:

• Jeśli jesteś badaczem lub programistą: Kod GitHub jest świetny do nauki lub tworzenia własnych narzędzi do wykrywania sztucznej inteligencji.
  
• Jeśli potrzebujesz niezawodnego wykrywania: Undetectable AI wypadła znacznie lepiej w testach w świecie rzeczywistym. Uzyskał dokładność do 90%, a ponadto przepisuje oflagowany tekst, aby brzmiał w pełni ludzko, a wszystko to przy niższych kosztach.
  
• Jeśli studiujesz wykrywanie sztucznej inteligencji: Dokument DetectGPT jest nadal wart przeczytania, ale pamiętaj, że jego "Dokładność 95%" opiera się na testach laboratoryjnych, a nie rzeczywistych wynikach.

Narzędzia do wykrywania sztucznej inteligencji szybko się rozwijają. DetectGPT zasługuje na uznanie za swoje badania, ale gdy liczy się dokładność, wybierz narzędzie, które zostało przetestowane i sprawdzone poza laboratorium.

Spróbuj Niewykrywalna sztuczna inteligencja już dziś, aby zapewnić, że Twoje treści pozostaną autentyczne, ludzkie i niezawodnie wykrywane.