DetectGPT memiliki tingkat akurasi 95%. Ini didukung oleh Stanford. Makalah DetectGPT memiliki ratusan kutipan. Ini adalah sumber terbuka di github DetectGPT.
Namun, seberapa akuratkah klaim ini?
Dalam ulasan DetectGPT ini, kami akan menguji DetectGPT menggunakan tolok ukur standar industri ZDNet untuk memverifikasi kinerja dunia nyata.
Kami akan membahas cara kerja DetectGPT, perbandingannya dengan alat deteksi lain, dan apa yang diungkapkan oleh pengujian independen kami tentang akurasi, keandalan, dan kegunaan praktisnya.
Pada akhirnya, Anda akan tahu apakah DetectGPT sesuai dengan hype atau tidak.
Mari kita cari tahu.
Hal-hal Penting yang Dapat Dipetik
- Akurasi DetectGPT: 5-10%. Gagal mengidentifikasi dengan benar salah satu dari 4 sampel uji.
- DetectGPT adalah detektor AI yang dikembangkan oleh Stanford yang menggunakan analisis kelengkungan probabilitas untuk mengidentifikasi teks yang dibuat oleh mesin. DetectGPT menganalisis seberapa tepat kata-kata yang cocok untuk menemukan pola AI.
- DetectGPT memperkenalkan metode deteksi tanpa bidikan perintis yang tidak memerlukan pelatihan ulang untuk model baru. Implementasi GitHub yang bersumber terbuka mendorong penelitian dan inovasi lebih lanjut.
- AI yang tidak terdeteksi mencapai akurasi 100% di keempat sampel pengujian dan secara konsisten berada di antara 3 alat teratas dalam evaluasi ZDNet dengan akurasi dunia nyata hingga 90%.
Apa Ulasan Detektor DetectGPT?
Seperti namanya, DetectGPT adalah alat AI yang mendeteksi apakah sebuah teks ditulis oleh manusia atau dihasilkan oleh model berbasis GPT.
GPT = Trafo Generatif yang telah dilatih sebelumnya.
Ini adalah jenis model bahasa besar yang dilatih pada sejumlah besar data teks untuk memprediksi kata berikutnya dalam suatu urutan. Contoh: ChatGPT, GPT-3, dan GPT-4 semuanya termasuk dalam keluarga ini.
Jangan Pernah Khawatir AI Mendeteksi Teks Anda Lagi. Undetectable AI Dapat Membantu Anda:
- Membuat tulisan dengan bantuan AI Anda muncul seperti manusia.
- Bypass semua alat pendeteksi AI utama hanya dengan satu klik.
- Gunakan AI dengan aman dan dengan percaya diri di sekolah dan tempat kerja.
DetectGPT dikembangkan oleh mahasiswa pascasarjana ilmu komputer Universitas Stanford, Eric Anthony Mitchell dan tim risetnya.
Kertas DetectGPT mereka, "DetectGPT: Deteksi Teks yang Dihasilkan Mesin Zero-Shot menggunakan Kelengkungan Probabilitas," diterbitkan pada bulan Januari 2023 dan kemudian dipresentasikan di ICML 2023.
Makalah DetectGPT 2023 menjadi titik acuan dalam bidang deteksi AI.
Saat itu adalah masa ketika popularitas ChatGPT mencapai puncaknya, dan dunia sedang berjuang untuk membedakan tulisan manusia dengan teks yang dibuat oleh mesin.
Di satu sisi, DetectGPT menjadi garis pertahanan awal untuk jenis ancaman baru. Jadi, apakah itu berarti tidak ada pendeteksi AI saat itu? Salah.
Ada beberapa alat pendeteksi, tetapi sebagian besar sangat bergantung pada kumpulan data berlabel. Mereka harus dilatih dengan ribuan contoh AI dan teks manusia sebelum bisa membuat tebakan.
DetectGPT tidak.
Alih-alih contoh pencocokan pola, ia mengandalkan konsep matematika yang disebut kelengkungan probabilitas log.
Anggap saja seperti ini...
- Ketika model AI menulis, ia cenderung memilih kata-kata yang terlalu pas sehingga selalu berada di "zona aman" probabilitas.
- Sebaliknya, tulisan manusia, secara alami tidak rata. Kadang-kadang janggal, dan tidak dapat diprediksi.
DetectGPT menangkap perbedaan itu.
Proses ini disebut perbedaan gangguan, dan memungkinkan DetectGPT membuat penilaian yang sangat akurat tanpa pelatihan sebelumnya.
Dengan cepat menjadi salah satu pendeteksi AI yang paling dihormati dan dikutip secara akademis pada masanya.
Fitur-fitur Utama DetectGPT
Berikut ini adalah fitur-fitur inti dari DetectGPT:
- Mesin Pendeteksi Nol Tembakan: Mendeteksi teks yang dihasilkan AI tanpa pelatihan ulang untuk setiap rilis model baru (mis.)
- Kecepatan & Skala Deteksi CepatGPT: Versi yang diperbarui, Fast-DetectGPT, memungkinkan deteksi cepat, volume tinggi yang lebih cepat dan lebih efisien daripada versi aslinya.
- Yayasan Sumber Terbuka: Karena kerangka kerjanya dibagikan secara terbuka, para pengembang dapat meniru dan mengadaptasinya. Implementasi sumber terbuka DetectGPT mengilhami banyak proyek di github DetectGPT, tempat para pengembang terus membangun dan meningkatkan model deteksi dan API. Saat ini, repositori DetectGPT GitHub merupakan sumber daya bagi para peneliti dan pengembang di seluruh dunia.
- Klaim Akurasi Tinggi: Mencapai akurasi deteksi hingga 99%, mengungguli tolok ukur akademis asli 95% AUROC seperti yang didokumentasikan dalam makalah DetectGPT.
- Deteksi & Pelaporan Batch: Mendukung pemindaian dokumen massal (10-50 file per batch) dan menghasilkan laporan PDF yang dapat diunduh untuk pendidik dan perusahaan.
- Integrasi API: Menyediakan API sederhana untuk integrasi tanpa batas ke dalam platform, aplikasi, atau alur kerja konten yang sudah ada.
- AI Content Humanizer: Termasuk fitur tambahan yang menulis ulang teks yang dihasilkan AI agar terdengar lebih alami dan seperti manusia.
- Plagiarisme & Pemeriksaan Fakta Terpadu: Memeriksa ulang teks untuk keaslian dan keakuratan faktual untuk memastikan kredibilitas.
- Penilaian Keterbacaan: Mengevaluasi dan meningkatkan alur, nada, dan kejelasan kalimat untuk meningkatkan keterbacaan secara keseluruhan.
Bagaimana Cara Kerja Detektor DetectGPT?
Kita dapat mengakses DetectGPT dengan dua cara:
- Aplikasi web
- Ekstensi browser
Berikut ini cara kerja kedua versi, langkah demi langkah:
- Akses Platform: Buka situs web DetectGPT atau pastikan ekstensi peramban aktif.
- Konten Masukan: Salin dan tempelkan teks ke dalam kotak input. Jika Anda menggunakan ekstensi, cukup tekan "menyegarkan" atau "memindai" sambil melihat halaman yang ingin Anda analisis.
- Memulai Analisis: Klik "Periksa Konten." Sistem kemudian memeriksa konten Anda berdasarkan metodologi yang dijelaskan dalam makalah DetectGPT 2023.
- Hasil Peninjauan: Dalam hitungan detik, DetectGPT menampilkan skor analisis, biasanya berupa persentase yang menunjukkan seberapa besar kemungkinan teks tersebut dihasilkan oleh AI.
Menguji Akurasi DetectGPT
Kami menguji DetectGPT menggunakan metodologi tolok ukur ZDNet yang sudah dikenal luas.
Kami menggunakan empat blok sampel:
- Blok 1 (Ditulis Tangan, Formal) → makalah penelitian
- Blok 2 (Ditulis oleh Manusia, Informal) → kutipan dari surat-surat Gary Halbert
- Blok 3 (Dihasilkan oleh AI, Dasar) → Output ChatGPT 3.5
- Blok 4 (Permintaan Kreatif yang Dihasilkan AI) → teks AI yang terperinci dan kompleks
Hasil:
| Blok Sampel | Asal Usul Sejati | Deteksi DeteksiGPT | Catatan |
| Blok 1 | 100% Manusia | 21% Campuran, 0% AI | Salah diklasifikasikan sebagai AI sebagian |
| Blok 2 | 100% Manusia | 11% Campuran, 0% AI | Sedikit ditandai sebagai campuran |
| Blok 3 | 100% AI | 85% Manusia, 15% Campuran | Gagal mendeteksi AI secara akurat |
| Blok 4 | 100% AI | 14% Campuran, 0% AI | Sebagian besar salah diklasifikasikan sebagai manusia |
Hasil Blok 1 (Ditulis Tangan, Formal)
Hasil Blok 2 (Ditulis oleh Manusia, Informal)
Hasil dari Blok 3 (Hasil dari AI, Vanilla)
Hasil dari Blok 4 (Dihasilkan oleh AI, Ditata)
Dari 4 sampel, tidak ada yang diklasifikasikan dengan benar 100%, tetapi 2 (Blok 1 & 2) memiliki pengenalan parsial yang kecil (deteksi "campuran"), yang dapat dianggap sebagai keberhasilan parsial yang sangat kecil.
Cara yang adil dan berdasarkan data untuk menyatakannya adalah bahwa DetectGPT mencapai akurasi praktis ~5-10% dalam pengujian ini yang pada dasarnya tidak dapat diandalkan untuk penggunaan profesional, meskipun ada hasil yang menjanjikan yang ditunjukkan pada kertas DetectGPT asli.
Selanjutnya, kami menguji AI yang tidak terdeteksi menggunakan metodologi tolok ukur ZDNet yang sama dengan yang diterapkan sebelumnya.
| Sampel | Sebenarnya | Deteksi AI yang tidak terdeteksi | Akurasi |
| Blok 1 | 100% Manusia | 100% Manusia | Benar. |
| Blok 2 | 100% Manusia | 100% Manusia | Benar. |
| Blok 3 | 100% AI | 99% AI | Benar. |
| Blok 4 | AI | 86% AI | Benar. |
AI yang tidak terdeteksi mengklasifikasikan keempat sampel secara akurat.
Ketika ZDNet melakukan evaluasi independen, Undetectable AI secara konsisten berada di antara 3 alat deteksi teratas.
Platform ini menonjol sebagai salah satu dari sedikit platform yang mampu mengidentifikasi konten AI dan manusia dengan benar di berbagai gaya penulisan dan tingkat kerumitan.
Pro dan Kontra dari DetectGPT
Berikut ini adalah pro dan kontra dari DetectGPT:
| Kelebihan | Kekurangan |
| Mendeteksi teks AI menggunakan kelengkungan probabilitas. Tidak perlu pelatihan ulang untuk model baru. | Dalam pengujian, kamera ini hanya mengidentifikasi sebagian 2 dari 4 sampel. |
| Analisis tingkat token membuatnya 340 kali lebih cepat dan dapat diskalakan untuk penggunaan waktu nyata. | Sering kali menandai teks manusia yang formal atau terstruktur (seperti makalah penelitian) sebagai buatan AI. |
| Didukung oleh penelitian Stanford dan dipublikasikan di ICML dan ICLR melalui makalah DetectGPT 2023. | Berjuang untuk mengidentifikasi ChatGPT-3.5 dan output GPT yang ditata secara kreatif. |
| Penelitian inti dan kode tersedia untuk umum melalui github DetectGPT dan berbagai proyek implementasi sumber terbuka DetectGPT. | Ketidakkonsistenan kinerja membuatnya tidak cocok untuk penggunaan profesional dalam bidang pendidikan, SEO, atau alur kerja kepatuhan. |
DetectGPT vs AI yang tidak terdeteksi
Berikut ini adalah perbandingan sederhana dan praktis berdasarkan hasil pengujian nyata dan kinerja yang terverifikasi:
| Kriteria | MendeteksiGPT | AI yang tidak terdeteksi |
| Fungsi Inti | Mendeteksi teks AI menggunakan kurva probabilitas. | Mendeteksi dan menulis ulang teks AI untuk menjadikannya seperti manusia. |
| Akurasi | Akurasi yang diklaim 95%+, tetapi hanya mencetak skor sekitar 40-50% dalam pengujian gaya ZDNet kami. | Secara konsisten menduduki peringkat 3 teratas oleh ZDNet, dengan akurasi dunia nyata 85-90%. |
| Integrasi | Hanya mendeteksi. Humanizer adalah add-on berbayar yang terpisah. | Built-in humanizer - mendeteksi dan memperbaiki konten di satu tempat. |
| Kemudahan Penggunaan | Memerlukan langkah-langkah terpisah untuk memeriksa dan menulis ulang. | Alur kerja tunggal. Mendeteksi, memanusiakan, dan memverifikasi secara instan. |
| Harga | $15/bulan untuk 50.000 kata. | $9.99/bulan untuk 10.000 kata (paket fleksibel). |
Jelajahi Detektor AI dan Humanizer kami di widget di bawah ini!
Pertanyaan Umum
Apa itu DetectGPT?
DetectGPT, yang dikembangkan di Universitas Stanford, mendeteksi teks yang ditulis AI dengan menganalisis prediktabilitas statistiknya (kelengkungan probabilitas log).
Ini adalah metode zero-shot, yang berarti metode ini bekerja tanpa pelatihan ulang untuk setiap model AI yang baru.
Apakah DetectGPT gratis untuk digunakan?
Penelitian inti dan kode sumber terbuka gratis di GitHub. Tetapi versi komersial dengan AI Humanizer, Pemeriksa Plagiarisme, dan batas yang lebih tinggi dikenakan biaya $15/bulan untuk 50.000 kata.
Dapatkah DetectGPT mendeteksi konten dari GPT-3 dan ChatGPT?
Pengujian kami menunjukkan bahwa alat ini gagal mengidentifikasi keluaran ChatGPT 3.5. Ia mengklasifikasikannya sebagai 85% buatan manusia, bukan buatan AI, yang membuatnya tidak dapat diandalkan untuk tujuan khusus ini.
Keputusan Akhir
Makalah DetectGPT memperkenalkan metode cerdas tanpa bidikan yang menganalisis bagaimana "dapat diprediksi" kata dalam teks untuk mengenali tulisan AI.
Namun, apa yang berhasil dalam teori tidak selalu berhasil dalam praktiknya.
Dalam pengujian kami, DetectGPT hanya mencapai akurasi dunia nyata 5-10%.
Ini sering menandai makalah penelitian yang ditulis manusia sebagai AI dan melewatkan teks yang dihasilkan ChatGPT yang jelas.
Bagi guru yang memeriksa pekerjaan siswa, penulis yang melindungi kredibilitas mereka, atau bisnis yang menjaga kepatuhan konten, ketidakkonsistenan semacam itu berisiko.
Inilah yang perlu diketahui sebelum menggunakannya:
- Jika Anda seorang peneliti atau pengembang: Kode GitHub sangat bagus untuk mempelajari atau membangun alat deteksi AI Anda sendiri.
- Jika Anda membutuhkan deteksi yang andal: AI yang tidak terdeteksi berkinerja jauh lebih baik dalam pengujian di dunia nyata. AI ini mencetak akurasi hingga 90%, ditambah lagi, AI ini menulis ulang teks yang ditandai agar terdengar seperti suara manusia, semuanya dengan biaya yang lebih rendah.
- Jika Anda sedang mempelajari deteksi AI: Makalah DetectGPT masih layak dibaca, tetapi ingat, makalahnya "Akurasi 95%" didasarkan pada tes laboratorium, bukan hasil dunia nyata.
Alat pendeteksi AI berkembang dengan cepat. DetectGPT layak mendapatkan pujian atas penelitiannya, tetapi ketika akurasi menjadi hal yang penting, pilihlah alat yang sudah teruji dan terbukti di luar laboratorium.
Coba AI yang tidak terdeteksi hari ini untuk memastikan konten Anda tetap otentik, mirip manusia, dan terdeteksi dengan andal.