Apakah Detektor AI Akurat? Kebenaran di Balik Alat

Setiap alat pendeteksi AI yang Anda temui saat ini mungkin akan membanggakan klaim yang berani sebagai alat yang akurat > 95%. Beberapa bahkan mengatakan bahwa mereka dapat diandalkan 100%! 

Tetapi, apakah detektor AI akurat? Benarkah?

Model AI terus diperbarui. Versi ChatGPT saat ini, misalnya, jauh lebih bernuansa dan sadar konteks daripada versi yang kita lihat pada tahun 2022.

Jadi, sangat wajar jika banyak pendeteksi AI akan kesulitan untuk secara akurat melabeli teksnya sebagai teks yang dihasilkan oleh AI. 

Meskipun demikian, beberapa alat tidak dapat disangkal memiliki kinerja yang lebih baik daripada yang lain. Tetapi untuk mengetahui mana yang benar-benar sesuai dengan klaim mereka, Anda perlu mengujinya.

Itulah yang kami lakukan dalam artikel ini.

Kami mengevaluasi 10 detektor AI paling populer pada tolok ukur yang sama yang digunakan oleh ZDNet untuk melihat seberapa akurat detektor AI. 

Inilah yang kami temukan!

---

Hal-hal Penting yang Dapat Dipetik

• Detektor AI menganalisis frekuensi kata, variasi kalimat, dan sintaksis untuk menentukan apakah teks ditulis oleh manusia atau dihasilkan oleh AI.

• Deteksi AI pada banyak alat tidak 100% sangat mudah karena banyak tulisan manusia dan AI yang memiliki struktur tata bahasa yang sama, yang mengarah ke positif dan negatif palsu.

• Tiga teknik utama untuk mendeteksi konten AI secara akurat adalah pemodelan bahasa statistik, metadata dan penandaan air, dan pengklasifikasi pembelajaran mesin

• AI yang tidak terdeteksi menggabungkan beberapa algoritme pendeteksian ke dalam satu sistem federasi. Sistem ini menawarkan deteksi AI yang gratis dan andal tanpa trade-off yang umum terjadi pada alat berbayar.

---

Apa Itu Detektor AI dan Bagaimana Cara Kerjanya?

Pendeteksi AI adalah alat yang menentukan apakah sebuah teks ditulis oleh manusia atau dihasilkan oleh kecerdasan buatan.

Sistem ini memecah teks menjadi fitur-fitur yang dapat diukur dan kemudian memindai pola-pola yang mengungkapkan kepenulisan mesin.

Teks yang dihasilkan oleh AI cenderung mengikuti pola statistik. Model bahasa dilatih untuk memprediksi kata berikutnya dalam suatu urutan, sehingga penulisannya dibuat berdasarkan probabilitas yang menciptakan jejak yang halus.

Detektor AI menangkap jejak ini melalui analisis frekuensi kata, variasi dalam struktur kalimat, kompleksitas sintaksis, dan keacakan keseluruhan (atau ketiadaan) dalam frasa.

Dua metrik terpenting yang digunakan oleh detektor AI adalah:

1. Kebingungan: Ini adalah ukuran seberapa "terkejut" seorang model dengan kata berikutnya dalam sebuah kalimat. Tulisan manusia biasanya menunjukkan kebingungan yang lebih tinggi karena manusia menyimpang dari pola, menggunakan idiom, menyisipkan emosi, dll, tidak seperti Tulisan yang dihasilkan AI.

2. Meledak-ledak: Mengukur variasi panjang dan ritme kalimat. Manusia secara alami menulis dengan kalimat yang pendek, panjang, dan tidak merata, sedangkan konten yang ditulis oleh AI memiliki panjang yang konsisten. 

Mengapa Pendeteksian AI Sangat Sulit

Terlepas dari perbedaan antara tulisan manusia dan AI, mendeteksi teks yang dibuat oleh AI agak sulit, khususnya apabila teks tersebut sudah diedit. 

Berikut adalah beberapa alasannya. 

Kemiripan Antara Penulisan Manusia dan AI

Pada intinya, penulisan, baik yang dilakukan oleh manusia maupun oleh AI, menggunakan sistem bahasa yang sama, yaitu tata bahasa, bentuk kata, sintaksis, dan frasa.

Model AI tidak menciptakan bahasa dari nol.

Mereka hanya belajar dari apa yang telah ditulis oleh manusia pada tahun-tahun sebelum perkembangan mereka.

Kumpulan data yang mereka latih secara inheren ditulis oleh manusia.

Jadi, alat generasi AI yang dikembangkan dengan baik akan menginternalisasi pola ekspresi manusia dan mencoba mereproduksinya.

Semakin banyak data yang mereka konsumsi, semakin "manusiawi" tulisan mereka.

Positif Palsu dan Negatif Palsu

Detektor AI tidak sempurna. 

Positif palsu terjadi ketika teks yang ditulis oleh manusia secara tidak benar ditandai sebagai teks yang dihasilkan oleh AI. 

Sebaliknya, negatif palsu terjadi ketika teks yang ditulis oleh AI lolos tanpa terdeteksi. 

Kedua kesalahan pelabelan ini cukup umum terjadi.

Karena banyak pendeteksi AI mengandalkan probabilitas statistik daripada kepastian faktual, akurasinya tetap terbatas.

Evolusi Model Konstan

Pendeteksian AI adalah target yang bergerak. Setiap generasi baru model bahasa menjadi lebih sulit untuk dideteksi. 

Ketika ChatGPT pertama kali diperkenalkan untuk penggunaan publik pada tahun 2022, tanggapannya berulang-ulang, sering kali bersifat formula.

Detektor AI apa pun saat ini akan dengan mudah menangkap teks semacam itu sebagai teks yang ditulis oleh AI. 

Namun demikian, model GPT-5 terbaru menghasilkan teks yang sadar konteks dan cerdas secara emosional.

Karena kualitas output terus meningkat, mendeteksi teks AI yang lebih beragam secara gaya merupakan suatu tantangan.

Seberapa Akuratkah Detektor AI Saat Ini?

Jawaban yang jujur untuk pertanyaan ini adalah bahwa hal ini sangat bergantung pada detektor dan metode deteksi yang Anda uji. 

Beberapa alat pendeteksi AI mengklaim hasil yang nyaris sempurna dalam pengaturan terkendali, tetapi ketika dihadapkan pada data dunia nyata, kinerjanya menjadi berantakan.

Tolok ukur Studi ZDNet mengevaluasi 11 detektor AI terhadap lima sampel teks (tiga dihasilkan oleh ChatGPT, dua oleh manusia).

Alat apa pun yang menandai sampel dengan > 70% AI-likelihood dianggap telah "melakukan panggilan." 

Studi ini menemukan bahwa Undetectable AI adalah salah satu dari sedikit alat yang mencapai akurasi 100%, yaitu dengan menandai kelima sampel (baik manusia maupun AI) dengan benar tanpa kesalahan.

Tetapi, apakah pendeteksi konten AI juga akurat untuk pengguna sehari-hari dalam pengaturan kehidupan nyata? 

Masalahnya, teks di dunia nyata jarang sekali "murni AI" atau "murni manusia".

Banyak konten yang diedit, diparafrasekan dengan noise yang disengaja, dan dengan kondisi yang tidak menguntungkan seperti itu, akurasi banyak detektor menurun tajam.

A studi yang ditinjau oleh rekan sejawat pada Copyleaks, TurnItIn, dan Originality menemukan bahwa meskipun mereka "memiliki akurasi tinggi" pada GPT-3.5 dan konten manusia, mereka kesulitan untuk membedakan antara keluaran tingkat GPT-4.

Perbandingan 10 Detektor AI Teratas

Sekarang, untuk mengetahui pendeteksi AI mana yang paling akurat, kami menguji beberapa alat dengan menggunakan metode evaluasi ZDNet, yaitu dengan menggunakan total lima sampel teks: tiga ditulis oleh ChatGPT dan dua oleh manusia.

Berikut ini satu sampel ChatGPT dan satu sampel tulisan manusia yang kami gunakan.

Teks ChatGPT: 

Teks Tertulis Manusia:

AI yang tidak terdeteksi 

Alat pertama yang kami uji adalah AI yang tidak terdeteksidan lulus dalam setiap pengujian.

Kelima sampel teks diidentifikasi dengan benar sebagai 100% yang ditulis oleh manusia atau AI.

Platform ini bahkan menunjukkan indikator di mana detektor lain mungkin telah mengangkat bendera.

Sistem ini menggunakan beberapa algoritme detektor yang dimodelkan berdasarkan banyak model AI yang berbeda (ChatGPT, Gemini, Claude, Llama, dan lainnya), namun alih-alih mengandalkan model-model tersebut secara langsung, mereka membangun sistem federasi dan berbasis konsensus mereka sendiri.

Pada dasarnya, setiap algoritme dilatih berdasarkan pola dari detektor tersebut, tetapi berjalan secara independen untuk menghasilkan penilaian kolektif.

Undetectable AI juga mengklaim dapat "memanusiakan" teks yang dihasilkan oleh AI sehingga tidak terdeteksi, dan dari hasil pengujian kami, klaim tersebut terbukti benar.

GPTZero 

Selanjutnya, kami menguji GPTZero, yang juga memenuhi tolok ukur kami untuk akurasi dan mendapat skor di atas ambang batas 80% pada kelima sampel.

Sistem ini mengidentifikasi dengan tepat kedua tulisan yang ditulis oleh manusia dan dua teks yang dibuat oleh AI dengan tingkat kepercayaan 100%.

Satu-satunya pengecualian adalah satu sampel yang dihasilkan oleh AI, yang oleh GPTZero dilabeli sebagai 71% yang dihasilkan oleh AI, tetapi masih berada dalam kisaran yang akurat menurut kriteria kami.

Copyleaks 

Copyleaks memberikan hasil yang beragam dalam pengujian kami. Aplikasi ini langsung tersandung dengan salah mengklasifikasikan sampel pertama yang ditulis manusia sebagai 100% yang dihasilkan oleh AI.

Bahkan menandai sembilan yang disebut "frasa yang terlalu sering digunakan oleh AI".

Namun, setiap pengujian berikutnya akurat, yaitu mengidentifikasi setiap teks dalam empat sampel yang tersisa sebagaimana adanya.

Ketidakkonsistenan tersebut menunjukkan bahwa Copyleaks terkadang dapat berubah menjadi ekstrem, seperti yang terjadi pada sampel yang ditulis oleh manusia.

Namun demikian, apabila dilihat pada semua pengujian, rata-rata akurasi sekitar 80%. 

Quillbot

QuillBot adalah alat lain yang menonjol dalam pengujian kami, tepat di belakang Undetectable AI. Ini adalah alat kedua yang mampu mengidentifikasi setiap tulisan yang dibuat oleh manusia dan AI dengan akurasi 100%.

Yang perlu dicatat adalah bahwa QuillBot pada awalnya dikenal karena kemampuan parafrasenya.

Tetapi detektor AI-nya juga merupakan alat analisis yang disempurnakan yang mampu menunjukkan konsistensi linguistik dengan tepat, yang menunjukkan kepengarangan AI.

Yang juga perlu diperhatikan adalah bahwa Quillbot tidak terlalu akurat pada hari-hari awal peluncurannya, tetapi sudah pasti meningkat selama bertahun-tahun. Saat ini, Quillbot adalah salah satu dari beberapa detektor AI yang dapat diandalkan yang akan Anda temukan. 

ZeroGPT 

Hasil pengujian ZeroGPT juga menunjukkan konsistensi yang baik. 

Sampel tulisan manusia pertama diberi label sebagai 0% yang dihasilkan oleh AI, dan yang kedua adalah 9,44% yang dihasilkan oleh AI, keduanya berada dalam kisaran yang dapat diterima untuk tulisan manusia asli.

Di sisi lain, ketiga sampel yang dihasilkan AI, diidentifikasi dengan benar sebagai 100% yang ditulis dengan AI. 

Jadi, putaran pengujian kami juga menambahkan ZeroGPT ke dalam daftar detektor AI yang andal. 

Grammarly

Grammarly adalah nama besar dalam hal membantu penulis menghasilkan konten yang akurat secara tata bahasa, tetapi hal yang sama tidak dapat dikatakan untuk kemampuan deteksi AI-nya.

Dalam pengujian kami, detektor Grammarly menunjukkan hasil yang beragam dan agak tidak konsisten.

Untuk sampel yang dihasilkan AI, ia menandainya sebagai 92%, 81%, dan 54% yang dihasilkan AI, yang berarti ia mengidentifikasi dengan benar dua sampel tetapi gagal dalam satu tes dengan meremehkan kemungkinan AI.

Pada teks yang ditulis oleh manusia, ia mendapatkan satu teks yang benar dan salah mengklasifikasikan teks lainnya sebagai AI.

Jadi, bisa dikatakan bahwa 60% akurat dalam analisis kami.

Orisinalitas.ai 

Originality.ai juga merupakan salah satu pendeteksi AI yang sangat andal karena dapat memindai dengan benar baik yang dibuat oleh AI maupun yang ditulis oleh manusia dan memberikan hasil yang meyakinkan 100%.

Originality.ai adalah platform pendeteksi plagiarisme dan AI khusus. Platform ini menganalisis tulisan pada tingkat granular dan telah diuji secara independen untuk menangkap konten yang diparafrasekan dan diedit. 

Satu-satunya kekurangan dari Originality.ai adalah tidak sepenuhnya gratis.

Platform ini menawarkan 12.000 karakter untuk pengguna baru, setelah itu pemindaian tambahan beroperasi pada sistem berbasis kredit.

Detektor AI dihargai 2.000 kredit (1 kredit setara dengan 100 kata) seharga $14,95 per bulan.

Writer.com

Writer.com tidak cukup memenuhi harapan untuk deteksi AI, meskipun memiliki nama yang cukup baik untuk menghasilkan teks yang dihasilkan AI. 

Dari lima sampel teks, sistem ini salah mengidentifikasi 2 sampel yang ditulis oleh AI sebagai teks yang ditulis oleh manusia.

Itu berarti hanya tiga dari lima hasil tes yang akurat, yang jelas meleset.

Writer.com juga telah mengumumkan bahwa alat pendeteksi AI-nya, bersama dengan titik akhir API-nya, akan berakhir pada tanggal 22 Desember.

Sampai saat itu, ia akan terus berfungsi seperti biasa. Hal ini menunjukkan bahwa perusahaan ini bergerak menjauh dari ruang deteksi AI.

Monica.

Ini adalah salah satu alat yang memiliki performa sangat baik pada saat pengujian.

Monica mengidentifikasi dengan benar setiap sampel yang ditulis oleh manusia dan sampel yang dihasilkan oleh AI tanpa satu kesalahan pun, sehingga Anda dapat dengan aman menambahkannya ke daftar detektor AI yang andal. 

Perusahaan ini mengklaim bahwa mereka menggabungkan kekuatan analisis AI dari ZeroGPT, GPTZero, dan Copyleaks ke dalam satu alat terpadu.

Sistem ini mirip dengan AI yang tidak terdeteksiyang juga menggabungkan beberapa detektor untuk deteksi AI yang otentik.

Detektor AI Sapling

Sapling ternyata bukan detektor AI yang andal, karena tidak akurat dalam mengidentifikasi kelima sampel teks.

Dari sampel kami, Sapling mengidentifikasi 2 konten yang ditulis oleh manusia sebagai 100% AI, yang melenceng jauh dari sasaran.

Namun yang paling menonjol dari Sapling adalah transparansi. Perusahaan ini secara terbuka mengakui bahwa detektor AI-nya dapat menghasilkan positif palsu dengan teks pendek.

Mereka juga menyatakan bahwa mereka secara aktif bekerja untuk meningkatkan sistem untuk mengurangi kesalahan tersebut.

Mereka juga mengklarifikasi bahwa tidak ada detektor AI saat ini, termasuk Sapling, yang dapat digunakan sebagai metode mandiri untuk menentukan kepengarangan.

Gunakan tombol Pemeriksa AI untuk menganalisis seberapa andal detektor AI lainnya.

Dengan menguji sampel teks melalui beberapa alat deteksi dan membandingkan skor konsistensi, AI Checker membantu mengungkap sistem mana yang salah memberi label atau menandai konten secara berlebihan.

Ini adalah cara yang cepat dan transparan untuk mengukur akurasi detektor sebelum mempercayai hasilnya.

Metode Deteksi AI yang Umum Dijelaskan

Deteksi AI tidak dibangun di atas satu formula universal.

Beberapa metode telah digunakan dan divalidasi untuk menentukan apakah sebuah teks ditulis oleh manusia atau ditulis oleh AI.

Pemodelan Bahasa Statistik

Ini adalah metode tertua dan paling banyak digunakan untuk deteksi konten AI. Metode ini didasarkan pada analisis probabilitas urutan kata, yaitu seberapa besar kemungkinan satu kata mengikuti kata lainnya.

Teks yang dihasilkan AI cenderung memiliki "kebingungan" yang lebih rendah, sehingga bisa dikatakan lebih mudah diprediksi dan konsisten dalam struktur.

Sebaliknya, manusia, memperkenalkan variabilitas dalam teks.

Pendeteksi konten yang menggunakan metode ini menghitung kebingungan dan ledakan untuk menilai asal usulnya.

Metadata dan Penandaan Air

Metrik ini menargetkan bagaimana teks dihasilkan, bukan strukturnya. 

Watermarking berarti menyematkan sinyal yang tidak terlihat di dalam output AI pada tingkat token. Pada dasarnya, pola-pola ini hanya dapat dideteksi oleh algoritme tertentu. 

Deteksi metadata memeriksa data kontekstual seperti stempel waktu, kecepatan pembuatan, dan pola panggilan API untuk menyimpulkan apakah AI terlibat dalam proses penulisan. 

Tetapi sekali lagi, apabila teks yang dihasilkan AI diedit, sinyal-sinyal ini akan hilang, dan oleh karena itu, sinyal-sinyal ini hanya berfungsi di lingkungan pengujian yang terkendali. 

Pengklasifikasi Pembelajaran Mesin

Pendeteksi AI semakin mengandalkan pengklasifikasi pembelajaran mesin yang dilatih untuk mengenali "tekstur" tulisan AI.

Pengklasifikasi ini menganalisis ribuan fitur linguistik dan struktural dari kumpulan data tulisan yang ditulis manusia dan yang dihasilkan oleh AI.

Berdasarkan analisis tersebut, mereka mengembangkan model probabilistik untuk melabeli teks baru sebagai AI, manusia, atau hibrida.

Kekuatan dari pendekatan ini adalah pengklasifikasi terus mengikuti perubahan pendekatan model AI generatif yang lebih baru.

Cobalah Detektor AI dan Humanizer kami di widget di bawah ini!

Kesimpulan

Untuk menjawab pertanyaan, "Apakah pendeteksi AI akurat," Ya, beberapa alat dapat diandalkan keakuratannya, dan AI yang tidak terdeteksi adalah salah satunya.

Ini mencapai akurasi 100% di setiap sampel uji yang ditulis oleh AI dan manusia.

Alat ini juga gratis untuk digunakan, tidak seperti banyak pendeteksi AI lainnya yang menyembunyikan fitur terbaiknya di balik paywall atau sistem berbasis kredit.

Keunggulan AI yang tidak terdeteksi ada pada model pendeteksian federasi, yang menggabungkan kekuatan beberapa detektor terkemuka ke dalam satu sistem terpadu.

Pendekatan berlapis secara signifikan mengurangi positif palsu dan negatif palsu.

Jadi, jika Anda mencari detektor AI yang andal, AI yang tidak terdeteksi adalah salah satu yang harus dicoba!