DetectGPT 95% doğruluk oranına sahiptir. Stanford tarafından destekleniyor. DetectGPT makalesinin yüzlerce atıfı vardır. DetectGPT github'da açık kaynaktır.
Peki bu iddialar ne kadar doğru?
Bu DetectGPT incelemesinde, gerçek dünyadaki performansını doğrulamak için ZDNet'in endüstri standardı kıyaslamasını kullanarak DetectGPT'yi test edeceğiz.
DetectGPT'nin nasıl çalıştığını, diğer tespit araçlarıyla karşılaştırmasını ve bağımsız testlerimizin doğruluğu, güvenilirliği ve pratik kullanılabilirliği hakkında ortaya koyduklarını ele alacağız.
Sonunda, DetectGPT'nin abartıyı karşılayıp karşılamadığını anlayacaksınız.
Hadi öğrenelim.
Önemli Çıkarımlar
- DetectGPT Doğruluğu: 5-10%. Test edilen 4 numuneden hiçbirini doğru şekilde tanımlayamamıştır.
- DetectGPT, makine tarafından oluşturulan metni tanımlamak için olasılık eğriliği analizini kullanan Stanford tarafından geliştirilmiş bir yapay zeka dedektörüdür. YZ kalıplarını tespit etmek için kelimelerin birbirine ne kadar tam olarak uyduğunu analiz eder.
- DetectGPT, yeni modeller için yeniden eğitim gerektirmeyen öncü bir sıfır atış algılama yöntemini tanıttı. Açık kaynaklı GitHub uygulaması daha fazla araştırma ve yeniliği teşvik etmektedir.
- Undetectable AI, 4 test örneğinin tamamında 100% doğruluk elde etti ve 90%'ye kadar gerçek dünya doğruluğu ile ZDNet değerlendirmelerinde sürekli olarak ilk 3 araç arasında yer alıyor.
DetectGPT Dedektör İncelemesi Nedir?
Adından da anlaşılacağı gibi DetectGPT, bir metin parçasının bir insan tarafından mı yazıldığını yoksa GPT tabanlı bir model tarafından mı oluşturulduğunu tespit eden bir yapay zeka aracıdır.
GPT = Generative Pre-trained Transformer.
Bir dizideki bir sonraki kelimeyi tahmin etmek için çok miktarda metin verisi üzerinde eğitilmiş bir tür büyük dil modelidir. Örnek olarak: ChatGPT, GPT-3 ve GPT-4 bu aileye aittir.
Yapay Zekanın Mesajlarınızı Algılaması Konusunda Bir Daha Asla Endişelenmeyin. Undetectable AI Sana yardım edebilirim:
- Yapay zeka destekli yazınızın görünmesini sağlayın İnsan gibi.
- Bypass tek bir tıklama ile tüm büyük AI algılama araçları.
- Kullanım YAPAY ZEKA güvenli bir şekilde ve güvenle okulda ve işte.
DetectGPT, Stanford Üniversitesi bilgisayar bilimleri yüksek lisans öğrencisi Eric Anthony Mitchell ve araştırma ekibi tarafından geliştirilmiştir.
Onların DetectGPT makalesi, "DetectGPT: Olasılık Eğriliği Kullanarak Sıfır Atışla Makine Tarafından Oluşturulan Metin Algılama," Ocak 2023'te yayınlanmış ve daha sonra ICML 2023'te sunulmuştur.
DetectGPT 2023 makalesi, yapay zeka tespit alanında bir referans noktası haline geldi.
ChatGPT'nin popülerliğinin zirvede olduğu ve dünyanın insan yazısını makine tarafından üretilen metinden ayırmakta zorlandığı bir dönemdi.
Bir bakıma, DetectGPT yeni bir tehdit türü için erken bir savunma hattı oldu. Peki, bu o zamanlar hiç yapay zeka dedektörü olmadığı anlamına mı geliyor? Yanlış.
Birkaç tespit aracı vardı, ancak çoğu büyük ölçüde etiketli veri kümelerine dayanıyordu. Bir tahminde bulunabilmeleri için binlerce yapay zeka ve insan metni örneği üzerinde eğitilmeleri gerekiyordu.
DetectGPT yapmadı.
Örüntü eşleştirme örnekleri yerine, aşağıdaki matematiksel kavrama dayanıyordu log olasılık eğriliği.
Şöyle düşün.
- Bir yapay zeka modeli yazarken, çok mükemmel uyan kelimeleri seçme eğilimindedir, bu nedenle her zaman "güvenli bölge" olasılığın.
- Öte yandan insan yazısı doğal olarak düzensizdir. Bazen garip ve öngörülemezdir.
DetectGPT bu farka dikkat çekiyor.
Bu süreç pertürbasyon tutarsızlığı olarak adlandırılır ve DetectGPT'nin herhangi bir ön eğitim olmadan son derece doğru kararlar vermesini sağlar.
Kısa sürede zamanının en saygın ve akademik olarak atıfta bulunulan yapay zeka dedektörlerinden biri haline geldi.
DetectGPT'nin Temel Özellikleri
DetectGPT'nin temel özellikleri şunlardır:
- Sıfır Atış Algılama Motoru: Her yeni model sürümü (yani olasılık eğrisi) için herhangi bir yeniden eğitime gerek kalmadan yapay zeka tarafından oluşturulan metni algılar.
- Hızlı AlgılamaGPT Hızı ve Ölçeği: Güncellenmiş versiyon olan Fast-DetectGPT, orijinalinden hem daha hızlı hem de daha verimli olan hızlı, yüksek hacimli tespit sağlar.
- Açık Kaynak Vakfı: Çerçevesi açık bir şekilde paylaşıldığından, geliştiriciler bunu çoğaltabilir ve uyarlayabilir. DetectGPT açık kaynak uygulaması, geliştiricilerin tespit modelleri ve API'leri oluşturmaya ve geliştirmeye devam ettiği DetectGPT github'da birçok projeye ilham verdi. Bugün, DetectGPT GitHub deposu dünya çapındaki araştırmacılar ve geliştiriciler için bir kaynaktır.
- Yüksek Doğruluk Talepleri: 99%'ye kadar algılama doğruluğu elde ederek DetectGPT makalesinde belgelenen 95% AUROC'lik orijinal akademik kıyaslamadan daha iyi performans gösterir.
- Toplu Algılama ve Raporlama: Toplu belge taramayı destekler (parti başına 10-50 dosya) ve eğitimciler ve işletmeler için indirilebilir PDF raporları oluşturur.
- API Entegrasyonu: Mevcut platformlara, uygulamalara veya içerik iş akışlarına sorunsuz entegrasyon için basit bir API sağlar.
- Yapay Zeka İçerik İnsancıllaştırıcı: Yapay zeka tarafından oluşturulan metni daha doğal ve insana benzer bir şekilde yeniden yazan ek bir özellik içerir.
- Entegre İntihal ve Doğruluk Kontrolü: Güvenilirliği sağlamak için metnin orijinalliğini ve olgusal doğruluğunu çapraz kontrol eder.
- Okunabilirlik Puanlaması: Genel okunabilirliği iyileştirmek için cümle akışını, tonunu ve netliğini değerlendirir ve geliştirir.
DetectGPT Dedektörü Nasıl Çalışır?
DetectGPT'ye iki şekilde erişebiliriz:
- Web uygulaması
- Tarayıcı uzantısı
Her iki versiyonun da adım adım nasıl çalıştığını aşağıda bulabilirsiniz:
- Platforma Erişim: DetectGPT web sitesine gidin veya tarayıcı uzantısının etkin olduğundan emin olun.
- Girdi İçeriği: Metni kopyalayın ve giriş kutusuna yapıştırın. Uzantıyı kullanıyorsanız, sadece "yenile" veya "tara" Analiz etmek istediğiniz sayfayı görüntülerken.
- Analizi Başlatın: Tıklayın "İçeriği Kontrol Et." Sistem daha sonra DetectGPT 2023 belgesinde açıklanan metodolojiye dayalı olarak içeriğinizi kontrol eder.
- İnceleme Sonuçları: DetectGPT saniyeler içinde, genellikle metnin yapay zeka tarafından oluşturulma olasılığını gösteren bir yüzde olan bir analiz puanı görüntüler.
DetectGPT Doğruluğunun Test Edilmesi
DetectGPT'yi ZDNet'in yaygın olarak tanınan kıyaslama metodolojisini kullanarak test ettik.
Dört örnek blok kullandık:
- Blok 1 (İnsan-Yazısı, Resmi) → bir araştırma makalesi
- Blok 2 (İnsan-Yazısı, Gayri Resmi) → Gary Halbert'in mektuplarından alıntı
- Blok 3 (Yapay Zeka Tarafından Oluşturulan, Temel) → ChatGPT 3.5 çıktı
- Blok 4 (Yapay Zeka ile Oluşturulmuş, Yaratıcı İpucu) → ayrıntılı, karmaşık yapay zeka metni
Sonuçlar:
| Örnek Blok | Gerçek Köken | DetectGPT Algılama | Notlar |
| Blok 1 | 100% İnsan | 21% Karma, 0% AI | Kısmen yapay zeka olarak yanlış sınıflandırıldı |
| Blok 2 | 100% İnsan | 11% Karma, 0% AI | Biraz karışık olarak işaretlendi |
| Blok 3 | 100% AI | 85% İnsan, 15% Karışık | Yapay zekayı doğru tespit edemedi |
| Blok 4 | 100% AI | 14% Karma, 0% AI | Yanlışlıkla çoğunlukla insan olarak sınıflandırıldı |
Blok 1'in Sonucu (İnsan-Yazılı, Resmi)
Blok 2'nin Sonucu (İnsan-Yazılı, Gayri Resmi)
Blok 3'ün Sonucu (Yapay Zeka Tarafından Üretilen, Vanilya)
Blok 4'ün Sonucu (Yapay Zeka Tarafından Oluşturulmuş, Şekillendirilmiş)
4 örnekten hiçbiri 100% olarak doğru sınıflandırılmamıştır, ancak 2'sinde (Blok 1 ve 2) çok küçük bir kısmi başarı olarak kabul edilebilecek küçük kısmi tanıma ("karışık" algılama) olmuştur.
Bunu belirtmenin adil ve veri odaklı bir yolu, DetectGPT'nin bu testte ~5-10% pratik doğruluk elde ettiğidir ki bu da orijinal DetectGPT makalesinde gösterilen umut verici sonuçlara rağmen profesyonel kullanım için esasen güvenilmezdir.
Ardından, test ettik Tespit Edilemeyen Yapay Zeka Daha önce uygulanan aynı ZDNet kıyaslama metodolojisini kullanarak.
| Örnek | Gerçek | Algılanamayan Yapay Zeka Tespiti | Doğruluk |
| Blok 1 | 100% İnsan | 100% İnsan | Doğru |
| Blok 2 | 100% İnsan | 100% İnsan | Doğru |
| Blok 3 | 100% AI | 99% AI | Doğru |
| Blok 4 | YAPAY ZEKA | 86% AI | Doğru |
Tespit Edilemeyen Yapay Zeka 4 örneği de doğru bir şekilde sınıflandırmıştır.
ZDNet kendi bağımsız değerlendirmesini yaptığında, Undetectable AI sürekli olarak En İyi 3 tespit aracı arasında yer aldı.
Farklı yazı stilleri ve karmaşıklık seviyelerinde hem yapay zeka hem de insan içeriğini doğru bir şekilde tanımlayabilen birkaç platformdan biri olarak öne çıktı.
DetectGPT'nin Artıları ve Eksileri
İşte DetectGPT'nin artıları ve eksileri:
| Artıları | Eksiler |
| Olasılık eğriliğini kullanarak yapay zeka metnini algılar. Yeni modeller için yeniden eğitime gerek yoktur. | Testlerde, 4 numuneden yalnızca 2'sini kısmen tanımlamıştır. |
| Token düzeyinde analiz, gerçek zamanlı kullanım için 340 kat daha hızlı ve ölçeklenebilir olmasını sağlar. | Genellikle resmi veya yapılandırılmış insan metinlerini (araştırma makaleleri gibi) yapay zeka tarafından oluşturulmuş olarak işaretler. |
| Stanford araştırması tarafından desteklenmiş ve ICML ve ICLR'de DetectGPT 2023 makalesi aracılığıyla yayınlanmıştır. | ChatGPT-3.5 ve yaratıcı bir şekilde şekillendirilmiş GPT çıktılarını tanımlamakta zorlandı. |
| Temel araştırma ve kod DetectGPT github ve çeşitli DetectGPT açık kaynak uygulama projeleri aracılığıyla kamuya açıktır. | Performans tutarsızlığı, eğitim, SEO veya uyumluluk iş akışlarında profesyonel kullanım için uygun değildir. |
DetectGPT vs Tespit Edilemeyen AI
İşte gerçek test sonuçlarına ve doğrulanmış performansa dayanan basit, pratik bir karşılaştırma:
| Kriter | DetectGPT | Tespit Edilemeyen Yapay Zeka |
| Temel İşlev | Olasılık eğrilerini kullanarak yapay zeka metnini algılar. | Yapay zeka metnini algılar ve tamamen insani hale getirmek için yeniden yazar. |
| Doğruluk | 95%+ doğruluk iddiasında bulundu, ancak ZDNet tarzı testimizde yalnızca 40-50% civarında puan aldı. | 85-90% gerçek dünya doğruluğu ile ZDNet tarafından sürekli olarak ilk 3 sırada yer almaktadır. |
| Entegrasyon | Sadece algılar. Humanizer ayrı, ücretli bir eklentidir. | Yerleşik insanlaştırıcı - içeriği tek bir yerden tespit edin ve düzeltin. |
| Kullanım Kolaylığı | Kontrol ve yeniden yazma için ayrı adımlar gerektirir. | Tek iş akışı. Anında tespit edin, insanlaştırın ve doğrulayın. |
| Fiyat | 50.000 kelime için ayda $15. | 10.000 kelime için $9,99/ay (esnek planlar). |
Aşağıdaki widget'ta Yapay Zeka Dedektörümüzü ve İnsancıllaştırıcımızı keşfedin!
SSS
DetectGPT nedir?
Stanford Üniversitesi'nde geliştirilen DetectGPT, istatistiksel tahmin edilebilirliğini (log olasılık eğriliği) analiz ederek yapay zeka tarafından yazılmış metni tespit eder.
Bu bir sıfır atış yöntemidir, yani her yeni yapay zeka modeli için yeniden eğitim olmadan çalışır.
DetectGPT kullanımı ücretsiz mi?
Temel araştırma ve açık kaynak kodu GitHub'da ücretsizdir. Ancak AI Humanizer, Plagiarism Checker ve daha yüksek limitlere sahip ticari sürüm, 50.000 kelime için ayda $15'e mal oluyor.
DetectGPT, GPT-3 ve ChatGPT'deki içeriği tespit edebilir mi?
Testlerimiz ChatGPT 3.5 çıktısını tanımlamada başarısız olduğunu ortaya koydu. Yapay zeka tarafından üretilmiş yerine 85% insan olarak sınıflandırdı, bu da onu bu özel amaç için güvenilmez kılıyor.
Nihai Karar
DetectGPT makalesi, akıllı, sıfır atış yöntemini tanıttı. "öngörülebilir" Yapay zeka yazısını tespit etmek için bir metindeki kelimeler.
Ancak teoride işe yarayan şeyler pratikte her zaman geçerli olmayabilir.
Testlerimizde DetectGPT sadece 5-10% gerçek dünya doğruluğuna ulaştı.
Genellikle insan tarafından yazılmış araştırma makalelerini yapay zeka olarak işaretlemiş ve ChatGPT tarafından oluşturulmuş bariz metinleri gözden kaçırmıştır.
Öğrenci çalışmalarını kontrol eden öğretmenler, güvenilirliklerini koruyan yazarlar veya içeriği uyumlu tutan işletmeler için bu tür bir tutarsızlık risklidir.
İşte kullanmadan önce bilmeniz gerekenler:
- Eğer bir araştırmacı ya da geliştiriciyseniz: GitHub kodu, kendi yapay zeka tespit araçlarınızı öğrenmek veya oluşturmak için harikadır.
- Eğer güvenilir bir tespite ihtiyacınız varsa: Undetectable AI gerçek dünya testlerinde çok daha iyi performans gösterdi. 90%'ye kadar doğruluk elde etti, ayrıca işaretlenmiş metni tamamen insan sesi çıkaracak şekilde yeniden yazıyor ve bunların hepsini daha düşük bir maliyetle yapıyor.
- Eğer yapay zeka tespiti üzerine çalışıyorsanız: DetectGPT makalesi hala okunmaya değer, ancak unutmayın "95% doğruluk" gerçek dünya sonuçlarına değil, laboratuvar testlerine dayanmaktadır.
Yapay zeka tespit araçları hızla gelişiyor. DetectGPT araştırması için övgüyü hak ediyor, ancak doğruluk önemli olduğunda, laboratuvar dışında test edilmiş ve kanıtlanmış bir araçla gidin.
Deneyin Tespit Edilemeyen Yapay Zeka İçeriğinizin özgün, insan gibi kalmasını ve güvenilir bir şekilde algılanmasını sağlamak için bugün.