Yapay Zeka Dedektörleri Doğru mu? Araçların Ardındaki Gerçekler

Bugün karşılaştığınız her yapay zeka tespit aracı muhtemelen 95%'den fazla doğruluğa sahip olduğunu iddia edecektir. Hatta bazıları 100% güvenilir olduklarını söylüyor! 

Peki yapay zeka dedektörleri doğru mu? Gerçekten mi?

Yapay zeka modelleri sürekli güncelleniyor. Örneğin ChatGPT'nin mevcut sürümü, 2022'de gördüğümüz sürümden çok daha incelikli ve bağlama duyarlı.

Bu nedenle, birçok yapay zeka dedektörünün metni doğru bir şekilde yapay zeka tarafından oluşturulmuş olarak etiketlemekte zorlanması oldukça doğaldır. 

Bununla birlikte, bazı araçların diğerlerinden daha iyi performans gösterdiği inkar edilemez. Ancak hangilerinin gerçekten iddialarını yerine getirdiğini anlamak için onları test etmeniz gerekir.

Biz de bu makalede tam olarak bunu yaptık.

Yapay zeka dedektörlerinin ne kadar doğru olduğunu görmek için en popüler 10 yapay zeka dedektörünü ZDNet tarafından kullanılan aynı karşılaştırma ölçütünde değerlendirdik. 

İşte bulduklarımız!

---

Önemli Çıkarımlar

• AI dedektörleri, metnin bir insan tarafından mı yazıldığını yoksa AI tarafından mı oluşturulduğunu belirlemek için kelime sıklığını, cümle çeşitliliğini ve sözdizimini analiz eder.

• Birçok aracın yapay zeka tespiti 100% kusursuz değildir çünkü birçok insan ve yapay zeka yazısı aynı gramer yapılarını paylaşır, bu da yanlış pozitiflere ve negatiflere yol açar.

• Yapay zeka içeriğini doğru bir şekilde tespit etmek için kullanılan üç ana teknik istatistiksel dil modelleme, meta veri ve filigranlama ve makine öğrenimi sınıflandırıcılarıdır

• Undetectable AI, birden fazla tespit algoritmasını tek bir federasyon sisteminde birleştirir. Ücretli araçların ortak ödünleri olmadan ücretsiz ve güvenilir yapay zeka tespiti sunar.

---

Yapay Zeka Dedektörleri Nedir ve Nasıl Çalışır?

Yapay zeka dedektörleri, bir metin parçasının bir insan tarafından mı yazıldığını yoksa yapay zeka tarafından mı oluşturulduğunu belirleyen araçlardır.

Sistem metni ölçülebilir özelliklere ayırır ve ardından makine yazarlığını ortaya çıkaran kalıpları tarar.

Yapay zeka tarafından üretilen metinler istatistiksel kalıpları takip etme eğilimindedir. Dil modelleri bir dizideki bir sonraki kelimeyi tahmin etmek için eğitilir, bu nedenle yazıları ince izler yaratan olasılıklar üzerine kuruludur.

Yapay zeka dedektörleri, kelime sıklığı, cümle yapısındaki çeşitlilik, sözdizimi karmaşıklığı ve ifadelerdeki genel rastgelelik (ya da rastgelelik eksikliği) analizi yoluyla bu izleri tespit eder.

Yapay zeka dedektörleri tarafından kullanılan en önemli iki metrik şunlardır:

1. Şaşkınlık: Bir modelin cümledeki bir sonraki kelimeye ne kadar "şaşırdığının" bir ölçüsüdür. İnsan yazıları genellikle daha yüksek şaşkınlık gösterir çünkü insanlar kalıplardan sapar, deyimler kullanır, duygu katar, vb. Yapay zeka tarafından üretilen yazılar.

2. Patlama: Cümle uzunluğu ve ritmindeki çeşitliliği ölçer. İnsanlar doğal olarak kısa, uzun ve düzensiz cümle patlamaları ile yazarken, yapay zeka tarafından yazılan içerik uzunluk bakımından tutarlıdır. 

Yapay Zeka Tespiti Neden Bu Kadar Zor?

İnsan ve yapay zeka yazımı arasındaki farklara rağmen, yapay zeka tarafından oluşturulan metni tespit etmek, özellikle de düzenlendiğinde biraz zordur. 

İşte bunun bazı nedenleri. 

İnsan ve Yapay Zeka Yazımı Arasındaki Benzerlik

Hem insan hem de yapay zeka tarafından yazılan yazı, özünde aynı dilbilgisi, zaman, sözdizimi ve ifade sistemini kullanır.

Yapay zeka modelleri dili sıfırdan icat etmez.

Onlar sadece, gelişimlerinden önceki yıllarda insanların zaten yazmış olduklarından öğrenirler.

Üzerinde eğitildikleri veri kümeleri doğal olarak insan tarafından yazılmıştır.

Dolayısıyla, iyi geliştirilmiş herhangi bir yapay zeka üretim aracı, insanların ifade kalıplarını içselleştirecek ve bunları yeniden üretmeye çalışacaktır.

Ne kadar çok veri tüketirlerse, yazıları da o kadar "insana benzer" hale gelir.

Yanlış Pozitifler ve Yanlış Negatifler

Yapay zeka dedektörleri hatasız değildir. 

Yanlış pozitif, insan tarafından yazılmış bir metin yanlışlıkla yapay zeka tarafından oluşturulmuş olarak işaretlendiğinde ortaya çıkar. 

Buna karşılık, yapay zeka tarafından yazılmış metin tespit edilmeden geçtiğinde yanlış negatif olur. 

Bu yanlış etiketlemelerin her ikisi de oldukça yaygındır.

Birçok yapay zeka dedektörü gerçek kesinlikten ziyade istatistiksel olasılığa dayandığından, doğrulukları sınırlı kalmaktadır.

Sabit Model Evrimi

Yapay zeka tespiti hareketli bir hedeftir. Her yeni nesil dil modelinin tespit edilmesi daha da zorlaşmaktadır. 

ChatGPT 2022'de ilk kez kamu kullanımına sunulduğunda, yanıtları tekrarlayan ve genellikle kalıplaşmış nitelikteydi.

Bugün herhangi bir yapay zeka dedektörü, bu tür bir metni yapay zeka tarafından yazılmış olarak kolayca yakalayacaktır. 

Ancak, en son GPT-5 modeli bağlama duyarlı ve duygusal açıdan akıllı metinler üretmektedir.

Çıktıların kalitesi artmaya devam ettiğinden, biçimsel olarak daha çeşitli bir yapay zeka metnini tespit etmek zorlu bir iştir.

Yapay Zeka Dedektörleri Günümüzde Ne Kadar Doğru?

Bu sorunun dürüst cevabı, hangi dedektörü ve hangi tespit yöntemini test ettiğinize büyük ölçüde bağlı olduğudur. 

Bazı yapay zeka tespit araçları, kontrollü ortamlarda mükemmele yakın sonuçlar elde ettiklerini iddia etseler de gerçek dünya verilerine maruz kaldıklarında performansları bozuluyor.

Karşılaştırma ölçütü ZDNet çalışması 11 yapay zeka dedektörünü beş metin örneğine (üçü ChatGPT tarafından, ikisi insanlar tarafından oluşturulmuş) karşı değerlendirmiştir.

Bir numuneyi > 70% AI-olasılığı ile işaretleyen herhangi bir araç "arama yapmış" olarak kabul edildi. 

Çalışma, Undetectable AI'nın 100% doğruluğuna ulaşan birkaç araçtan biri olduğunu, yani beş örneğin (hem insan hem de AI) tümünü hatasız olarak doğru şekilde işaretlediğini ortaya koydu.

Peki yapay zeka içerik dedektörleri gerçek hayattaki günlük kullanıcılar için de doğru mu? 

Mesele şu ki, gerçek dünya metinleri nadiren "saf yapay zeka" veya "saf insan "dır.

Bunların birçoğu kasıtlı gürültü içeren düzenlenmiş, başka kelimelerle ifade edilmiş içeriktir ve bu tür düşmanca koşullarda birçok dedektörün doğruluğu keskin bir şekilde düşer.

A hakemli çalışma Copyleaks, TurnItIn ve Originality'de GPT-3.5 ve insan içeriği konusunda "yüksek doğruluğa sahip" olsalar da GPT-4 seviyesindeki çıktıları ayırt etmekte zorlandıklarını tespit etti.

En İyi 10 Yapay Zeka Dedektörü Karşılaştırması

Şimdi, en doğru yapay zeka dedektörlerinin hangileri olduğunu bulmak için, ZDNet'in değerlendirme yöntemini kullanarak, yani üçü ChatGPT ve ikisi insanlar tarafından yazılmış toplam beş metin örneği kullanarak çeşitli araçları test ettik.

İşte kullandığımız bir ChatGPT örneği ve bir insan tarafından yazılmış örnek.

ChatGPT Metin: 

İnsan Yazılı Metin:

Tespit Edilemeyen Yapay Zeka 

Test ettiğimiz ilk araç Tespit Edilemeyen Yapay Zekave her bir testi geçti.

Beş metin örneğinin tamamı doğru bir şekilde 100% insan yazımı ya da yapay zeka yazımı olarak tanımlanmıştır.

Platform, diğer dedektörlerin bayrak kaldırmış olabileceği göstergeleri bile gösterdi.

Sistem, birçok farklı yapay zeka modelinden (ChatGPT, Gemini, Claude, Llama ve diğerleri) sonra modellenen birden fazla dedektör algoritması kullanıyor, ancak doğrudan bu modellere güvenmek yerine, kendi federe ve fikir birliğine dayalı sistemlerini oluşturdular.

Esasen, her algoritma bu dedektörlerden gelen kalıplar üzerinde eğitilir, ancak kolektif bir yargı üretmek için bağımsız olarak çalışır.

Undetectable AI ayrıca yapay zeka tarafından oluşturulan metni "insanileştirdiğini" ve böylece algılamayı atlattığını iddia ediyor ve sonuçlarımıza göre bu iddia etkileyici bir şekilde tuttu.

GPTZero 

Ardından GPTZero'yu test ettik, bu da doğruluk kriterimizi karşıladı ve beş örneğin tamamında 80% eşiğinin üzerinde puan aldı.

Hem insan tarafından yazılmış parçaları hem de yapay zeka tarafından oluşturulmuş metinlerden ikisini 100% güvenle doğru bir şekilde tanımladı.

Tek istisna, GPTZero'nun 71% AI tarafından oluşturulmuş olarak etiketlediği AI tarafından oluşturulmuş bir örnekti, ancak bu yine de kriterlerimize göre doğru aralıkta yer alıyor.

Copyleaks 

Copyleaks testlerimizde karışık sonuçlar verdi. İnsan tarafından yazılmış ilk örneği 100% yapay zeka tarafından oluşturulmuş olarak yanlış sınıflandırarak daha başlangıçta tökezledi.

Hatta dokuz sözde "yapay zekanın aşırı kullandığı ifadeyi" işaretledi.

Bununla birlikte, sonraki her test doğruydu, yani kalan dört örnekteki her metni olduğu gibi tanımladı.

Bu tutarsızlık, Copyleaks'in insan eliyle yazılmış örneğimizde olduğu gibi zaman zaman aşırı uçlara savrulabileceğine işaret ediyor.

Yine de, tüm testlere bakıldığında, ortalama 80% doğruluğa sahipti. 

Quillbot

QuillBot, Undetectable AI'nın hemen ardından testlerimizde öne çıkan bir diğer araç oldu. İnsan tarafından yazılmış ve yapay zeka tarafından oluşturulmuş her parçayı 100% doğrulukla tanımlayan ikinci araç oldu.

Dikkate değer olan şey, QuillBot'un başlangıçta paraphrasing yetenekleriyle tanınmasıydı.

Ancak YZ dedektörü aynı zamanda YZ yazarlığını ele veren dilsel tutarlılığı saptayabilen rafine bir analiz aracıdır.

Ayrıca Quillbot'un piyasaya sürüldüğü ilk günlerde çok doğru olmadığını, ancak yıllar içinde kesinlikle geliştiğini de belirtmek gerekir. Şu anda, bulabileceğiniz birkaç güvenilir AI dedektöründen biridir. 

ZeroGPT 

ZeroGPT'nin test sonuçları da iyi bir tutarlılık gösterdi. 

İnsan tarafından yazılan ilk örnek 0% AI tarafından oluşturulmuş olarak etiketlendi ve ikincisi 9.44% AI tarafından oluşturulmuş olarak geldi, her ikisi de gerçek insan yazısı için kabul edilebilir aralıkta rahatça.

Öte yandan, yapay zeka tarafından üretilen üç örnek de doğru bir şekilde 100% yapay zeka tarafından yazılmış olarak tanımlanmıştır. 

Bu nedenle, test turumuz ZeroGPT'yi de güvenilir AI dedektörleri listesine ekliyor. 

Grammarly

Grammarly, yazarların dilbilgisi açısından doğru içerik üretmelerine yardımcı olmak söz konusu olduğunda bilinen bir isimdir, ancak aynı şey yapay zeka algılama yetenekleri için söylenemez.

Testlerimizde, Grammarly'nin dedektörü karışık ve biraz tutarsız sonuçlar gösterdi.

YZ tarafından oluşturulan örnekler için, bunları 92%, 81% ve 54% YZ tarafından oluşturulmuş olarak işaretledi, yani ikisini doğru bir şekilde tanımladı, ancak YZ olasılığını hafife alarak bir testi geçemedi.

İnsan tarafından yazılmış metinlerden birini doğru, diğerini ise yapay zeka olarak yanlış sınıflandırdı.

Yani, analizimizde 60%'nin doğru olduğunu söyleyebiliriz.

Originality.ai 

Originality.ai, hem yapay zeka tarafından oluşturulan hem de insan tarafından yazılanları doğru bir şekilde taradığı ve 100% güvenli sonuç verdiği için çok güvenilir yapay zeka dedektörleri arasındaydı.

Originality.ai özel bir yapay zeka ve intihal tespit platformudur. Yazıyı ayrıntılı bir düzeyde analiz eder ve başka kelimelerle ifade edilmiş ve düzenlenmiş içeriği de yakalamak için bağımsız olarak test edilmiştir. 

Originality.ai ile ilgili tek sorun tamamen ücretsiz olmaması.

Platform, yeni kullanıcılar için 12.000 karakter sunuyor ve ardından ek taramalar kredi tabanlı bir sistemle çalışıyor.

Yapay zeka dedektörü aylık $14,95 karşılığında 2.000 kredi (1 kredi 100 kelimeye eşittir) olarak fiyatlandırılmıştır.

Writer.com

Writer.com, yapay zeka ile oluşturulmuş metin üretme konusunda oldukça iyi bir isme sahip olmasına rağmen, yapay zeka algılama konusunda beklentileri tam olarak karşılayamadı. 

Beş metin örneğinden yapay zeka tarafından yazılmış 2 örneği yanlışlıkla insan tarafından yazılmış olarak tanımlamıştır.

Bu da beş test sonucundan sadece üçünün doğru olduğu anlamına gelmektedir ki bu da açık bir eksikliktir.

Writer.com ayrıca yapay zeka tespit aracının API uç noktası ile birlikte 22 Aralık'ta kapanacağını duyurdu.

O zamana kadar, her zamanki gibi çalışmaya devam edecek. Bu da şirketin yapay zeka algılama alanından uzaklaştığını gösteriyor.

Monica

Bu da testlerde gerçekten iyi performans gösteren araçlardan bir diğeriydi.

Monica, insan tarafından yazılan ve yapay zeka tarafından üretilen her örneği tek bir hata olmadan doğru bir şekilde tanımladı, böylece onu güvenilir yapay zeka dedektörleri listenize güvenle ekleyebilirsiniz. 

Şirket ZeroGPT, GPTZero ve Copyleaks'in yapay zeka analitik güçlerini tek bir birleşik araçta birleştirdiğini iddia ediyor.

Sistem aşağıdakilere benzer Tespit Edilemeyen Yapay ZekaAyrıca gerçek yapay zeka tespiti için birden fazla dedektörü birleştirir.

Fidan Yapay Zeka Dedektörü

Sapling, beş metin örneğinin tamamını tanımlamada hatalı olduğu için güvenilir bir yapay zeka dedektörü olarak ortaya çıkmadı.

Örneklerimizden Sapling, insan tarafından yazılmış içeriklerden 2 tanesini 100% AI olarak tanımladı.

Ancak Sapling'in en öne çıkan özelliği şeffaflığı. Şirket, yapay zeka dedektörünün kısa metinlerle yanlış pozitifler üretebileceğini açıkça kabul ediyor.

Ayrıca, bu tür hataları azaltmak amacıyla sistemi iyileştirmek için aktif olarak çalıştıklarını da belirtiyor.

Ayrıca, Sapling'inki de dahil olmak üzere mevcut hiçbir yapay zeka dedektörünün yazarlığı belirlemek için tek başına bir yöntem olarak kullanılmaması gerektiğini de açıklığa kavuşturuyorlar.

Kullanın Yapay Zeka Denetleyicisi Diğer yapay zeka dedektörlerinin gerçekte ne kadar güvenilir olduğunu analiz etmek için.

AI Checker, örnek metni birden fazla algılama aracıyla test ederek ve tutarlılık puanlarını karşılaştırarak, hangi sistemlerin içeriği yanlış etiketlediğini veya aşırı etiketlediğini ortaya çıkarmaya yardımcı olur.

Bu, sonuçlarına güvenmeden önce dedektörün doğruluğunu ölçmenin hızlı ve şeffaf bir yoludur.

Yaygın Yapay Zeka Tespit Yöntemleri Açıklandı

Yapay zeka tespiti tek bir evrensel formül üzerine inşa edilmemiştir.

Bir metnin insan tarafından mı yoksa yapay zeka tarafından mı yazıldığını belirlemek için çeşitli yöntemler kullanılmış ve onaylanmıştır.

İstatistiksel Dil Modellemesi

Bu, YZ içerik tespiti için en eski ve en yaygın kullanılan yöntemdir. Kelime dizilerinin olasılığının analizine, yani bir kelimenin diğerini takip etme olasılığının ne kadar olduğuna dayanır.

Yapay zeka tarafından üretilen metinler daha düşük "çapraşıklığa" sahip olma eğilimindedir, bu nedenle yapı olarak daha öngörülebilir ve tutarlı olduğu söylenebilir.

Öte yandan insanlar metne değişkenlik katar.

Bu yöntemi kullanan içerik dedektörleri, kaynaklarını değerlendirmek için çapraşıklığı ve patlamayı hesaplar.

Metadata ve Filigranlama

Bu ölçütler metnin yapısı yerine nasıl oluşturulduğunu hedefler. 

Filigranlama, yapay zeka çıktısının içine token seviyesinde görünmez sinyaller gömmek anlamına gelir. Esasen, bu desenler yalnızca belirli algoritmalar tarafından tespit edilebilir. 

Meta veri tespiti, zaman damgaları, üretim hızı ve API çağrı kalıpları gibi bağlamsal verileri inceleyerek yazma sürecine yapay zekanın dahil olup olmadığı sonucuna varır. 

Ancak yine de, yapay zeka tarafından oluşturulan metin düzenlendiğinde, bu sinyaller kaybolur ve bu nedenle yalnızca kontrollü test ortamlarında çalışırlar. 

Makine Öğrenimi Sınıflandırıcıları

YZ dedektörleri, YZ yazısının "dokusunu" tanımak için eğitilmiş makine öğrenimi sınıflandırıcılarına giderek daha fazla güvenmektedir.

Bu sınıflandırıcılar, hem insan tarafından yazılmış hem de yapay zeka tarafından üretilmiş yazı veri kümelerinin binlerce dilsel ve yapısal özelliğini analiz eder.

Bu analize dayanarak, yeni metni yapay zeka, insan veya hibrit olarak etiketlemek için olasılıksal bir model geliştiriyorlar.

Bu yaklaşımın gücü, sınıflandırıcıların yeni üretken yapay zeka modellerinin yaklaşımındaki değişime ayak uydurmaya devam etmesidir.

Yapay Zeka Dedektörümüzü ve İnsancıllaştırıcımızı aşağıdaki widget'ta deneyin!

Sonuç

"Yapay zeka dedektörleri doğru mu?" sorusuna cevap vermek gerekirse, evet, birkaç araç güvenilir bir şekilde doğrudur ve Undetectable AI bunlardan biridir.

Yapay zeka ve insan tarafından yazılan her test örneğinde 100% doğruluk elde etti.

Ayrıca, en iyi özelliklerini ödeme duvarlarının veya kredi tabanlı sistemlerin arkasına gizleyen diğer birçok yapay zeka dedektörünün aksine, aracın kullanımı ücretsizdir.

Undetectable AI'nın üstünlüğü, birden fazla önde gelen dedektörün güçlü yönlerini tek bir birleşik sistemde birleştiren federasyon algılama modelindedir.

Çok katmanlı yaklaşım, yanlış pozitifleri ve yanlış negatifleri önemli ölçüde azaltır.

Eğer güvenilir bir yapay zeka dedektörü arıyorsanız, Tespit Edilemeyen Yapay Zeka denemek için bir tane!