Ogni strumento di rilevamento dell'intelligenza artificiale che si incontra oggi probabilmente si vanta di essere > 95% preciso. Alcuni affermano addirittura di essere affidabili al 100%!
Ma i rilevatori di intelligenza artificiale sono precisi? Davvero?
I modelli di intelligenza artificiale vengono costantemente aggiornati. La versione attuale di ChatGPT, ad esempio, è molto più ricca di sfumature e consapevole del contesto rispetto alla versione che abbiamo visto nel 2022.
È quindi naturale che molti rilevatori di IA fatichino a etichettare con precisione il testo come generato dall'IA.
Detto questo, è innegabile che alcuni strumenti siano migliori di altri. Ma per capire quali sono effettivamente all'altezza delle loro affermazioni, è necessario metterli alla prova.
È esattamente quello che abbiamo fatto in questo articolo.
Abbiamo valutato 10 dei più popolari rilevatori di intelligenza artificiale sullo stesso benchmark utilizzato da ZDNet per vedere quanto sono accurati i rilevatori di intelligenza artificiale.
Ecco cosa abbiamo trovato!
Punti di forza
- I rilevatori di intelligenza artificiale analizzano la frequenza delle parole, la variazione delle frasi e la sintassi per determinare se il testo è stato scritto da un essere umano o generato dall'intelligenza artificiale.
- Il rilevamento dell'IA di molti strumenti non è 100% infallibile perché molti scritti umani e IA condividono le stesse strutture grammaticali, il che porta a falsi positivi e negativi.
- Le tre tecniche principali per individuare con precisione i contenuti AI sono la modellazione statistica del linguaggio, i metadati e il watermarking e i classificatori di apprendimento automatico.
- Undetectable AI combina diversi algoritmi di rilevamento in un unico sistema federato. Offre un rilevamento dell'intelligenza artificiale gratuito e affidabile senza i comuni compromessi degli strumenti a pagamento.
Cosa sono i rilevatori di intelligenza artificiale e come funzionano?
I rilevatori di intelligenza artificiale sono strumenti che determinano se un testo è stato scritto da un essere umano o generato da un'intelligenza artificiale.
Il sistema scompone il testo in caratteristiche misurabili e poi analizza i modelli che rivelano la paternità della macchina.
Il testo generato dall'intelligenza artificiale tende a seguire schemi statistici. I modelli linguistici sono addestrati a prevedere la parola successiva in una sequenza, quindi la loro scrittura è costruita su probabilità che creano tracce sottili.
Non preoccupatevi più che l'intelligenza artificiale rilevi i vostri messaggi. Undetectable AI Può aiutarvi:
- Fate apparire la vostra scrittura assistita dall'intelligenza artificiale simile all'uomo.
- Bypass tutti i principali strumenti di rilevamento dell'intelligenza artificiale con un solo clic.
- Utilizzo AI in modo sicuro e con fiducia a scuola e al lavoro.
I rilevatori di intelligenza artificiale individuano queste tracce attraverso l'analisi della frequenza delle parole, della varietà della struttura della frase, della complessità della sintassi e della casualità generale (o della sua mancanza) del fraseggio.
Le due metriche più importanti utilizzate dai rilevatori di IA sono:
- Perplessità: È una misura di quanto un modello sia "sorpreso" dalla parola successiva in una frase. La scrittura umana di solito mostra una maggiore perplessità perché le persone si discostano dagli schemi, usano espressioni idiomatiche, inseriscono emozioni, ecc. Scrittura generata dall'intelligenza artificiale.
- Irruenza: Misura la variazione della lunghezza e del ritmo delle frasi. Gli esseri umani scrivono naturalmente con frasi brevi, lunghe e irregolari, mentre i contenuti scritti dall'intelligenza artificiale hanno una lunghezza costante.
Perché il rilevamento dell'IA è così difficile
Nonostante le differenze tra la scrittura umana e quella dell'IA, l'individuazione del testo generato dall'IA è un po' difficile, soprattutto quando è stato modificato.
Ecco alcuni motivi.
La somiglianza tra la scrittura umana e quella dell'intelligenza artificiale
La scrittura, sia quella umana che quella dell'intelligenza artificiale, utilizza lo stesso sistema linguistico di grammatica, tempi, sintassi e fraseggio.
I modelli di intelligenza artificiale non inventano il linguaggio da zero.
Semplicemente, imparano da ciò che gli esseri umani hanno già scritto negli anni precedenti al loro sviluppo.
I dataset su cui vengono addestrati sono intrinsecamente scritti dall'uomo.
Quindi, qualsiasi strumento di generazione AI ben sviluppato interiorizzerà i modelli di espressione umana e cercherà di riprodurli.
Più dati consumano, più la loro scrittura diventa "umana".
Falsi positivi e falsi negativi
I rilevatori di intelligenza artificiale non sono infallibili.
Un falso positivo si verifica quando un testo scritto da un essere umano viene erroneamente segnalato come generato dall'intelligenza artificiale.
Al contrario, un falso negativo si verifica quando il testo scritto dall'intelligenza artificiale passa inosservato.
Entrambi questi errori di etichettatura sono piuttosto comuni.
Poiché molti rilevatori di IA si basano sulla probabilità statistica piuttosto che sulla certezza dei fatti, la loro accuratezza rimane limitata.
Evoluzione costante del modello
Il rilevamento dell'intelligenza artificiale è un obiettivo in movimento. Ogni nuova generazione di modelli linguistici diventa più difficile da rilevare.
Quando ChatGPT è stato introdotto per la prima volta nel 2022, le sue risposte erano ripetitive e spesso formulate.
Un qualsiasi rilevatore di intelligenza artificiale oggi riconoscerebbe molto facilmente questo tipo di testo come scritto dall'intelligenza artificiale.
Tuttavia, l'ultimo modello GPT-5 produce testi consapevoli del contesto ed emotivamente intelligenti.
Dal momento che la qualità dei risultati continua a migliorare, il rilevamento di un testo di IA più vario dal punto di vista stilistico rappresenta una sfida.
Quanto sono precisi oggi i rilevatori di IA?
La risposta sincera a questa domanda è che dipende molto dal rilevatore e dal metodo di rilevamento che viene testato.
Alcuni strumenti di rilevamento dell'intelligenza artificiale dichiarano risultati quasi perfetti in ambienti controllati, ma quando vengono esposti ai dati del mondo reale, le loro prestazioni diventano disordinate.
Il parametro di riferimento Studio ZDNet ha valutato 11 rilevatori AI rispetto a cinque campioni di testo (tre generati da ChatGPT, due da esseri umani).
Ogni strumento che ha contrassegnato un campione con una probabilità AI > 70% è stato considerato come una "chiamata".
Lo studio ha rilevato che Undetectable AI è stato uno dei pochi strumenti a raggiungere un'accuratezza di 100%, ovvero a segnalare correttamente tutti e cinque i campioni (sia umani che AI) senza errori.
Ma i rilevatori di contenuti AI sono accurati anche per gli utenti quotidiani in contesti reali?
Il fatto è che i testi del mondo reale raramente sono "pura IA" o "puro umano".
Molti di essi sono contenuti modificati, parafrasati e con rumore intenzionale, e con tali condizioni di avversità, l'accuratezza di molti rilevatori diminuisce drasticamente.
A studio con revisione paritaria su Copyleaks, TurnItIn e Originality ha rilevato che mentre "hanno un'elevata accuratezza" su GPT-3,5 e contenuti umani, faticano a distinguere tra i risultati di livello GPT-4.
I 10 migliori rilevatori AI a confronto
Ora, per scoprire quali sono i rilevatori di intelligenza artificiale più accurati, abbiamo messo alla prova diversi strumenti utilizzando il metodo di valutazione di ZDNet, cioè utilizzando cinque campioni di testo in totale: tre scritti da ChatGPT e due da esseri umani.
Ecco un campione ChatGPT e un campione scritto da un umano che abbiamo utilizzato.
ChatGPT Testo:
Testo scritto umano:
AI non rilevabile
Il primo strumento che abbiamo testato è stato AI non rilevabilee ha superato ogni singolo test.
Tutti e cinque i campioni di testo sono stati identificati correttamente come 100% scritto da un uomo o da un'intelligenza artificiale.
La piattaforma ha persino mostrato indicatori che altri rilevatori avrebbero potuto segnalare.
Il sistema utilizza algoritmi di rilevamento multipli modellati su diversi modelli di IA (ChatGPT, Gemini, Claude, Llama e altri), ma invece di affidarsi direttamente a questi modelli, ha costruito un proprio sistema federato e basato sul consenso.
In sostanza, ogni algoritmo viene addestrato sui modelli di tali rilevatori, ma viene eseguito in modo indipendente per produrre un giudizio collettivo.
Undetectable AI sostiene anche di "umanizzare" il testo generato dall'AI in modo da eludere il rilevamento e, in base ai nostri risultati, questa affermazione ha retto in modo impressionante.
GPTZero
Abbiamo poi testato GPTZero, che ha soddisfatto il nostro benchmark di accuratezza e ha ottenuto un punteggio superiore alla soglia 80% in tutti e cinque i campioni.
Ha identificato correttamente entrambi i testi scritti dall'uomo e due dei testi generati dall'IA con una confidenza di 100%.
L'unica eccezione è stata un campione generato dall'AI, che GPTZero ha etichettato come 71% generato dall'AI, ma che rientra comunque nell'intervallo preciso secondo i nostri criteri.
Copyleaks
Copyleaks ha dato risultati contrastanti nel nostro test. Ha inciampato subito, classificando erroneamente il primo campione scritto da un umano come 100% generato dall'AI.
Ha anche segnalato nove cosiddette "frasi abusate dall'AI".
Tuttavia, ogni test successivo è stato accurato, cioè ha identificato ogni testo nei quattro campioni rimanenti per quello che era.
Questa incoerenza indica che Copyleaks può occasionalmente arrivare agli estremi, come ha fatto con il nostro campione scritto da un umano.
Tuttavia, se si considerano tutti i test, la media è di circa 80% di precisione.
Quillbot
QuillBot è stato un altro strumento che si è distinto nei nostri test, subito dopo Undetectable AI. È stato il secondo strumento a identificare tutti gli articoli scritti dall'uomo e generati dall'IA con una precisione di 100%.
L'aspetto notevole è che QuillBot era originariamente noto per le sue capacità di parafrasi.
Ma il suo rilevatore di IA è anche un raffinato strumento di analisi in grado di individuare la coerenza linguistica che rivela la paternità dell'IA.
Vale la pena notare che Quillbot non era molto preciso nei primi giorni del suo lancio, ma è decisamente migliorato nel corso degli anni. Attualmente, è uno dei pochi rilevatori AI affidabili che si possano trovare.
ZeroGPT
Anche i risultati dei test di ZeroGPT hanno mostrato una buona coerenza.
Il primo campione scritto da un essere umano è stato etichettato come 0% generato dall'AI, mentre il secondo è risultato di 9,44% generato dall'AI, entrambi comodamente all'interno dell'intervallo accettabile per una scrittura umana autentica.
Tutti e tre i campioni generati dall'AI, invece, sono stati correttamente identificati come 100% scritti dall'AI.
Pertanto, la nostra serie di test aggiunge anche ZeroGPT all'elenco dei rilevatori di IA affidabili.
Grammatica
Grammarly è un nome noto quando si tratta di aiutare gli scrittori a produrre contenuti grammaticalmente accurati, ma non si può dire lo stesso delle sue capacità di rilevamento dell'intelligenza artificiale.
Nei nostri test, il rilevatore di Grammarly ha mostrato risultati contrastanti e piuttosto incoerenti.
Per i campioni generati dall'IA, li ha segnalati come 92%, 81% e 54% generati dall'IA, il che significa che ne ha identificati correttamente due ma ha fallito un test sottostimando la probabilità dell'IA.
Sui testi scritti da esseri umani, ne ha azzeccato uno e ha classificato erroneamente l'altro come AI.
Quindi, si può dire che la nostra analisi è stata 60% accurata.
Originalità.ai
Originality.ai è stato anche uno dei rilevatori di IA più affidabili, in quanto ha scansionato correttamente sia quelli generati dall'IA che quelli scritti dall'uomo, fornendo 100% risultati sicuri.
Originality.ai è una piattaforma dedicata all'intelligenza artificiale e al rilevamento del plagio. Analizza la scrittura a livello granulare ed è stata testata in modo indipendente per individuare anche i contenuti parafrasati e modificati.
L'unico inconveniente di Originality.ai è che non è completamente gratuito.
La piattaforma offre 12.000 caratteri per i nuovi utenti, dopodiché le scansioni aggiuntive funzionano con un sistema basato sui crediti.
Il rilevatore AI ha un prezzo di 2.000 crediti (1 credito equivale a 100 parole) per $14,95 al mese.
Writer.com
Writer.com non è stato all'altezza delle aspettative per quanto riguarda il rilevamento dell'intelligenza artificiale, anche se ha un buon nome per la produzione di testi generati dall'intelligenza artificiale.
Su cinque campioni di testo, ha identificato erroneamente due campioni scritti dall'IA come scritti dall'uomo.
Ciò significa che solo tre dei cinque risultati dei test sono stati accurati, il che rappresenta una chiara mancanza.
Writer.com ha anche annunciato che il suo strumento di rilevamento dell'intelligenza artificiale, insieme al suo endpoint API, tramonterà il 22 dicembre.
Fino ad allora, continuerà a funzionare come sempre. Questo dimostra che l'azienda si sta allontanando dallo spazio di rilevamento dell'intelligenza artificiale.
Monica
Si tratta di un altro di quegli strumenti che si sono comportati molto bene durante i test.
Monica ha identificato correttamente ogni campione scritto dall'uomo e generato dall'IA senza alcun errore, quindi potete tranquillamente aggiungerlo alla vostra lista di rilevatori di IA affidabili.
L'azienda sostiene che combina i punti di forza analitici dell'intelligenza artificiale di ZeroGPT, GPTZero e Copyleaks in un unico strumento.
Il sistema è simile a AI non rilevabileche combina anche più rilevatori per un autentico rilevamento dell'intelligenza artificiale.
Rilevatore di intelligenza artificiale
Sapling non si è rivelato un rilevatore di IA affidabile, in quanto è stato impreciso nell'identificare tutti e cinque i campioni di testo.
Sui nostri campioni, Sapling ha identificato 2 contenuti scritti da umani come 100% AI, il che è molto lontano dal vero.
Ma ciò che risalta maggiormente di Sapling è la sua trasparenza. L'azienda riconosce apertamente che il suo rilevatore AI può produrre falsi positivi con testi brevi.
Si afferma inoltre che si sta lavorando attivamente per migliorare il sistema al fine di ridurre tali errori.
Chiariscono inoltre che nessun rilevatore di IA attuale, compreso quello di Sapling, dovrebbe essere utilizzato come metodo autonomo per determinare la paternità.
Utilizzare il Controllore AI per analizzare l'effettiva affidabilità di altri rilevatori di IA.
Testando un testo campione attraverso diversi strumenti di rilevamento e confrontando i punteggi di coerenza, AI Checker aiuta a rivelare quali sono i sistemi che etichettano in modo errato o sovrascrivono i contenuti.
È un modo rapido e trasparente per misurare l'accuratezza dei rilevatori prima di fidarsi dei loro risultati.
Spiegazione dei metodi più comuni di rilevamento dell'IA
Il rilevamento dell'intelligenza artificiale non si basa su una formula universale.
Sono stati utilizzati e convalidati diversi metodi per determinare se un testo è scritto da un essere umano o da un'intelligenza artificiale.
Modellazione statistica del linguaggio
È il metodo più antico e più utilizzato per il rilevamento dei contenuti dell'IA. Si basa sull'analisi della probabilità delle sequenze di parole, ovvero sulla probabilità che una parola segua un'altra.
Il testo generato dall'intelligenza artificiale tende ad avere una minore "perplessità", quindi si potrebbe dire che è più prevedibile e coerente nella struttura.
Gli esseri umani, invece, introducono la variabilità nel testo.
I rilevatori di contenuti che utilizzano questo metodo calcolano la perplessità e la burstiness per valutare la loro origine.
Metadati e watermarking
Queste metriche riguardano il modo in cui il testo è stato generato, anziché la sua struttura.
Il watermarking consiste nell'incorporare segnali invisibili all'interno dell'output dell'IA a livello di token. In sostanza, questi schemi possono essere rilevati solo da algoritmi specifici.
Il rilevamento dei metadati ispeziona i dati contestuali come i timestamp, la velocità di generazione e i modelli di chiamata API per dedurre se l'intelligenza artificiale è stata coinvolta nel processo di scrittura.
Ma anche in questo caso, quando il testo generato dall'intelligenza artificiale viene modificato, questi segnali si perdono e quindi funzionano solo in ambienti di test controllati.
Classificatori di apprendimento automatico
I rilevatori di IA si basano sempre più su classificatori di apprendimento automatico addestrati a riconoscere la "texture" della scrittura IA.
Questi classificatori analizzano migliaia di caratteristiche linguistiche e strutturali di set di dati di scrittura sia umana che prodotta dall'IA.
Sulla base di questa analisi, sviluppano un modello probabilistico per etichettare un nuovo testo come AI, umano o ibrido.
Il punto di forza di questo approccio è che i classificatori continuano a tenere il passo con i cambiamenti di approccio dei nuovi modelli di IA generativa.
Fate un giro con il nostro AI Detector e Humanizer nel widget qui sotto!
Conclusione
Per rispondere alla domanda "I rilevatori di IA sono accurati?", sì, alcuni strumenti lo sono in modo affidabile e Undetectable AI è uno di questi.
Ha raggiunto un'accuratezza di 100% in ogni campione di test scritto dall'AI e dall'uomo.
Lo strumento è anche gratuito, a differenza di molti altri rilevatori di IA che nascondono le loro caratteristiche migliori dietro paywall o sistemi basati su crediti.
Il vantaggio di Undetectable AI sta nel suo modello di rilevamento federato, che combina i punti di forza di più rilevatori leader in un unico sistema unificato.
L'approccio a più livelli riduce in modo significativo i falsi positivi e i falsi negativi.
Quindi, se siete alla ricerca di un rilevatore AI affidabile, AI non rilevabile è quello da provare!