Examen de DetectGPT : Une analyse honnête et des informations clés

DetectGPT a un taux de précision de 95%. Il est soutenu par Stanford. L'article de DetectGPT a été cité des centaines de fois. Il s'agit d'un logiciel libre sur DetectGPT github.

Mais dans quelle mesure ces affirmations sont-elles exactes ? 

Dans cette évaluation de DetectGPT, nous allons mettre DetectGPT à l'épreuve en utilisant le benchmark standard de ZDNet pour vérifier ses performances dans le monde réel.

Nous verrons comment fonctionne DetectGPT, comment il se compare à d'autres outils de détection et ce que nos tests indépendants ont révélé sur sa précision, sa fiabilité et sa facilité d'utilisation.

À la fin, vous saurez si DetectGPT est à la hauteur du battage médiatique ou non.

Découvrons-le.

---

Principaux enseignements

• Précision de DetectGPT : 5-10%. Il n'a identifié correctement aucun des 4 échantillons testés.

• DetectGPT est un détecteur d'IA développé à Stanford qui utilise l'analyse de la courbure des probabilités pour identifier les textes générés par des machines. Il analyse la précision avec laquelle les mots s'imbriquent les uns dans les autres pour repérer les schémas d'IA. 

• DetectGPT a introduit une méthode pionnière de détection de l'absence de coup de feu qui ne nécessite pas de réapprentissage pour les nouveaux modèles. L'implémentation GitHub en code source ouvert encourage la recherche et l'innovation.

• Undetectable AI a atteint une précision de 100% sur les 4 échantillons de test et se classe régulièrement parmi les 3 meilleurs outils dans les évaluations de ZDNet avec une précision réelle allant jusqu'à 90%.

---

Qu'est-ce que l'examen du détecteur DetectGPT ?

Comme son nom l'indique, DetectGPT est un outil d'intelligence artificielle qui permet de déterminer si un texte a été écrit par un humain ou s'il a été généré par un modèle basé sur le GPT. 

GPT = Generative Pre-trained Transformer (transformateur génératif pré-entraîné).

Il s'agit d'un type de grand modèle linguistique formé sur de grandes quantités de données textuelles pour prédire le mot suivant dans une séquence. Exemple : ChatGPT, GPT-3 et GPT-4 appartiennent tous à cette famille.

DetectGPT a été développé par Eric Anthony Mitchell, étudiant diplômé en informatique de l'Université de Stanford, et son équipe de recherche. 

Leur document DetectGPT, "DetectGPT : Détection de texte généré par une machine à partir de zéro à l'aide de la courbure de probabilité". a été publié en janvier 2023 et présenté ensuite à l'ICML 2023.

Le document DetectGPT 2023 est devenu une référence dans le domaine de la détection de l'IA.

C'était l'époque où la popularité du ChatGPT était à son apogée et où le monde avait du mal à distinguer l'écriture humaine du texte généré par une machine. 

D'une certaine manière, DetectGPT est devenu une première ligne de défense contre un nouveau type de menace. Cela signifie-t-il qu'il n'y avait pas de détecteurs d'IA à l'époque ? C'est faux. 

Il existait quelques outils de détection, mais la plupart d'entre eux s'appuyaient fortement sur des ensembles de données étiquetées. Ils devaient être entraînés sur des milliers d'exemples de textes humains et d'IA avant de pouvoir faire une supposition. 

DetectGPT ne l'a pas fait. 

Au lieu de recourir à des exemples de correspondance de modèles, il s'appuie sur un concept mathématique appelé logarithme de la probabilité de courbure. 

Pensez-y de cette façon...

• Lorsqu'un modèle d'IA écrit, il a tendance à choisir des mots qui s'adaptent trop parfaitement, de sorte qu'il est toujours assis dans le "zone de sécurité" de probabilité. 
• L'écriture humaine, en revanche, est naturellement inégale. Elle est parfois maladroite et imprévisible. 

DetectGPT met en évidence cette différence.

Ce processus est appelé "perturbation discordante" et permet à DetectGPT d'émettre des jugements très précis sans aucun entraînement préalable.

Il est rapidement devenu l'un des détecteurs d'IA les plus respectés et les plus cités dans les milieux universitaires de son époque.

Caractéristiques principales de DetectGPT

Voici les principales caractéristiques de DetectGPT :

• Moteur de détection "Zero-Shot" : Détecte les textes générés par l'IA sans aucun réapprentissage pour chaque nouvelle version du modèle (c'est-à-dire la courbe de probabilité).
  
• Détection rapideGPT Vitesse et échelle : La version mise à jour, Fast-DetectGPT, permet une détection rapide et à haut volume, à la fois plus rapide et plus efficace que la version originale.
  
• Fondation Open-Source : Comme son cadre était ouvertement partagé, les développeurs ont pu le reproduire et l'adapter. L'implémentation open source de DetectGPT a inspiré de nombreux projets sur DetectGPT github, où les développeurs continuent de construire et d'améliorer les modèles de détection et les API. Aujourd'hui, le dépôt GitHub DetectGPT est une ressource pour les chercheurs et les développeurs du monde entier.
  
• Affirmations de haute précision : Permet d'atteindre une précision de détection de 99%, ce qui est supérieur à la référence académique originale de 95% AUROC, telle que documentée dans l'article DetectGPT.

• Détection et notification des lots : Il prend en charge la numérisation de documents en masse (10 à 50 fichiers par lot) et génère des rapports PDF téléchargeables pour les enseignants et les entreprises.
  
• Intégration API : Fournit une API simple pour une intégration transparente dans les plateformes, les applications ou les flux de travail de contenu existants.
  
• AI Content Humanizer : Inclut une fonction supplémentaire qui réécrit le texte généré par l'IA pour le rendre plus naturel et plus humain.
  
• Vérification intégrée du plagiat et des faits : Vérifie l'originalité et l'exactitude des faits du texte afin d'en assurer la crédibilité.
  
• Evaluation de la lisibilité : Évalue et améliore la fluidité des phrases, le ton et la clarté afin d'améliorer la lisibilité globale.

Comment fonctionne DetectGPT Detector ?

Nous pouvons accéder à DetectGPT de deux manières :

• Application web
• Extension de navigateur

Voici comment les deux versions fonctionnent généralement, étape par étape :

1. Accéder à la plate-forme : Rendez-vous sur le site web de DetectGPT ou assurez-vous que l'extension du navigateur est active.
   
2. Contenu de l'entrée : Copiez et collez le texte dans le champ de saisie. Si vous utilisez l'extension, cliquez simplement sur "rafraîchir" ou "scan" tout en visualisant la page que vous souhaitez analyser.
   
3. Lancer l'analyse : Cliquez sur "Vérifier le contenu." Le système vérifie ensuite votre contenu sur la base de la méthodologie décrite dans le document DetectGPT 2023.

4. Résultats de l'examen : En quelques secondes, DetectGPT affiche un score d'analyse, généralement un pourcentage indiquant la probabilité que le texte ait été généré par l'IA. 

Test de la précision de DetectGPT

Nous avons testé DetectGPT en utilisant la méthodologie de référence largement reconnue de ZDNet.

Nous avons utilisé quatre blocs d'échantillons :

1. Bloc 1 (écriture humaine, formelle) → un document de recherche
2. Bloc 2 (écriture humaine, informelle) → extrait des lettres de Gary Halbert
3. Bloc 3 (généré par l'IA, de base) → ChatGPT 3.5 sortie
4. Bloc 4 (Généré par l'IA, incitation à la création) → texte détaillé et complexe sur l'IA

Résultats :

Bloc d'échantillons	Origine réelle	DétectionGPT Détection	Notes
Bloc 1	100% Humain	21% Mixte, 0% AI	Classé à tort comme partiellement IA
Bloc 2	100% Humain	11% Mixte, 0% AI	Légèrement signalée comme mixte
Bloc 3	100% AI	85% humain, 15% mixte	Absence de détection précise de l'IA
Bloc 4	100% AI	14% Mixte, 0% AI	Classés à tort dans la catégorie "humains" pour la plupart

Résultat du bloc 1 (écrit par l'homme, formel)

Résultat du bloc 2 (écrit par l'homme, informel)

Résultat du bloc 3 (généré par l'IA, Vanille)

Résultat du bloc 4 (généré par l'IA, stylisé)

Sur les 4 échantillons, aucun n'a été correctement classé 100%, mais 2 (blocs 1 et 2) ont été partiellement reconnus (détection "mixte"), ce qui peut être considéré comme une réussite partielle très mineure.

Une façon équitable et fondée sur des données de l'affirmer est que le DetectGPT a atteint une précision pratique d'environ 5-10% dans ce test, ce qui est essentiellement peu fiable pour un usage professionnel, malgré les résultats prometteurs présentés dans l'article original sur le DetectGPT.

Ensuite, nous avons testé IA indétectable en utilisant la même méthodologie de référence ZDNet que celle appliquée précédemment.

Échantillon	Réel	Détection indétectable de l'IA	Précision
Bloc 1	100% Humain	100% Humain	Correct
Bloc 2	100% Humain	100% Humain	Correct
Bloc 3	100% AI	99% AI	Correct
Bloc 4	AI	86% AI	Correct

IA indétectable a classé avec précision les 4 échantillons. 

Lorsque ZDNet a mené sa propre évaluation indépendante, Undetectable AI s'est toujours classé parmi les trois meilleurs outils de détection.

Elle s'est distinguée comme l'une des rares plateformes capables d'identifier correctement le contenu humain et le contenu d'IA dans différents styles d'écriture et niveaux de complexité.

Avantages et inconvénients de DetectGPT

Voici les avantages et les inconvénients de DetectGPT :

Pour	Cons
Détecte le texte AI en utilisant la courbure de probabilité. Aucun réapprentissage n'est nécessaire pour les nouveaux modèles.	Lors des tests, il n'a identifié que partiellement 2 échantillons sur 4.
L'analyse au niveau du jeton la rend 340 fois plus rapide et évolutive pour une utilisation en temps réel.	Les textes humains formels ou structurés (comme les documents de recherche) sont souvent considérés comme générés par l'IA.
Soutenu par la recherche de Stanford et publié à l'ICML et à l'ICLR par le biais du document DetectGPT 2023.	Difficulté à identifier ChatGPT-3.5 et les sorties GPT au style créatif.
Les recherches de base et le code sont accessibles au public via DetectGPT github et divers projets de mise en œuvre de DetectGPT en code source ouvert.	L'incohérence des performances le rend inadapté à une utilisation professionnelle dans les domaines de l'éducation, du référencement ou des flux de travail de conformité.

DétectGPT vs IA indétectable

Voici une comparaison simple et pratique basée sur des résultats de tests réels et des performances vérifiées :

Critère	DétecterGPT	IA indétectable
Fonction principale	Détecte le texte AI à l'aide de courbes de probabilité.	Détecte et réécrit le texte de l'IA pour le rendre pleinement humain.
Précision	Il revendique une précision de 95%+, mais n'a obtenu qu'un score de 40-50% lors de notre test de type ZDNet.	Constamment classé dans le Top 3 par ZDNet, avec une précision de 85-90% dans le monde réel.
Intégration	Détecte uniquement. Humanizer est un module complémentaire séparé et payant.	Humaniseur intégré - détecte et corrige le contenu en un seul endroit.
Facilité d'utilisation	Nécessite des étapes distinctes pour la vérification et la réécriture.	Flux de travail unique. Détecter, humaniser et vérifier instantanément.
Prix	$15/mois pour 50 000 mots.	$9.99/mois pour 10 000 mots (formules flexibles).

Découvrez notre détecteur d'IA et notre humanisateur dans le widget ci-dessous !

FAQ

Verdict final

L'article DetectGPT a introduit une méthode intelligente, sans coup férir, qui analyse la façon dont les "prévisible" dans un texte pour repérer l'écriture AI. 

Mais ce qui fonctionne en théorie ne se vérifie pas toujours en pratique.

Lors de nos tests, DetectGPT n'a atteint qu'une précision de 5-10% dans le monde réel. 

Il a souvent marqué des documents de recherche rédigés par des humains comme étant de l'IA et n'a pas détecté de texte évident généré par ChatGPT. 

Pour les enseignants qui vérifient le travail de leurs élèves, les écrivains qui protègent leur crédibilité ou les entreprises qui veillent à la conformité de leur contenu, ce type d'incohérence est risqué.

Voici ce qu'il faut savoir avant de l'utiliser :

• Si vous êtes chercheur ou développeur : Le code GitHub est idéal pour apprendre ou créer vos propres outils de détection de l'IA.
  
• Si vous avez besoin d'une détection fiable : L'IA indétectable a obtenu de bien meilleurs résultats lors des tests en conditions réelles. Elle a obtenu une précision de 90% et réécrit les textes marqués pour leur donner une apparence humaine, le tout à moindre coût.
  
• Si vous étudiez la détection de l'IA : L'article DetectGPT vaut toujours la peine d'être lu, mais n'oubliez pas que son objectif est d'améliorer la détection de l'intelligence artificielle. "95% précision" est basé sur des tests en laboratoire et non sur des résultats concrets.

Les outils de détection de l'IA s'améliorent rapidement. DetectGPT mérite d'être félicité pour ses recherches, mais lorsque la précision est importante, optez pour un outil qui a été testé et éprouvé en dehors du laboratoire.

Essayer IA indétectable dès aujourd'hui pour vous assurer que votre contenu reste authentique, humain et détecté de manière fiable.