Tous les outils de détection de l'IA que vous rencontrez aujourd'hui se targuent d'être > 95% précis. Certains affirment même qu'ils sont fiables à 100% !
Mais les détecteurs d'IA sont-ils précis ? Vraiment ?
Les modèles d'IA sont constamment mis à jour. La version actuelle de ChatGPT, par exemple, est beaucoup plus nuancée et sensible au contexte que la version que nous avons vue en 2022.
Il est donc tout à fait naturel que de nombreux détecteurs d'IA aient du mal à identifier avec précision le texte comme étant généré par l'IA.
Cela dit, certains outils sont indéniablement plus performants que d'autres. Mais pour savoir lesquels sont réellement à la hauteur de leurs prétentions, vous devez les tester.
C'est exactement ce que nous avons fait dans cet article.
Nous avons évalué 10 des détecteurs d'IA les plus populaires à l'aide du même critère de référence que celui utilisé par ZDNet afin de déterminer la précision des détecteurs d'IA.
Voici ce que nous avons trouvé !
Principaux enseignements
- Les détecteurs d'IA analysent la fréquence des mots, la variation des phrases et la syntaxe pour déterminer si le texte a été écrit par un humain ou généré par l'IA.
- La détection par l'IA de nombreux outils n'est pas 100% infaillible parce qu'une grande partie des écrits humains et de l'IA partagent les mêmes structures grammaticales, ce qui entraîne des faux positifs et des faux négatifs.
- Les trois principales techniques permettant de détecter avec précision les contenus d'IA sont la modélisation statistique du langage, les métadonnées et le filigrane, ainsi que les classificateurs d'apprentissage automatique.
- Undetectable AI combine plusieurs algorithmes de détection dans un système fédéré. Il offre une détection gratuite et fiable de l'IA sans les compromis habituels des outils payants.
Qu'est-ce qu'un détecteur d'IA et comment fonctionne-t-il ?
Les détecteurs d'IA sont des outils qui permettent de déterminer si un texte a été écrit par un humain ou généré par une intelligence artificielle.
Le système décompose le texte en caractéristiques mesurables et recherche ensuite des modèles qui révèlent la paternité d'une machine.
Les textes générés par l'IA ont tendance à suivre des modèles statistiques. Les modèles de langage sont entraînés à prédire le mot suivant dans une séquence, de sorte que leur écriture est construite sur des probabilités qui créent des traces subtiles.
Ne vous inquiétez plus jamais de la détection de vos messages par l'IA. Undetectable AI peut vous aider :
- Faites apparaître votre écriture assistée par l'IA à l'image de l'homme.
- By-pass tous les principaux outils de détection de l'IA en un seul clic.
- Utilisation AI en toute sécurité et en toute confiance à l'école et au travail.
Les détecteurs d'IA repèrent ces traces en analysant la fréquence des mots, la variété de la structure des phrases, la complexité de la syntaxe et le caractère globalement aléatoire (ou non) de la formulation.
Les deux paramètres les plus importants utilisés par les détecteurs d'IA sont les suivants :
- Perplexité : Il s'agit d'une mesure du degré de "surprise" d'un modèle par le mot suivant dans une phrase. La perplexité est généralement plus élevée dans les écrits humains, car les gens s'écartent des modèles, utilisent des expressions idiomatiques, insèrent des émotions, etc. Écriture générée par l'IA.
- L'éclatement: Il mesure la variation de la longueur et du rythme des phrases. Les humains écrivent naturellement des phrases courtes, longues et irrégulières, alors que le contenu écrit par l'IA est d'une longueur constante.
Pourquoi la détection de l'IA est-elle si difficile ?
Malgré les différences entre l'écriture humaine et celle de l'IA, la détection des textes générés par l'IA est un peu difficile, en particulier lorsqu'ils ont été édités.
Voici quelques raisons.
Les similitudes entre l'écriture humaine et celle de l'IA
L'écriture, qu'elle soit le fait d'un humain ou d'une IA, utilise le même système de grammaire, de temps, de syntaxe et de formulation.
Les modèles d'IA n'inventent pas le langage à partir de rien.
Ils apprennent simplement à partir de ce que les humains ont déjà écrit dans les années précédant leur développement.
Les ensembles de données sur lesquels ils sont formés sont intrinsèquement rédigés par des humains.
Ainsi, tout outil de génération d'IA bien développé intériorisera les schémas d'expression humains et tentera de les reproduire.
Plus ils consomment de données, plus leur écriture devient "humaine".
Faux positifs et faux négatifs
Les détecteurs d'IA ne sont pas infaillibles.
Un faux positif se produit lorsqu'un texte écrit par un être humain est signalé à tort comme étant généré par une IA.
En revanche, un faux négatif se produit lorsqu'un texte écrit par l'IA passe inaperçu.
Ces deux erreurs d'étiquetage sont assez fréquentes.
Comme de nombreux détecteurs d'IA s'appuient sur des probabilités statistiques plutôt que sur des certitudes factuelles, leur précision reste limitée.
Evolution constante du modèle
La détection de l'IA est une cible mouvante. Chaque nouvelle génération de modèles de langage devient plus difficile à détecter.
Lorsque le ChatGPT a été mis à la disposition du public pour la première fois en 2022, les réponses étaient répétitives et souvent formulées.
N'importe quel détecteur d'IA d'aujourd'hui détecterait très facilement ce type de texte comme étant écrit par l'IA.
Cependant, le dernier modèle GPT-5 produit des textes contextuels et émotionnellement intelligents.
La qualité des résultats ne cessant de s'améliorer, la détection d'un texte d'IA plus diversifié sur le plan stylistique constitue un défi.
Quelle est la précision des détecteurs d'IA aujourd'hui ?
La réponse honnête à cette question est que cela dépend fortement du détecteur et de la méthode de détection que vous testez.
Certains outils de détection de l'IA revendiquent des résultats quasi parfaits dans des environnements contrôlés, mais lorsqu'ils sont exposés à des données réelles, leurs performances se dégradent.
L'indice de référence Étude ZDNet a évalué 11 détecteurs d'IA sur cinq échantillons de texte (trois générés par ChatGPT, deux par des humains).
Tout outil ayant marqué un échantillon avec une probabilité d'IA > 70% a été considéré comme ayant "fait un appel".
L'étude a révélé qu'Undetectable AI était l'un des rares outils à atteindre une précision de 100%, c'est-à-dire qu'il a correctement marqué les cinq échantillons (humains et IA) sans erreur.
Mais les détecteurs de contenu à base d'IA sont-ils également fiables pour les utilisateurs quotidiens dans la vie réelle ?
Le fait est que les textes du monde réel sont rarement "purement IA" ou "purement humains".
Il s'agit en grande partie d'un contenu édité, paraphrasé, avec du bruit intentionnel, et dans de telles conditions contradictoires, la précision de nombreux détecteurs chute brutalement.
A étude évaluée par des pairs sur Copyleaks, TurnItIn et Originality a constaté que, bien qu'ils "aient une grande précision" sur le GPT-3.5 et le contenu humain, ils ont du mal à faire la distinction entre les résultats de niveau GPT-4.
Comparaison des 10 meilleurs détecteurs d'IA
Pour déterminer quels sont les détecteurs d'IA les plus précis, nous avons mis plusieurs outils à l'épreuve en utilisant la méthode d'évaluation de ZDNet, c'est-à-dire en utilisant cinq échantillons de texte au total : trois rédigés par ChatGPT et deux par des humains.
Voici un exemple de ChatGPT et un exemple écrit par un humain que nous avons utilisés.
ChatGPT Texte :
Texte écrit humain :
IA indétectable
Le premier outil que nous avons testé est IA indétectableet il a passé tous les tests avec succès.
Les cinq échantillons de texte ont été correctement identifiés comme étant soit 100% écrit par un humain, soit par une IA.
La plateforme a même montré des indicateurs là où d'autres détecteurs auraient pu donner des signaux d'alerte.
Le système utilise plusieurs algorithmes de détection inspirés de différents modèles d'intelligence artificielle (ChatGPT, Gemini, Claude, Llama, etc.), mais au lieu de s'appuyer directement sur ces modèles, il a construit son propre système fédéré et basé sur le consensus.
Essentiellement, chaque algorithme est formé sur des modèles provenant de ces détecteurs, mais fonctionne indépendamment pour produire un jugement collectif.
Undetectable AI prétend également "humaniser" le texte généré par l'IA afin qu'il échappe à la détection, et d'après nos résultats, cette affirmation a tenu la route de manière impressionnante.
GPTZero
Nous avons ensuite testé GPTZero, qui a également satisfait à notre critère de précision et a obtenu des résultats supérieurs au seuil de 80% pour les cinq échantillons.
Il a correctement identifié les deux textes écrits par des humains et deux des textes générés par l'IA avec un niveau de confiance de 100%.
La seule exception était un échantillon généré par l'IA, que GPTZero a qualifié de 71% généré par l'IA, mais qui se situe toujours dans la plage de précision selon nos critères.
Copyleaks
Copyleaks a obtenu des résultats mitigés lors de nos tests. Il a trébuché dès le départ en classant à tort le premier échantillon écrit par un humain comme étant 100% généré par l'IA.
Il a même repéré neuf "phrases surutilisées par l'IA".
Cependant, tous les tests suivants ont été exacts, c'est-à-dire qu'ils ont permis d'identifier chaque texte des quatre échantillons restants pour ce qu'il était.
Cette incohérence montre que Copyleaks peut parfois basculer dans l'extrême, comme cela a été le cas avec notre échantillon écrit par un humain.
Néanmoins, si l'on considère l'ensemble des tests, la précision moyenne est d'environ 80%.
Quillbot
QuillBot est un autre outil qui s'est distingué dans nos tests, juste derrière Undetectable AI. Il a été le deuxième outil à identifier chaque texte écrit par un humain ou généré par une IA avec une précision de 100%.
Ce qui est remarquable, c'est que QuillBot était à l'origine connu pour ses capacités de paraphrase.
Mais son détecteur d'IA est aussi un outil d'analyse raffiné capable de repérer les cohérences linguistiques qui trahissent la paternité de l'IA.
Il convient également de noter que Quillbot n'était pas très précis dans les premiers jours de son lancement, mais qu'il s'est nettement amélioré au fil des ans. Actuellement, c'est l'un des rares détecteurs d'IA fiables que vous trouverez.
ZeroGPT
Les résultats des tests de ZeroGPT ont également montré une bonne cohérence.
Le premier échantillon d'écriture humaine a été étiqueté comme 0% généré par l'IA, et le second est arrivé à 9,44% généré par l'IA, tous deux se situant confortablement dans la fourchette acceptable pour une écriture humaine authentique.
En revanche, les trois échantillons générés par l'IA ont été correctement identifiés comme étant 100% écrit par l'IA.
Notre série de tests ajoute donc ZeroGPT à la liste des détecteurs d'IA fiables.
Grammarly
Grammarly est un nom connu de tous lorsqu'il s'agit d'aider les rédacteurs à produire des contenus grammaticalement corrects, mais on ne peut pas en dire autant de ses capacités de détection de l'IA.
Lors de nos tests, le détecteur de Grammarly a donné des résultats mitigés et quelque peu incohérents.
Pour les échantillons générés par l'IA, il les a marqués comme étant 92%, 81% et 54% générés par l'IA, ce qui signifie qu'il a correctement identifié deux échantillons, mais a échoué à un test en sous-estimant la probabilité de l'IA.
Sur les textes écrits par des humains, il a obtenu une bonne réponse et a mal classé l'autre comme étant de l'IA.
On peut donc dire que notre analyse a été 60% précise.
Originalité.ai
Originality.ai fait également partie des détecteurs d'IA les plus fiables, car il a correctement analysé les textes générés par l'IA et ceux rédigés par des humains, et a fourni 100% de résultats fiables.
Originality.ai est une plateforme dédiée à l'IA et à la détection du plagiat. Elle analyse l'écriture à un niveau granulaire et a été testée indépendamment pour détecter les paraphrases et les contenus édités.
Le seul inconvénient d'Originality.ai est qu'il n'est pas entièrement gratuit.
La plateforme offre 12 000 caractères aux nouveaux utilisateurs, après quoi les balayages supplémentaires fonctionnent selon un système de crédit.
Le prix du détecteur d'IA est de 2 000 crédits (1 crédit équivaut à 100 mots) pour $14,95 par mois.
Writer.com
Writer.com n'a pas été à la hauteur des attentes en matière de détection de l'IA, même s'il est réputé pour produire des textes générés par l'IA.
Sur cinq échantillons de texte, il a identifié à tort deux échantillons rédigés par l'IA comme étant rédigés par un humain.
Cela signifie que seuls trois des cinq résultats des tests étaient exacts, ce qui est un échec flagrant.
Writer.com a également annoncé que son outil de détection de l'IA, ainsi que son point d'accès à l'API, disparaîtraient le 22 décembre.
D'ici là, il continuera à fonctionner comme d'habitude. Cela montre que l'entreprise s'éloigne de l'espace de détection de l'IA.
Monica
Il s'agit d'un autre de ces outils qui ont donné de très bons résultats lors des tests.
Monica a correctement identifié tous les échantillons rédigés par des humains et générés par l'IA sans la moindre erreur. Vous pouvez donc l'ajouter en toute sécurité à votre liste de détecteurs d'IA fiables.
La société affirme qu'elle combine les forces analytiques de ZeroGPT, GPTZero et Copyleaks en un seul outil unifié.
Le système est similaire à IA indétectablequi combine également plusieurs détecteurs pour une détection authentique de l'IA.
Détecteur d'IA de l'aubier
Sapling ne s'avère pas être un détecteur d'IA fiable, puisqu'il n'a pas identifié les cinq échantillons de texte.
Sur nos échantillons, Sapling a identifié 2 contenus rédigés par des humains comme étant de l'IA 100%, ce qui est très éloigné de la réalité.
Mais ce qui ressort le plus de Sapling, c'est sa transparence. L'entreprise reconnaît ouvertement que son détecteur d'IA peut produire des faux positifs avec des textes courts.
Elle indique également qu'elle travaille activement à l'amélioration du système afin de réduire ces erreurs.
Ils précisent également qu'aucun détecteur d'IA actuel, y compris celui de Sapling, ne doit être utilisé comme méthode autonome pour déterminer la paternité d'un texte.
Utiliser le Vérificateur d'IA pour analyser la fiabilité des autres détecteurs d'IA.
En testant un échantillon de texte à l'aide de plusieurs outils de détection et en comparant les scores de cohérence, AI Checker aide à révéler les systèmes qui étiquettent mal ou surévaluent le contenu.
Il s'agit d'un moyen rapide et transparent de mesurer la précision des détecteurs avant de faire confiance à leurs résultats.
Explication des méthodes courantes de détection de l'IA
La détection de l'IA ne repose pas sur une formule universelle.
Plusieurs méthodes ont été utilisées et validées pour déterminer si un texte est écrit par un être humain ou par une IA.
Modélisation statistique du langage
Il s'agit de la méthode la plus ancienne et la plus largement utilisée pour la détection de contenu d'IA. Elle repose sur l'analyse de la probabilité des séquences de mots, c'est-à-dire la probabilité qu'un mot suive un autre.
Les textes générés par l'IA ont tendance à avoir une "perplexité" plus faible, ce qui signifie qu'ils sont plus prévisibles et plus cohérents dans leur structure.
Les humains, quant à eux, introduisent de la variabilité dans les textes.
Les détecteurs de contenu utilisant cette méthode calculent la perplexité et l'éclatement pour évaluer leur origine.
Métadonnées et filigrane
Ces mesures portent sur la manière dont le texte a été généré plutôt que sur sa structure.
Le filigrane consiste à intégrer des signaux invisibles dans les résultats de l'IA au niveau des jetons. Ces signaux ne peuvent être détectés que par des algorithmes spécifiques.
La détection des métadonnées inspecte les données contextuelles telles que les horodatages, la vitesse de génération et les schémas d'appel d'API pour déduire si l'IA a été impliquée dans le processus de rédaction.
Mais là encore, lorsque le texte généré par l'IA est édité, ces signaux sont perdus et, par conséquent, ils ne fonctionnent que dans des environnements de test contrôlés.
Classificateurs d'apprentissage automatique
Les détecteurs d'IA s'appuient de plus en plus sur des classificateurs d'apprentissage automatique formés pour reconnaître la "texture" de l'écriture de l'IA.
Ces classificateurs analysent des milliers de caractéristiques linguistiques et structurelles d'ensembles de données d'écriture humaine et d'écriture produite par l'IA.
Sur la base de cette analyse, ils développent un modèle probabiliste pour étiqueter un nouveau texte comme étant de l'IA, humain ou hybride.
La force de cette approche réside dans le fait que les classificateurs continuent à rattraper le changement d'approche des nouveaux modèles d'IA générative.
Testez notre détecteur d'IA et notre humanisateur dans le widget ci-dessous !
Conclusion
Pour répondre à la question "Les détecteurs d'IA sont-ils précis ?", oui, plusieurs outils sont fiables et précis, et Undetectable AI est l'un d'entre eux.
Il a atteint une précision de 100% pour tous les échantillons de test rédigés par l'IA et par l'homme.
L'outil est également gratuit, contrairement à de nombreux autres détecteurs d'IA qui cachent leurs meilleures caractéristiques derrière des murs payants ou des systèmes de crédit.
L'avantage d'Undetectable AI réside dans son modèle de détection fédéré, qui combine les forces de plusieurs détecteurs de premier plan en un seul système unifié.
L'approche multicouche réduit considérablement les faux positifs et les faux négatifs.
Donc, si vous cherchez un détecteur d'IA fiable, IA indétectable est celui qu'il faut essayer !