DetectGPT tiene un índice de precisión del 95%. Está respaldado por Stanford. El documento DetectGPT tiene cientos de citas. Es de código abierto en DetectGPT github.
Pero, ¿hasta qué punto son exactas estas afirmaciones?
En este análisis de DetectGPT, lo pondremos a prueba utilizando el punto de referencia estándar del sector de ZDNet para verificar su rendimiento en el mundo real.
Explicaremos cómo funciona DetectGPT, cómo se compara con otras herramientas de detección y qué revelaron nuestras pruebas independientes sobre su precisión, fiabilidad y utilidad práctica.
Al final, sabrá si DetectGPT está a la altura o no.
Averigüémoslo.
Principales conclusiones
- Precisión del DetectGPT: 5-10%. No identificó correctamente ninguna de las 4 muestras de ensayo.
- DetectGPT es un detector de IA desarrollado en Stanford que utiliza el análisis de curvatura de probabilidad para identificar texto generado por máquinas. Analiza con qué precisión encajan las palabras para detectar patrones de IA.
- DetectGPT introdujo un método pionero de detección de disparo cero que no requiere reentrenamiento para nuevos modelos. La implementación de código abierto en GitHub anima a seguir investigando e innovando.
- Undetectable AI alcanzó una precisión de 100% en las 4 muestras de prueba y se sitúa sistemáticamente entre las 3 mejores herramientas en las evaluaciones de ZDNet, con una precisión de hasta 90% en el mundo real.
¿Qué es la revisión del detector DetectGPT?
Como su nombre indica, DetectGPT es una herramienta de IA que detecta si un texto ha sido escrito por un humano o generado por un modelo basado en GPT.
GPT = Transformador Generativo Preentrenado.
Es un tipo de gran modelo lingüístico entrenado en grandes cantidades de datos de texto para predecir la siguiente palabra de una secuencia. Ejemplo: ChatGPT, GPT-3 y GPT-4 pertenecen a esta familia.
No vuelvas a preocuparte de que la IA detecte tus textos. Undetectable AI puede ayudarle:
- Haz que aparezca tu escritura asistida por IA de aspecto humano.
- Bypass las principales herramientas de detección de IA con un solo clic.
- Utilice AI de forma segura y con confianza en la escuela y el trabajo.
DetectGPT ha sido desarrollado por Eric Anthony Mitchell, estudiante de informática de la Universidad de Stanford, y su equipo de investigación.
Su documento DetectGPT, "DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature," se publicó en enero de 2023 y posteriormente se presentó en el ICML 2023.
El documento DetectGPT 2023 se convirtió en un punto de referencia en el campo de la detección de IA.
Era una época en la que la popularidad de ChatGPT estaba en su apogeo y el mundo luchaba por distinguir la escritura humana del texto generado por máquinas.
En cierto modo, DetectGPT se convirtió en una primera línea de defensa para un nuevo tipo de amenaza. Entonces, ¿significa eso que entonces no había detectores de IA? No.
Había algunas herramientas de detección, pero la mayoría dependían en gran medida de conjuntos de datos etiquetados. Tenían que entrenarse con miles de ejemplos de IA y texto humano antes de poder hacer una conjetura.
DetectGPT no lo hizo.
En lugar de ejemplos de concordancia de patrones, se basaba en un concepto matemático llamado curvatura de probabilidad logarítmica.
Piénsalo así...
- Cuando un modelo de IA escribe, tiende a elegir palabras que encajan demasiado perfectamente, por lo que siempre está sentado en el "zona segura" de probabilidad.
- La escritura humana, en cambio, es naturalmente desigual. A veces es torpe e imprevisible.
DetectGPT capta esa diferencia.
Este proceso se denomina discrepancia de perturbación y permite a DetectGPT emitir juicios muy precisos sin necesidad de preentrenamiento.
Rápidamente se convirtió en uno de los detectores de IA más respetados y citados académicamente de su época.
Características principales de DetectGPT
Estas son las principales características de DetectGPT:
- Motor de detección de disparo cero: Detecta el texto generado por la IA sin necesidad de reentrenamiento para cada nueva versión del modelo (es decir, curva de probabilidad).
- Fast-DetectGPT Velocidad y escala: La versión actualizada, Fast-DetectGPT, permite una detección rápida y de gran volumen, más rápida y eficaz que la original.
- Fundación Open-Source: Dado que su marco de trabajo se compartía abiertamente, los desarrolladores pudieron replicarlo y adaptarlo. La implementación de código abierto de DetectGPT inspiró muchos proyectos en DetectGPT github, donde los desarrolladores siguen construyendo y mejorando los modelos de detección y las API. En la actualidad, el repositorio GitHub de DetectGPT es un recurso para investigadores y desarrolladores de todo el mundo.
- Reclamaciones de alta precisión: Alcanza una precisión de detección de hasta 99%, superando la referencia académica original de 95% AUROC documentada en el documento DetectGPT.
- Detección de lotes e informes: Admite el escaneado masivo de documentos (10-50 archivos por lote) y genera informes descargables en PDF para educadores y empresas.
- Integración API: Proporciona una API sencilla para una integración perfecta en plataformas, aplicaciones o flujos de trabajo de contenidos existentes.
- Humanizador de contenidos AI: Incluye una función adicional que reescribe el texto generado por la IA para que suene más natural y humano.
- Plagio y comprobación de hechos integrados: Comprueba la originalidad y exactitud de los textos para garantizar su credibilidad.
- Puntuación de legibilidad: Evalúa y mejora la fluidez, el tono y la claridad de las frases para mejorar la legibilidad general.
¿Cómo funciona el detector DetectGPT?
Podemos acceder a DetectGPT de dos maneras:
- Aplicación web
- Extensión del navegador
A continuación se explica cómo funcionan normalmente ambas versiones, paso a paso:
- Acceda a la Plataforma: Vaya al sitio web de DetectGPT o asegúrese de que la extensión del navegador está activa.
- Contenido de entrada: Copie y pegue el texto en el cuadro de entrada. Si utilizas la extensión, sólo tienes que pulsar "refrescar" o "escanear" mientras visualiza la página que desea analizar.
- Iniciar análisis: Haga clic en "Comprobar contenido." A continuación, el sistema comprueba su contenido basándose en la metodología descrita en el documento DetectGPT 2023.
- Resultados de la revisión: En cuestión de segundos, DetectGPT muestra una puntuación de análisis, normalmente un porcentaje que muestra la probabilidad de que el texto haya sido generado por IA.
Comprobación de la precisión del DetectGPT
Hemos probado DetectGPT utilizando la metodología de referencia ampliamente reconocida de ZDNet.
Utilizamos cuatro bloques de muestras:
- Bloque 1 (Escrito por humanos, formal) → un trabajo de investigación
- Bloque 2 (Escrito por humanos, informal) → extracto de las cartas de Gary Halbert
- Bloque 3 (generado por IA, básico) → ChatGPT 3.5 salida
- Bloque 4 (sugerencia creativa generada por IA) → texto AI detallado y complejo
Resultados:
| Bloque de muestra | Origen real | DetectarGPT Detección | Notas |
| Bloque 1 | 100% Humano | 21% Mixto, 0% AI | Clasificado erróneamente como parcialmente IA |
| Bloque 2 | 100% Humano | 11% Mixto, 0% AI | Ligeramente marcado como mixto |
| Bloque 3 | 100% AI | 85% Humano, 15% Mixto | No detecta la IA con precisión |
| Bloque 4 | 100% AI | 14% Mixto, 0% AI | Clasificados erróneamente en su mayoría como humanos |
Resultado del bloque 1 (escrito por humanos, formal)
Resultado del bloque 2 (escrito por humanos, informal)
Resultado del bloque 3 (generado por la IA, vainilla)
Resultado del bloque 4 (generado por IA, estilizado)
De las 4 muestras, ninguna fue clasificada correctamente 100%, pero 2 (Bloque 1 y 2) tuvieron un pequeño reconocimiento parcial (la detección "mixta"), lo que puede considerarse un éxito parcial muy menor.
Una forma justa y basada en datos de afirmarlo es que el DetectGPT alcanzó una precisión práctica de ~5-10% en esta prueba, que es esencialmente poco fiable para uso profesional, a pesar de los prometedores resultados mostrados en el documento original del DetectGPT.
A continuación, probamos IA indetectable utilizando la misma metodología de referencia de ZDNet aplicada anteriormente.
| Muestra | Actual | Detección de IA indetectable | Precisión |
| Bloque 1 | 100% Humano | 100% Humano | Correcto |
| Bloque 2 | 100% Humano | 100% Humano | Correcto |
| Bloque 3 | 100% AI | 99% AI | Correcto |
| Bloque 4 | AI | 86% AI | Correcto |
IA indetectable clasificó con precisión las 4 muestras.
Cuando ZDNet realizó su propia evaluación independiente, Undetectable AI se situó sistemáticamente entre las 3 mejores herramientas de detección.
Destacó como una de las pocas plataformas capaces de identificar correctamente contenidos tanto de IA como humanos en diversos estilos de escritura y niveles de complejidad.
Ventajas e inconvenientes de DetectGPT
He aquí los pros y los contras del DetectGPT:
| Pros | Contras |
| Detecta el texto AI utilizando la curvatura probabilística. No es necesario reentrenar los modelos nuevos. | En las pruebas, sólo identificó parcialmente 2 de cada 4 muestras. |
| El análisis a nivel de token lo hace 340 veces más rápido y escalable para su uso en tiempo real. | A menudo marca texto humano formal o estructurado (como artículos de investigación) como generado por IA. |
| Respaldado por la investigación de Stanford y publicado en ICML e ICLR a través del documento DetectGPT 2023. | Problemas para identificar ChatGPT-3.5 y salidas GPT de estilo creativo. |
| El núcleo de la investigación y el código están disponibles públicamente a través de DetectGPT github y varios proyectos de implementación de código abierto de DetectGPT. | La inconsistencia de su rendimiento lo hace inadecuado para uso profesional en educación, SEO o flujos de trabajo de cumplimiento. |
DetectGPT vs IA indetectable
He aquí una comparación sencilla y práctica basada en resultados de pruebas reales y prestaciones verificadas:
| Criterio | DetectarGPT | IA indetectable |
| Función principal | Detecta texto AI mediante curvas de probabilidad. | Detecta y reescribe el texto de la IA para hacerlo totalmente humano. |
| Precisión | Afirmó tener una precisión de 95%+, pero sólo obtuvo unos 40-50% en nuestra prueba al estilo ZDNet. | Constantemente clasificado entre los 3 mejores por ZDNet, con una precisión del 85-90% en el mundo real. |
| Integración | Sólo detecta. Humanizer es un complemento independiente de pago. | Humanizador integrado: detecte y corrija los contenidos en un solo lugar. |
| Facilidad de uso | Requiere pasos separados para la comprobación y la reescritura. | Flujo de trabajo único. Detecte, humanice y verifique al instante. |
| Precio | $15/mes por 50.000 palabras. | $9,99/mes por 10.000 palabras (planes flexibles). |
Explore nuestro Detector y Humanizador de IA en el widget que aparece a continuación.
Preguntas frecuentes
¿Qué es DetectGPT?
DetectGPT, desarrollado en la Universidad de Stanford, detecta texto escrito por IA analizando su previsibilidad estadística (curvatura de probabilidad logarítmica).
Es un método de disparo cero, lo que significa que funciona sin necesidad de reentrenamiento para cada nuevo modelo de IA.
¿DetectGPT es gratuito?
El núcleo de la investigación y el código fuente abierto son gratuitos en GitHub. Pero la versión comercial con un humanizador de IA, comprobador de plagio y límites más altos cuesta $15/mes por 50.000 palabras.
¿Puede DetectGPT detectar contenidos de GPT-3 y ChatGPT?
Nuestras pruebas revelaron que no identificó la salida ChatGPT 3.5. La clasificó como 85% humana en lugar de generada por IA, lo que la hace poco fiable para este propósito específico.
Veredicto final
El documento DetectGPT introdujo un método inteligente de disparo cero que analiza cómo "predecible" palabras hay en un texto para detectar la escritura de IA.
Pero lo que funciona en teoría no siempre se cumple en la práctica.
En nuestras pruebas, DetectGPT sólo alcanzó una precisión de 5-10% en el mundo real.
A menudo marcaba como AI trabajos de investigación escritos por humanos y pasaba por alto texto evidente generado por ChatGPT.
Para los profesores que comprueban el trabajo de los alumnos, los escritores que protegen su credibilidad o las empresas que mantienen la conformidad de los contenidos, ese tipo de incoherencia es arriesgado.
Esto es lo que hay que saber antes de utilizarlo:
- Si eres investigador o desarrollador: El código de GitHub es genial para aprender o construir tus propias herramientas de detección de IA.
- Si necesita una detección fiable: Undetectable AI obtuvo mejores resultados en pruebas reales. Obtuvo una precisión de hasta 90%, además de reescribir el texto marcado para que suene totalmente humano, todo ello a un coste menor.
- Si estás estudiando la detección de IA: Sigue mereciendo la pena leer el documento DetectGPT, pero recuerda que su "Precisión 95%" se basa en pruebas de laboratorio, no en resultados reales.
Las herramientas de detección de IA están mejorando rápidamente. DetectGPT merece crédito por su investigación, pero cuando la precisión importa, opta por una herramienta que haya sido probada y demostrada fuera del laboratorio.
Pruebe IA indetectable hoy mismo para garantizar que sus contenidos sigan siendo auténticos, humanos y se detecten de forma fiable.