O DetectGPT tem uma taxa de precisão de 95%. Ele é apoiado por Stanford. O artigo do DetectGPT tem centenas de citações. Seu código-fonte é aberto no github do DetectGPT.
Mas até que ponto essas afirmações são precisas?
Nesta análise do DetectGPT, colocaremos o DetectGPT à prova usando o benchmark padrão do setor da ZDNet para verificar seu desempenho no mundo real.
Abordaremos como o DetectGPT funciona, como ele se compara a outras ferramentas de detecção e o que nossos testes independentes revelaram sobre sua precisão, confiabilidade e usabilidade prática.
No final, você saberá se o DetectGPT está à altura da propaganda ou não.
Vamos descobrir.
Principais conclusões
- Precisão do DetectGPT: 5-10%. Não conseguiu identificar corretamente nenhuma das 4 amostras de teste.
- O DetectGPT é um detector de IA desenvolvido por Stanford que usa a análise de curvatura de probabilidade para identificar textos gerados por máquinas. Ele analisa a precisão com que as palavras se encaixam para detectar padrões de IA.
- O DetectGPT introduziu um método pioneiro de detecção de disparo zero que não requer retreinamento para novos modelos. A implementação de código aberto do GitHub incentiva mais pesquisas e inovações.
- A Undetectable AI alcançou uma precisão de 100% em todas as quatro amostras de teste e está consistentemente entre as três principais ferramentas nas avaliações da ZDNet, com precisão de até 90% no mundo real.
O que é a análise do DetectGPT Detector?
Como o nome sugere, o DetectGPT é uma ferramenta de IA que detecta se um trecho de texto foi escrito por um ser humano ou gerado por um modelo baseado em GPT.
GPT = Transformador pré-treinado generativo.
É um tipo de modelo de linguagem grande treinado em grandes quantidades de dados de texto para prever a próxima palavra em uma sequência. Exemplos: ChatGPT, GPT-3 e GPT-4 pertencem a essa família.
Nunca mais se preocupe com a detecção de seus textos pela IA. Undetectable AI Pode lhe ajudar:
- Faça sua escrita assistida por IA aparecer semelhante ao humano.
- Bypass todas as principais ferramentas de detecção de IA com apenas um clique.
- Uso IA com segurança e com confiança na escola e no trabalho.
O DetectGPT foi desenvolvido pelo estudante de pós-graduação em ciência da computação da Universidade de Stanford, Eric Anthony Mitchell, e sua equipe de pesquisa.
Seu documento DetectGPT, "DetectGPT: Detecção de texto gerado por máquina com disparo zero usando curvatura de probabilidade," foi publicado em janeiro de 2023 e posteriormente apresentado no ICML 2023.
O documento DetectGPT 2023 tornou-se um ponto de referência no campo de detecção de IA.
Foi uma época em que a popularidade do ChatGPT estava no auge, e o mundo estava lutando para diferenciar a escrita humana do texto gerado por máquina.
De certa forma, o DetectGPT tornou-se uma das primeiras linhas de defesa para um novo tipo de ameaça. Então, isso significa que não havia detectores de IA naquela época? Errado.
Havia algumas ferramentas de detecção, mas a maioria dependia muito de conjuntos de dados rotulados. Elas precisavam ser treinadas em milhares de exemplos de texto humano e de IA para que pudessem fazer uma suposição.
O DetectGPT não o fez.
Em vez de exemplos de correspondência de padrões, ele se baseou em um conceito matemático chamado curvatura de probabilidade logarítmica.
Pense da seguinte maneira...
- Quando um modelo de IA escreve, ele tende a escolher palavras que se encaixam perfeitamente, de modo que está sempre sentado no "zona de segurança" de probabilidade.
- A escrita humana, por outro lado, é naturalmente irregular. Às vezes, é estranha e imprevisível.
O DetectGPT percebe essa diferença.
Esse processo é chamado de discrepância de perturbação e permite que o DetectGPT faça julgamentos altamente precisos sem nenhum pré-treinamento.
Ele rapidamente se tornou um dos detectores de IA mais respeitados e citados academicamente de sua época.
Principais recursos do DetectGPT
Aqui estão os principais recursos do DetectGPT:
- Mecanismo de detecção de disparo zero: Detecta texto gerado por IA sem qualquer retreinamento para cada nova versão do modelo (ou seja, curva de probabilidade).
- Velocidade e escala de detecção rápida de GPT: A versão atualizada, Fast-DetectGPT, permite uma detecção rápida e de alto volume que é mais rápida e eficiente do que a original.
- Fundação de código aberto: Como sua estrutura foi compartilhada abertamente, os desenvolvedores puderam replicá-la e adaptá-la. A implementação de código-fonte aberto do DetectGPT inspirou muitos projetos no github do DetectGPT, onde os desenvolvedores continuam a criar e aprimorar modelos de detecção e APIs. Atualmente, o repositório do DetectGPT no GitHub é um recurso para pesquisadores e desenvolvedores em todo o mundo.
- Reivindicações de alta precisão: Atinge uma precisão de detecção de até 99%, superando o benchmark acadêmico original de 95% AUROC, conforme documentado no documento DetectGPT.
- Detecção e relatório de lotes: Oferece suporte à digitalização de documentos em massa (10 a 50 arquivos por lote) e gera relatórios em PDF para download para educadores e empresas.
- Integração de API: Fornece uma API simples para integração perfeita em plataformas, aplicativos ou fluxos de trabalho de conteúdo existentes.
- Humanizador de conteúdo de IA: Inclui um recurso adicional que reescreve o texto gerado pela IA para parecer mais natural e humano.
- Plágio integrado e verificação de fatos: Verifica a originalidade e a precisão dos fatos no texto para garantir a credibilidade.
- Pontuação de legibilidade: Avalia e aprimora o fluxo, o tom e a clareza das frases para melhorar a legibilidade geral.
Como funciona o DetectGPT Detector?
Podemos acessar o DetectGPT de duas maneiras:
- Aplicativo da Web
- Extensão do navegador
Veja a seguir como as duas versões normalmente funcionam, passo a passo:
- Acesse a plataforma: Acesse o site do DetectGPT ou verifique se a extensão do navegador está ativa.
- Conteúdo de entrada: Copie e cole o texto na caixa de entrada. Se estiver usando a extensão, basta pressionar "refresh" (atualizar) ou "scan" enquanto estiver visualizando a página que deseja analisar.
- Iniciar a análise: Clique em "Verificar conteúdo." O sistema verifica seu conteúdo com base na metodologia descrita no documento DetectGPT 2023.
- Resultados da revisão: Em segundos, o DetectGPT exibe uma pontuação de análise, geralmente uma porcentagem que mostra a probabilidade de o texto ter sido gerado por IA.
Testando a precisão do DetectGPT
Testamos o DetectGPT usando a metodologia de benchmark amplamente reconhecida da ZDNet.
Usamos quatro blocos de amostra:
- Bloco 1 (escrita por humanos, formal) → um trabalho de pesquisa
- Bloco 2 (escrito por humanos, informal) → Trecho das cartas de Gary Halbert
- Bloco 3 (Gerado por IA, básico) → Saída do ChatGPT 3.5
- Bloco 4 (Prompt criativo gerado por IA) → texto de IA detalhado e complexo
Resultados:
| Bloco de amostras | Origem verdadeira | DetectGPT Detecção | Notas |
| Bloco 1 | 100% Humano | 21% Misto, 0% AI | Classificado erroneamente como parcialmente IA |
| Bloco 2 | 100% Humano | 11% misto, 0% AI | Ligeiramente marcado como misto |
| Bloco 3 | 100% AI | 85% Humano, 15% Misto | Falha ao detectar a IA com precisão |
| Bloco 4 | 100% AI | 14% Misto, 0% AI | Classificados incorretamente, em sua maioria, como humanos |
Resultado do bloco 1 (escrito por humanos, formal)
Resultado do Bloco 2 (escrito por humanos, informal)
Resultado do bloco 3 (gerado por IA, baunilha)
Resultado do Bloco 4 (gerado por IA, estilizado)
Das 4 amostras, nenhuma foi classificada corretamente como 100%, mas 2 (Bloco 1 e 2) tiveram um pequeno reconhecimento parcial (a detecção "mista"), o que pode ser considerado um sucesso parcial muito pequeno.
Uma maneira justa e orientada por dados de afirmar isso é que o DetectGPT alcançou uma precisão prática de ~5-10% nesse teste, o que é essencialmente não confiável para uso profissional, apesar dos resultados promissores mostrados no artigo original do DetectGPT.
Em seguida, testamos Undetectable AI usando a mesma metodologia de benchmark da ZDNet aplicada anteriormente.
| Amostra | Real | Detecção de IA indetectável | Precisão |
| Bloco 1 | 100% Humano | 100% Humano | Correto |
| Bloco 2 | 100% Humano | 100% Humano | Correto |
| Bloco 3 | 100% AI | 99% AI | Correto |
| Bloco 4 | IA | 86% AI | Correto |
Undetectable AI classificou com precisão todas as 4 amostras.
Quando a ZDNet realizou sua própria avaliação independente, a Undetectable AI foi classificada de forma consistente entre as três principais ferramentas de detecção.
Ela se destacou como uma das poucas plataformas capazes de identificar corretamente tanto o conteúdo de IA quanto o humano em diversos estilos de redação e níveis de complexidade.
Prós e contras do DetectGPT
Aqui estão os prós e os contras do DetectGPT:
| Prós | Contras |
| Detecta texto de IA usando curvatura de probabilidade. Não é necessário retreinamento para novos modelos. | Nos testes, ele identificou apenas parcialmente 2 de 4 amostras. |
| A análise em nível de token o torna 340 vezes mais rápido e dimensionável para uso em tempo real. | Frequentemente sinaliza textos humanos formais ou estruturados (como artigos de pesquisa) como gerados por IA. |
| Apoiado pela pesquisa de Stanford e publicado no ICML e no ICLR por meio do documento DetectGPT 2023. | Tentativa de identificar o ChatGPT-3.5 e as saídas do GPT com estilo criativo. |
| A pesquisa e o código principais estão disponíveis publicamente no DetectGPT github e em vários projetos de implementação de código aberto do DetectGPT. | A inconsistência de desempenho o torna inadequado para uso profissional em educação, SEO ou fluxos de trabalho de conformidade. |
DetectGPT vs. IA indetectável
Aqui está uma comparação simples e prática baseada em resultados de testes reais e desempenho verificado:
| Critério | DetectarGPT | Undetectable AI |
| Função principal | Detecta texto com IA usando curvas de probabilidade. | Detecta e reescreve o texto da IA para torná-lo totalmente humano. |
| Precisão | Alegou uma precisão de 95%+, mas obteve apenas cerca de 40-50% em nosso teste no estilo ZDNet. | Consistentemente classificado como Top 3 pela ZDNet, com 85-90% de precisão no mundo real. |
| Integração | Só detecta. O Humanizer é um complemento separado e pago. | Humanizador incorporado - detecte e corrija o conteúdo em um só lugar. |
| Facilidade de uso | Requer etapas separadas para verificação e reescrita. | Fluxo de trabalho único. Detecte, humanize e verifique instantaneamente. |
| Preço | $15/mês para 50.000 palavras. | $9,99/mês para 10.000 palavras (planos flexíveis). |
Explore nosso Detector de IA e Humanizador no widget abaixo!
Perguntas frequentes
O que é o DetectGPT?
O DetectGPT, desenvolvido na Universidade de Stanford, detecta texto escrito por IA analisando sua previsibilidade estatística (curvatura de probabilidade de registro).
É um método de disparo zero, o que significa que ele funciona sem retreinamento para cada novo modelo de IA.
O uso do DetectGPT é gratuito?
A pesquisa principal e o código-fonte aberto são gratuitos no GitHub. Mas a versão comercial com um Humanizador de IA, Verificador de Plágio e limites mais altos custa $15/mês para 50.000 palavras.
O DetectGPT pode detectar conteúdo do GPT-3 e do ChatGPT?
Nossos testes revelaram que ele não conseguiu identificar o resultado do ChatGPT 3.5. Ele o classificou como 85% humano em vez de gerado por IA, o que o torna não confiável para essa finalidade específica.
Veredicto final
O artigo do DetectGPT introduziu um método inteligente, de disparo zero, que analisa como "previsível" palavras estão em um texto para identificar a escrita de IA.
Mas o que funciona na teoria nem sempre se sustenta na prática.
Em nossos testes, o DetectGPT atingiu apenas 5-10% de precisão no mundo real.
Muitas vezes, ele marcava artigos de pesquisa escritos por humanos como sendo de IA e deixava passar textos óbvios gerados pelo ChatGPT.
Para professores que verificam o trabalho dos alunos, escritores que protegem sua credibilidade ou empresas que mantêm o conteúdo em conformidade, esse tipo de inconsistência é arriscado.
Veja o que você deve saber antes de usá-lo:
- Se você é um pesquisador ou desenvolvedor: O código do GitHub é ótimo para aprender ou criar suas próprias ferramentas de detecção de IA.
- Se você precisar de uma detecção confiável: O Undetectable AI teve um desempenho muito melhor em testes reais. Ela obteve uma precisão de até 90%, além de reescrever o texto sinalizado para parecer totalmente humano, tudo a um custo menor.
- Se estiver estudando a detecção de IA: Ainda vale a pena ler o artigo do DetectGPT, mas lembre-se de que ele "Precisão 95%" é baseado em testes de laboratório, não em resultados reais.
As ferramentas de detecção de IA estão melhorando rapidamente. O DetectGPT merece crédito por sua pesquisa, mas quando a precisão for importante, opte por uma ferramenta que tenha sido testada e comprovada fora do laboratório.
Tente Undetectable AI hoje mesmo para garantir que seu conteúdo permaneça autêntico, com aparência humana e detectado de forma confiável.