O DetectGPT tem uma taxa de precisão de 95%. É apoiado por Stanford. O artigo do DetectGPT tem centenas de citações. É de código aberto no github do DetectGPT.
Mas até que ponto estas afirmações são exactas?
Nesta análise do DetectGPT, vamos testá-lo usando o benchmark padrão do setor da ZDNet para verificar seu desempenho no mundo real.
Iremos abordar o funcionamento do DetectGPT, a sua comparação com outras ferramentas de deteção e o que os nossos testes independentes revelaram sobre a sua precisão, fiabilidade e utilização prática.
No final, saberá se o DetectGPT está à altura das expectativas ou não.
Vamos descobrir.
Principais conclusões
- DetectGPT Precisão: 5-10%. Não identificou corretamente nenhuma das 4 amostras de teste.
- O DetectGPT é um detetor de IA desenvolvido por Stanford que utiliza a análise da curvatura da probabilidade para identificar texto gerado por máquinas. Analisa a precisão com que as palavras se encaixam umas nas outras para detetar padrões de IA.
- O DetectGPT introduziu um método pioneiro de deteção de zero disparos que não requer a reciclagem de novos modelos. A implementação de código aberto do GitHub incentiva mais investigação e inovação.
- A IA indetetável alcançou uma precisão de 100% em todas as 4 amostras de teste e está consistentemente entre as 3 principais ferramentas nas avaliações da ZDNet, com uma precisão até 90% no mundo real.
O que é o DetectGPT Detetor Review?
Como o nome sugere, DetectGPT é uma ferramenta de IA que detecta se um texto foi escrito por um humano ou gerado por um modelo baseado em GPT.
GPT = Transformador generativo pré-treinado.
É um tipo de modelo de linguagem de grande dimensão treinado em grandes quantidades de dados de texto para prever a palavra seguinte numa sequência. Exemplo: ChatGPT, GPT-3 e GPT-4 pertencem todos a esta família.
Nunca mais se preocupe com o facto de a IA detetar os seus textos. Undetectable AI Pode ajudar-vos:
- Faça aparecer a sua escrita assistida por IA de tipo humano.
- Bypass todas as principais ferramentas de deteção de IA com apenas um clique.
- Utilização IA com segurança e com confiança na escola e no trabalho.
O DetectGPT foi desenvolvido por Eric Anthony Mitchell, estudante de pós-graduação em ciências informáticas da Universidade de Stanford, e pela sua equipa de investigação.
O seu documento DetectGPT, "DetectGPT: Deteção de Texto Gerado por Máquina com Zero-Shot usando Curvatura de Probabilidade," foi publicado em janeiro de 2023 e posteriormente apresentado no ICML 2023.
O documento DetectGPT 2023 tornou-se um ponto de referência no domínio da deteção de IA.
Foi numa altura em que a popularidade do ChatGPT estava no auge e o mundo lutava para distinguir a escrita humana do texto gerado por máquinas.
De certa forma, o DetectGPT tornou-se uma das primeiras linhas de defesa para um novo tipo de ameaça. Então, isso significa que não havia detectores de IA na altura? Errado.
Existiam algumas ferramentas de deteção, mas a maioria dependia fortemente de conjuntos de dados rotulados. Tinham de ser treinadas com milhares de exemplos de texto de IA e humano antes de poderem fazer uma suposição.
O DetectGPT não o fez.
Em vez de exemplos de correspondência de padrões, baseou-se num conceito matemático chamado curvatura da probabilidade logarítmica.
Pense nisso desta forma...
- Quando um modelo de IA escreve, tem tendência a escolher palavras que se encaixam demasiado bem, pelo que está sempre sentado no "zona de segurança" de probabilidade.
- A escrita humana, por outro lado, é naturalmente irregular. É por vezes estranha e imprevisível.
O DetectGPT detecta essa diferença.
Este processo é designado por discrepância de perturbação e permite que o DetectGPT faça julgamentos altamente precisos sem qualquer pré-treino.
Rapidamente se tornou um dos detectores de IA mais respeitados e academicamente citados do seu tempo.
Principais caraterísticas do DetectGPT
Eis as principais caraterísticas do DetectGPT:
- Motor de deteção de disparo zero: Detecta texto gerado por IA sem qualquer reciclagem para cada nova versão do modelo (ou seja, curva de probabilidade).
- Velocidade e escala de deteção rápidaGPT: A versão actualizada, Fast-DetectGPT, permite uma deteção rápida e de grande volume que é mais rápida e mais eficiente do que a original.
- Fundação Open-Source: Uma vez que a sua estrutura foi partilhada abertamente, os programadores puderam replicá-la e adaptá-la. A implementação de código aberto do DetectGPT inspirou muitos projectos no github do DetectGPT, onde os programadores continuam a criar e a melhorar os modelos de deteção e as API. Atualmente, o repositório DetectGPT GitHub é um recurso para investigadores e programadores de todo o mundo.
- Alegações de elevada precisão: Atinge uma precisão de deteção até 99%, superando o valor de referência académico original de 95% AUROC, conforme documentado no documento DetectGPT.
- Deteção de lotes e relatórios: Suporta a digitalização de documentos em massa (10-50 ficheiros por lote) e gera relatórios PDF descarregáveis para educadores e empresas.
- Integração de API: Fornece uma API simples para uma integração perfeita em plataformas, aplicações ou fluxos de trabalho de conteúdos existentes.
- Humanizador de conteúdos de IA: Inclui uma funcionalidade adicional que reescreve o texto gerado pela IA para parecer mais natural e humano.
- Plágio integrado e verificação de factos: Verifica a originalidade e a exatidão dos factos do texto para garantir a sua credibilidade.
- Pontuação de legibilidade: Avalia e melhora o fluxo de frases, o tom e a clareza para melhorar a legibilidade geral.
Como funciona o DetectGPT Detetor?
Podemos aceder ao DetectGPT de duas formas:
- Aplicação Web
- Extensão do navegador
Eis como ambas as versões funcionam normalmente, passo a passo:
- Aceder à plataforma: Aceda ao sítio Web DetectGPT ou certifique-se de que a extensão do navegador está ativa.
- Conteúdo de entrada: Copie e cole o texto na caixa de entrada. Se estiver a utilizar a extensão, basta premir "atualizar" ou "scan" enquanto visualiza a página que pretende analisar.
- Iniciar a análise: Clicar "Verificar conteúdo." O sistema verifica então o seu conteúdo com base na metodologia descrita no documento DetectGPT 2023.
- Resultados da revisão: Em segundos, o DetectGPT apresenta uma pontuação de análise, normalmente uma percentagem que mostra a probabilidade de o texto ter sido gerado por IA.
Teste da exatidão do DetectGPT
Testamos o DetectGPT usando a metodologia de benchmark amplamente reconhecida da ZDNet.
Utilizámos quatro blocos de amostragem:
- Bloco 1 (Escrita humana, formal) → um trabalho de investigação
- Bloco 2 (Escrita humana, informal) → excerto das cartas de Gary Halbert
- Bloco 3 (Gerado por IA, básico) → Saída do ChatGPT 3.5
- Bloco 4 (Gerado por IA, prompt criativo) → texto de IA pormenorizado e complexo
Resultados:
| Bloco de amostras | Origem verdadeira | DetectGPT Deteção | Notas |
| Bloco 1 | 100% Humano | 21% Misto, 0% AI | Classificado incorretamente como parcialmente IA |
| Bloco 2 | 100% Humano | 11% Misto, 0% AI | Ligeiramente assinalado como misto |
| Bloco 3 | 100% AI | 85% Humano, 15% Misto | Falha na deteção exacta da IA |
| Bloco 4 | 100% AI | 14% Misto, 0% AI | Incorretamente classificadas, na sua maioria, como humanas |
Resultado da frase 1 (escrita por humanos, formal)
Resultado do bloco 2 (escrito por humanos, informal)
Resultado do bloco 3 (gerado pela IA, baunilha)
Resultado do bloco 4 (gerado por IA, estilizado)
Das 4 amostras, nenhuma foi classificada corretamente como 100%, mas 2 (Bloco 1 & 2) tiveram um pequeno reconhecimento parcial (a deteção "mista"), o que pode ser considerado um sucesso parcial muito pequeno.
Uma forma justa, baseada em dados, de o afirmar é que o DetectGPT alcançou uma precisão prática de ~5-10% neste teste, o que é essencialmente pouco fiável para uso profissional, apesar dos resultados promissores apresentados no artigo original do DetectGPT.
Em seguida, testámos IA indetetável utilizando a mesma metodologia de referência da ZDNet aplicada anteriormente.
| Amostra | Atual | Deteção de IA indetetável | Exatidão |
| Bloco 1 | 100% Humano | 100% Humano | Correto |
| Bloco 2 | 100% Humano | 100% Humano | Correto |
| Bloco 3 | 100% AI | 99% AI | Correto |
| Bloco 4 | IA | 86% AI | Correto |
IA indetetável classificou com exatidão as 4 amostras.
Quando a ZDNet efectuou a sua própria avaliação independente, a Undetectable AI classificou-se consistentemente entre as 3 principais ferramentas de deteção.
Destacou-se como uma das poucas plataformas capazes de identificar corretamente conteúdos de IA e humanos em diversos estilos de escrita e níveis de complexidade.
Prós e contras do DetectGPT
Eis os prós e os contras do DetectGPT:
| Prós | Contras |
| Detecta texto de IA utilizando a curvatura de probabilidade. Não é necessário treinar novamente para novos modelos. | Nos testes, só identificou parcialmente 2 de 4 amostras. |
| A análise ao nível dos tokens torna-a 340 vezes mais rápida e escalável para utilização em tempo real. | Muitas vezes, assinala texto humano formal ou estruturado (como documentos de investigação) como sendo gerado por IA. |
| Apoiado pela investigação de Stanford e publicado no ICML e no ICLR através do documento DetectGPT 2023. | Tentativa de identificar ChatGPT-3.5 e saídas GPT com estilo criativo. |
| O núcleo da investigação e o código estão disponíveis publicamente através do github do DetectGPT e de vários projectos de implementação de código aberto do DetectGPT. | A inconsistência do desempenho torna-o inadequado para utilização profissional em educação, SEO ou fluxos de trabalho de conformidade. |
DetectGPT vs IA indetetável
Eis uma comparação simples e prática baseada em resultados de testes reais e num desempenho verificado:
| Critério | DetectarGPT | IA indetetável |
| Função principal | Detecta texto com IA utilizando curvas de probabilidade. | Detecta e reescreve o texto da IA para o tornar totalmente humano. |
| Exatidão | Alegou uma precisão de 95%+, mas obteve apenas cerca de 40-50% no nosso teste do tipo ZDNet. | Consistentemente classificado como Top 3 pela ZDNet, com 85-90% de precisão no mundo real. |
| Integração | Apenas detecta. O Humanizer é um complemento separado e pago. | Humanizador incorporado - detecta e corrige conteúdos num único local. |
| Facilidade de utilização | Requer etapas separadas para verificação e reescrita. | Fluxo de trabalho único. Detetar, humanizar e verificar instantaneamente. |
| Preço | $15/mês para 50.000 palavras. | $9.99/mês para 10.000 palavras (planos flexíveis). |
Explore o nosso Detetor de IA e o Humanizador no widget abaixo!
Perguntas frequentes
O que é o DetectGPT?
O DetectGPT, desenvolvido na Universidade de Stanford, detecta texto escrito por IA analisando a sua previsibilidade estatística (curvatura da probabilidade de registo).
É um método de tiro zero, o que significa que funciona sem necessidade de reciclagem para cada novo modelo de IA.
A utilização do DetectGPT é gratuita?
O núcleo de investigação e o código-fonte aberto são gratuitos no GitHub. Mas a versão comercial com um Humanizador de IA, um Verificador de Plágio e limites mais elevados custa $15/mês para 50 000 palavras.
O DetectGPT consegue detetar conteúdos do GPT-3 e do ChatGPT?
Os nossos testes revelaram que não conseguiu identificar o resultado do ChatGPT 3.5. Classificou-o como 85% humano em vez de gerado por IA, o que o torna pouco fiável para este fim específico.
Veredicto final
O documento DetectGPT introduziu um método inteligente, de disparo zero, que analisa como "previsível" as palavras estão num texto para detetar a escrita de IA.
Mas o que funciona na teoria nem sempre é válido na prática.
Nos nossos testes, o DetectGPT atingiu apenas 5-10% de precisão no mundo real.
Frequentemente, marcava os artigos de investigação escritos por humanos como sendo de IA e deixava passar texto óbvio gerado pelo ChatGPT.
Para os professores que verificam o trabalho dos alunos, os escritores que protegem a sua credibilidade ou as empresas que mantêm os conteúdos em conformidade, este tipo de inconsistência é arriscado.
Eis o que deve saber antes de o utilizar:
- Se é um investigador ou programador: O código GitHub é ótimo para aprender ou construir as suas próprias ferramentas de deteção de IA.
- Se precisar de uma deteção fiável: A IA indetetável teve um desempenho muito melhor em testes do mundo real. Obteve uma precisão de até 90%, além de reescrever o texto sinalizado para parecer totalmente humano, tudo a um custo mais baixo.
- Se está a estudar a deteção de IA: O documento DetectGPT ainda vale a pena ser lido, mas lembre-se, o seu "Precisão 95%" baseia-se em testes de laboratório e não em resultados do mundo real.
As ferramentas de deteção de IA estão a melhorar rapidamente. O DetectGPT merece crédito pela sua investigação, mas quando a precisão é importante, opte por uma ferramenta que tenha sido testada e comprovada fora do laboratório.
Tentar IA indetetável hoje para garantir que o seu conteúdo se mantém autêntico, semelhante ao humano e detectado de forma fiável.