Todas as ferramentas de deteção de IA que encontrar hoje em dia irão provavelmente gabar-se de serem > 95% exactas. Algumas dizem mesmo que são 100% fiáveis!
Mas os detectores de IA são exactos? A sério?
Os modelos de IA estão constantemente a ser actualizados. A versão atual do ChatGPT, por exemplo, é muito mais matizada e sensível ao contexto do que a versão que vimos em 2022.
Por isso, é bastante natural que muitos detectores de IA tenham dificuldade em rotular com exatidão o seu texto como sendo gerado por IA.
Dito isto, é inegável que algumas ferramentas têm um desempenho melhor do que outras. Mas para descobrir quais são as que estão à altura das suas pretensões, é necessário testá-las.
Foi exatamente isso que fizemos neste artigo.
Avaliámos 10 dos detectores de IA mais populares com base no mesmo parâmetro de referência utilizado pela ZDNet para verificar a precisão dos detectores de IA.
Eis o que encontrámos!
Principais conclusões
- Os detectores de IA analisam a frequência de palavras, a variação de frases e a sintaxe para determinar se o texto foi escrito por um humano ou gerado por IA.
- A deteção de IA de muitas ferramentas não é 100% infalível porque muita da escrita humana e da IA partilha as mesmas estruturas gramaticais, o que leva a falsos positivos e negativos.
- As três principais técnicas para detetar com precisão os conteúdos de IA são a modelação estatística da linguagem, os metadados e a marca de água, e os classificadores de aprendizagem automática
- O Undetectable AI combina vários algoritmos de deteção num sistema federado. Oferece uma deteção de IA gratuita e fiável sem as desvantagens comuns das ferramentas pagas.
O que são detectores de IA e como funcionam?
Os detectores de IA são ferramentas que determinam se um texto foi escrito por um ser humano ou gerado por inteligência artificial.
O sistema decompõe o texto em caraterísticas mensuráveis e depois procura padrões que revelem a autoria de máquinas.
O texto gerado por IA tende a seguir padrões estatísticos. Os modelos de linguagem são treinados para prever a palavra seguinte numa sequência, pelo que a sua escrita é construída com base em probabilidades que criam traços subtis.
Nunca mais se preocupe com o facto de a IA detetar os seus textos. Undetectable AI Pode ajudar-vos:
- Faça aparecer a sua escrita assistida por IA de tipo humano.
- Bypass todas as principais ferramentas de deteção de IA com apenas um clique.
- Utilização IA com segurança e com confiança na escola e no trabalho.
Os detectores de IA detectam estes vestígios através da análise da frequência das palavras, da variedade da estrutura das frases, da complexidade da sintaxe e da aleatoriedade geral (ou falta dela) no fraseado.
As duas métricas mais importantes utilizadas pelos detectores de IA são:
- Perplexidade: É uma medida do grau de "surpresa" de um modelo em relação à palavra seguinte numa frase. A escrita humana mostra normalmente uma maior perplexidade porque as pessoas se desviam dos padrões, usam expressões idiomáticas, inserem emoções, etc., ao contrário de Escrita gerada por IA.
- Explosão: Mede a variação do comprimento e do ritmo das frases. Os seres humanos escrevem naturalmente com explosões de frases curtas, longas e irregulares, enquanto o conteúdo escrito por IA é consistente em termos de comprimento.
Porque é que a deteção de IA é tão difícil
Apesar das diferenças entre a escrita humana e a escrita de IA, a deteção de texto gerado por IA é um pouco difícil, especialmente quando este foi editado.
Eis algumas razões para tal.
A semelhança entre a escrita humana e a escrita com IA
A escrita na sua essência, tanto a humana como a escrita por IA, utiliza o mesmo sistema linguístico de gramática, tempos verbais, sintaxe e fraseologia.
Os modelos de IA não inventam a linguagem a partir do zero.
Aprendem simplesmente com o que os humanos já escreveram nos anos anteriores ao seu desenvolvimento.
Os conjuntos de dados em que são treinados são inerentemente escritos por humanos.
Assim, qualquer ferramenta de geração de IA bem desenvolvida irá interiorizar os padrões de expressão humana e tentar reproduzi-los.
Quanto mais dados consomem, mais "humana" se torna a sua escrita.
Falsos positivos e falsos negativos
Os detectores de IA não são infalíveis.
Um falso positivo ocorre quando um texto escrito por um humano é incorretamente assinalado como tendo sido gerado por uma IA.
Em contrapartida, um falso negativo ocorre quando o texto escrito pela IA passa despercebido.
Estes dois erros de rotulagem são bastante comuns.
Uma vez que muitos detectores de IA se baseiam na probabilidade estatística e não na certeza factual, a sua precisão continua a ser limitada.
Evolução constante do modelo
A deteção de IA é um alvo em movimento. Cada nova geração de modelos linguísticos torna-se mais difícil de detetar.
Quando o ChatGPT foi introduzido pela primeira vez para utilização pública em 2022, as suas respostas eram repetitivas e muitas vezes estereotipadas.
Qualquer detetor de IA atual detectaria facilmente esse tipo de texto como tendo sido escrito por IA.
No entanto, o modelo GPT-5 mais recente produz textos sensíveis ao contexto e emocionalmente inteligentes.
Uma vez que a qualidade dos resultados continua a melhorar, a deteção de um texto de IA mais diversificado em termos estilísticos é um desafio.
Qual é a precisão dos detectores de IA atualmente?
A resposta honesta a esta pergunta é que depende muito do detetor e do método de deteção que está a ser testado.
Algumas ferramentas de deteção de IA apresentam resultados quase perfeitos em ambientes controlados, mas quando expostas a dados do mundo real, o seu desempenho torna-se confuso.
O valor de referência Estudo ZDNet avaliou 11 detectores de IA contra cinco amostras de texto (três geradas pelo ChatGPT, duas por humanos).
Qualquer ferramenta que tenha marcado uma amostra com probabilidade de IA > 70% foi considerada como tendo "efectuado uma chamada".
O estudo concluiu que o Undetectable AI foi uma das poucas ferramentas que atingiu uma precisão de 100%, ou seja, assinalou corretamente as cinco amostras (tanto humanas como de IA) sem erros.
Mas será que os detectores de conteúdos de IA também são precisos para os utilizadores comuns em contextos reais?
O facto é que os textos do mundo real raramente são "IA pura" ou "humanos puros".
Muitos deles são conteúdos editados, parafraseados e com ruído intencional e, nestas condições adversas, a precisão de muitos detectores diminui drasticamente.
A estudo revisto por pares sobre Copyleaks, TurnItIn e Originality descobriram que, embora "tenham uma elevada exatidão" no GPT-3.5 e no conteúdo humano, têm dificuldade em distinguir entre os resultados de nível GPT-4.
Comparação dos 10 melhores detectores de IA
Agora, para descobrir quais são os detectores de IA mais precisos, colocámos várias ferramentas à prova utilizando o método de avaliação da ZDNet, ou seja, utilizando cinco amostras de texto no total: três escritas pelo ChatGPT e duas por humanos.
Aqui está uma amostra do ChatGPT e uma amostra escrita por humanos que utilizámos.
Texto do ChatGPT:
Texto escrito humano:
IA indetetável
A primeira ferramenta que testámos foi IA indetetávele passou em todos os testes.
As cinco amostras de texto foram corretamente identificadas como sendo 100% escritas por humanos ou por IA.
A plataforma mostrou mesmo indicadores onde outros detectores poderiam ter levantado bandeiras.
O sistema utiliza vários algoritmos de deteção modelados a partir de muitos modelos diferentes de IA (ChatGPT, Gemini, Claude, Llama e outros) mas, em vez de se basearem diretamente nesses modelos, construíram o seu próprio sistema federado e baseado em consensos.
Essencialmente, cada algoritmo é treinado com base nos padrões desses detectores, mas é executado de forma independente para produzir um julgamento coletivo.
O Undetectable AI também afirma que "humaniza" o texto gerado pela IA para que não seja detectado e, de acordo com os nossos resultados, essa afirmação manteve-se de forma impressionante.
GPTZero
Em seguida, testámos o GPTZero, que também cumpriu a nossa referência de precisão e obteve uma pontuação acima do limite 80% em todas as cinco amostras.
Identificou corretamente as duas peças escritas por humanos e dois dos textos gerados pela IA com uma confiança de 100%.
A única exceção foi uma amostra gerada por IA, que o GPTZero rotulou como 71% gerada por IA, mas que ainda se enquadra no intervalo exato segundo os nossos critérios.
Copyleaks
O Copyleaks apresentou resultados mistos nos nossos testes. Tropeçou logo à partida ao classificar incorretamente a primeira amostra escrita por humanos como 100% gerada por IA.
Até assinalou nove das chamadas "frases utilizadas em excesso pela IA".
No entanto, todos os testes subsequentes foram exactos, ou seja, identificaram cada texto das restantes quatro amostras pelo que era.
Esta inconsistência indica que o Copyleaks pode ocasionalmente chegar a extremos, como aconteceu com a nossa amostra escrita por humanos.
Ainda assim, quando analisado em todos os testes, obteve uma média de precisão de cerca de 80%.
Quillbot
O QuillBot foi outra ferramenta que se destacou nos nossos testes, logo a seguir ao Undetectable AI. Foi a segunda ferramenta a identificar todas as peças escritas por humanos e geradas por IA com uma precisão de 100%.
O que é notável é que o QuillBot era originalmente conhecido pelas suas capacidades de parafraseamento.
Mas o seu detetor de IA é também uma ferramenta de análise refinada capaz de identificar a consistência linguística que denuncia a autoria da IA.
Também vale a pena notar que o Quillbot não era muito preciso nos primeiros dias do seu lançamento, mas melhorou definitivamente ao longo dos anos. Atualmente, é um dos poucos detectores de IA fiáveis que pode encontrar.
ZeroGPT
Os resultados dos testes do ZeroGPT também mostraram uma boa consistência.
A primeira amostra escrita por humanos foi rotulada como 0% gerada por IA, e a segunda foi 9,44% gerada por IA, ambas confortavelmente dentro do intervalo aceitável para escrita humana genuína.
As três amostras geradas por IA, por outro lado, foram corretamente identificadas como 100% escritas por IA.
Assim, a nossa ronda de testes também acrescenta o ZeroGPT à lista de detectores de IA fiáveis.
Gramática
Grammarly é um nome conhecido quando se trata de ajudar os escritores a produzir conteúdo gramaticalmente preciso, mas o mesmo não se pode dizer das suas capacidades de deteção de IA.
Nos nossos testes, o detetor do Grammarly apresentou resultados mistos e algo inconsistentes.
Para as amostras geradas por IA, assinalou-as como 92%, 81% e 54% geradas por IA, o que significa que identificou corretamente duas, mas falhou um teste ao subestimar a probabilidade de IA.
Nos textos escritos por humanos, acertou num e classificou mal o outro como IA.
Por isso, pode dizer-se que foi 60% exato na nossa análise.
Originalidade.ai
O Originality.ai também se encontrava entre os detectores de IA muito fiáveis, uma vez que analisou corretamente tanto os textos gerados por IA como os escritos por humanos e apresentou resultados confiáveis de 100%.
Originality.ai é uma plataforma de deteção de plágio e IA dedicada. Analisa a escrita a um nível granular e foi testada independentemente para detetar também conteúdos parafraseados e editados.
O único senão do Originality.ai é o facto de não ser totalmente gratuito.
A plataforma oferece 12 000 caracteres aos novos utilizadores, após o que os scans adicionais funcionam com base num sistema de créditos.
O preço do detetor de IA é de 2.000 créditos (1 crédito equivale a 100 palavras) por $14,95 por mês.
Escritor.com
O Writer.com não correspondeu às expectativas em termos de deteção de IA, apesar de ser conhecido por produzir textos gerados por IA.
De cinco amostras de texto, identificou incorretamente duas amostras escritas por IA como sendo escritas por humanos.
Isto significa que apenas três dos cinco resultados dos testes eram exactos, o que constitui uma falha clara.
A Writer.com também anunciou que a sua ferramenta de deteção de IA, juntamente com o seu ponto de extremidade da API, será encerrada a 22 de dezembro.
Até lá, continuará a funcionar como habitualmente. Isto mostra que a empresa está a afastar-se do espaço de deteção de IA.
Mónica
Esta foi outra daquelas ferramentas que teve um desempenho muito bom nos testes.
A Monica identificou corretamente todas as amostras escritas por humanos e geradas por IA sem um único erro, pelo que pode adicioná-la com segurança à sua lista de detectores de IA fiáveis.
A empresa afirma que combina os pontos fortes analíticos de IA do ZeroGPT, GPTZero e Copyleaks numa ferramenta unificada.
O sistema é semelhante ao IA indetetávelque também combina vários detectores para uma deteção autêntica de IA.
Detetor de IA Sapling
O Sapling não se revela um detetor de IA fiável, uma vez que não identificou corretamente as cinco amostras de texto.
Das nossas amostras, a Sapling identificou 2 de conteúdos escritos por humanos como IA 100%, o que está muito longe de ser verdade.
Mas o que mais se destaca na Sapling é a sua transparência. A empresa reconhece abertamente que o seu detetor de IA pode produzir falsos positivos com textos curtos.
Afirma também que estão a trabalhar ativamente para melhorar o sistema de modo a reduzir esses erros.
Esclarecem também que nenhum detetor de IA atual, incluindo o da Sapling, deve ser utilizado como método autónomo para determinar a autoria.
Utilizar o Verificador de IA para analisar a fiabilidade de outros detectores de IA.
Ao testar um texto de amostra através de várias ferramentas de deteção e ao comparar as pontuações de consistência, o AI Checker ajuda a revelar quais os sistemas que atribuem etiquetas incorrectas ou sinalizam excessivamente o conteúdo.
É uma forma rápida e transparente de medir a precisão do detetor antes de confiar nos seus resultados.
Explicação dos métodos comuns de deteção de IA
A deteção de IA não é construída com base numa fórmula universal.
Foram utilizados e validados vários métodos para determinar se um texto é escrito por humanos ou por IA.
Modelação estatística da linguagem
Este é o método mais antigo e mais utilizado para a deteção de conteúdos de IA. Baseia-se na análise da probabilidade de sequências de palavras, ou seja, a probabilidade de uma palavra se seguir a outra.
O texto gerado por IA tende a ter uma "perplexidade" mais baixa, pelo que se pode dizer que é mais previsível e consistente em termos de estrutura.
Os seres humanos, por outro lado, introduzem variabilidade no texto.
Os detectores de conteúdos que utilizam este método calculam a perplexidade e a rutura para avaliar a sua origem.
Metadados e marca de água
Estas métricas visam a forma como o texto foi gerado em vez da sua estrutura.
A marca de água significa incorporar sinais invisíveis nos resultados da IA ao nível dos tokens. Essencialmente, estes padrões só podem ser detectados por algoritmos específicos.
A deteção de metadados inspecciona dados contextuais como carimbos de data/hora, velocidade de geração e padrões de chamada de API para inferir se a IA esteve envolvida no processo de escrita.
Mas, mais uma vez, quando o texto gerado pela IA é editado, estes sinais perdem-se e, por isso, só funcionam em ambientes de teste controlados.
Classificadores de aprendizagem automática
Os detectores de IA baseiam-se cada vez mais em classificadores de aprendizagem automática treinados para reconhecer a "textura" da escrita de IA.
Estes classificadores analisam milhares de caraterísticas linguísticas e estruturais de conjuntos de dados de escrita humana e de escrita produzida por IA.
Com base nessa análise, desenvolvem um modelo probabilístico para rotular um novo texto como sendo de IA, humano ou híbrido.
O ponto forte desta abordagem é o facto de os classificadores continuarem a acompanhar a mudança de abordagem dos novos modelos de IA generativa.
Dê uma volta ao nosso Detetor de IA e Humanizador no widget abaixo!
Conclusão
Para responder à pergunta "Os detectores de IA são precisos?", sim, há várias ferramentas que são fiáveis e a Undetectable AI é uma delas.
Atingiu uma precisão de 100% em todas as amostras de teste escritas por IA e por humanos.
A ferramenta também é de utilização gratuita, ao contrário de muitos outros detectores de IA que escondem as suas melhores caraterísticas atrás de paywalls ou sistemas baseados em crédito.
A vantagem da IA indetetável está no seu modelo de deteção federada, que combina os pontos fortes de vários detectores líderes num sistema único e unificado.
A abordagem multi-camadas reduz significativamente os falsos positivos e os falsos negativos.
Portanto, se estiver à procura de um detetor de IA fiável, IA indetetável é a que deve ser experimentada!