Quão bons são os detectores de IA na classificação de conteúdo?

A maioria das ferramentas de geração de conteúdo via IA é baseada em modelos de linguagem GPT fornecidos pela OpenAI. Portanto, os padrões que eles empregam na criação de conteúdo são bem semelhantes. Agora podemos criar, melhorar ou editar textos não apenas diretamente no aplicativo ChatGPT, mas também em documentos notion.so ou usando o plug-in Grammarly.

Atualmente, uma quantidade crescente de conteúdo publicado online é gerada por ou com a ajuda de inteligência artificial. Como resultado, novas formas de verificar a origem do conteúdo estão surgindo: são os detectores de IA. Decidimos investigar sua confiabilidade e o grau de confiança que poderíamos depositar neles.

Como funcionam os detectores de IA?

As ferramentas de detecção de conteúdo de IA são essencialmente baseadas em novos modelos de linguagem que foram treinados para diferenciar entre textos escritos por humanos e aqueles criados por inteligência artificial. Essas ferramentas determinam suas avaliações de probabilidade com base na perplexidade (medida da aleatoriedade) e explosão (medida da variação na perplexidade) do texto. Os seres humanos tendem a escrever com maior aleatoriedade – por exemplo, muitas vezes intercalamos frases mais longas com outras mais curtas e menos complexas. Os detectores de conteúdo de IA identificam essas características por meio do treinamento em milhões de textos de amostra, previamente categorizados como escritos por humanos ou criados por IA.

Embora modelos de IA como ChatGPT e outras ferramentas baseadas em GPT possam gerar conteúdo em vários idiomas, a maioria das ferramentas de verificação oferece suporte principalmente ao idioma inglês. Então, como verificar o conteúdo em outros idiomas?

Um método é verificar textos que foram traduzidos automaticamente por ferramentas como DeepL ou Google Tradutor. É fundamental lembrar, porém, que esse método de tradução também impõe certos padrões aos textos, segundo os quais eles são traduzidos automaticamente, influenciando na avaliação do detector. No entanto, alguns detectores estão dispostos a verificar o conteúdo em outros idiomas, apesar de seu suporte oficial ser limitado ao inglês.

Cada detector também tem suas limitações em relação ao tamanho do conteúdo que pode verificar, variando entre versões gratuitas e pagas. Além disso, utilizam diferentes métodos para avaliar a origem do conteúdo; alguns fornecem uma porcentagem de certeza, em seus resultados, de que o texto foi gerado por uma fonte específica, enquanto outros usam avaliações verbais ou uma escala binária: sim ou não.

Ferramentas que testamos

Da gama de soluções disponíveis no mercado, colocamos as quatro ferramentas mais populares sob o microscópio e as testamos usando um conjunto de amostras de 20 textos. Selecionamos 10 textos escritos por humanos e 10 gerados por inteligência artificial para avaliar como essas ferramentas os classificariam.

Entre os textos tradicionalmente escritos, incluímos artigos escritos inteiramente por redatores (alguns deles foram escritos antes de 2021, o que exclui a participação da IA em sua redação), trechos de literatura (incluindo livros infantis), artigos de notícias e guias de instrução. O conteúdo gerado por IA incluía fragmentos de literatura criada dessa forma, como The Inner Life of an AI: A Memoir by ChatGPT e Bob the Robot, além de artigos produzidos com inteligência artificial (incluindo os já publicados online e os recém-publicados). criado por GPT-3.5 e GPT-4). Também incorporamos textos em polonês junto com suas traduções pelo DeepL e Google Tradutor em nossa amostra de conteúdo analisado. Todos os testes foram conduzidos nos mesmos trechos do texto e, devido aos vários métodos de classificação, examinamos os resultados ferramenta por ferramenta.

Abaixo, apresentamos um compilado de textos escritos por humanos:

e os gerados por inteligência artificial:

AI Text Classifier da OpenAI

O AI Text Classifier da OpenAI, os criadores dos modelos GPT, é a ferramenta mais popular para detectar conteúdo criado por inteligência artificial. Ele avalia e expressa suas descobertas em termos da probabilidade de que o texto analisado tenha sido criado por inteligência artificial. Isso é feito usando uma variedade de categorias: 'muito improvável', 'improvável', 'incerto', 'possivelmente' e 'provável gerado por IA'. Como você pode ver, esta escala oferece um bom grau de nuance. O próprio OpenAI observa na descrição da ferramenta que os resultados nem sempre são precisos e que o detector pode potencialmente classificar incorretamente o conteúdo criado por IA e o conteúdo escrito por humanos. É importante observar que o modelo usado para treinar o classificador de texto AI não incluiu o trabalho do aluno, portanto, não é recomendado para verificar esse conteúdo.

De 10 textos escritos por humanos, o AI Text Classifier classificou corretamente 9 como 'muito improváveis' ou 'improváveis' de terem sido criados por inteligência artificial. No entanto, ele se esforça mais para categorizar aqueles gerados pela IA. Nesse caso, a ferramenta frequentemente classifica o texto como 'incerto', 'improvável' ou 'possivelmente' gerado por IA.

Originality.AI

Outra ferramenta muito utilizada para verificação de conteúdo criado com inteligência artificial é o chamado Originality. Seus criadores afirmam que tem uma taxa de eficácia de 95,93%. É a única ferramenta da nossa lista que tem um custo, cobrando US$ 0,01 para cada 100 palavras verificadas. O pacote mínimo custa $20. Além de verificar a origem do conteúdo, o Originality também verifica se há plágio.

Originality usa porcentagens para definir sua certeza de como o conteúdo foi criado. Uma pontuação Original de 66% não significa que o texto é 66% escrito por um humano e 34% por IA, mas sim que a Originality tem 66% de certeza de que o conteúdo foi criado por um humano. A ferramenta destaca em vermelho as partes que acredita terem sido geradas via IA e em verde as partes que acredita serem trabalho humano. Curiosamente, muitas vezes, em textos categorizados como escritos por humanos, a maior parte ou pelo menos metade do conteúdo é destacada em vermelho.

A Originality às vezes luta para categorizar corretamente o conteúdo escrito por humanos. De todos os fragmentos verificados, apenas um foi classificado com 100% de certeza como escrito por humanos. Os resultados para os demais textos variaram de 52 a 92% de certeza de que o conteúdo é humano.

A ferramenta fez um trabalho um pouco melhor ao verificar o conteúdo gerado pela IA; em 7 de 10 textos, a certeza de que o conteúdo foi gerado por IA foi de 100% ou 99%. As dúvidas surgiram quando se tratava de conteúdo gerado por IA em polonês e depois traduzido para o inglês. Embora o artigo tenha sido gerado por um dos modelos GPT mais antigos (e publicado em um blog em setembro de 2022) e tenha alguns erros estilísticos, Originality tinha 92% de certeza de que a versão polonesa foi escrita por humanos. Mas, à medida que as traduções continuaram, a balança pendia a favor da IA: a originalidade tinha 57% de certeza de que o conteúdo traduzido pelo DeepL era gerado por IA e 85% de certeza para a versão do Google Tradutor.

O texto que deu mais trabalho ao Originality foi um artigo do popular site Bankrate.com, onde o conteúdo é gerado por IA e verificado por humanos. Este foi o único caso em que a ferramenta tinha 88% de certeza de que o artigo foi escrito por humanos, embora tenha sido realmente criado com a ajuda de IA. Assim, parece que a chave para "enganar" a originalidade está na edição cuidadosa do texto.

CopyLeaks

A classificação geral do conteúdo no CopyLeaks é binária; os resultados possíveis são "Este é um texto humano" e "Conteúdo AI detectado". A verificação detalhada de segmentos específicos só pode ser visualizada passando o mouse sobre o texto. A ferramenta indicará a probabilidade de o parágrafo selecionado ter sido escrito por um ser humano ou por uma IA.

De 10 textos escritos por humanos, o CopyLeaks detectou conteúdo gerado por IA em dois deles. Quando se tratava de conteúdo gerado por IA, a ferramenta o avaliou como sendo igualmente criado por humanos e IA. Portanto, os resultados não são confiáveis e podem até ser considerados inúteis. É surpreendente como o CopyLeaks é "sensível" às mudanças. Nos exemplos verificados, uma simples alteração do prompt de entrada ou a adição do número do capítulo e da informação do título foi suficiente para alterar completamente o resultado da avaliação.

Content at Scale - AI DETECTOR

O Content at Scale serve principalmente como uma ferramenta para geração automática de conteúdo, com sua função de verificação como um recurso adicional. Os criadores da ferramenta afirmam que os textos gerados por seu sistema são indetectáveis por detectores de IA. Isso levanta a questão: o detector foi projetado para confirmar a eficácia do gerador?

A empresa fornece um exemplo de texto gerado pelo Content at Scale em seu site. De acordo com seu próprio detector, este texto foi avaliado como tendo 95% de probabilidade de ser escrito por humanos. No entanto, o AI Text Classifier julgou improvável que fosse obra da AI. Originality e CopyLeaks, no entanto, não foram tão facilmente enganados. Originality classificou o texto como 100% gerado por IA, enquanto o CopyLeaks detectou conteúdo de IA. Como se pode ver, diferentes detectores oferecem diferentes perspectivas.

O detector do Content at Scale se saiu muito bem na detecção de conteúdo escrito por um humano. Para 9 de 10 dos fragmentos verificados, a probabilidade de serem escritos por humanos excedeu 90%.

No entanto, lutou mais com o conteúdo gerado por IA; em 6 de 10 casos, classificou os textos como criados por humanos e IA. O resto foi classificado incorretamente como escrito por humanos.

Engane os detectores

O conteúdo gerado por IA não aparece do nada. Atrás dos prompts que o criam, há sempre um humano. Então, surge a pergunta: podemos inventar maneiras de enganar os detectores de conteúdo de IA e gerar conteúdo que escapa de suas capacidades de detecção?

A internet está cheia de truques para criar prompts indetectáveis. Uma delas é explicar os conceitos de 'perplexidade' e 'explosão' para o chatbot. A ideia é orientar a IA a levar esses fatores em consideração ao gerar um novo texto. Para testar isso, incumbimos um chatbot desenvolvido com o modelo GPT-4 de redigir um artigo sobre os melhores pontos de escalada em Paris.

Os resultados foram interessantes. Comparamos o resultado da versão em texto original e uma segunda tentativa, onde esclarecemos os critérios de avaliação do chatbot e o orientamos sobre como tornar o conteúdo mais humano:

A única ferramenta que não foi enganada foi a Originality. No entanto, em ambos os casos, enganamos com sucesso o AI Text Classifier, que concluiu que a chance de ambos os conteúdos serem gerados por IA era baixa. Curiosamente, o Content at Scale e o CopyLeaks mudaram de opinião depois que o ChatGPT-4 elaborou o texto, levando em consideração as diretrizes sobre perplexidade e explosão.

O que torna os detectores não confiáveis?

Os detectores são projetados para procurar elementos previsíveis de conteúdo, conhecidos como perplexidade. Quanto menor a previsibilidade, maior a chance de o texto ter sido escrito de maneira tradicional: por um humano. No entanto, assim como pequenas alterações nos prompts inseridos em um chatbot como o ChatGPT podem produzir um resultado completamente diferente, uma pequena modificação no texto que está sendo verificado (que pode alterar apenas ligeiramente seu significado) pode alterar a avaliação feita por essas ferramentas.

Veja, por exemplo, o livro infantil Bob the Robot, que foi 80% gerado por inteligência artificial. A editora atribuiu 20% da criação à edição humana do texto. O segmento que verificamos em termos de como o livro foi construído foi o seu primeiro capítulo, com 276 palavras. Basicamente, verificamos o mesmo texto duas vezes, com apenas uma pequena alteração: adicionamos "Capítulo 1: Star City" antes do conteúdo do capítulo. Consequentemente, o Copyleaks.com mudou completamente sua avaliação sobre a origem do livro. No texto limpo do capítulo, a ferramenta detectou o conteúdo gerado pela IA, mas o mesmo texto com informações sobre o número do capítulo e o título foi considerado escrito por humanos.

Então, como os detectores respondem ao conteúdo traduzido? Como exemplo, usamos o conteúdo escrito por um redator sem o auxílio de inteligência artificial. O artigo foi escrito em polonês. Embora algumas ferramentas não ofereçam suporte a esse idioma, elas ainda tentam verificar seu conteúdo sem sinalizar nenhum erro. Os resultados fornecidos pelo originality.ai mostraram 77% de certeza de que o conteúdo foi escrito por humanos ao verificar o texto em polonês. O mesmo texto, quando traduzido usando o DeepL, deu à ferramenta apenas 67% de certeza de que foi escrito por um humano. Essa certeza cai para 36% quando o texto é traduzido pelo Google Tradutor.

Curiosamente, outra ferramenta, Copyleaks, que suporta oficialmente o conteúdo polonês, classificou corretamente todas as versões. A probabilidade de que a maior parte do texto tenha sido escrita por humanos (tendo em mente que a ferramenta avalia partes individuais do texto separadamente) foi de 99,9% para a versão em polonês, 89,8% para a tradução do DeepL e 90,2% para a versão do Google Tradutor. Embora as diferenças sejam pequenas, é intrigante que a tradução do Google seja considerada mais próxima de um estilo de escrita humano do que o DeepL, que foi classificado de forma oposta pela Originality.

Como os detectores de conteúdo de IA diferem dos humanos?

Pesquisadores da Escola de Engenharia e Ciências Aplicadas da Universidade da Pensilvânia investigaram como os humanos discernem o conteúdo gerado pela IA. Somos capazes de identificar as diferenças e quais fatores consideramos em nosso julgamento?

Source: https://arxiv.org/pdf/2212.12672.pdf 

Para vários tipos de conteúdo, focamos principalmente na relevância, que geralmente exerce a influência mais forte em nossa avaliação. No conteúdo gerado por IA, também detectamos erros decorrentes da falta de lógica e bom senso, que as ferramentas de IA não podem verificar, e da presença de segmentos contraditórios.

Os detectores de IA baseiam suas avaliações principalmente na previsibilidade e aleatoriedade do texto, sem considerar muitos outros fatores destacados pelos participantes do estudo. Colocamos isso à prova com um artigo criado por inteligência artificial em setembro de 2022, antes do ChatGPT se tornar um nome familiar. Por um lado, o artigo está repleto de erros estilísticos, frases ilógicas e frases desajeitadas, mas, por outro lado, é de fato "original" e notavelmente aleatório.

O texto estava originalmente em polonês, então repetimos o processo de traduções automáticas via DeepL e Google Tradutor e, para garantir, também examinamos o texto original (lembre-se de que nem todas as ferramentas suportam o idioma polonês, mas realizam sua avaliação ).

Aqui estão os resultados:

Como é evidente, Originality.ai conseguiu avaliar melhor o texto traduzido, mas seus resultados não são inequívocos. Lembre-se de que o processo de tradução automática pode introduzir um elemento "não natural" no conteúdo, o que pode ser parcialmente responsável por uma maior probabilidade de o conteúdo ser percebido como gerado por IA.

Em resumo

O paradoxo das ferramentas de detecção de conteúdo de IA é que temos um nível tão grande de ceticismo sobre a qualidade dos textos gerados por IA que precisamos de outra ferramenta baseada em IA para detectá-los. As perguntas cruciais que devemos fazer neste momento são: podemos determinar com absoluta certeza como um conteúdo foi criado? Se um artigo está bem escrito e não contém erros contextuais, a forma como foi escrito realmente importa?

Há uma crença generalizada de que o conteúdo criado por IA é de baixa qualidade. Alguns também argumentam que os sites serão 'penalizados' pelo conteúdo gerado dessa maneira. No entanto, o Bing e o Google estão caminhando para o uso de inteligência artificial em seus mecanismos de busca, sugerindo que veem benefícios em tais soluções.

Nenhuma das ferramentas é infalível. Em nosso teste, alguns se saíram melhor na avaliação de textos escritos por humanos, enquanto outros se destacaram com aqueles escritos por IA. Os resultados para alguns conteúdos variaram significativamente entre as ferramentas. Ao verificar trechos selecionados, sabíamos como eles foram criados, mas se tivéssemos conduzido esse teste às cegas, os resultados simplesmente não seriam confiáveis. O maior problema com as avaliações dessas ferramentas é a incerteza de quando elas estão corretas e quando estão erradas. Ao usá-los, nunca sabemos se podemos confiar neles em um caso específico.

O seguinte artigo é uma tradução do artigo polonês "Detectores de conteúdo AI - como eles lidam com a classificação de texto?" escrito por Agata Gruszka, Gerente Internacional de SEO da WhitePress®