¿Qué tan buenos son los detectores de IA en la clasificación de contenido?

La mayoría de las herramientas de generación de contenido de IA se basan en modelos de lenguaje GPT proporcionados por OpenAI. Por lo tanto, los patrones que emplean para crear contenido son algo similares. Ahora podemos crear, mejorar o editar textos no sólo directamente en la aplicación ChatGPT, sino también en documentos notion.so, o usando el complemento Grammarly.

Hoy en día, una cantidad cada vez mayor de contenido publicado en línea se genera con la ayuda de la inteligencia artificial. Como resultado, están surgiendo nuevas formas de verificar el origen del contenido: los detectores de IA. Decidimos investigar su fiabilidad y el grado de confianza que podíamos depositar en ellos.

¿Cómo funcionan los detectores de IA?

Las herramientas de detección de contenido de IA se basan esencialmente en nuevos modelos de lenguaje que han sido entrenados para diferenciar entre textos escritos por humanos y aquellos creados por inteligencia artificial. Estas herramientas determinan sus evaluaciones de probabilidad en función de la perplejidad (medida de la aleatoriedad) y la ráfaga (medida de la variación de la perplejidad) del texto. Los humanos tienden a escribir con mayor aleatoriedad; por ejemplo, a menudo intercalamos oraciones más largas con otras más cortas y menos complejas. Los detectores de contenido de IA identifican estas características a través del entrenamiento en millones de textos de muestra, previamente categorizados como escritos por humanos o creados por IA.

Si bien los modelos de IA como ChatGPT y otras herramientas basadas en GPT pueden generar contenido en una variedad de idiomas, la mayoría de las herramientas de verificación admiten principalmente el inglés. Entonces, ¿cómo se verifica el contenido en otros idiomas?

Un método es verificar los textos que han sido traducidos automáticamente por herramientas como DeepL o Google Translate. Sin embargo, es crucial recordar que este método de traducción también impone ciertos patrones en los textos, según los cuales se traducen automáticamente, lo que influye en la evaluación del detector. Sin embargo, algunos detectores están dispuestos a verificar contenido en otros idiomas, a pesar de que su soporte oficial se limita al inglés.

Cada detector también tiene sus limitaciones con respecto a la longitud del contenido que puede verificar, que dependen de si se usa una versión gratuita o de pago. Además, utilizan diferentes métodos para evaluar el origen del contenido; algunos brindan un porcentaje de certeza, en su opinión, de que el texto fue generado por una fuente específica, mientras que otros utilizan valoraciones verbales o una escala binaria: sí o no.

Herramientas que verificamos

De la gama de soluciones disponibles en el mercado, hemos puesto bajo el microscopio las cuatro herramientas más populares y las hemos probado con un conjunto de muestra de 20 textos. Seleccionamos 10 textos escritos por humanos y 10 generados por inteligencia artificial para evaluar cómo los clasificarían estas herramientas.

En el lote de textos escritos tradicionalmente, incluimos artículos escritos en su totalidad por redactores (algunos de estos fueron escritos antes de 2021, lo que excluye la participación de IA en su redacción), extractos de literatura (incluidos libros para niños), artículos de noticias y guías de instrucción. El contenido generado por IA incluía fragmentos de literatura creados de esta manera, como The Inner Life of an AI: A Memoir de ChatGPT y Bob the Robot, así como artículos producidos con inteligencia artificial (incluidos los que ya se publicaron en línea y los recién publicados). creado por GPT-3.5 y GPT-4). También incorporamos textos en polaco junto con sus traducciones de DeepL y Google Translate en nuestra muestra de contenido analizado. Todas las pruebas se realizaron en los mismos fragmentos de texto y, dados los diferentes métodos de clasificación, examinamos los resultados herramienta por herramienta.

A continuación, presentamos una recopilación de textos escritos por humanos:

y los generados por inteligencia artificial:

Clasificador de texto AI de OpenAI

EI Text Classifier de OpenAI, los creadores de los modelos GPT, es la herramienta más popular para detectar contenido creado por inteligencia artificial. Evalúa y expresa sus hallazgos en términos de la probabilidad de que el texto analizado haya sido creado por inteligencia artificial. Esto se hace utilizando una variedad de categorías: 'muy improbablemente', 'improbablemente', 'no está claro', 'probablemente' y 'muy probablemente’ generado por IA.

Como puede ver, esta escala ofrece un buen grado de matiz. El propio OpenAI señala en la descripción de la herramienta que los resultados pueden no ser siempre precisos y que el detector podría clasificar erróneamente tanto el contenido creado por IA como el escrito por humanos. Es importante tener en cuenta que el modelo utilizado para entrenar AI Text Classifier no incluía el trabajo de los estudiantes, por lo que no se recomienda para verificar dicho contenido.

De 10 textos escritos por humanos, AI Text Classifier clasificó correctamente 9 como "muy poco probable" o "poco probable" que hayan sido creados por inteligencia artificial. Sin embargo, tiene más dificultades para categorizar los generados por IA. En este caso, la herramienta clasifica con frecuencia el texto como "no está claro", "improbablemente" o "probablemente" generado por IA.

Originality.AI

Otra herramienta muy utilizada para verificar contenidos creados con inteligencia artificial se llama Originality. Sus creadores afirman que tiene una tasa de efectividad del 95,93%. Es la única herramienta de nuestra lista que tiene un costo: cobra $0.01 por cada 100 palabras verificadas. El paquete mínimo cuesta $20. Además de verificar el origen del contenido, Originality también lo analiza en busca de plagio.

Originality utiliza porcentajes para reflejar su certeza de cómo se creó el contenido. Una puntuación original del 66% no significa que el texto esté escrito en un 66% por una persona y en un 34% por IA, sino que en Originalidad hay un 66% de certeza de que el contenido fue creado por una persona. La herramienta resalta en rojo las partes que cree que fueron generadas por IA y en verde las partes que cree que son obra humana. Curiosamente, a menudo sucede que en los textos finalmente categorizados como escritos por humanos, la mayor parte o al menos la mitad del contenido está resaltado en rojo.

A Originality a veces le cuesta categorizar definitivamente el contenido escrito por humanos. De todos los fragmentos verificados, sólo uno fue calificado con 100% de certeza como escrito por humanos. Los resultados para los textos restantes oscilaron entre un 52 y un 92% de certeza de que el contenido es humano.

La herramienta hizo un trabajo ligeramente mejor al verificar el contenido generado por IA; en 7 de cada 10 textos, la certeza de que el contenido fue generado por IA fue del 100% o 99%. Surgieron dudas cuando se trataba del contenido generado por AI en polaco y luego traducido al inglés. Aunque el artículo fue generado por uno de los modelos GPT más antiguos (y se publicó en un blog en septiembre de 2022) y tenía bastantes errores de estilo, Originality estaba 92% seguro de que la versión polaca estaba escrita por humanos. Pero a medida que continuaron las traducciones, la balanza se inclinó a favor de la IA: Originality tenía un 57% de certeza de que el contenido traducido por DeepL fue generado por IA y un 85% de certeza para la versión de Google Translate.

El texto que causó más problemas a Originality fue un artículo del popular sitio Bankrate.com, donde el contenido es generado por IA y verificado por humanos. Este fue el único caso en el que la herramienta estaba 88% segura de que el artículo fue escrito por humanos, a pesar de que en realidad se creó con la ayuda de IA. Entonces, parece que la clave para "engañar" a Originality radica en la edición cuidadosa del texto.

CopyLeaks

La calificación general del contenido en CopyLeaks es binaria; los resultados posibles son "Este es un texto humano" y "Contenido IA detectado". La verificación detallada de segmentos específicos solo se puede ver pasando el cursor sobre el texto. Luego, la herramienta indicará la probabilidad de que el párrafo seleccionado haya sido escrito por un humano o una IA.

De 10 textos escritos por humanos, CopyLeaks detectó contenido generado por IA en dos de ellos. En lo que respecta al contenido generado por IA, la herramienta lo evaluó como casi igualmente creado por humanos y por IA. Por lo tanto, los resultados no son fiables e incluso podrían considerarse inútiles. Es sorprendente lo "sensible" que es CopyLeaks a los cambios. En los ejemplos verificados, una simple alteración del indicador de entrada o la adición del número de capítulo y la información del título fue suficiente para cambiar completamente el resultado de la evaluación.

Content at Scale - AI DETECTOR

Content at Scale sirve principalmente como una herramienta para la generación automática de contenido, con su función de verificación como característica adicional. Los creadores de la herramienta afirman que los detectores de IA no pueden detectar los textos generados por su sistema. Esto plantea la pregunta: ¿se diseñó el detector para confirmar la eficacia del generador?

La empresa proporciona un texto de ejemplo generado por Content at Scale en su sitio web. Según su propio detector, se evaluó que este texto tenía un 95% de probabilidad de estar escrito por humanos. Sin embargo, AI Text Classifier consideró poco probable que fuera obra de IA. Sin embargo, Originality y CopyLeaks no fueron tan fáciles de engañar. La originalidad calificó el texto como 100% generado por IA, mientras que CopyLeaks detectó contenido de IA. Como se puede ver, diferentes detectores ofrecen diferentes perspectivas.

El contenido en el detector de Scale funcionó bastante bien al detectar contenido escrito por un humano. Para 9 de cada 10 de los fragmentos verificados, la probabilidad de que fueran escritos por humanos superó el 90%.

Sin embargo, tuvo más problemas con el contenido generado por IA; en 6 de cada 10 casos, calificó los textos como creados tanto por humanos como por IA. El resto se clasificó incorrectamente como escrito por humanos.

Engañar a los detectores

El contenido generado por IA no aparece de la nada. Detrás de las indicaciones que lo crean, siempre hay un ser humano. Entonces, surge la pregunta: ¿podemos idear formas de engañar a los detectores de contenido de IA y generar contenido que supere sus capacidades de detección?

Internet está lleno de varios trucos para crear avisos indetectables. Una de ellas es explicar los conceptos de 'perplejidad' y 'ráfaga' al chatbot. La idea es guiar a la IA para que tenga en cuenta estos factores al generar texto nuevo. Para poner esto a prueba, le encargamos a un chatbot impulsado por el modelo GPT-4 que redactara un artículo sobre los mejores lugares para escalar en París.

Los resultados fueron interesantes. Comparamos el resultado de la versión de texto original y un segundo intento, donde aclaramos los criterios de evaluación para el chatbot y lo guiamos sobre cómo hacer que el contenido parezca más humano:

La única herramienta que no se dejó engañar fue Originality. Sin embargo, en ambos casos, engañamos con éxito al AI Text Classifier, que concluyó que la posibilidad de que ambos contenidos fueran generados por IA era baja. Curiosamente, Content at Scale y CopyLeaks cambiaron de opinión después de que ChatGPT-4 redactó el texto, teniendo en cuenta las pautas sobre perplejidad y ráfaga.

¿Qué hace que los detectores no sean fiables?

Los detectores están diseñados para buscar elementos predecibles de contenido, lo que se conoce como perplejidad. Cuanto menor sea la previsibilidad, mayor será la posibilidad de que el texto haya sido escrito de manera tradicional: por un humano. Sin embargo, así como pequeños cambios en las indicaciones ingresadas en un chatbot como ChatGPT pueden arrojar un resultado completamente diferente, una pequeña modificación en el texto que se verifica (que sólo puede alterar levemente su significado) puede cambiar la evaluación otorgada por estas herramientas.

Tomemos, por ejemplo, el libro infantil Bob the Robot, que fue generado en un 80% por inteligencia artificial. El editor atribuyó el 20% de la creación a la edición humana del texto. El segmento que verificamos en cuanto a cómo se creó el libro fue su primer capítulo, que consta de 276 palabras. Básicamente, verificamos el mismo texto dos veces, con sólo un cambio menor: agregamos "Capítulo 1: Star City" antes del contenido del capítulo. En consecuencia, Copyleaks.com cambió por completo su evaluación del origen del libro. En el texto limpio del capítulo, la herramienta detectó contenido generado por IA, pero se consideró que el mismo texto con información sobre el número y el título del capítulo estaba escrito por humanos.

Entonces, ¿cómo responden los detectores al contenido traducido? Como ejemplo, utilizamos contenido escrito por un redactor sin la ayuda de inteligencia artificial. El artículo fue escrito en polaco. Aunque algunas herramientas no son compatibles con este idioma, aún intentan verificar su contenido sin marcar ningún error. Los resultados proporcionados por originality.ai mostraron un 77% de certeza de que el contenido estaba escrito por humanos al verificar el texto en polaco. El mismo texto, cuando se tradujo con DeepL, le dio a la herramienta solo un 67% de certeza de que fue escrito por un humano. Esta certeza cae al 36% cuando el texto es traducido por Google Translate.

Curiosamente, otra herramienta, Copyleaks, que oficialmente admite contenido en polaco, clasificó correctamente todas las versiones. La probabilidad de que la mayor parte del texto estuviera escrito por humanos (teniendo en cuenta que la herramienta evalúa partes individuales del texto por separado) fue del 99,9% para la versión en polaco, del 89,8% para la traducción de DeepL y del 90,2% para la versión de Google Translate. Aunque las diferencias son menores, es intrigante que la traducción de Google se considere más cercana a un estilo de escritura humana que DeepL, que fue clasificado de manera opuesta por Originality.

¿En qué se diferencian los detectores de contenido de IA de los humanos?

Investigadores de la Escuela de Ingeniería y Ciencias Aplicadas de la Universidad de Pensilvania investigaron cómo los humanos distinguen el contenido generado por IA. ¿Somos capaces de detectar las diferencias y qué factores consideramos en nuestro juicio?

Source: https://arxiv.org/pdf/2212.12672.pdf 

Para varios tipos de contenido, nos enfocamos principalmente en la relevancia, que generalmente ejerce la mayor influencia en nuestra evaluación. Dentro del contenido generado por IA, también detectamos errores derivados de la falta de lógica de sentido común, que las herramientas de IA no pueden verificar, y la presencia de segmentos contradictorios.

Los detectores de IA basan principalmente sus evaluaciones en la previsibilidad y la aleatoriedad del texto, sin tener en cuenta muchos otros factores destacados por los participantes del estudio. Pusimos esto a prueba con un artículo creado por inteligencia artificial en septiembre de 2022, antes de que ChatGPT se convirtiera en un nombre familiar. El artículo está plagado de errores estilísticos, oraciones ilógicas y frases extrañas por un lado, pero por el otro, es de hecho 'original' y notablemente aleatorio.

El texto estaba originalmente en polaco, por lo que repetimos el proceso de traducción automática a través de DeepL y Google Translate y, en buena medida, también examinamos el texto original (tenga en cuenta que no todas las herramientas son compatibles con el idioma polaco, pero realizan su evaluación).

Aquí están los resultados:

Como es evidente, Originality.ai manejó mejor la tarea de evaluar el texto traducido, pero sus resultados no son inequívocos. Tenga en cuenta que el proceso de traducción automática puede introducir un elemento "antinatural" en el contenido, lo que puede explicar en parte una mayor probabilidad de que el contenido se perciba como generado por IA.

Resumen

La paradoja de las herramientas de detección de contenido de IA es que tenemos tal nivel de escepticismo sobre la calidad de los textos generados por IA que necesitamos otra herramienta basada en IA para detectarlos. Las preguntas cruciales que debemos hacernos en este punto son: ¿Podemos determinar con absoluta certeza cómo se creó un contenido? Si un artículo está bien escrito y no contiene errores de hecho, ¿realmente importa la forma en que fue escrito?

Existe la creencia generalizada de que el contenido creado por IA es de baja calidad. Algunos también argumentan que los sitios web serán 'penalizados' por el contenido generado de esta manera. Sin embargo, Bing y Google se están moviendo hacia el uso de inteligencia artificial en sus motores de búsqueda, lo que sugiere que ven los beneficios de tales soluciones.

Ninguna de las herramientas es infalible. En nuestra prueba, a algunos les fue mejor en la evaluación de textos escritos por humanos, mientras que otros sobresalieron con los escritos por IA. Los resultados para algunos contenidos variaron significativamente entre las herramientas. Al verificar extractos seleccionados, sabíamos cómo se crearon, pero si hubiéramos realizado esa prueba a ciegas, los resultados simplemente no serían confiables. El mayor problema con las evaluaciones de estas herramientas es la incertidumbre de cuándo son correctas y cuándo están equivocadas. Usándolos, realmente nunca sabemos si podemos confiar en ellos en un caso particular.

El siguiente artículo es una traducción del artículo polaco "Detektory treści AI - jak radzą sobie z klasyfikacją tekstu?" escrito por Agata Gruszka, directora internacional de SEO en WhitePress®