Los detectores de IA se equivocan. Los escritores son despedidos de todos modos
Kimberly Gasuras no utiliza IA. “No la necesito”, dice. “He sido periodista durante 24 años. ¿Cómo crees que he hecho todo ese trabajo?”. Esa lógica no bastó para salvar su trabajo.
Como periodista local en Bucyrus, Ohio, Gasuras depende de otras actividades para pagar las facturas. Durante un tiempo, ganó mucho dinero en una plataforma de redacción independiente llamada WritersAccess, donde escribía blogs y otros contenidos para pequeñas y medianas empresas. Pero a mediados de 2023, los ingresos cayeron en picado porque algunos clientes se pasaron a ChatGPT para cubrir sus necesidades de redacción. Ya eran tiempos difíciles. Entonces llegó el correo electrónico.
“Sólo recibí un aviso”, explica Gasuras. “Recibí un mensaje diciendo que habían marcado mi trabajo como IA utilizando una herramienta llamada ‘Originalidad'”. Estaba estupefacta. Gasuras volvió a escribir para defender su inocencia, pero nunca obtuvo respuesta. Originality cuesta dinero, pero Gasuras empezó a pasar su trabajo por otros detectores de IA antes de enviarlo para asegurarse de que no la marcaban por error. Unos meses más tarde, WritersAccess la expulsó de la plataforma. “Me dijeron que habían suspendido mi cuenta por uso excesivo de IA. No me lo podía creer”, cuenta Gasuras. WritersAccess no respondió a la petición de comentarios.
Cuando ChatGPT incendió el mundo hace un año y medio, se desató una búsqueda febril de formas de atrapar a las personas que intentaban hacer pasar texto de IA por su propia escritura. Una gran cantidad de startups se lanzaron a llenar el vacío mediante herramientas de detección de IA, con nombres como Copyleaks, GPTZero, Originality.AI y Winston AI. Se trata de un negocio redondo en un panorama lleno de “hombres del saco” de la IA.
Estas empresas anuncian tranquilidad, una forma de recuperar el control mediante “pruebas” y “responsabilidad”. Algunas anuncian índices de precisión de hasta el 99,98%. Pero cada vez hay más expertos, estudios e informadores del sector que afirman que estas herramientas son mucho menos fiables de lo que prometen sus creadores. No hay duda de que los detectores de IA cometen errores frecuentes, y transeúntes inocentes quedan atrapados en el fuego cruzado. Innumerables estudiantes han sido acusados de plagio con IA, pero en el mundo profesional se está produciendo una epidemia más silenciosa. Algunos trabajos de redacción se están agotando gracias a los chatbots. Mientras la gente se pelea por un campo de trabajo cada vez más escaso, los escritores pierden su trabajo por las falsas acusaciones de los detectores de IA.
“Esta tecnología no funciona tal y como la anuncian”, afirma Bars Juhasz, cofundador de Undetectable AI, que crea herramientas para ayudar a las personas a humanizar el texto de la IA para que pase desapercibido en el software de detección. “Nos preocupa mucho la fiabilidad del proceso de entrenamiento que utilizan estos detectores de IA. Afirman que tienen una precisión del 99% y, según nuestro trabajo, creo que eso es imposible. Pero incluso si es cierto, eso significa que por cada 100 personas habrá una bandera falsa. Estamos hablando del sustento y la reputación de la gente”.
¿Protección o engaño?
En general, los detectores de IA funcionan detectando los rasgos distintivos de la caligrafía de la IA, como la gramática y la puntuación perfectas. De hecho, una de las formas más sencillas de que marquen tu trabajo es utilizar Grammarly, una herramienta que comprueba la ortografía y los errores gramaticales. Incluso sugiere formas de reescribir las frases para que sean más claras utilizando, lo has adivinado, inteligencia artificial. Para colmo de males, Gizmodo habló con escritores que afirmaron haber sido despedidos por plataformas que les exigían utilizar Grammarly. (Gizmodo confirmó los detalles de estas historias, pero excluimos los nombres de ciertas plataformas independientes porque los escritores firmaron acuerdos de confidencialidad).
Los detectores también buscan factores más reveladores, como la “fragmentación”. Los escritores humanos son más propensos a reutilizar ciertas palabras en grupos o ráfagas, mientras que la IA es más propensa a distribuir las palabras uniformemente a lo largo de un documento. Los detectores de IA también pueden evaluar la “perplejidad”, que básicamente pide a una IA que mida la probabilidad de que hubiera producido un fragmento de texto dados los datos de entrenamiento del modelo. Algunas empresas, como Originaility.AI, líder del sector, entrenan sus propios modelos lingüísticos de IA especialmente diseñados para detectar el trabajo de otras IA, con el fin de detectar patrones demasiado complejos para la mente humana.
Sin embargo, ninguna de estas técnicas es infalible, y muchas instituciones importantes se han echado atrás ante esta clase de herramientas. OpenAI lanzó su propio detector de IA para acallar los temores sobre sus productos en 2023, pero retiró la herramienta del mercado apenas unos meses después “debido a su bajo índice de precisión.” El mundo académico fue el primero en adoptar los detectores de IA, pero las falsas acusaciones empujaron a una larga lista de universidades a prohibir el uso de software de detección de IA, entre ellas Vanderbilt, Michigan State, Northwestern y la Universidad de Texas en Austin.
Las empresas dedicadas a la detección de IA “se dedican a vender aceite de serpiente”, afirma Debora Weber-Wulff, profesora de la Universidad de Ciencias Aplicadas de Ingeniería y Economía de Berlín, coautora de un reciente artículo sobre la eficacia de la detección de IA. Según Weber-Wulff, las investigaciones demuestran que los detectores de IA son imprecisos, poco fiables y fáciles de engañar. “La gente quiere creer que puede haber un software mágico que resuelva sus problemas”, afirma. Pero “los programas informáticos no pueden resolver los problemas sociales. Tenemos que encontrar otras soluciones”.
Las empresas que fabrican detectores de IA dicen que son una herramienta necesaria pero imperfecta en un mundo inundado de textos generados por robots. Hay una demanda importante de estos servicios, sean o no eficaces.
Alex Cui, director de tecnología de la empresa de detección de IA GPTZero, afirma que los detectores tienen carencias significativas, pero que los beneficios superan a los inconvenientes. “Vemos un futuro en el que, si no se cambia nada, Internet estará cada vez más dictado por la IA, ya sean noticias, artículos revisados por expertos o marketing. Ni siquiera sabes si la persona con la que hablas en las redes sociales es real”, afirma Cui. “Necesitamos una solución para confirmar el conocimiento en masa y determinar si el contenido es de alta calidad, auténtico y de autoría legítima”.
¿Un mal necesario?
Mark, otro redactor publicitario de Ohio que pidió que no reveláramos su nombre para evitar repercusiones profesionales, dijo que tuvo que aceptar un trabajo de mantenimiento en una tienda local después de que un detector de IA le costara el empleo.
“Recibí un correo electrónico diciendo que mi artículo más reciente había obtenido un 95% de probabilidad de generación de IA”, dijo Mark. “Me quedé en estado de shock. Me pareció ridículo que me acusaran después de haber trabajado juntos durante tres años, mucho antes de que ChatGPT estuviera disponible.”
Intentó defenderse. Mark envió a su cliente una copia del Google Doc donde redactó el artículo, que incluía marcas de tiempo que demostraban que escribió el documento a mano. No fue suficiente. La relación de Mark con la plataforma de redacción se vino abajo. Dice que perder el trabajo le costó el 90% de sus ingresos.
“Oímos estas historias más de lo que nos gustaría, y entendemos el dolor que los falsos positivos causan a los escritores cuando el trabajo en el que pusieron su corazón y alma es falsamente acusado”, dijo Jonathan Gillham, CEO de Originality.AI. “Sentimos que estamos construyendo una herramienta para ayudar a los escritores, pero sabemos que a veces tiene algunas consecuencias”.
Pero, según Gillham, el problema va más allá de ayudar a los escritores o de exigir responsabilidades: “Google está persiguiendo agresivamente el spam de IA”, afirma. “Hemos sabido de empresas a las que Google ha desindexado todo su sitio web que ni siquiera sabían que sus redactores utilizaban IA”.
Es cierto que Internet está siendo inundado por granjas de contenido de bajo esfuerzo que bombean artículos de IA basura en un esfuerzo por jugar con los resultados de búsqueda, obtener clics, y ganar dinero de los anuncios de esos globos oculares. Google está tomando medidas enérgicas contra estos sitios, lo que lleva a algunas empresas a creer que sus sitios web bajarán de posición si Google detecta algún tipo de escritura con IA. Esto es un problema para las empresas que operan en Internet y, cada vez más, el principal argumento de venta de los detectores de IA. Originality se promociona a sí mismo como una forma de “probar su sitio en Google en el futuro” en la parte superior de la lista de beneficios en su página principal.
Un portavoz de Google dijo que esto malinterpreta completamente las políticas de la empresa. Google, una empresa que proporciona IA, dijo que no tiene ningún problema con el contenido de IA en sí mismo. “Es inexacto decir que Google penaliza a los sitios web simplemente porque pueden utilizar algún contenido generado por IA”, dijo el portavoz. “Como hemos dicho claramente, el contenido de bajo valor que se crea a escala para manipular los rankings de búsqueda es spam, se produzca como se produzca. Nuestros sistemas automatizados determinan lo que aparece en los primeros resultados de búsqueda basándose en señales que indican si el contenido es útil y de alta calidad.”
Mensajes contradictorios
Nadie pretende que los detectores de IA sean perfectos, ni siquiera las empresas que los fabrican. Pero Originality y otros detectores de IA envían mensajes contradictorios sobre cómo deben utilizarse sus herramientas. Por ejemplo, Gillham dijo que “desaconsejamos el uso de la herramienta en el ámbito académico y recomendamos encarecidamente que no se utilice para tomar medidas disciplinarias”. Explicó que el riesgo de falsos positivos es demasiado alto para los estudiantes, porque envían un pequeño número de ensayos a lo largo de un curso escolar, pero el volumen de trabajo producido por un escritor profesional significa que el algoritmo tiene más posibilidades de acertar. Sin embargo, en una de las entradas del blog de la empresa, Originality afirma que la detección por IA es “esencial” en el aula.
También hay dudas sobre cómo se presentan los resultados. Muchos de los redactores con los que habló Gizmodo dijeron que sus clientes no entienden las limitaciones de los detectores de IA o incluso lo que dicen realmente los resultados. Es fácil entender por qué alguien puede estar confundido: Pasé uno de mis propios artículos por el detector de IA de Originality. Los resultados fueron “70% original” y “30% IA”. Usted podría asumir que Originality determinó que el 30% del artículo fue escrito por un chatbot, sobre todo porque la herramienta destaca frases específicas que considera sospechosas. Sin embargo, en realidad es una puntuación de confianza; Originality está seguro en un 70% de que un humano escribió el texto. (Lo he escrito todo yo, pero tendrá que creerme).
Luego está la forma en que la empresa describe su algoritmo. Según Originality, la última versión de su herramienta tiene una tasa de precisión del 98,8%, pero Originality también dice que su tasa de falsos positivos es del 2,8%. Si tiene la calculadora a mano, se dará cuenta de que suma más del 100%. Gillham explica que estas cifras proceden de dos pruebas diferentes.
En defensa de Originality, la empresa proporciona una explicación detallada de cómo se debe interpretar la información justo debajo de los resultados, junto con enlaces a descripciones más detalladas sobre cómo utilizar la herramienta. Parece que no es suficiente, sin embargo. Gizmodo habló con varios escritores que dijeron que tenían que discutir con los clientes que no entendían la herramienta de originalidad.
Originality ha publicado numerosas entradas de blog y estudios sobre la precisión y otras cuestiones, incluido el conjunto de datos y la metodología que utilizó para desarrollar y medir sus propias herramientas. Sin embargo, Weber-Wulff, de la Universidad de Ciencias Aplicadas de Ingeniería y Economía de Berlín, dijo que los detalles sobre la metodología de Originality “no estaban tan claros”.
Varios expertos con los que habló Gizmodo, como Juhasz de Undetectable AI, dijeron que les preocupaba que las empresas del sector de la detección por IA inflaran sus índices de precisión y engañaran a sus clientes. Los representantes de GPTZero y Originality AI afirmaron que sus empresas están comprometidas con la apertura y la transparencia. Ambas empresas afirman que hacen todo lo posible por ofrecer información clara sobre las limitaciones y deficiencias de sus herramientas.
Podría parecer que estar en contra de los detectores de IA es estar del lado de los escritores, pero según Gillham es justo lo contrario. “Si no hay detectores, aumenta la competencia por los puestos de redactor y, en consecuencia, bajan los sueldos”, afirma. “Los detectores son la diferencia entre que un escritor pueda hacer su trabajo, enviar contenidos y ser remunerado por ello, y que alguien se limite a copiar y pegar algo de ChatGPT”.
Por otro lado, todos los redactores con los que habló Gizmodo dijeron que los detectores de IA son el problema.
Traducido de Gizmodo By Thomas Germain
