El verano de 2023 no fue un buen momento para los detectores de inteligencia artificial (IA). OpenAI, en una decisión que tuvo gran repercusión, retiró su detector alegando que no era eficaz. Un estudio del Washington Post reveló graves lagunas en la eficacia de los sistemas de detección de IA y otro estudio similar, realizado por investigadores académicos, halló problemas similares. Las cosas no pintaban mucho mejor en el verano de 2024. Más tarde, algunos estudios revelaron que la detección por IA no funcionaba sistemáticamente y, peor aún, que los humanos no eran mucho mejores que los bots.
Sin embargo, en los últimos meses, los titulares han sido algo más alentadores. Un artículo reciente de David Gewirtz en ZDNet puso de manifiesto que tres detectores de IA eran precisos en todos los test que realizó. Un análisis anterior realizado por Chandra Steele en PC Mag había arrojado resultados similares. En su perfil de LinkedIn, Anna Mills, detractora acérrima de los detectores de IA, se ha hecho eco recientemente de esta opinión. Tras revisar la bibliografía más reciente, Mills ha decidido que estos detectores tienen cabida en el proceso. Entonces, ¿están mejorando las herramientas de detección de IA? Si es así, ¿hasta qué punto podemos confiar en ellas? Las respuestas no son sencillas.
Primero, las buenas noticias
La buena noticia es relativamente simple: la detección de la escritura con IA está mejorando. El grado de mejora es objeto de debate. Sin embargo, no hay demasiadas dudas de que así es. Pero este resultado debería ser el esperado. Las herramientas de detección de IA se perfeccionan y se entrenan constantemente y no son pocos los contenidos generados por humanos y por IA para alimentar estos sistemas.
Aunque hay debates sobre si la IA generativa se estancará y cuándo, los detectores de IA podrían no estar sujetos a esos problemas. Por ejemplo, una de las dificultades de los sistemas de IA generativa es encontrar nuevos contenidos con los que entrenarse. Los detectores de IA, sin embargo, disponen de una fuente casi ilimitada de contenidos generados por IA con los que entrenarse. Así, parece que estos detectores están realmente mejorando. Aun así, puede que esto no sea suficiente para tranquilizar a la gente.
Las malas noticias
Las malas noticias son múltiples. En primer lugar, hay una gran disparidad entre los varios sistemas. Si nos fijamos en el artículo de Gewirtz, tres herramientas identificaron con éxito los cinco trabajos. Sin embargo, solo tres diferentes identificaron correctamente dos de ellos. Aunque existen sistemas aceptables, también hay mucho material de pésima calidad. Los docentes y otras personas que busquen herramientas de detección de IA deben ser conscientes de ello y mantenerse al día de los cambios que se produzcan a lo largo del tiempo. Se trata de un ámbito que evoluciona rápidamente.
En segundo lugar, incluso los mejores sistemas cometen errores, como, por ejemplo, falsos positivos. Dado que estos métodos son cajas negras y que los humanos no pueden verificar ni refutar los resultados, no es recomendable confiar únicamente en ellos. Por último, se trata del juego del gato y el ratón. Varias herramientas pretenden «reescribir» o «humanizar» el texto generado por IA. Asimismo, como vimos anteriormente, la edición humana de textos de IA puede seguir siendo difícil de detectar.
En muchos sentidos, volvemos a estar en 2005. Por aquel entonces, la detección del plagio en las escuelas era todavía relativamente nueva. Los alumnos pasaban mucho tiempo tratando de encontrar formas de esquivar o burlar los sistemas. A medida que las herramientas de detección de plagio encontraban nuevos caminos, reparaban sus sistemas. Sin embargo, eso puede no ser tan práctico con la detección de IA generativa debido a la naturaleza de «caja negra» de los sistemas. En resumen, aunque el progreso de los detectores de IA es sorprendente, también hay razones para ser escépticos al respecto.
Una estructura con fisuras
Entonces, ¿dónde queda la detección de IA? Es una pregunta difícil, sobre todo porque su respuesta puede cambiar mañana mismo. Se trata de un campo en transformación. Sin embargo, hay tres sencillos factores que, con toda probabilidad, no cambiarán, y que no se pueden ignorar:
- Los detectores de IA nunca serán perfectos.
- Siempre serán cajas negras que los humanos no podrán verificar.
- Los malos resultados, en particular los falsos positivos, son siempre un riesgo.
En su publicación, Mills lo reconocía. Habló del enfoque de la «estructura con fisuras» (en inglés, utilizó la metáfora del «queso suizo», con agujeros visibles en su interior). Mills citó a Philip Dawson como fuente de inspiración. Dawson, por su parte, atribuye la idea a Kiata Rundle (y a sus asesores de doctorado Guy Curtis y Joseph Clare). La idea es sencilla: cualquier capa o enfoque tendrá agujeros o fisuras, incluidos los detectores de IA. Se deben adoptar múltiples planteamientos en lugar de confiar en un solo estrato. Esto incluye una variedad de opciones, como elaborar tareas difíciles de resolver para la IA, hacer que se trabaje más en un entorno controlado (como el aula) y hacer preguntas a los alumnos después de que hayan entregado una tarea.
Cada estrato que se puede añadir previene y detecta el plagio de IA, a la vez que reduce los falsos positivos y minimiza el impacto negativo a los estudiantes honestos. Por tanto, la pregunta no es: «¿pueden los profesores confiar en los detectores de IA?». En su lugar, debería ser: «¿deberían ser los detectores de IA uno de esos estratos?». En mi opinión, tiene sentido. Pero solo si los profesores comprenden las limitaciones.
Conclusión
Quienes están en contra del uso de softwares de detección de IA guardan un simple recelo: les preocupa que los profesores tomen decisiones basándose únicamente en el detector, y que esto vaya en detrimento de alumnos que son objeto de falsos positivos. Pero esta suposición no es gratuita. Hay frecuentes usos indebidos hasta con los softwares de detección de plagio más convencionales. Incluso cuando los profesores pueden examinar rápidamente los resultados y hacer una determinación humana, muchos no lo hacen; de hecho, ha habido numerosos casos de profesores y editores que han confiado ciegamente en porcentajes de concordancia y otros indicadores para definir el plagio.
Es fácil suponer que los profesores tenderán aún más a hacer un mal uso de un sistema que requiere más revisión humana. Y no ayuda el hecho de que veamos titulares como este, en el que las escuelas se enfrentan a represalias tanto dentro como fuera de los tribunales por acusaciones dudosas de IA. En general, los docentes ya están lo suficientemente sobrecargados y mal pagados. Ya tienen bastante trabajo con todo lo que se les pide, y ahora se les suman todos estos problemas derivados de la IA. Es extremadamente injusto. No puedo culpar a los profesores por tener que lidiar con ello.
Dicho esto, si hay que elegir entre utilizar únicamente detectores de IA o no utilizarlos en absoluto, preferiría no utilizarlos en absoluto. Aunque están mejorando, eso puede cambiar de la noche a la mañana, y los riesgos son demasiado grandes. Sin embargo, tienen cabida, sin duda, como parte de una estrategia matizada y estratificada para reducir el uso no permitido de la IA. El reto consiste en saber si existe la voluntad y la capacidad de aplicar dicha estrategia.
Al igual que la detección de plagio tradicional, la detección de IA nunca se resolverá de forma definitiva. El uso inadecuado de estas herramientas puede perjudicar y perjudicará a los alumnos. Sin embargo, matizar es difícil y, para algunos, puede resultar poco práctico. Esa es la verdadera realidad en muchas aulas de todo el mundo.
