{"id":1177,"date":"2023-10-31T21:34:12","date_gmt":"2023-10-31T20:34:12","guid":{"rendered":"https:\/\/safecreative.org\/arena\/tips\/es\/?p=1177"},"modified":"2025-08-21T12:52:54","modified_gmt":"2025-08-21T10:52:54","slug":"nightshade-envenenamiento-de-datos-contra-las-ia","status":"publish","type":"post","link":"https:\/\/www.safecreative.org\/tips\/es\/nightshade-envenenamiento-de-datos-contra-las-ia\/","title":{"rendered":"Nightshade, envenenamiento de datos contra las IA"},"content":{"rendered":"

Los ataques de envenenamiento de datos<\/strong> son t\u00e9cnicas para corromper inteligencias artificiales. Consisten en alterar los datos con los que se entrenan las IA de aprendizaje autom\u00e1tico, causando comportamientos inesperados.<\/p>\n

Estas t\u00e9cnicas se centran sobre todo en atacar a modelos generativos de texto a imagen con grandes conjuntos de datos de entrenamiento. Un argumento en contra de estas t\u00e9cnicas es que se supone que corromper el modelo requerir\u00eda de millones de muestras de datos envenenadas, pero parece ser que \u00e9ste no es necesariamente el caso.<\/p>\n

\u00bfQu\u00e9 es Nightshade?<\/h2>\n

Nightshade<\/a> es una herramienta de envenenamiento de datos desarrollada por la Universidad de Chicago que requiere menos de 100 muestras para corromper un modelo. Adem\u00e1s, al atacar un concepto, los efectos del envenenamiento pueden extenderse a conceptos relacionados con \u00e9ste.<\/p>\n

Consiste en envenenar las im\u00e1genes con cambios muy sutiles, que afectan a las IA pero no a las personas que ven las im\u00e1genes en Internet. Una imagen de un castillo generada por Nightshade sigue pareciendo un castillo para un humano, pero hay ligeras alteraciones a nivel de p\u00edxeles que ense\u00f1an al modelo a generar cosas que no son castillos.<\/p>\n

Ejemplos<\/h3>\n

Algunos de los efectos que se muestran son im\u00e1genes donde al modelo se le pide un perro, y conforme avanza el envenenamiento de datos los perros se desdibujan cada vez m\u00e1s, convirti\u00e9ndose poco a poco en gatos. Lo mismo sucede con coches que se van pareciendo cada vez m\u00e1s a vacas. El modelo se acaba rompiendo tambi\u00e9n a veces de formas impredecibles, llevando a im\u00e1genes indescifrables.<\/p>\n

\""Me
\u00abMe he dado cuenta de que el resultado m\u00e1s sorprendente del paper no estaba incluido en el art\u00edculo. Pod\u00e9is leer los detalles en el paper (fig17), y voy a dejar aqu\u00ed la imagen.\u00bb La imagen muestra c\u00f3mo la IA genera una persona, un cuadro o una caracola seg\u00fan el n\u00famero de conceptos envenenados.<\/figcaption><\/figure>\n

Una ofensiva en defensa de los derechos de autor<\/h2>\n

Existe en estos momentos una asimetr\u00eda de poder significativa<\/strong> entre las empresas de IA que entrenan modelos y los propietarios de contenido, que intentan proteger su propiedad intelectual. Las medidas actuales, como las listas de exclusi\u00f3n voluntaria y las directivas \u00abno rastrear\u00bb, son insuficientes y no se respetan universalmente.<\/p>\n

Nightshade puede servir como un mecanismo de disuasi\u00f3n efectivo contra el incumplimiento de las directivas de \u00abno rastreo\u00bb.<\/strong><\/p>\n

\n
\n
\n

El objetivo es que esta clase de ataques motiven a los entrenadores de modelos y a los creadores de contenidos a negociar, para llegar a acuerdos de licenciamiento transparentes y justos.<\/p>\n<\/div>\n<\/div>\n<\/div>\n

C\u00f3mo utilizar Nightshade<\/h2>\n

Todav\u00eda no hay una herramienta disponible para generar estas im\u00e1genes envenenadas, pero est\u00e1n trabajando en ello. Mientras tanto, hay otras alternativas disponibles como ‘NO AI’ y ‘ArtShield’.<\/a><\/p>\n

\"\"
\u00abEstamos considerando c\u00f3mo construir\/lanzar una potencial herramienta Nightshade. Podr\u00eda estar integrada dentro de Glaze\/Webglaze como una mejora opcional. Tambi\u00e9n podr\u00edamos, si el tiempo lo permite, lanzar una referencia para implementaciones como c\u00f3digo abierto.\u00bb<\/figcaption><\/figure>\n

As\u00ed es como funciona el modelo:<\/p>\n

\"\"<\/p>\n

    \n
  1. Se generan los datos envenenados para corromper el modelo y se suben a Internet.<\/li>\n
  2. El entrenador usa im\u00e1genes de Internet de forma indiscriminada para componer su modelo de-texto-a-imagen, que ahora va envenenado.<\/li>\n
  3. El modelo genera im\u00e1genes equivocadas.<\/li>\n<\/ol>\n

    Fuentes:<\/p>\n