La nueva frontera del aprendizaje automático: eliminar información de un modelo sin tener que entrenarlo de nuevo desde cero.
La inteligencia artificial ha aprendido a reconocer imágenes, generar textos, detectar amenazas y tomar decisiones a partir de enormes cantidades de datos. Sin embargo, existe una pregunta que cada vez adquiere mayor importancia: ¿qué ocurre cuando necesitamos que un modelo deje de utilizar una información con la que ya ha sido entrenado?
Imaginemos que una empresa utiliza un sistema de inteligencia artificial para analizar solicitudes de clientes. Durante el entrenamiento, el modelo procesa datos personales de miles de personas. Tiempo después, uno de esos clientes solicita la supresión de su información. Borrar su registro de la base de datos puede ser necesario, pero no garantiza que su influencia haya desaparecido de los parámetros del modelo.
Aquí entra en juego el Machine Unlearning, una de las líneas de investigación más interesantes en la intersección entre inteligencia artificial, privacidad y seguridad informática.
1. ¿Qué es el Machine Unlearning?
El Machine Unlearning, o aprendizaje automático con capacidad de olvido, engloba las técnicas que buscan eliminar o reducir la influencia de determinados datos de entrenamiento sobre un modelo de aprendizaje automático ya construido.
En el aprendizaje tradicional, el modelo aprende patrones a partir de un conjunto de datos. Durante ese proceso, sus parámetros se ajustan para minimizar una función de pérdida y mejorar su capacidad de predicción.
De forma simplificada, el entrenamiento puede expresarse así:
[
\theta^*=\arg\min_{\theta}\mathcal{L}(\theta;D)
]
Donde:
- (\theta) representa los parámetros aprendidos por el modelo.
- (D) es el conjunto de datos de entrenamiento.
- (\mathcal{L}) es la función de pérdida.
- (\theta^*) representa los parámetros resultantes del proceso de optimización.
Si queremos eliminar un subconjunto de datos (D_f), el objetivo sería obtener un modelo que se comporte de forma similar al que habríamos entrenado utilizando únicamente los datos restantes:
[
\theta_{-f}^{*}=\arg\min_{\theta}\mathcal{L}(\theta;D\setminus D_f)
]
La diferencia es importante: no basta con borrar los datos originales. También debemos estudiar si el modelo conserva información derivada de ellos.
El objetivo ideal es conseguir que el modelo actualizado se comporte de manera equivalente al modelo de referencia entrenado sin los datos que deben olvidarse. En la práctica, alcanzar esa equivalencia depende de la técnica utilizada y de las garantías que se puedan demostrar.
2. ¿Por qué no basta con borrar los datos?
Un modelo entrenado no suele almacenar los datos exclusivamente como registros que puedan localizarse y eliminarse mediante una consulta SQL. El aprendizaje modifica sus parámetros internos y genera representaciones estadísticas de los ejemplos procesados.
Por ejemplo, un modelo de lenguaje puede haber aprendido información relacionada con una persona a partir de documentos, conversaciones o registros incluidos en su entrenamiento. Aunque se elimine el documento original, no existe una operación universal que permita localizar y borrar con precisión todos los parámetros afectados.
Conviene diferenciar tres operaciones:
- Eliminación de datos: se suprimen los registros de una base de datos, un repositorio o un sistema de almacenamiento.
- Filtrado de respuestas: se impide que el modelo genere determinadas salidas mediante reglas, filtros o mecanismos de control.
- Machine Unlearning: se modifica el modelo para reducir o eliminar la influencia de los datos seleccionados sobre su comportamiento.
Estas medidas pueden complementarse, pero no son equivalentes. Un filtro puede impedir que se muestre una información sin eliminar su influencia sobre el modelo. Del mismo modo, borrar un documento no garantiza que desaparezcan sus copias, sus derivados o las versiones del modelo entrenadas con él.
3. Principales técnicas de Machine Unlearning
No existe un único método válido para todos los modelos y aplicaciones. La elección depende del tamaño del sistema, del tipo de datos, del coste computacional y del nivel de garantía requerido.
3.1. Reentrenamiento completo
Es la referencia conceptual más directa. Se elimina el subconjunto de datos solicitado y se vuelve a entrenar el modelo desde cero con los datos restantes.
Ventajas:
- Permite construir un modelo de referencia sin los datos excluidos.
- Facilita la comparación con otras técnicas de olvido.
- Evita depender de un procedimiento aproximado de actualización del modelo.
Inconvenientes:
- Puede exigir una cantidad considerable de tiempo, memoria y capacidad de cálculo.
- Requiere conservar los datos de entrenamiento restantes y disponer de un proceso reproducible.
- Puede resultar poco práctico cuando hay muchas solicitudes de supresión.
El reentrenamiento tampoco resuelve automáticamente todos los problemas: es necesario identificar correctamente los datos afectados, revisar las copias y comprobar que el nuevo modelo no se ha entrenado con ellos indirectamente.
3.2. Machine Unlearning aproximado
En lugar de repetir todo el entrenamiento, se aplican modificaciones selectivas al modelo existente. Estas pueden actuar sobre los parámetros, las actualizaciones del optimizador, las representaciones internas o determinadas partes de la arquitectura.
El propósito es reducir el efecto de los datos seleccionados con un coste menor que el reentrenamiento completo.
Por ejemplo, una técnica puede modificar los parámetros de una red neuronal para reducir su dependencia de determinados ejemplos. Otra puede ajustar el comportamiento del modelo utilizando datos de retención y de olvido.
La principal dificultad consiste en demostrar que la información se ha eliminado suficientemente sin perjudicar el rendimiento sobre los datos que deben conservarse.
Un modelo que deja de responder correctamente a una pregunta no necesariamente ha olvidado la información asociada. Puede estar ocultándola, haber perdido capacidad general o seguir conservándola en una forma que no se manifiesta en una prueba concreta.
3.3. Métodos basados en particiones: SISA
Una estrategia interesante consiste en diseñar el sistema desde el principio para facilitar futuras solicitudes de olvido.
SISA significa Sharded, Isolated, Sliced and Aggregated. La idea general es dividir los datos en particiones, entrenar modelos o componentes aislados sobre ellas y combinar sus resultados.
Si se solicita la eliminación de un ejemplo, puede ser suficiente con volver a entrenar la partición afectada y actualizar la combinación final, en lugar de reconstruir todo el sistema.
Este enfoque introduce costes adicionales durante el diseño, el almacenamiento y el entrenamiento inicial, pero puede reducir el trabajo necesario ante determinadas solicitudes posteriores.
Su eficacia depende de cómo se distribuyan los datos y de la arquitectura empleada.
3.4. Eliminación certificada
Los métodos de certified unlearning buscan ofrecer garantías matemáticas sobre el resultado del proceso de olvido.
En vez de afirmar únicamente que el modelo parece haber olvidado cierta información, se intenta demostrar que la distribución del modelo actualizado es suficientemente próxima a la que produciría un procedimiento de referencia sin los datos excluidos, de acuerdo con unas condiciones formales.
Estas garantías dependen de las hipótesis del método, del algoritmo de entrenamiento y de la arquitectura. No deben interpretarse como una prueba universal de que toda información derivada de un dato ha desaparecido de cualquier sistema relacionado.
4. Machine Unlearning y modelos generativos: el gran desafío
La aparición de los grandes modelos de lenguaje, los sistemas de generación de imágenes y los asistentes inteligentes ha ampliado el interés por el olvido selectivo.
En estos sistemas pueden plantearse solicitudes muy diferentes:
- Eliminar la influencia de datos personales utilizados durante el entrenamiento.
- Reducir la reproducción de contenido protegido por derechos de autor.
- Corregir información obsoleta o incorrecta.
- Mitigar los efectos de datos maliciosos o contaminados.
- Limitar la reproducción de determinados contenidos sensibles.
Sin embargo, olvidar un dato, olvidar un concepto y evitar una respuesta son objetivos técnicamente distintos.
Supongamos que un modelo ha sido entrenado con varios documentos que incluyen datos personales. Una actualización puede reducir su capacidad para reproducir una cadena concreta de texto, pero eso no demuestra que haya eliminado toda la información relacionada con esa persona.
Además, los modelos generativos pueden incorporar información a través de múltiples documentos, fuentes redundantes, ajustes posteriores o conjuntos de datos sintéticos. Identificar todas las contribuciones de un dato resulta especialmente complejo.
En los modelos de lenguaje también hay que distinguir entre modificar los pesos del modelo y eliminar la información de otros componentes, como bases de datos vectoriales, documentos recuperados mediante RAG, historiales de conversación, sistemas de memoria externa o registros de entrenamiento posteriores.
Aplicar Machine Unlearning a uno de estos componentes no garantiza que la información desaparezca de los demás.
5. Relación con el RGPD y el derecho de supresión
El Machine Unlearning tiene una conexión directa con la privacidad, aunque es importante evitar una equivalencia jurídica automática.
El artículo 17 del Reglamento General de Protección de Datos (RGPD) reconoce el derecho de supresión de los datos personales cuando concurren las condiciones previstas en la norma y contempla determinadas excepciones.
Por su parte, el artículo 25 establece obligaciones relacionadas con la protección de datos desde el diseño y por defecto, mientras que el artículo 32 aborda la seguridad del tratamiento.
Estas disposiciones son relevantes al diseñar sistemas de inteligencia artificial que utilizan datos personales. Sin embargo, el RGPD no impone una técnica universal denominada Machine Unlearning ni establece que todas las solicitudes deban resolverse modificando los parámetros de un modelo.
La obligación concreta debe analizarse atendiendo a factores como la función del responsable, la base jurídica, las condiciones de aplicación del derecho, la información que se conserva y las posibles excepciones legales.
Desde una perspectiva técnica, una organización que recibe una solicitud de supresión podría necesitar:
- Identificar los datos personales afectados y sus fuentes.
- Localizar las copias, los conjuntos de entrenamiento y los sistemas derivados relevantes.
- Evaluar si los datos influyeron en un modelo ya entrenado.
- Determinar si procede eliminar, actualizar o reconstruir el modelo o alguno de sus componentes.
- Verificar el resultado y documentar las medidas adoptadas.
La viabilidad de cada medida dependerá de la arquitectura y de las circunstancias del tratamiento. La supresión de datos, la actualización de los modelos y la conservación de evidencias deben coordinarse con los requisitos de seguridad y las obligaciones legales aplicables.
6. ¿Cómo comprobar que una IA ha olvidado realmente?
Esta es una de las cuestiones más difíciles del Machine Unlearning. Ejecutar un algoritmo de olvido no constituye, por sí solo, una demostración de que haya funcionado correctamente.
Una evaluación rigurosa debería contemplar al menos cuatro dimensiones.
1. Eficacia del olvido. Se comprueba si el modelo actualizado ha reducido la influencia de los ejemplos seleccionados, utilizando pruebas diseñadas para el tipo de información que se quiere eliminar.
2. Conservación de la utilidad. Se mide si el sistema sigue funcionando correctamente con los datos que deben mantenerse. Una caída generalizada del rendimiento podría indicar que se ha eliminado demasiada información o que el procedimiento ha deteriorado el modelo.
3. Privacidad residual. Se estudia si persisten señales que permitan inferir si un registro concreto formó parte del entrenamiento. Para ello pueden emplearse técnicas de inferencia de pertenencia, entre otras pruebas de privacidad.
4. Coste y reproducibilidad. Se registran el tiempo de ejecución, los recursos utilizados, las versiones del modelo, los datos afectados y las condiciones de evaluación.
Una referencia habitual es comparar el modelo sometido a olvido con otro entrenado desde cero sin los datos seleccionados. Esta comparación debe realizarse tanto sobre los datos que se quieren olvidar como sobre los que se desean conservar.
No obstante, la evaluación debe adaptarse al escenario: un resultado satisfactorio en una clasificación de imágenes no demuestra automáticamente que el mismo método funcione en un gran modelo de lenguaje.
La literatura reciente también advierte de que ciertas métricas pueden ofrecer una impresión engañosa de éxito si no se utilizan conjuntos de prueba adecuados o si no se examina la influencia de los ejemplos más relevantes para el modelo.
7. Riesgos y limitaciones
Aunque el Machine Unlearning ofrece oportunidades importantes, todavía existen retos técnicos y operativos.
- Olvido incompleto: el modelo puede conservar parte de la influencia de los datos excluidos.
- Pérdida de utilidad: las modificaciones pueden deteriorar tareas que deberían seguir funcionando correctamente.
- Verificación insuficiente: las pruebas disponibles pueden no detectar todas las formas de retención de información.
- Dependencias externas: la información puede seguir presente en copias, índices vectoriales, registros, adaptadores o versiones anteriores.
- Ataques contra el proceso: una implementación defectuosa puede ser manipulada para aparentar que ha olvidado información sin hacerlo de manera efectiva.
- Costes acumulados: múltiples solicitudes de olvido pueden generar gastos importantes de cálculo, almacenamiento y auditoría.
También existe un riesgo de gobernanza: una organización podría presentar un procedimiento como garantía de supresión completa cuando las evidencias solo demuestran una reducción de determinadas respuestas.
Por ello, las afirmaciones sobre el olvido deben especificar qué información se ha tratado de eliminar, qué componentes se han actualizado, qué pruebas se han realizado y cuáles son las limitaciones conocidas.
8. Ejemplo práctico: un modelo de clasificación de correos
Imaginemos una empresa que dispone de un clasificador de correos electrónicos entrenado para distinguir entre mensajes legítimos y phishing.
El conjunto de entrenamiento contiene miles de mensajes y uno de ellos incluye información personal que debe excluirse del aprendizaje.
Un posible experimento controlado seguiría estos pasos:
- Entrenar un modelo inicial con el conjunto completo.
- Identificar el mensaje que se quiere excluir.
- Crear un conjunto de referencia sin ese mensaje y entrenar un segundo modelo.
- Aplicar un método de Machine Unlearning al modelo inicial.
- Comparar ambos modelos mediante pruebas de olvido, precisión, falsos positivos y falsos negativos.
- Analizar si el modelo actualizado se aproxima al modelo de referencia y conserva su capacidad de detectar amenazas.
La evaluación debe incluir ejemplos relacionados con el mensaje excluido, así como mensajes legítimos y maliciosos independientes.
Si el modelo actualizado mantiene un rendimiento general adecuado y sus resultados se aproximan a los del modelo de referencia, se obtiene evidencia favorable. Sin embargo, para sostener una afirmación sólida de olvido sería necesario añadir pruebas de privacidad y analizar las garantías que ofrece el método.
Este ejemplo ilustra una idea fundamental: el objetivo no consiste en destruir el conocimiento general sobre el phishing, sino en reducir la influencia del dato concreto que debe excluirse.
9. El futuro del Machine Unlearning
El desarrollo de esta disciplina apunta hacia sistemas de inteligencia artificial diseñados para gestionar todo el ciclo de vida de los datos, desde su incorporación hasta su eliminación o actualización.
Entre las líneas de investigación más relevantes se encuentran:
- Aprendizaje con capacidad de olvido desde el diseño: arquitecturas que faciliten futuras solicitudes de supresión.
- Auditoría verificable: mecanismos que permitan evaluar y documentar el resultado del proceso.
- Privacidad y seguridad: técnicas para reducir la información residual y resistir intentos de manipulación.
- Machine Unlearning en modelos generativos: procedimientos adaptados a grandes modelos de lenguaje y sistemas multimodales.
- Aprendizaje federado: eliminación de contribuciones de determinados participantes sin reconstruir necesariamente todo el sistema distribuido.
- Estandarización de métricas: criterios comparables para medir eficacia, coste, utilidad y garantías de privacidad.
La dirección más prometedora no consiste únicamente en desarrollar algoritmos capaces de olvidar, sino en construir sistemas en los que el olvido sea medible, auditable y compatible con los requisitos de cada aplicación.
Conclusión
El Machine Unlearning aborda un problema fundamental de la inteligencia artificial moderna: cómo retirar la influencia de determinados datos de un modelo que ya ha aprendido a partir de ellos.
Su relevancia va más allá de la eficiencia computacional. También afecta a la privacidad, la seguridad, la gobernanza de los datos y la confianza en los sistemas inteligentes.
Aun así, conviene mantener una perspectiva realista. Borrar información de un conjunto de datos no equivale a eliminar su influencia de un modelo, y conseguir que un modelo deje de producir una respuesta no demuestra necesariamente que haya olvidado la información que la originaba.
El reto consiste en combinar algoritmos eficaces, evaluaciones rigurosas, trazabilidad y garantías adecuadas. En un escenario en el que los modelos de inteligencia artificial se actualizan continuamente y procesan grandes volúmenes de información, la capacidad de aprender debe ir acompañada de procedimientos fiables para gestionar lo aprendido y, cuando corresponda, dejar de utilizarlo.
La próxima generación de sistemas inteligentes no solo tendrá que demostrar qué sabe hacer, sino también qué información puede dejar de utilizar y con qué garantías.