• 2 min de lectura
KAIST dice que este método de ajuste fino hace la IA personalizada más segura
Investigadores de KAIST desarrollaron un marco de ajuste fino que preservó el rendimiento del modelo personalizado mientras reducía las respuestas dañinas a aproximadamente un 8% en las pruebas.
Imagen: TechXplore
La IA personalizada pretende hacer los modelos más útiles al adaptarlos a los documentos y datos de una persona o empresa. El problema es que este tipo de ajuste fino puede debilitar las reglas de seguridad integradas en un modelo. Investigadores de KAIST dicen haber encontrado una solución a ese problema.
Un equipo dirigido por Changick Kim, profesor en la Escuela de Ingeniería Eléctrica de KAIST, desarrolló un marco seguro de ajuste fino llamado Buffer-and-Reinforce. El trabajo estuvo liderado por Seokil Ham, estudiante de doctorado y primer autor del artículo, que fue seleccionado para una presentación Spotlight en ICML 2026.
La idea central es inusual. Los investigadores se basaron en hallazgos anteriores que indican que ajustar finamente un modelo de lenguaje grande mientras se encuentra en un estado temporalmente 'jailbroken' no daña significativamente la seguridad, aunque normalmente se esperaría que un modelo 'jailbroken' respondiera a peticiones peligrosas que debería rechazar.
El sistema de KAIST usa ese estado solo durante el entrenamiento, no en un servicio desplegado. Añade un módulo de amortiguamiento temporal llamado BufferLoRA mientras el modelo se ajusta con los datos del usuario, y luego lo elimina después del entrenamiento. Según el equipo, esa capa de amortiguamiento permite que el modelo aprenda la nueva tarea mientras reduce la influencia de la información dañina en el modelo base.
Una segunda etapa añade entonces ReinforceLoRA, un módulo de refuerzo de seguridad diseñado para restaurar y fortalecer las salvaguardias. El equipo dijo que usó la descomposición QR para separar distintos tipos de información y mantener los componentes necesarios para las nuevas capacidades mientras refuerza selectivamente la seguridad.
Recomendado
El laboratorio de Mira Murati presenta Inkling, un modelo abierto de 975 000 millones de p
En los experimentos, los investigadores probaron el sistema en un caso extremo donde todos los datos del usuario consistían en preguntas y respuestas dañinas. Después del ajuste fino, la tasa de respuestas dañinas del modelo fue de aproximadamente un 8%, frente a aproximadamente un 18% para el modelo original que no había sido ajustado.
El equipo dijo que el marco también ofreció un sólido rendimiento personalizado y una seguridad de vanguardia sin requerir datos de seguridad adicionales durante el ajuste fino con datos del usuario ni aumentar significativamente el coste computacional.
«Esta investigación proporciona una tecnología fundamental clave que permite a cualquiera construir IA personalizada con sus propios datos y usarla de forma más segura», dijo Kim.
El artículo, “Jailbreak to Protect: Buffering and Reinforcing via Temporary Jailbreaking for Safe Fine-Tuning in Large Language Models,” está disponible en arXiv con DOI 10.48550/arxiv.2605.24550.
AI Editor
Ava covers the rapidly evolving world of artificial intelligence, from foundational models and research labs to the real-world economics of intelligence. With a background in computational linguistics, she cuts through the hype to find out what actually works. She firmly believes that benchmarks are just marketing until reproduced in the wild.
vía TechXplore
