SyMerge merges AI models for higher shared performance

SKKU y NAVER se asocian en SyMerge

La Universidad Sungkyunkwan (SKKU) ha anunciado SyMerge, un marco para la fusión de modelos desarrollado por un equipo de investigación en inteligencia artificial de la Facultad de Informática y Computación. El trabajo fue dirigido por el profesor Sung-Eun Hong junto con los investigadores Ae-cheon Jeong y Seung-hwan Lee, en colaboración con NAVER AI Lab (Dr. Dong-yoon Han).

El marco está diseñado para permitir que modelos de IA entrenados de forma independiente intercambien capacidades y mejoren el rendimiento general cuando se fusionan en un solo sistema. La investigación ha sido aceptada para presentación en la 43.ª Conferencia Internacional sobre Aprendizaje Automático (ICML 2026).

De la interferencia a la sinergia

Los métodos tradicionales de fusión de modelos se topan con un límite cuando se usan para construir sistemas multitarea. Cuando se combinan modelos especializados en tareas diferentes, sus conocimientos a menudo chocan, provocando “interferencia de tareas”: una caída pronunciada del rendimiento en comparación con los modelos originales.

El trabajo académico previo ha intentado en gran medida minimizar o prevenir esta interferencia. El equipo de Hong, en cambio, se centró en la sinergia activa, buscando que los modelos fusionados se complementen entre sí en lugar de limitarse a evitar conflictos.

Recomendado

El laboratorio de Mira Murati presenta Inkling, un modelo abierto de 975 000 millones de p

La adaptación de una sola capa como clave

Los investigadores informan que una capa interna específica juega un papel desproporcionado: la capa específica de la tarea. Coordinando y optimizando la proporción de fusión de solo esta capa entre las muchas que hay dentro de cada modelo, descubrieron que podían maximizar la compatibilidad entre distintos modelos.

El equipo describe el efecto sobre el rendimiento como alcanzable mediante la adaptación de una sola capa central, en lugar de realizar un reentrenamiento amplio y costoso en toda la red. Este enfoque ataca directamente el punto donde reside el conocimiento específico de la tarea, que es donde suele manifestarse la interferencia.

Expert-Guided Self-Labeling en datos no etiquetados

SyMerge introduce un método llamado “Expert-Guided Self-Labeling”. Cuando el sistema encuentra datos nuevos y no etiquetados, se entrena a sí mismo utilizando las predicciones de los modelos existentes como expertos.

Esta guía permite que el modelo fusionado maneje datos corruptos o alterados mientras mantiene un rendimiento estable en condiciones adversas. El método recicla eficazmente el conocimiento de los modelos expertos en el sistema fusionado sin requerir conjuntos de datos etiquetados.

Fusión de modelos con orígenes de preentrenamiento distintos

Una limitación técnica importante de enfoques de fusión anteriores era que, por lo general, requerían que los modelos provinieran del mismo backbone preentrenado. Según el equipo de SKKU, SyMerge rompe esta restricción.

Informan que SyMerge puede integrar con éxito arquitecturas con orígenes de preentrenamiento completamente diferentes, algo que anteriormente se consideraba imposible. Esto abre la puerta a combinar modelos especialistas que fueron entrenados de forma aislada sobre fundamentos distintos.

Estado del arte en visión y PLN

Los resultados experimentales citados por los investigadores muestran que SyMerge alcanza un rendimiento de estado del arte (SOTA) en tres pilares centrales de la IA:

• Clasificación de imágenes
• Predicción densa basada en visión por computador
• Procesamiento del lenguaje natural (PLN)

Estos resultados se presentan como evidencia de que el marco es versátil y no está limitado a una sola modalidad o tipo de tarea.

Reduciendo los costes de cómputo para sistemas multitarea

Hong enmarca el trabajo como un cambio de paradigma en la forma de ver la fusión de modelos:

“This study represents a major milestone that shifts the paradigm of AI model merging from 'interference prevention' to 'mutual synergy creation,'” Hong said.

Hong enfatizó además las posibles ganancias de eficiencia:

“By drastically reducing the massive computing costs associated with retraining AI, this technology will greatly contribute to building lightweight yet highly versatile multitasking AI efficiently in the future.”

La investigación se detalla en Aecheon Jung et al, “SyMerge: From Non-Interference to Synergistic Merging via Single-Layer Adaptation,” arXiv (2024), DOI: 10.48550/arxiv.2412.19098.