Las reglas débiles de seguridad en IA pueden aumentar los riesgos de los productos

Un estudio matemático realizado por investigadores de la Universidad de Cornell y la Universidad Carnegie Mellon encuentra que reglas débiles de seguridad en IA pueden dar lugar a productos de mayor riesgo que la ausencia de regulación por completo, si esas reglas se aplican solo a las empresas que construyen servicios para el usuario final.

Los investigadores modelaron una cadena de suministro de IA de dos niveles:

• Desarrolladores de modelos base que construyen sistemas de propósito general
• Empresas de terceros que adaptan esos modelos para aplicaciones como diagnóstico médico y atención al cliente

El modelo evalúa la seguridad y el rendimiento de los productos resultantes cuando los reguladores imponen requisitos mínimos en diferentes etapas del desarrollo.

Cómo las normas unilaterales socavan la seguridad

El riesgo aumenta cuando se impone un umbral de seguridad bajo exclusivamente a los proveedores de servicios finales. Bajo ese arreglo, los proveedores de modelos base pierden incentivos para invertir en sus propias salvaguardas y auditorías independientes. Los desarrolladores de aplicaciones especializadas, mientras tanto, heredan gran parte de la carga financiera y técnica del cumplimiento.

Recomendado

Boffin añade salvaguardas a los agentes de codificación con IA

Benjamin Laufer, de Cornell Tech, autor principal del estudio, dijo:

«Las leyes se convierten en una herramienta que permite a los gigantes trasladar la carga financiera y técnica de la seguridad a los desarrolladores especializados de aplicaciones, creando un efecto de 'free-rider'.»

Los investigadores definen la seguridad de forma amplia, incluyendo riesgos para los usuarios como contenido tóxico generado por chatbots. Argumentan que el modelado matemático es particularmente útil mientras muchas regulaciones de IA siguen siendo propuestas y los responsables políticos aún evalúan cómo las normas podrían distorsionar los incentivos comerciales de las empresas.

El modelo subraya cómo la responsabilidad se divide entre el entrenamiento de los modelos base, el ajuste fino, el diseño de la interfaz y la monitorización operativa. Las normas que imponen obligaciones legales a una sola capa pueden separar a las organizaciones mejor posicionadas para eliminar un riesgo de las empresas obligadas a documentar el cumplimiento.

El trabajo es un modelo teórico, no una medición de empresas de IA concretas. No obstante, su marco formal ofrece a los reguladores y a los profesionales de riesgo orientaciones para asignar responsabilidades y diseñar estándares de auditoría que eviten que los grandes proveedores eludan el escrutinio.