Arm apunta al cuello de botella de la CPU en la IA basada en agentes

Arm está posicionando la CPU como una parte crítica de la próxima fase de la infraestructura de IA, a medida que los sistemas basados en agentes avanzan más allá de interacciones aisladas con modelos y empiezan a coordinar datos, herramientas y flujos de trabajo empresariales.

Mohamed Awad, vicepresidente ejecutivo de Cloud AI de Arm, dijo a TechRadar que el reto ya no es demostrar que la IA funciona en un piloto. Es lograr que las cargas de trabajo continuas y aptas para producción sean fiables y asequibles a escala.

Gartner predice que más del 40 % de los proyectos de IA basada en agentes serán cancelados para 2027 debido a dificultades de operacionalización. Awad afirmó que las organizaciones se enfrentan a problemas que van mucho más allá de la capacidad del modelo, incluyendo energía, cadenas de suministro, terreno, permisos y plazos de despliegue.

Recomendado

La IA financiera pasa de pilotos a la ejecución

«La IA funciona mejor donde la información está estructurada y los flujos de trabajo están bien comprendidos», dijo Awad. A medida que las empresas incorporan la IA en entornos empresariales más complejos, sostuvo, la infraestructura y las operaciones comerciales deben evolucionar conjuntamente.

Por qué las CPU son importantes para la IA basada en agentes

El enfoque de Arm se centra en todo el sistema, desde la CPU y la plataforma hasta el ecosistema de software. La compañía afirma que pasar la IA de la experimentación ocasional a las operaciones diarias hace que la fiabilidad, la latencia, la seguridad y la eficiencia sean tan importantes como el rendimiento del modelo.

Las GPU siguen siendo centrales para el entrenamiento y la inferencia de modelos. Pero los flujos de trabajo basados en agentes también necesitan recuperar datos empresariales, coordinar varios modelos, invocar herramientas externas y gestionar procesos empresariales. Esas tareas dependen en gran medida de las CPU.

«La pregunta ya no es simplemente «¿Qué tan rápido puedo ejecutar un modelo?»», dijo Awad. «Es «¿Qué tan eficientemente puedo ejecutar todo un flujo de trabajo de IA?»»

Ese cambio también modifica la economía. Al hablar de empresas como Uber, que según se informa agotaron presupuestos de IA en cuestión de meses debido a los costes del prompting no estructurado, Awad dijo que el ejemplo muestra que la demanda está creciendo más rápido que la infraestructura necesaria para soportarla de forma económica, no necesariamente que la IA sea inherentemente demasiado cara.

Señaló mejoras en la economía de tokens a medida que los modelos, el silicio, el software y la infraestructura de inferencia se vuelven más eficientes. La contribución de Arm, dijo, es mejorar el rendimiento, la utilización del ancho de banda de memoria y la eficiencia energética en toda la plataforma de cómputo, reduciendo tanto los costes de capital como los operativos a medida que crecen las implementaciones.

El Arm AGI CPU apunta a las limitaciones de los centros de datos

Arm dice que su nuevo Arm AGI CPU ofrece más de 2 veces el rendimiento por bastidor de las plataformas x86. Awad describió el chip como el primer silicio de producción «histórico» de la compañía diseñado en torno a las limitaciones de los centros de datos modernos, en lugar de centrarse únicamente en el rendimiento máximo de referencia.

Esas limitaciones incluyen presupuestos de energía fijos, capacidad de refrigeración, densidad por bastidor y cargas de trabajo continuas a nivel de sistema. Por ello, el diseño enfatiza cómo se mueve la información a través del cómputo y la memoria, lo que permite que la CPU gestione la coordinación constante, el movimiento de datos y la actividad de razonamiento creada por los sistemas basados en agentes.

El objetivo, dijo Awad, no es simplemente construir una CPU más rápida, sino desplegar IA más útil dentro de los límites físicos y económicos de la infraestructura existente.

La eficiencia energética se está convirtiendo en una consideración empresarial además de en una cuestión de ingeniería. Las organizaciones no pueden asumir que siempre habrá otro centro de datos o otro gigavatio de capacidad disponible. Un mayor rendimiento por vatio podría permitirles desplegar más IA dentro de las restricciones de energía, refrigeración y bastidor existentes, incluidas las instalaciones refrigeradas por aire, sin aumentar proporcionalmente la inversión en infraestructura.

Silicio personalizado sin una arquitectura cerrada

La creciente adopción de chips basados en Arm por parte de los proveedores de la nube refleja esta presión. Oracle Cloud se ha unido al ecosistema Arm AGI, mientras que Google Cloud está desplegando sus procesadores Axion. Pero Awad no ve la tendencia como un simple enfrentamiento entre silicio personalizado y plataformas comerciales de propósito general.

Los hyperscalers están fabricando sus propios chips mientras también despliegan plataformas comerciales basadas en Arm, incluido el Arm AGI CPU. Ambos enfoques apuntan a una infraestructura de IA más diseñada para un propósito específico, mientras que los clientes siguen queriendo la portabilidad y el ecosistema de software asociados a una arquitectura común.

Awad también enmarcó la transición como un cambio en la forma de organizar el trabajo. Ya sea que las personas orquesten agentes de IA o que los agentes se orquesten entre sí, la infraestructura subyacente debe manejar la comunicación continua, el contexto y la ejecución.

«La meta no es sustituir a las personas», dijo. «Es hacer que la IA sea lo bastante fiable para que la gente pase menos tiempo coordinando el trabajo y más tiempo creando valor.»

Las organizaciones que sigan tratando la IA como una herramienta de productividad independiente pueden tener dificultades para captar los beneficios más amplios de los sistemas basados en agentes, advirtió Awad. Los equipos que empiecen a rediseñar los flujos de trabajo antes pueden no solo desplegar la IA antes, sino también construir la experiencia operativa necesaria para mejorar esos sistemas con el tiempo; algo que, según Arm, ya está surgiendo en el desarrollo de software, donde los equipos nativos de IA están yendo más allá de la simple generación de código.