El mini PC de Acrab apunta al sistema de IA de Nvidia de 5.000 dólares

La startup con sede en Singapur Acrab ha presentado el Agent Box, un mini PC diseñado para ejecutar modelos de lenguaje de hasta 100.000 millones de parámetros íntegramente en hardware local. La compañía afirma que ofrece un rendimiento cercano al DGX Spark de Nvidia, que cuesta 5.000 dólares, mientras reduce los costes a aproximadamente una quinta parte y consume la mitad de energía.

Acrab no ha revelado un precio minorista exacto ni una fecha de lanzamiento.

Hardware G≡LIX 1 para inferencia local

El chip propietario G≡LIX 1 del sistema está fabricado en un proceso de 5 nm y combina:

• Una CPU Arm de 20 núcleos
• Una GPU con una calificación de 3 TFLOPS
• Una unidad de procesamiento neuronal multicore afinada para la inferencia de grandes modelos de lenguaje
• 273 GB/s de memoria unificada de alta ancho de banda
• Una caché L1 de 8 MB y una caché L2 de 768 GB/s

Acrab afirma que el procesador alcanza 700 TOPS y sigue siendo lo suficientemente compacto para su uso en escritorio. Su unidad de procesamiento neuronal está equilibrada con una unidad de cálculo de propósito general, mientras que la aceleración vectorial VAE supuestamente mejora el procesamiento de la atención hasta tres veces.

El sistema en chip también integra un clúster DSP de vídeo, subsistemas de entrada de cámara y un motor de pantalla de alta resolución. En pruebas internas, Agent Box alcanzó una tasa de prellenado de 1.416,8 tokens por segundo usando una configuración Gemma 26B A4B con una caché KV de 40K y una entrada de 10K tokens. Acrab comparó eso con 188,9 tokens por segundo en un Apple Mac Mini M4 Pro, afirmando una mejora de 7,5x con respecto al hardware de consumo convencional.

Recomendado

Moonshot publica los pesos del Kimi K3 de 2.8 billones de parámetros

“La IA generativa ayudó a las personas a encontrar respuestas. La IA con capacidad de agencia les ayudará a realizar tareas.”

Plataforma de software y planes de expansión

Agent Box está pensado para ofrecerse como algo más que una plataforma de hardware. Acrab dice que su pila de software incluye entornos de ejecución de IA, conjuntos de herramientas para desarrolladores, capacidades del sistema operativo, diseños de referencia y software de orquestación para agentes autónomos.

Las demostraciones de la compañía mostraron comandos de voz que crean e imprimen modelos 3D, operan robots aspiradores y controlan dispositivos conectados como luces inteligentes, aires acondicionados inteligentes y cerraduras inteligentes.

Acrab afirma que la inferencia local puede reducir los costes por token, mantener la información sensible en el dispositivo, conservar la funcionalidad durante periodos de conectividad limitada a internet y proporcionar memoria persistente para asistentes personalizados. Planea ampliar la plataforma hacia productos NAS con IA, robots industriales y de servicio, y vehículos inteligentes mediante alianzas con fabricantes de hardware.

Acrab ha divulgado información corporativa limitada. Los avisos de derechos de autor que acompañan el anuncio hacen referencia a CATL, descrita como el mayor fabricante mundial de baterías para vehículos eléctricos, pero la fuente no confirma de forma independiente la naturaleza de esa relación.

“Nuestro objetivo es ofrecer a los fabricantes de dispositivos y a los desarrolladores la base para introducir la inteligencia con capacidad de agencia en muchos productos y entornos diferentes,” dijo el Dr. Phua. “Agent Box demuestra lo que la tecnología puede hacer hoy, mientras que GΞLIX 1 y nuestra plataforma de pila completa están diseñados para soportar un ecosistema mucho más amplio de dispositivos y aplicaciones.”