General Compute obtiene un préstamo de 400 millones de dólares para chips de inferencia

General Compute, una startup de nube de inferencia de IA, ha conseguido un préstamo de 400 millones de dólares de Upper90, en lo que podría ser el primer acuerdo de financiación que utiliza chips específicos de inferencia como garantía.

Los chips de inferencia ejecutan modelos de IA ya entrenados de forma rápida y eficiente. Eso los diferencia de los procesadores más caros que se usan para entrenar los modelos en primer lugar. El acuerdo refleja las crecientes preocupaciones del mercado sobre el coste de las herramientas y tokens de IA, mientras que la atención se dirige cada vez más hacia infraestructuras que pueden ejecutar modelos de código abierto más barato que los modelos de lenguaje a gran escala más recientes de los laboratorios de vanguardia.

La estrategia de inferencia de General Compute

Fundada por el CEO Finn Puklowski, General Compute recaudó una ronda semilla de 15 millones de dólares en mayo para construir una “neocloud” en torno al silicio de SambaNova, un fabricante de chips respaldado por Intel. A diferencia de los hyperscalers tradicionales como AWS y Azure, las neoclouds están diseñadas específicamente para cargas de trabajo de IA.

La compañía planea utilizar los chips SN50 de SambaNova, que están diseñados para inferencia. General Compute afirma que son eficientes en consumo energético y no requieren costosos sistemas de refrigeración por agua, lo que permite desplegarlos más rápido que las GPU en una gama más amplia de centros de datos. La startup asegura que los chips ofrecerán inferencia 16 veces más rápida que las nubes basadas en GPU.

Recomendado

xAI demanda a un usuario de Grok por deepfakes sexuales

El desafío inmediato es adquirir suficiente hardware como empresa nueva. Billy Libby, cofundador y CEO de Upper90 y exoperador cuantitativo de Goldman Sachs, ya había desarrollado un modelo de financiación para ese problema.

En 2021, Upper90 financió la compra de GPU por parte de Crusoe, la startup de centros de datos centrada en la energía. Libby cree que fue el primer préstamo garantizado por el valor de chips avanzados. Los prestamistas tradicionales habían evitado este tipo de acuerdos por la incertidumbre sobre la depreciación de las GPU. A medida que CoreWeave convirtió los préstamos respaldados por chips en un modelo de negocio y más tarde en la base de una salida a bolsa de gran repercusión, la estructura de financiación se volvió más común.

«Cuando financiamos GPUs de Nvidia siendo los primeros en hacerlo, el mercado era ineficiente. Pudimos realmente montar algo como participantes tempranos y, en cierto modo, ser compensados por el riesgo.»

Los modelos abiertos impulsan la demanda de alternativas

Con las GPU ahora comparativamente bien entendidas y posiblemente sobrecompradas, Upper90 mira hacia la siguiente fase de la infraestructura de IA. Libby dijo que la firma comenzó a buscar el año pasado una empresa centrada en la inferencia porque espera que los modelos de código abierto se vuelvan cada vez más importantes.

«No todo el mundo necesita un superordenador, pero sí necesita inferencia y IA.»

Esa tesis está ganando apoyo de empresas como OpenRouter y Fireworks, que ofrecen acceso a modelos abiertos y han levantado nuevas rondas con altas valoraciones. Nuevos modelos, incluido el K3 de Kimi, han competido recientemente con lanzamientos de Anthropic y OpenAI en benchmarks de programación. Fabricantes de chips como Groq y Cerebras también han atraído interés de compradores y de los mercados públicos.

El acceso de General Compute a chips fuera del ecosistema de Nvidia es central en la apuesta. TensorWave sigue una estrategia similar mediante una asociación con AMD. A medida que surgen más alternativas, los proveedores de cómputo que no estén vinculados a acuerdos con Nvidia podrían obtener una ventaja para ofrecer inferencia a menor coste.

«Hay un montón de chips que están empezando a escalar que tienen un [coste total de propiedad] increíble, o que pueden funcionar mucho más rápido que Nvidia, pero no hay demasiados compradores para ellos. Al unirse con Upper90, esto no es solo ‘una startup interesante consiguió algo de dinero para comprar capacidad de cálculo’. Esto es la primera señal de que el capital se está organizando y de la fragmentación del dominio monopolístico de Nvidia.»