4 min de lectura

LinkedIn duplica la eficiencia de sus GPU y congela el gasto en hardware de IA

LinkedIn afirma que duplicó la eficiencia de sus GPU en seis meses y mantendrá el gasto en hardware de IA estable mientras añade nuevas funciones.

Imagen: TechRadar

LinkedIn planea mantener su inversión en GPU, su huella de cómputo y su capacidad de almacenamiento aproximadamente estables durante su próximo año fiscal, incluso mientras añade funciones más intensivas en cómputo. La compañía afirma que puede hacerlo porque ha duplicado aproximadamente la eficiencia de sus GPU existentes en seis meses.

La mejora no provino de un único avance. LinkedIn la atribuye a una mejor utilización de las GPU, la destilación de modelos, la asignación de cargas de trabajo y cambios en la forma en que se dividen las tareas entre entrenamiento, inferencia, almacenamiento y diseño de sistemas. La compañía pretende usar el margen resultante para el desarrollo de productos en lugar de ampliar sus centros de datos.

Por qué LinkedIn mantiene el gasto en hardware estable

En una entrevista con Wired, Erran Berger, CTO de ingeniería de LinkedIn, dijo que la compañía espera mantener su huella de cómputo “plana o cercana a ello” mientras pone en producción funciones más exigentes. Raghu Hiremagalur, CTO de infraestructura de LinkedIn, describió la decisión como una gran tarea:

Recomendado

AWS lleva la programación 'vibe' de Superblocks a nubes privadas

Quiero subrayarlo doblemente: para una empresa de nuestra escala, decir que durante todo un año vamos a hacer esto sin almacenamiento ni cómputo adicionales no es una hazaña menor, pero ha requerido muchísimo trabajo para llegar hasta aquí.

Raghu Hiremagalur, CTO de infraestructura de LinkedIn

La estrategia es también una respuesta a los costes de LinkedIn. Hiremagalur dijo que el coste de atender cada consulta había ido aumentando de forma constante, mientras que los datos almacenados se duplicaban cada año. LinkedIn concluyó que la curva de costes era insostenible y se centró en contenerla mediante mejoras de eficiencia.

Ese enfoque es posible en parte porque LinkedIn opera sus propios centros de datos en Oregón, Texas y Virginia. La compañía puede instrumentar y optimizar más de la pila de infraestructura en lugar de depender de una migración a la nube que no funcionó según lo previsto.

La decisión sobre Azure que marcó la estrategia

Microsoft adquirió LinkedIn en diciembre de 2016 por $26.2 billion. En 2019, LinkedIn anunció un plan, con nombre en clave Blueshift, para mover su infraestructura a Azure. Lo archivó discretamente en 2022, citando las presiones de demanda de Azure y eligiendo en su lugar escalar su propia infraestructura. Reportes posteriores también encontraron que las herramientas internas de LinkedIn no se trasladaron bien a Azure.

Esa decisión fue considerada ampliamente un revés en su momento. LinkedIn ahora presenta la propiedad de su infraestructura como una ventaja: controlar toda la pila da a sus ingenieros más visibilidad sobre la utilización, la colocación de cargas de trabajo y el coste de ejecutar modelos.

La posición de la compañía contrasta fuertemente con el empuje más amplio de Microsoft en infraestructura. Microsoft informó $41 billion en gastos de capital en su trimestre más reciente, añadió 31 centros de datos durante ese trimestre y 88 a lo largo del año, y espera gastar más de $50 billion en el trimestre actual. Gran parte del gasto de Microsoft está impulsado por la demanda de clientes de Azure, incluida la capacidad contratada para OpenAI, en lugar de por las cargas internas de LinkedIn.

Un caso atípico en el auge de la infraestructura de IA

LinkedIn no afirma haber eliminado la necesidad de más hardware. En cambio, sostiene que una plataforma grande puede lanzar nuevas funciones de IA generativa durante un año sin un crecimiento proporcional en cómputo y almacenamiento. Eso la convierte en un caso atípico, ya que los cuatro mayores hiperescaladores estadounidenses comprometen colectivamente aproximadamente $600 billion a $700 billion en gastos de capital para el año calendario.

El resultado es una prueba útil de una relación ampliamente asumida: que productos de IA más ambiciosos requieren necesariamente más infraestructura. Si las ganancias de eficiencia de LinkedIn respaldan su hoja de ruta, esa suposición se debilita. Si no lo hacen, el plan de capacidad constante de la compañía parecerá menos una alternativa duradera y más un esfuerzo temporal para contener una curva de costes difícil.

Marcus Vance

Enterprise Editor

Marcus follows the money. He covers enterprise software, cloud architecture, and the tectonic shifts in Big Tech strategy. He translates dense earnings calls and complex M&A activity into actionable insights about where the industry is actually heading. If a tech giant makes a silent pivot, Marcus is usually the first to notice.

vía TechRadar

/ Sigue leyendo