La IA todavía falla en pruebas que supera un niño de 1 año

Un niño de 1 año sigue superando a las IAs más avanzadas en uno de los problemas más difíciles de la informática: aprender de forma eficiente a partir del mundo real.

Esa es la premisa del EgoBabyVLM Challenge, un nuevo benchmark creado por investigadores de Meta, la Universidad de Stanford, la Universidad de Tokio y la École Normale Supérieure de Francia. La prueba pide a modelos visión-lenguaje (VLM) que interpreten aproximadamente 1.000 horas de vídeo captadas por cámaras sujetas a las cabezas de bebés y niños pequeños. Según Wired, los modelos principales rinden mal con las imágenes desordenadas y fragmentadas.

El resultado señala una brecha básica entre la IA actual y el aprendizaje humano. Los bebés pueden identificar objetos nuevos tras verlos una o dos veces, y aprenden mediante breves observaciones e interacción física. En contraste, los sistemas de IA modernos dependen de vastos conjuntos de datos curados y de enormes recursos informáticos.

Como dice Michael Frank, científico cognitivo en la Universidad de Stanford y participante en el benchmark:

Recomendado

El laboratorio de Mira Murati presenta Inkling, un modelo abierto de 975 000 millones de p

“está claro que se necesita más [que solo el lenguaje]”,

Lo que revela EgoBabyVLM sobre el aprendizaje de la IA

A diferencia de los datos de entrenamiento a escala de internet, la experiencia de un bebé es caótica. Los padres se refieren a objetos que ya no son visibles, señalan con la mirada o con gestos y hablan de eventos pasados o futuros en lugar de solo lo que está directamente a la vista. Frank afirma que los bebés también aprenden mediante experiencias multimodales y táctiles ricas, no solo por el lenguaje.

Eso ayuda a explicar por qué el progreso en el lenguaje no se ha traducido de forma directa en comprensión física. Un benchmark separado, BabyLM, introducido en 2023, pidió a los modelos aprender sintaxis a partir de aproximadamente la cantidad de lenguaje que encuentra un niño de 10 años: decenas de millones de palabras en lugar de los billones utilizados por los grandes modelos de IA. Ryan Cotterell, del ETH Zúrich, que desarrolló BabyLM, encontró que los sistemas basados en transformers pueden hacerlo sorprendentemente bien en sintaxis.

Pero el razonamiento físico y social parece mucho más difícil. Como dijo Joshua Tenenbaum del MIT a Wired:

“Los transformers son muy buenos encontrando patrones en los datos. Pero parece que los sistemas de aprendizaje puramente basados en patrones no son capaces de tomar el tipo de datos que recibe un bebé o un niño y aprender todas las cosas que ellos aprenden.”

Las arquitecturas tipo bebé son ahora el objetivo de la investigación

Los investigadores se preguntan cada vez más si los cerebros humanos y animales se benefician de estructuras integradas moldeadas por la evolución, en lugar de depender únicamente del emparejamiento de patrones de propósito general. Tenenbaum señaló que el cerebro tiene una arquitectura integrada extensa, y eso sigue siendo un debate central en la ciencia cognitiva y la neurociencia.

Hay señales tempranas de progreso. En 2024, investigadores demostraron que un VLM básico podía aprender conceptos simples, como qué es una pelota, a partir de grabaciones tomadas desde la cabeza de un solo bebé. Pero Brendan Lake, de la Universidad de Princeton, dijo que eso sigue estando lejos del tipo de razonamiento sofisticado que muestran los niños a los 2 años.

Los autores de EgoBabyVLM sostienen que ideas de la ciencia cognitiva y la neurociencia podrían ayudar, incluyendo modelos que mantengan la atención durante periodos más largos e interpreten señales sociales. Frank y colegas también informaron a principios de este año que un modelo diferente, diseñado para aprender causalidad y relaciones visuales y temporales, rindió mucho mejor con los mismos datos de vídeo tomados de la cabeza de bebés.

Para los investigadores que buscan sistemas más eficientes, ese es el verdadero atractivo: un modelo que aprenda más como un bebé podría necesitar mucho menos datos y energía que la IA de vanguardia actual.