Las ondas cerebrales se suman a la carrera para entrenar mejores robots

El próximo cuello de botella para los robots humanoides quizá no sea la arquitectura de los modelos, sino la falta de datos de alta calidad suficientes que muestren a las máquinas cómo manipular el mundo físico.

En el almacén de Encord en San Leandro, California, el piloto Andrew Ceja retira con cuidado bloques de madera de una torre de Jenga. Lleva puesto un auricular equipado con cámara, una configuración habitual para recopilar datos de entrenamiento de robots. Éste además mide sus ondas cerebrales.

Encord desarrolla herramientas de datos para el entrenamiento de modelos de IA, pero ahora se está expandiendo a la producción de datos de entrenamiento físicos. La empresa trabaja con Zander Labs, una startup alemana de neurociencia, para probar si la actividad cerebral puede revelar estados mentales como error, intención y sorpresa. El ensayo tiene como objetivo crear un conjunto inicial de datos etiquetados con ondas cerebrales, pasarlo por los modelos robóticos de clientes y medir si el rendimiento mejora antes de que Encord decida si escalar el esfuerzo.

Lucas Gehrke, un neurocientífico de Zander que supervisa el trabajo, dice que la cantidad de actividad cerebral durante una tarea podría ayudar a los constructores de modelos a determinar cuándo usar sus modelos de mayor esfuerzo.

Recomendado

Kimi reaviva el pánico sobre la IA china

«La vanguardia» del esfuerzo por resolver el cuello de botella de datos en robótica.

Por qué la robótica necesita datos fabricados

Velmurugan, veterano del laboratorio de robots de OpenAI y de Berkshire Grey, se unió a Encord para crear su equipo interno de generación de datos. Encord se fundó para ayudar a empresas que desarrollan aplicaciones de visión por ordenador a anotar datos y evaluar modelos. Pero cuando sus clientes empezaron a usar aprendizaje de extremo a extremo para la manipulación robótica, la compañía concluyó que tendría que producir los datos de entrenamiento por sí misma.

Los datos simplemente no existen.

La comparación entre la IA generativa para robots y la IA generativa para chatbots topa con una diferencia fundamental. Los grandes modelos de lenguaje se entrenaron con el texto de toda internet y más. No existe un corpus equivalente y fácilmente disponible para la manipulación física. Las empresas de conducción autónoma recogen datos del mundo real por su cuenta, pero ese enfoque es difícil de escalar. El video puede ayudar, pero carece de la fidelidad de la interacción física.

Velmurugan calcula que la robótica podría necesitar un conjunto de datos aproximadamente cinco veces mayor que el corpus de videos de YouTube para lograr un avance. Esa escala está ayudando a convertir la generación de datos en un negocio y no solo en un problema de investigación.

Los experimentos de Encord con datos para entrenar robots

Encord persigue dos fuentes principales de datos:

• Video egocéntrico capturado por trabajadores que llevan cámaras, a veces combinado con ángulos de cámara adicionales y otras mediciones.
• Datos de robots teleoperados, recopilados cuando personas controlan robots de forma remota mientras ejecutan tareas.

La compañía utiliza ambos enfoques en fábricas de todo el mundo. Su instalación de San Leandro también está probando nuevos formatos, incluidos datos de ondas cerebrales y sensores en el antebrazo, y creando conjuntos de datos específicos de tareas para el ajuste fino.

Durante la visita de TechCrunch, los pilotos usaron equipos líder-seguidor: brazos robóticos emparejados en los que un humano controla directamente un brazo mientras el segundo imita sus movimientos. Las tareas incluían verter café en tazas, apilar fichas de póker y enchufar y desenchufar cables Ethernet en la parte trasera de un servidor.

Los suministros de la instalación incluían flores artificiales en jarrones, libros, verduras de plástico, bandejas y palas para arena de gato, bolsas y haces de cables. Estos objetos se usan para entrenar robots en manipulación doméstica e industrial. Encord afirma que todas las empresas de humanoides han pedido este tipo de datos, aunque no ha nombrado a sus clientes.

Otro experimento utiliza sensores sujetos al antebrazo para detectar señales eléctricas en los músculos. El video de la mano humana a menudo no captura la mano completa, por lo que Velmurugan espera que los sensores ayuden a crear una representación 3D de la posición de la mano a lo largo del tiempo.

Encord también añade descripciones físicas detalladas a sus videos, como «la mano derecha aprieta el perno», para ayudar a los sistemas basados en modelos de lenguaje a entender cada acción. Velmurugan calcula que esta anotación vale 100 veces más que los “datos egocéntricos basura” para tareas de entrenamiento específicas, aunque cuesta 20 veces más producirla.

Ese coste sigue siendo el problema central. Raspar texto de Stack Overflow y del resto de internet fue casi gratis para los laboratorios de IA de vanguardia. Los datos físicos deben fabricarse, lo que hace que la economía de construir modelos de robótica sea fundamentalmente diferente.

Encord tiene actualmente aproximadamente una docena de pilotos trabajando en su instalación. Entre ellos están Ceja y Sofía Infante, ambos ex empleados de Scale, otra empresa de anotación de datos para IA. Ceja mantuvo anteriormente un clasificador de basura robótico en una empresa de gestión de residuos. Ahora ayuda a construir los datos necesarios para que los robots realicen tareas que los dedos humanos siguen ejecutando con mucha mayor destreza.