LingBot-Map realiza reconstrucción 3D por streaming a 20 FPS

LingBot-Map es un modelo fundacional 3D de código abierto diseñado para reconstrucción 3D por streaming, con el objetivo de reconstruir escenas a partir de secuencias largas de imágenes o vídeo sin recurrir a optimización iterativa en tiempo de inferencia. El proyecto, publicado por el Robbyant Team, se centra en lo que denomina Geometric Context Transformer, que combina anclaje de coordenadas, señales geométricas densas y corrección de deriva a larga distancia en un único sistema de streaming.

Según la página del proyecto, el modelo emplea una arquitectura feed-forward con atención de KV-cache paginada, ofreciendo una inferencia estable a aproximadamente 20 FPS en resolución 518×378 a lo largo de secuencias de más de 10,000 fotogramas. El equipo afirma que supera tanto a los métodos de streaming existentes como a los enfoques basados en optimización en múltiples benchmarks.

Actualizaciones recientes muestran que el proyecto sigue avanzando rápidamente. El 2026-06-28, el equipo indicó que solucionó un bug en SDPA KV-cache, mejorando el rendimiento en secuencias largas, aunque todavía recomienda el backend FlashInfer. Lanzamientos anteriores añadieron scripts de evaluación para KITTI y Oxford Spires, además de una demo de video largo que abarca aproximadamente 25,000 fotogramas durante un recorrido interior de 13 minutos.

El repositorio incluye checkpoints para diferentes casos de uso:

• lingbot-map-long para secuencias largas y escenas a gran escala
• lingbot-map como el checkpoint equilibrado usado en el artículo, en el benchmark y en la demo offline
• lingbot-map-stage1 como un checkpoint de entrenamiento de etapa 1 que puede cargarse en el modelo VGGT para inferencia bidireccional

La configuración se basa en Python 3.10, PyTorch 2.8.0 y soporte opcional de FlashInfer. Para ejecuciones largas, el proyecto admite inferencia por ventanas, intervalos de fotogramas clave para reducir el uso de memoria y una canalización de renderizado sin conexión que produce videos de recorrido por nube de puntos sin interfaz gráfica (headless). El equipo también proporciona enmascaramiento del cielo mediante un modelo de segmentación ONNX y escenas de ejemplo que incluyen courthouse, university, loop y oxford.

Recomendado

Kimi K3 de Moonshot incluye 2,8 billones de parámetros

Para los usuarios que empujen más allá del rango de entrenamiento del modelo, el repositorio advierte que el método por defecto no restablece el estado automáticamente, por lo que trayectorias muy largas pueden requerir el modo por ventanas para evitar el colapso de la pose.