Робот научился помнить пространство: что такое LingBot-Map

Команда Robbyant открыла исходный код LingBot-Map — потоковой модели для 3D-реконструкции, которая работает с обычной RGB-камерой и в реальном времени восстанавливает позу камеры и структуру сцены во время записи видео. Статья «Geometric Context Transformer for Streaming 3D Reconstruction» получила статус ECCV 2026 Oral и будет представлена на конференции устно.

На GitHub проект набрал более 16 900 звёзд и около 1 885 форков, неоднократно попадая в GitHub Trending.

Ключевые технические решения

В основе модели лежит Geometric Context Transformer (GCT) — архитектура, объединяющая привязку координат, плотные геометрические признаки и долгосрочную коррекцию дрейфа в едином потоковом фреймворке через три механизма: anchor context, pose-reference window и trajectory memory.

ℹ Что такое streaming 3D reconstruction?
Потоковая 3D-реконструкция — это восстановление трёхмерной структуры сцены прямо во время съёмки кадр за кадром, без необходимости сначала записать всё видео и затем обрабатывать его целиком (offline). Это критически важно для роботов, дронов и AR-систем.

Эффективность инференса

Feed-forward архитектура с постраничным KV-кешем (paged KV cache attention) обеспечивает стабильный инференс ~20 FPS при разрешении 518×378 на последовательностях, превышающих 10 000 кадров.

Благодаря фиксированным константам размеров anchor и window, использование памяти растёт лишь на 6 токенов на кадр — это примерно 80-кратное сокращение роста памяти по сравнению с неограниченным каузальным вниманием, что позволяет обрабатывать последовательности из 10 000+ кадров на одном GPU.

💡 Для разработчиков
Для максимальной производительности рекомендуется использовать бэкенд FlashInfer вместо стандартного PyTorch SDPA. Разница в скорости — примерно в 2 раза: ~20 FPS против ~10.5 FPS на идентичном железе.

Результаты на бенчмарках

Модель демонстрирует до 10-кратного улучшения AUC@15 в оценке позы камеры и прирост F1-score на 21.7 пункта в задаче 3D-реконструкции по сравнению с лучшими предыдущими потоковыми методами.

БенчмаркМетрикаLingBot-MapЛучший конкурентПрирост
Oxford SpiresAUC@1563.2249.84 (DA3)+13.38
Tanks & TemplesAUC@3092.3471.39 (InfiniteVGGT)+20.95
ETH3DATE0.220.86 (Wint3R)~4× ниже
7-ScenesF182.3878.81 (Wint3R)+3.57
NRGBDF165.1056.96 (Wint3R)+8.14

При этом, работая в потоковом онлайн-режиме, LingBot-Map превосходит сильнейшие офлайн-методы: AUC@15 = 63.22 против 49.84 у DA3 и 23.84 у VGGT.

«В длинных последовательностях с несколькими комнатами и резкими изменениями ракурса LingBot-Map демонстрирует исключительную робастность» — из описания проекта на GitHub.

Архитектура системы


graph LR
    A[Входной кадр RGB] --> B[Geometric Context Attention]
    B --> C1[Anchor Context\nпривязка координат]
    B --> C2[Pose-Reference Window\nлокальные геометрические признаки]
    B --> C3[Trajectory Memory\nдолгосрочная коррекция дрейфа]
    C1 --> D[Task Heads]
    C2 --> D
    C3 --> D
    D --> E1[Поза камеры]
    D --> E2[Карта глубины]
    E1 --> F[3D Point Cloud]
    E2 --> F

Как начать использовать

# Установка окружения
conda create -n lingbot-map python=3.10 -y
conda activate lingbot-map

# Установка PyTorch с CUDA 12.8
pip install torch==2.8.0 torchvision==0.23.0 --index-url https://download.pytorch.org/whl/cu128

# Установка lingbot-map
pip install -e .

# Установка FlashInfer (рекомендуется)
pip install --index-url https://pypi.org/simple flashinfer-python

# Запуск демо
python demo.py --model_path /path/to/lingbot-map.pt \
    --image_folder example/courthouse --mask_sky

В апреле 2026 года был опубликован демо-пример обработки сверхдлинного видео: около 25 000 кадров (13-минутный обход помещений) с рендерингом через офлайн-пайплайн.

⚠ Ограничение метода
Метод по умолчанию не выполняет сброс состояния, поэтому максимальный диапазон инференса ограничен наибольшим расстоянием, виденным во время обучения. При коллапсе позы рекомендуется переключиться в оконный режим (--mode windowed) или настроить параметр --keyframe_interval.

Почему это важно для отрасли

Архитектура достигает превосходной оценки позы камеры и плотной 3D-реконструкции на разнообразных бенчмарках, открывая реальные применения в робототехнике и дополненной реальности.

Главный прорыв LingBot-Map — не только в цифрах точности, но и в практичности: модель работает в реальном времени с дешёвой RGB-камерой, без лидара или специализированного оборудования. Это делает качественную пространственную память доступной для широкого круга устройств — от автономных роботов до смартфонов.

Модели доступны на Hugging Face и ModelScope, исходный код — на GitHub.