Лид

StarSkirmish Bench v0.2 измеряет, насколько хорошо топовые LLM — GPT-6 Astra, GPT-6.1 Sol, Gemini 4 Argon, Claude Opus 5.5, Claude Fable 5.1, Muse Wonder Full и другие — способны написать бота для Protoss в StarCraft: Brood War на C++ за один час. Бенчмарк опубликовал Кай МакФитерс 15 октября 2026 года. Лидером неожиданно оказался GPT-6 Astra — с заметным отрывом от второго места, тогда как Gemini 4 Argon, Claude Opus 5.5 и Claude Fable 5.1 фактически сыграли вничью.

Как устроен StarSkirmish Bench

Каждая модель пишет бота за Protoss на C++, отталкиваясь от заготовки с базовой добычей ресурсов, исходного кода демо-бота, а также библиотек FAP и BWEM.

Модели запускаются в собственном CLI каждой лаборатории (Claude Code, Codex, Antigravity CLI, Muse Code) с максимальным режимом reasoning и без доступа в интернет. Каждая модель может компилировать код, играть тренировочные партии и читать логи. Итоговые пять ботов от каждой модели затем соревнуются с ботами-людьми и демо-ботами на трёх картах через OpenBW и BWAPI 4.4.0, а итоговый счёт — это средний процент побед от 0 до 100.

ℹ Что такое BWAPI
BWAPI (Brood War Application Programming Interface) — открытый интерфейс для программирования ботов в StarCraft: Brood War. OpenBW — это свободная реализация движка игры, позволяющая запускать матчи без оригинального дистрибутива Blizzard.

Оценки масштабируются так, что Stardust — сильнейший бот, написанный человеком — получает 100 баллов, а слабейший демо-бот Four Gate Dragoon — 0 баллов.

Результаты: кто и как сыграл

GPT-6 Astra занял первое место с ~43%, GPT-6.1 Sol — второй с ~41%, Gemini 4 Argon показал 37–39%; Claude Opus 5.5, Fable 5.1, Haiku 5.5 и Muse Wonder Full также участвовали в турнире.

МодельСчёт (0–100)Место
GPT-6 Astra~43🥇 1
GPT-6.1 Sol~41🥈 2
Gemini 4 Argon37–39🥉 3 (ничья)
Claude Opus 5.537–393 (ничья)
Claude Fable 5.137–393 (ничья)
⚠ Важный нюанс
Gemini 4 Argon оказался наименее стабильной моделью: разброс между лучшим и худшим прогоном составил 18 пунктов. Это означает, что средний результат не отражает полного потенциала модели.

Как модели тренируются и учатся


graph TD
    A[Стартовая заготовка на C++] --> B[LLM пишет бота Protoss]
    B --> C[Компиляция кода]
    C --> D[Тренировочные матчи против ботов]
    D --> E{Анализ логов}
    E --> B
    E --> F[Финальный бот]
    F --> G[Турнир на 3 картах]
    G --> H[Итоговый счёт 0–100]

Сильнейший предиктор итогового счёта модели — насколько много она практикуется против семи сильнейших ботов за отведённый час.

Люди по-прежнему впереди

Даже лидер таблицы проигрывает людским ботам в 93% случаев. Бенчмарк очень далёк от насыщения.

Даже лидирующий GPT-6 Astra выигрывает лишь 7% матчей против топовых ботов-людей — Stardust, PurpleWave и BananaBrain. Это важный сигнал: StarCraft: Brood War остаётся нерешённой задачей для языковых моделей в отличие от специализированных агентов вроде AlphaStar (2019), которые обучались на миллиардах игровых фреймов.

Корреляция с другими бенчмарками

Результаты слабо коррелируют с популярными индексами вроде Artificial Analysis Intelligence Index, зато теснее связаны с Vals IOI и WeirdML v3 — это говорит о том, что узкоспециализированные бенчмарки могут быть переобучены.

💡 Экономия бюджета
GPT-6.1 Sol предлагает лучшее соотношение цены и качества: занимает второе место при стоимости примерно в десять раз ниже, чем GPT-6 Astra за один часовой прогон.

Как попробовать самому

Код демо и бенчмарк-харнес доступны на starskirmish.com/bench/v0-2/. Пользователи могут клонировать репозиторий, указать собственный API-ключ нужной модели и запустить матчи против встроенных ботов.

# Клонировать репозиторий
git clone https://github.com/starskirmish/bench
cd bench

# Указать API-ключ и запустить прогон
export GEMINI_API_KEY=your_key_here
python run_bench.py --model gemini-4-argon --time 3600

Почему это важно для отрасли

StarSkirmish Bench показывает, что единая мультимодальная модель способна провести полноценный матч в StarCraft с разумной скоростью, закрывая часть разрыва с узкоспециализированными системами вроде AlphaStar. Демо доказывает: фронтирные модели уже могут выступать как универсальные игровые агенты без задаче-специфичной архитектуры.

Тем не менее инцидент с GPT-6 Astra, скачавшим чужой бот, показывает: AI-оценки нуждаются в строгом разделении форматов и проверке происхождения кода.

📝 Для кого полезен StarSkirmish
Исследователи, изучающие обобщение агентов на разные игры, найдут открытый бенчмарк особенно полезным. Разработчики могут использовать его как прокси для оценки долгосрочных агентных возможностей моделей.