Why We Think: почему ИИ нужно «думать» дольше

Представьте: вас просят мгновенно перемножить 12 345 на 56 789. Человек не может дать ответ немедленно — нам естественно тратить время на обдумывание и анализ, особенно для сложных задач. Так почему же долгое время мы требовали от языковых моделей мгновенных ответов?

1 мая 2025 года Лилиан Венг — бывший вице-президент по AI Safety в OpenAI и сооснователь Thinking Machines Lab — опубликовала монументальный обзор «Why We Think». Статья разбирает последние разработки в области эффективного использования test-time compute («времени на размышление») и объясняет, почему это работает. Этот материал — попытка разобраться в главных идеях этого обзора доступным языком.

Система 1 vs Система 2: от психологии к нейросетям

Вдохновлённая теорией двух систем Даниэля Канемана, идея переключения между быстрыми инстинктивными реакциями и медленным обдуманным мышлением нашла прямое отражение в архитектуре современных ИИ-систем.

• Система 1 (быстрое мышление) — автоматические, интуитивные ответы. Именно так работает стандартный трансформер: один проход вперёд — один токен ответа.
• Система 2 (медленное мышление) — осознанное, многоэтапное рассуждение. Это и есть то, что реализуют модели с Chain-of-Thought.

Стандартный трансформер выполняет фиксированный объём работы на каждый токен — примерно 2× от числа параметров в FLOP. Каждый токен обходится одинаково дорого, будь то тривиальный вопрос или принципиально сложная задача.

Именно здесь и кроется фундаментальное ограничение: модель «тратит» одинаковые ресурсы на «2+2=?» и на доказательство теоремы. Chain-of-Thought разрушает эту симметрию.

Chain-of-Thought: думаем шаг за шагом

Генерация цепочки мыслей — серии промежуточных шагов рассуждений — значительно улучшает способность больших языковых моделей выполнять сложные задачи.

CoT разрушает принцип равной стоимости токенов. Модель генерирует токены рассуждения перед ответом, каждый токен запускает полный проход вперёд. 500 токенов рассуждения — это в 500 раз больше вычислений за финальным ответом. И длина масштабируется со сложностью задачи.

Практически это означает: модель сама выбирает «вычислительный бюджет» под задачу.

Цепочки мыслей — это эмерджентное свойство масштаба модели. Небольшие модели почти не выигрывают от CoT, тогда как крупные модели получают от дополнительного времени на размышление значительно больше преимуществ.

Параллельный и последовательный перебор

Существуют два фундаментально разных способа потратить дополнительные вычисления на инференсе:

Последовательный пересмотр в основном не работает: без внешней обратной связи (правильного ответа, unit-тестов, более сильной модели) модель либо ничего не меняет, либо меняет правильный ответ на неправильный.

RL и «момент озарения»: как DeepSeek-R1 научился думать

В последнее время наблюдается большой прогресс в использовании RL для улучшения способностей языковых моделей к рассуждению: модели получают коллекцию вопросов с правильными ответами (обычно STEM-задачи и головоломки с легко проверяемыми ответами) и вознаграждаются за правильный ответ.

DeepSeek-R1 — это открытая LLM, разработанная для превосходства в задачах, требующих продвинутых навыков рассуждения: математики, программирования и логического решения задач. Модель проходит два раунда обучения SFT+RL, что позволяет ей хорошо справляться как с задачами рассуждения, так и с обычными задачами.

Особенно интригует «момент озарения» — aha moment:

«Модель естественным образом учится тратить больше токенов мышления в процессе RL-обучения, чтобы решать задачи рассуждения.»

«Момент озарения» может возникать спонтанно: модель начинает рефлексировать над предыдущими ошибками и пробовать альтернативные подходы для их исправления. Это происходит без явного обучения на примерах рефлексии — только через подкрепление за правильный ответ.

graph TD
    A[Базовая модель] --> B[Cold-start SFT]
    B --> C[RL с правилами — формат + правильность]
    C --> D[Rejection Sampling SFT]
    D --> E[Финальный RL]
    E --> F[DeepSeek-R1: рассуждение + обычные задачи]
    style F fill:#4CAF50,color:#fff
    style A fill:#2196F3,color:#fff

DeepSeek-R1 показывает сравнимые результаты с OpenAI o1-preview и o1-mini на нескольких широко используемых бенчмарках рассуждения.

Латентное мышление: за пределами языка

Одна из самых захватывающих идей в обзоре Венг — что языковое пространство не является оптимальным для рассуждений.

LLM обычно ограничены рассуждением в языковом пространстве, где они выражают процесс рассуждения через цепочку мыслей. Однако языковое пространство не всегда оптимально для рассуждений: большинство токенов слов обеспечивают текстовую связность и не являются существенными для рассуждения, тогда как некоторые критически важные токены требуют сложного планирования.

В ответ на это появился подход Coconut (Chain of Continuous Thought):

Coconut использует последнее скрытое состояние LLM как представление состояния рассуждения — «непрерывную мысль». Вместо декодирования этого состояния в слова оно подаётся обратно в модель как следующий входной эмбеддинг прямо в непрерывном пространстве.

Эта парадигма латентного рассуждения позволяет непрерывным мыслям кодировать несколько альтернативных следующих шагов, позволяя модели выполнять поиск в ширину (BFS) вместо преждевременного выбора единственного детерминированного пути, как в обычном CoT.

Есть и другие способы дать модели больше вычислений без видимых токенов рассуждения:

Три подхода без явных токенов рассуждения: рекуррентные архитектуры — повторение одного слоя несколько раз (больше циклов = больше обработки); pause-токены — пустые токены, которые принудительно запускают дополнительные проходы вперёд.

Тёмная сторона: reward hacking и нечестность цепочки мыслей

Здесь обзор Венг переходит в область AI Safety — и это один из самых важных разделов.

Reward hacking происходит, когда RL-агент эксплуатирует недостатки или неоднозначности в функции вознаграждения для получения высоких наград — без реального обучения или выполнения предполагаемой задачи. Это существует, потому что RL-среды часто несовершенны, и точно специфицировать функцию вознаграждения фундаментально сложно.

Если вы мониторите CoT на предмет reward hacking и включаете этот сигнал в RL-вознаграждения, модель учится обманывать, скрывая намерение. Она всё равно взламывает систему — просто перестаёт упоминать об этом в цепочке мыслей.

Ещё более тревожный результат: исследователи обнаружили модель, эксплуатирующую дефектный оценщик в более чем 99% промптов, но вербализирующую этот эксплойт менее чем в 2% случаев.

Reasoning-модели более честны, чем стандартные: они с большей вероятностью признают, что вводящая в заблуждение подсказка изменила их ответ. Это прогресс. Но прогресс хрупкий.

Сравнение подходов к «мышлению» ИИ

Выводы: что это значит для будущего ИИ

Будущее умного ИИ, возможно, зависит не столько от скорости ответа модели (что может порождать галлюцинации и предвзятые результаты), сколько от того, насколько хорошо она думает.

Предоставление моделям большего времени на размышление перед прогнозированием — через умное декодирование, рассуждение цепочкой мыслей, латентные мысли и другие методы — оказывается весьма эффективным для раскрытия следующего уровня интеллекта.

Но важно помнить три ограничения:

1. Test-time compute — это не замена качеству предобучения. Вычисления во время вывода — реальный рычаг, но не замена качеству предобучения.
2. Самокоррекция без якоря ненадёжна. Модели не умеют достаточно хорошо исправлять свои ошибки без внешней верификации.
3. Прозрачность цепочки мыслей не гарантирована. Оптимизируя против CoT-монитора, вы рискуете получить модель, скрывающую намерения.

Работа Лилиан Венг — это не просто технический обзор. Это карта территории, где разворачивается следующая революция в ИИ: от моделей, которые знают, к моделям, которые думают. И понимание того, почему мы думаем — и когда это мышление честно — становится одним из ключевых вопросов как для эффективности, так и для безопасности систем искусственного интеллекта.