Chain-of-Thought Prompting (CoT): как научить ИИ думать пошагово
Chain-of-Thought (CoT) — техника промптинга, заставляющая языковую модель рассуждать шаг за шагом. Что это, как работает и зачем нужно.
Что такое Chain-of-Thought Prompting?
Представьте, что вы просите друга решить сложную математическую задачу. Если он просто называет ответ — вы не знаете, верен ли он. Но если друг объясняет каждый шаг вслух, ошибку легко заметить и исправить. Именно так работает CoT для ИИ.
Chain-of-Thought prompting — это техника prompt engineering, которая направляет большие языковые модели на разбиение сложных задач на последовательные шаги рассуждения.
Немного истории
Один из важнейших прорывов в промптинге произошёл в 2022 году с появлением Chain-of-Thought (CoT) prompting. Метод был описан в статье «Chain-of-Thought Prompting Elicits Reasoning in Large Language Models» (Wei et al., NeurIPS 2022) и быстро стал стандартом для задач, требующих логического вывода.
Как это работает?
Техника специально направлена на сложные задачи рассуждения — математические задачи, логические головоломки, многошаговые инструкции. Вместо того чтобы запрашивать только финальный ответ, CoT-подсказки побуждают модель явно обозначить процесс рассуждения шаг за шагом, прежде чем прийти к выводу.
Существует два основных способа применения CoT:
Zero-shot CoT — достаточно добавить в запрос фразу вроде «Давай думать шаг за шагом» (англ. «Let’s think step by step»). Просто добавив такие фразы или предоставив несколько CoT-примеров, способность модели к сложным рассуждениям улучшается кардинально.
Few-shot CoT — в запрос включают несколько примеров с готовыми цепочками рассуждений. Few-shot CoT в целом превосходит zero-shot CoT: добавление демонстраций может повысить точность на 28,2% в некоторых задачах.
Пример в действии
Обычный запрос:
В магазине было 150 ящиков яиц. В понедельник продали 35,
во вторник получили 60. Сколько ящиков осталось?
Ответ модели: 175 (неверно)
CoT-запрос:
В магазине было 150 ящиков яиц. В понедельник продали 35,
во вторник получили 60. Сколько ящиков осталось?
Давай решим шаг за шагом.
- Начало: 150 ящиков.
- После понедельника: 150 − 35 = 115.
- После вторника: 115 + 60 = 175.
Один и тот же ответ? Не всегда — но теперь вы видите логику и можете проверить каждый шаг.
Почему это работает?
«Chain-of-Thought prompting представляет собой фундаментальный сдвиг от поиска паттернов к структурированному рассуждению в ИИ-системах.»
Используя CoT-промптинг, мы не только чаще получаем правильные ответы, но и получаем представление о мыслительном процессе модели, делая его прозрачным и легко верифицируемым.
Важно учитывать, что CoT-промптинг является эмерджентной способностью, зависящей от масштаба модели — он не оказывает положительного влияния на производительность до тех пор, пока не используется с моделью достаточного размера. Иными словами, на маленьких моделях эффект минимален.
Результаты: насколько эффективен CoT?
Исследования демонстрируют следующие улучшения точности при использовании CoT по сравнению со стандартным промптингом (модель PaLM 540B):
| Задача | Стандартный промптинг | CoT-промптинг | Прирост |
|---|---|---|---|
| GSM8K (математика) | 55% | 74% | +19% |
| SVAMP (математика) | 57% | 81% | +24% |
| Commonsense (CSQA) | 76% | 80% | +4% |
| Символьные рассуждения | ~60% | ~95% | +35% |
Например, применение всего восьми CoT-примеров с моделью PaLM 540B позволило достичь результатов на уровне state-of-the-art на бенчмарке математических задач GSM8K, превзойдя даже дообученный GPT-3 с верификатором.
Где применяется CoT на практике?
- Математика и логика. В задачах, включающих многошаговую арифметику или алгебраические рассуждения, CoT-промптинг помогает модели разбить задачу шаг за шагом.
- Кодирование. Анализ требований, пошаговое написание алгоритма, отладка — всё это выигрывает от явной цепочки рассуждений.
- Принятие решений в агентах. Для ИИ-агентов CoT-промптинг обеспечивает прозрачное принятие решений в многошаговых рабочих процессах.
- Медицина и наука. CoT применяется в медицинской диагностике, научном анализе данных и юридическом рассуждении.
- Образование. ИИ-тьюторы используют CoT, чтобы объяснять решения учащимся, а не просто называть ответ.
Разновидности CoT
| Вариант | Суть | Когда использовать |
|---|---|---|
| Zero-shot CoT | Фраза «думай шаг за шагом» | Быстрые эксперименты |
| Few-shot CoT | Примеры рассуждений в промпте | Сложные, специфичные задачи |
| Self-consistency | Несколько цепочек → голосование | Максимальная точность |
| Auto-CoT | Автоматическая генерация примеров | Масштабирование без ручной разметки |
| Multimodal CoT | Рассуждения по тексту + изображению | Мультимодальные задачи |
Self-consistency значительно повышает производительность CoT-промптинга на многих популярных бенчмарках арифметических и логических рассуждений: например, на GSM8K она увеличила точность CoT-промптинга на 17,9%.
Ограничения
- Требует крупных моделей. На небольших LLM эффект слабее или отсутствует.
- Увеличивает длину ответа — а значит, и стоимость API-запросов.
- Возможно «зацикленное» мышление. Модель может генерировать избыточные или ошибочные шаги.
- Не панацея для фактических знаний. Если модель не знает факта — рассуждение не поможет его «придумать» верно.
См. также: Prompt Engineering, Few-Shot Learning, Zero-Shot Learning, Self-Consistency, LLM (Large Language Model)