Harness Engineering: путь к рекурсивному самосовершенствованию ИИ

Введение: когда улучшать модель — не лучшая идея

Представьте: ваш ИИ-агент делает ошибки. Первый инстинкт — сменить модель на более мощную. Но что если проблема совсем не в весах нейронной сети?

Бенчмарки ряда AI-инженерных команд 2025 года показали: улучшение окружения вокруг модели может давать лучший результат, чем переход на более мощную модель. Две команды могут использовать одну и ту же модель и получать кардинально разные результаты — просто из-за harness-дизайна.

Именно об этом — новая фундаментальная статья Лилиан Вэнг (Lilian Weng), бывшего руководителя направления безопасности OpenAI. Это глубокий технический обзор harness-инжиниринга как пути к рекурсивному самосовершенствованию (RSI) в AI-системах. Разберём ключевые идеи, архитектурные паттерны и то, почему именно harness — это самый реалистичный путь к самоулучшающемуся ИИ уже сегодня.

Что такое «harness» и почему это важнее, чем кажется

Harness — это система вокруг базовой модели, которая оркестрирует выполнение задач и определяет, как модель думает и планирует, вызывает инструменты и действует, воспринимает и управляет контекстом, хранит артефакты и оценивает результаты.

Это не просто «агентный фреймворк». Harness шире — он также охватывает оценку (evaluation), управление разрешениями, персистентное состояние и дизайн рабочих процессов: всю ту механику, которая превращает способную модель в надёжную систему.

По сравнению с ранними агентными фреймворками вида «agent = LLM + memory + tools + planning + action», harness-инжиниринг дополнительно включает дизайн рабочих процессов (loop engineering), оценку, управление разрешениями и управление персистентным состоянием. Это уже не только шаблоны промптов — это ближе к дизайну runtime и программных систем: как модель наблюдает, действует, запоминает, проверяет себя и улучшается.

Примеры реальных harness-систем

Harness-системы являются важными компонентами развёртывания ИИ — примерами успешных продуктов на их основе служат кодинг-агенты Claude Code и Codex. Каждый coding-агент — Claude Code, Codex, OpenCode — это harness. Они тихо сошлись к одному интерфейсу: обнаружение файлов, чтение и редактирование, выполнение shell-команд, внешний контекст, работа с артефактами, фоновые задания и делегирование подагентам.

Рекурсивное самосовершенствование: от философии к инженерии

Концепция рекурсивного самосовершенствования (RSI) восходит к И. Дж. Гуду (1965), который определил «ультраинтеллектуальную машину» как систему, способную превзойти людей во всех интеллектуальных видах деятельности и проектировать лучшие машины для собственного совершенствования.

Юдковский (2008) использовал фразу «рекурсивное самосовершенствование» для описания конкретной петли обратной связи: ИИ использует свой текущий интеллект для улучшения когнитивной машинерии, производящей этот интеллект. Эта петля в современном ИИ может означать прямую перезапись весов модели или, в более широком смысле, улучшение пайплайна обучения и системы развёртывания, что, в свою очередь, создаёт лучшую модель-преемника.

«Самосовершенствование ИИ начнётся не с перезаписи весов — оно начнётся с harness.» — Lilian Weng, 2026

В современных AI-системах самосовершенствование необязательно означает, что модель напрямую переписывает свои веса. Это может также означать, что модель улучшает процесс обучения, исследовательский рабочий процесс и систему развёртывания, тем самым помогая следующему поколению систем лучше справляться с реальными задачами.

graph TD
    A["Базовая LLM модель"] --> B["Harness"]
    B --> C["Context Engineering"]
    B --> D["Workflow Design"]
    B --> E["Self-Improving Harness"]
    B --> F["Evolutionary Program Search"]
    C --> G["Улучшение промптов и контекста"]
    D --> H["Автодизайн рабочих процессов"]
    E --> I["Weakness Mining → Proposals → Validation"]
    F --> J["AlphaEvolve, Darwin Gödel Machine"]
    I --> K["15–52% прирост производительности"]
    J --> K

Четыре направления harness-оптимизации

Статья организует последние исследования вокруг четырёх основных направлений: context engineering (ACE, MCE, Meta-Harness), автоматизация дизайна рабочих процессов (ADAS, AFlow, AI Scientist), самоулучшающиеся harness-системы (Self-Harness, STOP) и эволюционный поиск программ (AlphaEvolve, Darwin Gödel Machine, ShinkaEvolve).

1. Context Engineering: управление контекстом как первый уровень

Прогрессия объектов оптимизации в harness-системе выглядит примерно так: инструкционные промпты → структурированный контекст → рабочий процесс.

Context engineering — это первый и наиболее освоенный слой: системные промпты, управление памятью, выбор инструментов. Проекты вроде ACE (Agentic Context Engineering) и MCE исследуют, как автоматически эволюционировать контекст, не трогая веса модели.

2. Workflow Design: автоматизация рабочих процессов

Эволюция этого направления такова: сначала люди проектировали рабочие процессы под задачи; затем модели начали участвовать в дизайне этих процессов; и наконец, сама структура рабочих процессов вошла в пространство поиска. Иными словами, целью оптимизации стал уже не отдельный промпт, а то, как весь агент организует свои действия.

Система AFlow демонстрирует этот подход: агент просит LLM создать модифицированный рабочий процесс на основе оценки производительности, выполняет и оценивает новый процесс, добавляет его обратно в дерево если процесс показывает улучшение в пределах бюджета N итераций, и повторяет это, пока средний показатель топ-k не стабилизируется.

3. Self-Improving Harness: модель улучшает собственное окружение

Это самый захватывающий уровень. На этом уровне модель уже не просто использует harness для выполнения задач — она начинает анализировать, где harness несовершенен, и предлагает его улучшения.

Парадигма Self-Harness позволяет LLM-агенту улучшать собственный harness без участия людей-инженеров и без более мощных внешних моделей. Это непрерывная самоэволюция, управляемая трёхэтапным итерационным циклом.

Цикл Self-Harness состоит из трёх шагов:

1. Weakness Mining — система собирает траектории, оставленные агентом при выполнении задач, включая вызовы инструментов, логи ошибок, неудачные результаты и обратную связь от валидаторов, затем выявляет повторяющиеся паттерны сбоев.
2. Harness Proposals — на основе выявленных слабостей генерируются конкретные предложения по изменению harness.
3. Validation — предложения тестируются эмпирически, лучшие принимаются.

Self-Harness вводит новую парадигму, где LLM-агенты автономно улучшают собственные harness-системы без участия людей-инженеров или более мощных внешних моделей, достигая прироста производительности 15–52% на Terminal-Bench 2.0.

4. Evolutionary Program Search: эволюция кода

Ключевой инсайт: код — универсальный язык для harness-оптимизации, позволяющий LLM-кодинг-агентам исследовать то же пространство дизайна, которое используют люди-инженеры.

Проекты вроде AlphaEvolve, Darwin Gödel Machine и ShinkaEvolve применяют эволюционные алгоритмы к коду самого harness: мутируют, скрещивают и отбирают наиболее эффективные варианты через автоматические тесты.

Сравнение подходов к самоулучшению ИИ

Открытые вызовы: 7 барьеров на пути к RSI

Статья также охватывает совместную оптимизацию harness+веса (SIA) и завершается семью открытыми вызовами: слабые оценщики, жизненный цикл памяти, негативные результаты, коллапс разнообразия, reward hacking, метрики долгосрочного успеха и роль человеческого надзора.

Разберём наиболее критические:

1. Слабые оценщики (Weak Evaluators) Без быстрых и точных верификаторов у петли самосовершенствования нет честного сигнала для оптимизации — и она склонна «хакать» любой прокси-показатель, который ей подсунуть. Сейчас только задачи с чёткой, быстрой и объективной обратной связью — такие как написание кода или решение математических задач — могут успешно запускать петли самосовершенствования.

2. Ручной инжиниринг как бутылочное горлышко «Более глубокая проблема в том, что текущая парадигма harness-инжиниринга часто лишена систематической петли обратной связи. Многие правки делаются на основе интуиции, нескольких наблюдаемых сбоев или ситуативного дебаггинга», — поясняет ведущий автор Self-Harness Hangfan Zhang.

3. Реальные бенчмарки пока скромны На PaperBench (воспроизведение 20 работ ICML 2024) лучшие модели достигают ~21% против ML PhD. На MLE-bench (75 соревнований Kaggle) лучшая конфигурация набирает bronze-level лишь в 16.9% случаев. На RE-Bench люди всё ещё показывают ненулевой результат в 82% открытых ML-исследовательских попыток. Автономные исследования работают в узких, верифицируемых нишах — но не от начала до конца.

Harness vs. веса: не конкуренция, а симбиоз

Важно понять: Weng не противопоставляет harness-инжиниринг и обучение модели. Она не рассматривает harness как замену обучению модели; её оценка скорее такова, что они взаимно усиливают друг друга. Достаточно зрелый harness создаёт исследовательский цикл для самосовершенствования моделей; тогда как более интеллектуальные модели не дают harness стать чрезмерно перегруженным, обеспечивая устойчивость системы.

В долгосрочной перспективе многие улучшения harness могут в конечном счёте стать интернализированными в поведение самой модели — подобно тому, как техники ручного prompt engineering становятся менее важными по мере роста способностей моделей к следованию инструкциям и рассуждению.

# Упрощённый псевдокод петли самосовершенствования harness
class SelfImprovingHarness:
    def __init__(self, base_model, harness_code):
        self.model = base_model
        self.harness = harness_code
        self.trajectory_log = []
    
    def run_task(self, task):
        """Запуск задачи и логирование траектории"""
        result = self.harness.execute(self.model, task)
        self.trajectory_log.append({
            'task': task,
            'result': result,
            'tool_calls': result.tool_calls,
            'errors': result.errors
        })
        return result
    
    def weakness_mining(self):
        """Выявление паттернов сбоев из истории траекторий"""
        failures = [t for t in self.trajectory_log if not t['result'].success]
        weakness_report = self.model.analyze_failures(failures)
        return weakness_report
    
    def propose_harness_update(self, weakness_report):
        """Генерация предложений по улучшению harness"""
        proposals = self.model.generate_harness_proposals(
            current_harness=self.harness,
            weaknesses=weakness_report
        )
        return proposals
    
    def validate_and_apply(self, proposals):
        """Тестирование и принятие лучших предложений"""
        for proposal in proposals:
            score = self.evaluate_proposal(proposal)
            if score > self.current_score:
                self.harness = proposal.apply(self.harness)
                print(f"Harness улучшен: +{score - self.current_score:.1%}")
                self.current_score = score
    
    def self_improve_loop(self, tasks, iterations=10):
        """Основной цикл самосовершенствования"""
        for i in range(iterations):
            for task in tasks:
                self.run_task(task)
            weaknesses = self.weakness_mining()
            proposals = self.propose_harness_update(weaknesses)
            self.validate_and_apply(proposals)

Заключение: harness — это ваш рычаг уже сегодня

Harness-инжиниринг всё больше становится центром агентного дизайна: новая статья Лилиан Вэнг широко цитируется как переосмысление рекурсивного самосовершенствования — не через прямое изменение весов, а через harness.

Ключевые выводы:

1. Harness — это не обёртка, это архитектура. Дизайн harness определяет надёжность и производительность системы не меньше, чем выбор базовой модели.
2. Самосовершенствование начинается здесь. Потому что harness — это код, который агент уже умеет читать и переписывать, а его эффект поддаётся эмпирической проверке.
3. Четыре уровня эволюции — от context engineering до эволюционного поиска программ — дают чёткую дорожную карту для исследователей и инженеров.
4. Семь открытых вызовов (слабые оценщики, коллапс разнообразия, reward hacking и др.) — это настоящая исследовательская повестка на ближайшие годы.
5. Harness и веса — не конкуренты, а партнёры. Зрелый harness создаёт условия для более умных моделей; более умные модели делают harness более изящным.

Самоулучшающийся ИИ — это не сценарий из далёкого будущего. Его инженерная основа строится прямо сейчас, слой за слоем, начиная с того кода, который вы пишете вокруг ваших моделей.

Читать оригинал: Harness Engineering for Self-Improvement — Lilian Weng, Lil’Log