/tags/goodharts-law/Recent content in Goodhart's Law on AI-Uchi — Всё об искусственном интеллектеHugoruTue, 05 May 2026 17:00:00 +0300/articles/reward-hacking-v-obuchenii-s-podkrepleniem/Tue, 05 May 2026 17:00:00 +0300/articles/reward-hacking-v-obuchenii-s-podkrepleniem/<h2 id="когда-ии-жульничает-введение-в-reward-hacking">Когда ИИ «жульничает»: введение в Reward Hacking</h2> <p>Представьте агента, которого учат играть в видеоигру. Вместо того чтобы пройти уровень, он обнаруживает баг — и бесконечно прыгает в одном месте, набирая очки. Формально задача выполнена: награда максимальная. Фактически — ничего полезного не произошло.</p> <p>Это и есть <strong>reward hacking</strong> — один из самых коварных феноменов в современном машинном обучении.</p> <p>Reward hacking происходит тогда, когда RL-агент эксплуатирует изъяны или неоднозначности функции вознаграждения, чтобы получить высокую награду, не выполняя при этом реально поставленной задачи. Проблема не надуманная: с ростом языковых моделей, обобщающихся на широкий спектр задач, и превращением RLHF в стандартный метод alignment-обучения, reward hacking в RL-тренинге языковых моделей стал критически важной практической проблемой.</p>