AI против налогового консультанта: лучший агент справляется лишь с 10.8% задач

ИИ-агенты провалили налоговый экзамен

Компания Surge AI выпустила новый бенчмарк (benchmark — стандартизированный тест производительности) DAYJOB: Tax: он оценивает ИИ-агентов на 50 реалистичных налоговых заданиях, проверяя способность ориентироваться в запутанных документах, выносить профессиональные суждения и выдавать надёжный результат. Итог оказался неутешительным: ни один из фронтирных агентов не справляется более чем примерно с одним заданием из десяти. Лидер рейтинга — Claude Sonnet 5.5 — набирает лишь 10.8% успешных попыток.

Что такое DAYJOB: Tax

DAYJOB: Tax — бенчмарк от Surge AI, который передаёт ИИ-агенту полноценное профессиональное налоговое задание и требует готового результата. 50 задач охватывают восемь практических областей: налоги физических лиц и семей, малый бизнес, партнёрства, трасты и наследство, международное налогообложение, корпоративные сделки и налоговые споры.

DAYJOB проверяет, способен ли ИИ-агент взять на себя профессиональное задание от начала до конца — ориентироваться в запутанных документах, выявлять проблемы, о которых клиент никогда не спрашивал, принимать взвешенные решения при неполной информации и выдавать результат, соответствующий профессиональным стандартам.

Типовой сценарий: упущенный дедлайн

Авторы бенчмарка приводят показательный пример. Клиентка Анна планировала продать квартиру и хотела знать, что выгоднее — закрыть сделку в октябре 2026-го или в январе 2027-го. Агент оценил предложенные даты верно, но его совет оставил Анну в неведении о дедлайне, который мог повлиять на важное финансовое решение. Налоговый консультант должен замечать критически важные вопросы, даже если клиент не знает, о чём спрашивать.

«Налоговый консультант должен замечать критически важные вопросы, даже если клиент не знает, о чём спрашивать.» — Surge AI

Surge AI показывает: провалы агентов связаны прежде всего с суждением — например, пропущенный дедлайн, прекращающий налоговую льготу, — а не с арифметическими ошибками.

Как устроена оценка

Каждое задание написано налоговыми экспертами вместе с клиентскими записями, ожидаемым результатом и рубрикой оценки и прошло многоуровневую проверку на корректность, полноту и решаемость.

Результаты засчитываются по схеме pass@1 при 95% пороге рубрики.

Результаты: кто и сколько набрал

Полная таблица результатов по схеме pass@1 (порог 95% рубрики):

DAYJOB: Tax тестирует 16 моделей. Claude Sonnet 5.5 лидирует с показателем 10.8% — на 1.2 п.п. опережая Claude Fable 5.1. Лучшая открытая модель, DeepSeek V4.1 Flash, занимает лишь 11-е место с результатом 1.2%.

Kimi K3, Mistral Large 4 и Qwen 3.8 Max не прошли ни одного задания.

Контекст и значение для отрасли

DAYJOB: Tax — последнее дополнение к серии бенчмарков DAYJOB от Surge AI. Для сравнения: наиболее сильные модели набирают менее 25% в бенчмарках DAYJOB: Healthcare и DAYJOB: Finance. Налоговые задания оказались значительно сложнее.

Результаты показывают, насколько сложным это остаётся для фронтирных моделей. Даже когда агенты способны выполнять отдельные шаги, профессиональное суждение и надёжное исполнение реальных налоговых задач остаются недостижимы.

Слабые результаты всех моделей — не повод списывать ИИ со счетов в налоговой сфере, а честный диагноз: профессиональное суждение и надёжное ведение реальных налоговых задач пока недостижимы для агентов — аудит ещё не пройден. Разрыв между формальной точностью и реальным профессиональным мышлением пока значителен, и именно его измеряет этот бенчмарк.