LifeVal: как OpenAI измеряет пользу ИИ в реальной жизни

Что важнее — решить задачу из учебника по математике или помочь молодой маме найти ясли рядом с домом? Для большинства людей ответ очевиден. Именно этой логикой руководствовалась OpenAI, создавая LifeVal — новый бенчмарк (эталонный тест) для оценки того, насколько хорошо искусственный интеллект справляется с настоящими жизненными задачами.

Почему академических тестов уже недостаточно

До сих пор прогресс AI-моделей традиционно измерялся на абстрактных задачах: олимпиадные задачи по математике, тесты на IQ, написание кода, юридические экзамены. Эти инструменты хороши для оценки «интеллекта» в узком смысле, но плохо отвечают на главный вопрос: сделает ли ИИ мою жизнь проще?

LifeVal ставит целью выйти за рамки академических оценок знаний модели и по-настоящему измерить, насколько хорошо ИИ помогает людям принимать решения, справляться с повседневными обязанностями и доводить важные дела до конца.

Для того чтобы AGI принесло пользу всему человечеству, оно должно помогать людям с теми повседневными задачами, которые важны именно для них.

Более миллиарда человек еженедельно пользуются ChatGPT, и OpenAI хочет создавать ИИ, который помогает справляться с практическими вызовами повседневной жизни: находить места в детских садах, получать государственные услуги, составлять бюджет, готовиться к учёбе, адаптировать рецепты, заказывать продукты, разрабатывать планы тренировок и многое другое.

Как устроен LifeVal

Источники данных

Выбор задач для LifeVal основан на Американском обследовании использования времени (American Time Use Survey), Многонациональном исследовании использования времени (Multinational Time Use Study), а также на репрезентативном опросе 3 995 респондентов о том, в каких сферах они хотели бы получить помощь от персонального ИИ-ассистента.

Вместе эти наборы данных формируют подробный каталог повседневных задач, которые люди выполняют в зависимости от демографических характеристик, времени суток и сезона.

Категории задач

Итоговые области задач включают уход за детьми и близкими, здоровье, образование, управление домашним хозяйством, личные финансы, шопинг и взаимодействие с государственными службами.

Приведём конкретные примеры для понимания масштаба:

Принципиальное отличие от других тестов

Задачи LifeVal требуют от ИИ довести дело до конца, а не просто дать совет. Это принципиальная разница: ChatGPT может объяснить, как записаться в детскую секцию, а задача LifeVal — проверить, сделает ли он это сам.

Как менялись результаты моделей OpenAI

OpenAI создала эту оценку для отслеживания производительности модели на повседневных задачах и использовала её для отслеживания и стимулирования улучшений в течение последнего года.

По данным OpenAI, прогресс моделей выглядит следующим образом: GPT-5.2 набрал 49,3%, GPT-5.4 — 73,0%, GPT-5.5 — 77,4%, GPT-5.6 — 80,0%, GPT-6 Astra — 80,6% среднего вознаграждения.

graph LR
    A["GPT-5.2\n49,3%"] --> B["GPT-5.4\n73,0%"]
    B --> C["GPT-5.5\n77,4%"]
    C --> D["GPT-5.6\n80,0%"]
    D --> E["GPT-6 Astra\n80,6%"]
    style A fill:#f9c9c9,stroke:#e88
    style B fill:#fde8c8,stroke:#e8a
    style C fill:#fdf5c8,stroke:#cc8
    style D fill:#d4f5c8,stroke:#8c8
    style E fill:#c8f5d4,stroke:#4a8

Среди задач, в которых GPT-6 Astra показал лучший зафиксированный результат, — запись малыша на сенсорные занятия (100%), предпродажный технический осмотр автомобиля (100%), составление бюджетного списка покупок халяльных продуктов со сводной таблицей (100%).

Почему это важно для рядового пользователя

С точки зрения обычного человека LifeVal меняет ориентиры развития ИИ. До сих пор гонка за лидерство в AI нередко напоминала соревнование по абстрактным дисциплинам, далёким от реальных нужд людей. Теперь OpenAI публично заявляет: наша цель — помочь вам разобраться с бюрократией, сэкономить на продуктах и найти хорошую секцию для ребёнка.

Бенчмарки влияют на то, как разработчики, бизнес и пользователи оценивают AI-системы. Бенчмарк, построенный вокруг реально запрашиваемых задач ассистента, может сделать оценку более релевантной тем ситуациям, в которых люди ожидают полезности от ИИ.

Что это означает для России и СНГ

Для русскоязычной аудитории подобный подход особенно актуален. Взаимодействие с государственными сервисами (Госуслуги, МФЦ), составление семейного бюджета в условиях меняющихся цен, поиск детских секций и кружков, запись к специалистам — всё это требует времени, внимательности и нередко вызывает стресс. ИИ-ассистент, способный взять часть этих задач на себя, представляет реальную ценность.

Ограничения и открытые вопросы

Несмотря на амбициозность задумки, LifeVal пока вызывает вопросы у независимых экспертов:

• Закрытость: OpenAI не опубликовала набор задач, их количество или методологию расчёта среднего вознаграждения.
• Самооценка: тест создан и проводится самой OpenAI на своих же моделях — классический конфликт интересов.
• Сравнимость: страница содержит невзвешенное среднее вознаграждение, но не количество задач и не метод оценки, поэтому 80,6% пока нельзя сопоставить с внешними тестами.

Что дальше

LifeVal даёт OpenAI цель для обучения персональных агентов, которые умеют работать в браузере, использовать компьютер и действовать через внешние коннекторы, распространяя логику рабочих задач на сферу домашней жизни.

Последние модели OpenAI показывают очень высокие результаты на многих задачах LifeVal — и компания намерена двигаться дальше, превращая ИИ из умного собеседника в надёжного помощника по жизни.

LifeVal — это шаг от «ИИ, который знает» к «ИИ, который делает».

Главный сдвиг, который символизирует LifeVal, — смена системы координат. Важен не уровень эрудиции модели, а то, насколько она реально облегчает жизнь конкретного человека: помогает сэкономить время, деньги и нервы. И хотя методология ещё требует прозрачности и независимой верификации, сама постановка вопроса — «как ИИ помогает в реальной жизни?» — уже является важным шагом в правильном направлении.