BioBasicsBench: как ИИ справляется с рутинной работой в мокрой лаборатории

Представьте: учёный смотрит на гель-электрофорезный снимок и пытается определить молекулярную массу фрагментов ДНК. Или разглядывает чашку Петри, чтобы посчитать колонии бактерий. Это обычная, будничная работа в любой биологической лаборатории. Но способен ли ИИ делать это так же надёжно, как человек с учёной степенью?

OpenAI сделала шаг к ответу на этот вопрос — и он получился одновременно обнадёживающим и отрезвляющим.

Что такое BioBasicsBench?

OpenAI представила BioBasicsBench — новый бенчмарк (benchmark, эталонный тест), разработанный совместно с Ligo, биотехнологической компанией, специализирующейся на конструировании ферментов, для измерения того, насколько хорошо ИИ-агенты справляются с рутинным лабораторным анализом.

ℹ Что такое wet-lab?
Wet-lab (мокрая лаборатория) — это традиционная биологическая или химическая лаборатория, где проводятся реальные эксперименты с реагентами, образцами и оборудованием. В отличие от «сухой» (dry-lab), где работают преимущественно с компьютерными моделями и данными.

BioBasicsBench устраняет важный пробел: предыдущие оценки строились вокруг графиков и изображений, отобранных для научных публикаций. Однако реальная лабораторная работа также включает неудавшиеся эксперименты, неоднозначные изображения, противоречивые наблюдения и устранение неполадок.

«Повседневная работа в wet-lab включает провальные эксперименты, неоднозначные изображения и противоречивые наблюдения» — OpenAI

Из чего состоит бенчмарк

BioBasicsBench включает 100 задач в пяти областях рутинной лабораторной работы: методы работы с белками, визуализация и цитометрия, количественный анализ и биологические тесты (assays), методы работы с нуклеиновыми кислотами и молекулярное клонирование.

Большинство задач проверяют сразу несколько навыков: биологические знания, интерпретацию изображений и других данных, обнаружение ошибок и понимание протоколов.

Какие данные получает агент

Входные данные сохраняют те формы доказательств, с которыми работают учёные: гель-изображения и блот-снимки, фотографии планшетов, стеки микроскопии, показания секвенирования, экспорты данных планшетных ридеров и видеозаписи лабораторной работы.

Тип данныхЧисло задачПримеры
Гель-изображения и блоты~30Агарозные гели, Western blot
Микроскопия14Brightfield, флуоресценция, z-стеки, таймлапс
Таблицы и экспорты приборов20CSV/Excel, FCS-файлы проточной цитометрии
Файлы секвенирования12Ридинги, результаты ПЦР
Референсные материалы21Таблицы ладдеров, карты плазмид

Задачи варьируются от простых запросов — например, считать молекулярную массу образца ДНК на геле — до детального анализа биологических тестов, но все они относятся к рутинной работе, которую учёный wet-lab должен выполнять надёжно.

Строгая проверка качества заданий

По словам OpenAI, учёные создавали задачи на основе своих собственных экспериментов, каждая снабжена экспертно написанной системой оценки (rubric). Каждая задача прошла внутреннюю проверку специалистом Ligo, который её не писал, внешнюю проверку учёным с PhD, работающим в реальной wet-lab, и финальную внутреннюю проверку.

💡 Ключевое отличие от других бенчмарков
Большинство научных бенчмарков для ИИ используют отполированные данные из опубликованных статей. BioBasicsBench намеренно включает «грязные», неоднозначные и провальные эксперименты — то, с чем учёный сталкивается каждый день.

Результаты моделей: кто лучше справился?

OpenAI оценила семь моделей — GPT-5.2, GPT-5.4, GPT-5.5, GPT-5.6 Sol, GPT-6.1 Sol, GPT-6 Luna и GPT-6 Astra — в 37 конфигурациях модели и уровня рассуждения.

При максимальном уровне рассуждения (xhigh): GPT-5.6 Sol набрал 43,8%, GPT-6.1 Sol — 62,0%, GPT-6 Astra — 66,7%.


graph LR
    A[GPT-5.2\n~31%] --> B[GPT-5.4\n33.2%]
    B --> C[GPT-5.5\n35.4%]
    C --> D[GPT-5.6 Sol\n43.8%]
    D --> E[GPT-6 Luna\n38.3%]
    D --> F[GPT-6.1 Sol\n62.0%]
    F --> G[GPT-6 Astra\n66.7% 🏆]

Ответы оцениваются с частичным зачётом по отдельным критериям рубрики. Это означает, что модель получает баллы не по принципу «всё или ничего», а пропорционально тому, насколько полно и правильно она справилась с каждым аспектом задачи.

Где ИИ ошибается: примеры провалов

Высокий балл — не то же самое, что надёжное лабораторное суждение. OpenAI честно фиксирует ошибки даже у лучших моделей.

Ошибка при подсчёте колоний

В задаче на подсчёт колоний Astra не смог разделить близко расположенные колонии, пропустил видимые колонии и отметил пустой агар, что привело к погрешности подсчёта около 12% относительно эталонного значения.

Неверная интерпретация геля при клонировании

В задаче по колони-ПЦР Astra выбрал лунки 4, 6, 7 и 8, исходя из предположения, что более крупный ПЦР-продукт означает успешное клонирование; эталонная интерпретация указывала на лунки 5, 9 и 10.

Неправильное назначение идентичностей полос

Модель различила отдельные паттерны полос, но присвоила им неверные экспериментальные идентичности и выбрала неправильные колонии.

⚠ Важное предупреждение от OpenAI
«Более высокие баллы в бенчмарке не означают, что модели уже способны выносить надёжные суждения в условиях реальной лаборатории», — написала OpenAI. Ошибки в интерпретации гелей или контрольных образцов могут привести к неверным выводам и потере ресурсов на последующие эксперименты.

Почему это важно: мультимодальность как ключевой навык

OpenAI интерпретирует полученные результаты как свидетельство улучшенной мультимодальной обработки данных, использования экспериментального контекста и понимания того, что данные могут и не могут доказать, а также как указание на то, что более сильные нативные мультимодальные возможности могут быть важны для рутинного анализа в wet-lab.

Иными словами, просто «знать биологию» недостаточно. ИИ-агент в лаборатории должен уметь:

  • Читать и интерпретировать изображения (гели, микроскопия, планшеты)
  • Работать с инструментальными данными (CSV, FCS, видео)
  • Проверять контрольные образцы и замечать аномалии
  • Ограничивать выводы тем, что реально подтверждают данные
📝 Реальный кейс: мислейбл контрольного образца
В одной из задач на клонирование GPT-6 Astra заметил метку на планшете с указанием другого антибиотика — не того, что использовался в эксперименте. Это критическая деталь, которую легко пропустить, но именно она определяет, стоит ли доверять результату.

Ограничения бенчмарка

100 задач не могут охватить каждый инструмент, образец, экспериментальный контекст или решение, с которыми лаборатория может столкнуться. Это честное и важное признание: BioBasicsBench — не финальный вердикт о готовности ИИ к лабораторной работе, а скорее первый измерительный инструмент для систематической оценки прогресса.

Бенчмарк является примером растущего фокуса OpenAI на науке. Компания явно движется в сторону создания ИИ-ассистентов, способных работать бок о бок с учёными — не заменяя их, но беря на себя рутинный анализ, который отнимает значительную часть исследовательского времени.

Итог: шаг вперёд с открытыми глазами

BioBasicsBench — это не триумфальный отчёт о том, что ИИ победил биологию. Это честная попытка измерить реальные возможности и реальные ограничения современных моделей в условиях, максимально приближённых к настоящей лаборатории.

ГPT-6 Astra набирает 66,7% — это лучший результат среди протестированных моделей, но далеко не человеческий уровень эксперта. Языковые модели демонстрируют неравномерную производительность в условиях wet-lab, и ошибки, которые выделяет OpenAI, нередко сочетают правильное наблюдение с неверным выводом.

Для исследователей и биотехнологических компаний это означает: ИИ-ассистент в лаборатории уже сегодня может быть полезен для первичного анализа, но требует человеческого контроля при принятии критических решений. А для разработчиков ИИ — это чёткий вектор: мультимодальность, работа с «грязными» данными и умение говорить «данные не позволяют сделать такой вывод» важны не меньше, чем глубина биологических знаний.