27
Sep
translation
MentalHealthBench: как OpenAI оценивает ИИ в психологии
OpenAI выпустила MentalHealthBench — открытый бенчмарк из 1 215 сценариев для оценки ИИ в реальных …
→
Бенчмарк
8
материалов
05
Sep
article
Как агенты выбирают инструменты: 17к сессий под микроскопом
Команда Armature (YC P26) измерила 16 893 сессии Claude Code, Codex и Cursor. Что агенты реально …
→
04
Sep
news
GPT-6 Astra покорил ARC-AGI-3: 99,9% и эффективнее людей
OpenAI GPT-6 Astra набрал 99,9% на сложнейшем бенчмарке ARC-AGI-3 и превзошёл людей по эффективности …
→
30
Jul
news
AI-агенты не умеют следовать корпоративным регламентам
Новый бенчмарк HANDBOOK.md доказал: лучшие AI-агенты проваливают более 60% задач, где нужно строго …
→
15
Jul
article
Apple SpeechAnalyzer vs Whisper: первый реальный бенчмарк
Apple представила SpeechAnalyzer на WWDC 2025. Разбираем реальные бенчмарки точности и скорости …
→
29
Jun
news
GLM 5.2 обходит Claude в бенчмарке по безопасности
Команда Semgrep протестировала GLM 5.2 на поиске IDOR-уязвимостей — открытая модель от Zhipu AI …
→
22
May
article
HalBench: тест на лесть и галлюцинации у топ-LLM
Разбираем пользовательский бенчмарк HalBench: как Claude Sonnet 4.6, Grok 4.3, GPT-5.4 и Gemini 3.1 …
→
04
May
news
Local Deep Research: ~95% на SimpleQA без облака
Открытый инструмент Local Deep Research показывает ~95% точности на SimpleQA. Поддерживает Ollama, …
→