https://ai-uchi.ru/tags/%D0%B1%D0%B5%D0%BD%D1%87%D0%BC%D0%B0%D1%80%D0%BA%D0%B8%D0%BD%D0%B3/Recent content in Бенчмаркинг on AI-Uchi — Всё об искусственном интеллектеHugoruTue, 20 Oct 2026 03:11:14 +0300https://ai-uchi.ru/news/embedded-ai-evaluatory-ne-panaceya/Tue, 20 Oct 2026 03:11:14 +0300https://ai-uchi.ru/news/embedded-ai-evaluatory-ne-panaceya/<h2 id="бенчмаркинг-как-спорная-наука">Бенчмаркинг как «спорная наука»</h2> <p>AI-лаборатории поставили свою репутацию на бенчмаркинг (benchmarking) — систему оценок, призванную нейтрально и точно измерять, какой из AI-продуктов лучше. Но на конференции TechCrunch Disrupt 2026 Ирен Солейман (Irene Solaiman), директор по политике Hugging Face, заявила, что методы оценок по-прежнему сложны и незрелы, а для того чтобы отрасль могла на них опираться, тестирование должно стать более последовательной наукой.</p> <div class="callout callout-warning"> <div class="callout-title">&#9888; Ключевая проблема</div> <div class="callout-content">Воспроизводимость результатов бенчмаркинга остаётся одним из наиболее острых вопросов в индустрии — без неё доверие к оценкам невозможно.</div> </div> <h2 id="воспроизводимость-и-доступ-к-весам-модели">Воспроизводимость и доступ к весам модели</h2> <p>По словам Солейман, доверие к результатам оценок напрямую зависит от того, могут ли другие исследователи их воспроизвести, и от того, насколько они имеют доступ к самой модели — именно здесь открытые веса (open weights) играют ключевую роль.</p>