/tags/inference/Recent content in Inference on AI-Uchi — Всё об искусственном интеллектеHugoruThu, 19 Feb 2026 15:00:00 +0300/glossary/mixture-of-experts-moe/Thu, 19 Feb 2026 15:00:00 +0300/glossary/mixture-of-experts-moe/<div class="callout callout-info"> <div class="callout-title">&#8505; Info</div> <div class="callout-content"><strong>Mixture of Experts (MoE)</strong> — архитектура языковой модели, в которой вместо одного монолитного блока используется набор специализированных подсетей («экспертов»). При обработке каждого токена активируется лишь небольшая часть экспертов, что снижает вычислительную нагрузку без потери качества.</div> </div> <h2 id="простыми-словами">Простыми словами</h2> <p>Представьте большую редакцию с сотней специалистов: юристы, экономисты, переводчики, программисты. Когда поступает задача, её не решают все сразу — её направляют к двум-трём подходящим экспертам. Остальные в это время свободны.</p> <p>MoE работает точно так же. Модель содержит десятки или сотни «экспертных» слоёв, но на каждый токен активируются только несколько из них. Специальный компонент — <strong>роутер</strong> (gating network) — решает, кому передать слово.</p>