BERT on AI-Uchi — Всё об искусственном интеллекте/tags/bert/Recent content in BERT on AI-Uchi — Всё об искусственном интеллектеHugoruThu, 11 Jun 2026 14:00:00 +0300Семейство Трансформеров: от BERT до MoE и Mamba/articles/semeystvo-transformerov-bert-gpt-vit-moe/Thu, 11 Jun 2026 14:00:00 +0300/articles/semeystvo-transformerov-bert-gpt-vit-moe/<h1 id="семейство-трансформеров-от-attention-is-all-you-need-до-moe-и-mamba">Семейство Трансформеров: от «Attention Is All You Need» до MoE и Mamba</h1> <p>В 2017 году команда Google опубликовала статью с простым названием <em>«Attention Is All You Need»</em>. Мало кто предполагал, что эта работа породит целую династию архитектур, которая через восемь лет будет лежать в основе ChatGPT, Gemini, Stable Diffusion и сотен других систем. Сегодня, в 2026 году, практически всё современное глубокое обучение строится на Трансформере в той или иной форме.</p>