Layer-Streaming on AI-Uchi — Всё об искусственном интеллектеhttps://ai-uchi.ru/tags/layer-streaming/Recent content in Layer-Streaming on AI-Uchi — Всё об искусственном интеллектеHugoruSun, 16 Aug 2026 03:09:23 +0300Soup: файнтюнинг 8B модели на ноутбуке с 4 ГБ GPUhttps://ai-uchi.ru/news/soup-fajntjuning-llm-na-4gb-gpu/Sun, 16 Aug 2026 03:09:23 +0300https://ai-uchi.ru/news/soup-fajntjuning-llm-na-4gb-gpu/<h2 id="файнтюнинг-больших-языковых-моделей--теперь-с-ноутбука">Файнтюнинг больших языковых моделей — теперь с ноутбука</h2> <p>Открытый инструмент <strong>Soup</strong> от казахстанского разработчика Alpamys Makazhan резко снижает порог входа в обучение больших языковых моделей. Soup превращает боль файнтюнинга LLM в простой рабочий процесс: один конфиг, одна команда — и готово. Главная особенность — технология <strong>layer streaming</strong>, которая позволяет файнтюнить 8B-модель на ноутбучном GPU с 4 ГБ VRAM, держа замороженную базу вне VRAM и подавая её в GPU по одному декодерному слою за раз.</p>