https://ai-uchi.ru/tags/karpathy/Recent content in Karpathy on AI-Uchi — Всё об искусственном интеллектеHugoruTue, 03 Nov 2026 03:13:41 +0300https://ai-uchi.ru/news/nanochat-karpathy-gpt2-za-48-dollarov/Tue, 03 Nov 2026 03:13:41 +0300https://ai-uchi.ru/news/nanochat-karpathy-gpt2-za-48-dollarov/<h2 id="главное-за-30-секунд">Главное за 30 секунд</h2> <p>Андрей Карпати опубликовал <a href="https://github.com/karpathy/nanochat">nanochat</a> — открытый инструмент для обучения языковых моделей с нуля на одном GPU-узле. В 2019 году обучение GPT-2 на 32 чипах TPU v3 заняло 168 часов и обошлось примерно в $43 000. Сегодня nanochat достигает более высокого CORE-скора за 3 часа и ~$73 на одном узле из 8×H100 — это снижение стоимости примерно в 600 раз. На спотовых инстансах цена опускается до ~$15–48.</p> <hr> <h2 id="что-такое-nanochat">Что такое nanochat</h2> <p>nanochat — минималистичный и легко модифицируемый инструмент Карпати для сквозного обучения LLM на одном GPU-узле. Он охватывает токенизацию, предобучение (pretraining), дообучение с учителем (SFT), RL, оценку по метрике DCLM CORE и инференс с KV-кешем.</p>