Китайский разработчик Jingyao Gong выложил в открытый доступ проект MiniMind — полный pipeline для обучения языковой модели на 64 миллиона параметров с нуля. На одной видеокарте NVIDIA RTX 3090 весь процесс занимает около двух часов и обходится примерно в 3 юаня (~40 центов) при аренде GPU-сервера. Проект набрал более 41 000 звёзд на GitHub и стал одним из самых популярных учебных ресурсов по LLM.

Что такое MiniMind

MiniMind — это не очередная обёртка над чужой моделью. Это полная реализация языковой модели с нуля на чистом PyTorch, без зависимости от высокоуровневых фреймворков вроде transformers или trl. Размер модели — примерно 1/2700 от GPT-3.

Проект задуман как образовательный: не просто запускать готовую модель, а понять, как работает каждая строчка кода — от токенизатора до reinforcement learning.

Последняя версия — minimind-3 — вышла 1 апреля 2026 года. Архитектура выровнена с семейством Qwen3 / Qwen3-MoE.

ℹ Ключевые цифры
  • minimind-3: 64M параметров (Dense)
  • minimind-3-moe: 198M параметров, из них активных — 64M (Mixture of Experts)
  • Время обучения: ~2,3 часа на одной RTX 3090
  • Стоимость: 3 CNY ($0.40) при аренде GPU

Что покрывает pipeline

MiniMind — это не просто модель, а полный цикл обучения LLM. Все ключевые алгоритмы реализованы с нуля:


graph LR
    A[Tokenizer] --> B[Pretrain]
    B --> C[SFT]
    C --> D[LoRA]
    D --> E[RLHF / DPO]
    E --> F[RLAIF: PPO / GRPO / CISPO]
    F --> G[Tool Use]
    G --> H[Agentic RL]
    H --> I[Дистилляция]

Каждый этап — отдельный скрипт с понятной структурой. Обучение поддерживает чекпоинты, возобновление после сбоя, многокарточный режим (DDP, DeepSpeed) и визуализацию через wandb/SwanLab.

Совместимость и расширения

Несмотря на то, что MiniMind написан на чистом PyTorch, модель совместима с основными инструментами экосистемы:

КатегорияПоддержка
Обучениеtransformers, trl, peft, Llama-Factory
Инференсllama.cpp, vllm, ollama
APIOpenAI-совместимый сервер, FastGPT, Open-WebUI
ОценкаC-Eval, C-MMLU, OpenBookQA

Помимо основной текстовой модели, проект расширен визуальной мультимодальной версией MiniMind-V (67M параметров), диффузионной языковой моделью и вариантом с линейным вниманием (Linear Attention).

💡 Быстрый старт
Для минимального воспроизведения достаточно скачать два файла датасета — pretrain_t2t_mini.jsonl и sft_t2t_mini.jsonl — и запустить два скрипта обучения. Модель можно тут же протестировать через встроенный Streamlit WebUI или подключить к Ollama.

Что нового в minimind-3

Апрельский релиз принёс существенные изменения:

  • Архитектура выровнена с Qwen3 / Qwen3-MoE — убран shared expert в MoE
  • Новый токенизатор на базе BPE + ByteLevel с поддержкой тегов <tool_call>, <tool_response>, <think>
  • Способность Tool Call встроена прямо в основной SFT-датасет — отдельного этапа не требуется
  • Новый скрипт Agentic RL (train_agent.py) для многоходовых сценариев с инструментами
  • Поддержка reasoning_content, tool_calls и open_thinking в API-сервере
⚠ Ограничения
MiniMind — учебный проект. Модель на 64M параметров не заменит GPT-4 или DeepSeek. Но она позволяет пройти весь путь создания LLM, понять архитектуру, алгоритмы обучения и reinforcement learning на практике — за один вечер и без доступа к кластеру.

Почему это важно

Большинство курсов и туториалов по LLM сводятся к LoRA-файнтюнингу (дообучению адаптеров) готовых моделей. MiniMind идёт дальше: весь код — от матричных умножений до PPO — написан вручную и прокомментирован. Это делает проект редким примером действительно воспроизводимого обучения LLM на потребительском железе.

Проект распространяется по лицензии Apache 2.0 и полностью бесплатен.