Шанхайский университет выпустил бесплатный курс по LLM с Huawei
Шанхайский университет Цзяотун и Huawei Ascend выпустили обновлённый бесплатный курс Dive into LLMs: 11 тем, от fine-tuning до GUI-агентов и RLHF.
Шанхайский университет и Huawei открыли бесплатный практический курс по LLM
Исследователи Шанхайского университета Цзяотун (SJTU) и Национального университета Сингапура запустили открытый проект практических туториалов по большим языковым моделям — Dive into LLMs. В июне 2025 года курс получил крупное обновление: добавлены новые темы (математические рассуждения, GUI Agent, выравнивание моделей, стеганография), а совместно с сообществом Huawei Ascend опубликован полный курс «Полный цикл разработки больших моделей» — с презентациями, лабораторными и видео.
Откуда взялся курс
Проект вырос из учебных материалов курсов «Передовые технологии обработки естественного языка» (NIS8021) и «Технологии безопасности искусственного интеллекта» (NIS3353) под руководством преподавателя Чжан Чжошэна. Курс полностью бесплатный и предназначен для того, чтобы помочь студентам быстро разобраться с большими моделями через практические упражнения.
«Через простую практику — к быстрому старту в мире больших моделей»
Что входит в программу
Dive into LLMs — один из наиболее полных открытых ресурсов по разработке больших языковых моделей. Курс охватывает 11 модулей:
| № | Модуль | Что изучается |
|---|---|---|
| 1 | Fine-tuning & Deployment | Дообучение предобученных моделей, развёртывание демо |
| 2 | Prompt Learning & Chain-of-Thought | API-вызовы, техники рассуждений |
| 3 | Knowledge Editing | Редактирование знаний в языковых моделях |
| 4 | Mathematical Reasoning | Дистилляция мини-R1 для математики |
| 5 | Model Watermarking | Невидимые водяные знаки в тексте |
| 6 | Jailbreak Attacks | Атаки на безопасность LLM |
| 7 | LLM Steganography | Скрытая передача информации через ответы модели |
| 8 | Multimodal Models | Мультимодальное понимание и генерация |
| 9 | GUI Agent | ИИ-агент для автоматизации интерфейсов |
| 10 | Agent Security | Безопасность агентов в открытых сценариях |
| 11 | RLHF Alignment | Выравнивание через PPO-обучение с подкреплением |
Каждый модуль включает слайды, учебник и готовые скрипты на Jupyter Notebook.
Новинка: полный цикл разработки на Huawei Ascend
Совместно с Huawei Ascend разработан курс «Полный цикл разработки больших моделей», предлагающий полное руководство от начального до продвинутого уровня. Он охватывает работу с уже поддерживаемыми моделями на чипах Ascend, а также миграцию и тонкую настройку новых архитектур.
По состоянию на май 2025 года сообщество разработчиков Ascend насчитывает более 6,65 миллиона участников и свыше 8 800 партнёров. Публикация образовательного курса — часть стратегии расширения экосистемы.
graph TD
A[Dive into LLMs] --> B[Базовый курс SJTU]
A --> C[Курс Huawei Ascend]
B --> D[Fine-tuning]
B --> E[Безопасность LLM]
B --> F[Агенты и мультимодальность]
C --> G[Начальный уровень]
C --> H[Средний уровень]
C --> I[Продвинутый уровень]
Пример: дистилляция мини-R1 для математики
Одна из новых тем — обучение модели математическим рассуждениям через дистилляцию в стиле DeepSeek-R1. Базовый пример запуска скрипта обучения:
# Пример запуска дистилляции (из репозитория dive-into-llms)
python train_math_reasoning.py \
--model_name_or_path Qwen/Qwen2.5-1.5B-Instruct \
--dataset math_distill \
--output_dir ./mini_r1_output \
--num_train_epochs 3
Почему это важно
Курс одинаково полезен и студенту, начинающему своё знакомство с LLM, и исследователю, изучающему продвинутые темы, и практику, внедряющему системы в продакшн.
В списке авторов — исследователи Шанхайского университета Цзяотун и Национального университета Сингапура, что обеспечивает академическую строгость наряду с практической применимостью. Репозиторий открыт для вкладов сообщества: принимаются PR и issues.
Материалы доступны по адресу: https://github.com/Lordog/dive-into-llms