ZeRO

Обучение больших моделей на множестве GPU

Как обучать гигантские нейросети на кластерах GPU: параллелизм данных, модели, конвейеров, ZeRO и …