Описание
DisTrO — метод распределённого обучения от Nous Research: радикально сокращает объём обмена данными между GPU в 1000 раз без потери точности, что открывает обучение больших моделей на медленных каналах и гетерогенных кластерах.
Что умеет:
— сокращать коммуникацию при обучении на порядки;
— работать на медленных сетях;
— сохранять точность сходимости;
— открывать децентрализованное обучение.
Полная документация ниже — автоматически из репозитория NousResearch/DisTrO (ветка main). Оригинальные материалы проекта распространяются на условиях его лицензии.
DisTrO
This is the repository for DisTrO (Distributed Training Over-The-Internet), a family of low latency distributed optimizers that reduce inter-GPU communication requirements by three to four orders of magnitude.
- [x] Aug. 26th, 2024: DisTrO (Preliminary Report)
- [x] Dec. 2nd, 2024: DeMo Optimization (Paper) (Code), original seed research/idea for DisTrO
- [x] Dec. 2nd, 2024: Nous trains a 15b model using DisTrO
- [x] May 14th, 2025: Psyche Network
- [x] May 14th, 2025: Nous Consilience 40b LLM, Huggingface
- [x] Oct. 14th, 2025: DeMo Optimization (Paper v2), (Production Code)
Join us on Discord if you’re interested in helping research and build the future of distributed training.