TorchTitan
Референсное обучение LLM от команды PyTorch: современные методы параллелизма FSDP2 — эталонная реализация для обучения моделей на множестве GPU.
Расширения под Kimi: расширяют возможности вашей среды одной установкой. Новые позиции добавляются регулярно.
Референсное обучение LLM от команды PyTorch: современные методы параллелизма FSDP2 — эталонная реализация для обучения моделей на множестве GPU.
Распределённое обучение больших моделей: параллелизм всех видов — tensor, pipeline, sequence и ZeRO — запуск GPT и LLaMA на кластерах GPU.
Комплексная оценка LLM из Шанхая: сотни датасетов и моделей — официальная платформа ведущих китайских и мировых лидербордов.
Сервинг LLM от Shanghai AI Lab: тот самый движок Turbomind обслуживает тысячи запросов в секунду на GPU с потоковым выводом.
Лёгкий инструмент дообучения от Shanghai AI Lab: 70B-модель на одной видеокарте за счёт clever offload — конфиги из коробки для сотен моделей.
Фреймворк дообучения сотен моделей от Alibaba: LLM, мультимодальные и аудио-модели — полный цикл от SFT до RLHF с одной командой.
Единый инструмент оценки зрительно-языковых моделей: десятки бенчмарков от VQA до OCRBench с воспроизводимым пайплайном — стандарт для сравнения MLLM.
Фреймворк RL-обучения LLM от ByteDance: GRPO, PPO и их гибриды с FSDP/Megatron, коллаборативное обучение на GPU-кластерах.
Открытая аудио-LLM от Moonshot AI: понимает речь, музыку и звуки, отвечает голосом и поёт — полный стек аудиоинтеллекта с открытыми весами.
Лёгкий GraphRAG от университета Гонконга: быстрее и дешевле Microsoft GraphRAG, тот же принцип графа знаний поверх векторного поиска.
Реалистичный бенчмарк компьютерных агентов: задачи в настоящих ОС и приложениях — от редактора таблиц до системных настроек.
Гетерогенный инференс гигантских LLM: GPU считает внимание, CPU — остальное — запуск моделей с сотнями миллиардов параметров на домашнем железе.
Огромная открытая модель Moonshot AI с сильным tool calling: триллион параметров, агентные сценарии и открытые веса.
Структурированный язык написания промптов: шаблоны с ролями, правилами и workflow делают сложные промпты поддерживаемыми.
Официальная Python-библиотека для Ollama: запуск локальных моделей, чат, эмбеддинги и управление моделями.
100+ моделей для дообучения через веб-интерфейс: визуальный Gradio-UI делает файнтюнинг доступным без программирования.
Дообучение LLM через YAML-конфиг: один файл описывает модель, данные и метод — фреймворк делает всё остальное.
Дообучение LLM в разы быстрее и с меньшей памятью: оптимизированные ядра ускоряют QLoRA-обучение на 2–5 раз.
ИИ-слой поверх любых данных: SQL-запросы к предиктивным моделям, интеграции с сотнями источников данных.
Официальный SDK от Moonshot AI для создания собственных агентов на моделях Kimi с инструментами и памятью.