Здесь собраны дополнения для моделей DeepSeek — расширяют возможности вашей среды одной установкой. Выбирайте по рубрике или добавляйте в избранное.
Библиотека кернелов для LLM-инференса: флэш-внимание, сэмплинг и поиск по KV-кэшу — ускоряет vLLM, SGLang и собственные движки.
Тритон-кернелы LinkedIn для обучения LLM: заменяет стандартные слои и ускоряет дообучение до 20%, снижая потребление памяти в разы.
Высокопроизводительный фреймворк RLHF на Ray + vLLM: PPO, DPO, GRPO, KTO и другие методы выравнивания LLM с минимумом кода.
Фреймворк RL-обучения LLM от ByteDance: GRPO, PPO и их гибриды с FSDP/Megatron, коллаборативное обучение на GPU-кластерах.
Коммуникация экспертов MoE от DeepSeek: высокопроизводительный all-to-all для микстуры экспертов на GPU Hopper с NVLink и RDMA.
Кернел multi-head latent attention от DeepSeek: до 3000 TFLOPS на Hopper — открытое ядро внимания, обслуживающее DeepSeek-V3.
Библиотека FP8-матричного умножения от DeepSeek: до 1350 TFLOPS на Hopper — тот самый код, который ускоряет DeepSeek-V3.
Открытая модель MiniMax с контекстом миллион токенов: первая массовая LLM с lightning attention, сильна в длинном рассуждении и коде.
Контроллер инференса LLM для Kubernetes от команды vLLM: автомасштабирование, маршрутизация, кэширование и мультитенантность в одном.
OCR от Allen AI на своей модели: извлечение текста из PDF в маркдаун для обучения LLM — быстрее и дешевле облачных сервисов.
Фреймворк RAG и агентов для корпоративных документов: парсинг тысяч форматов, работа с моделями на CPU и быстрый старт без GPU-кластера.
Агент глубокого поиска по своим данным от создателей Milvus: раскладывает вопрос на подзапросы, ищет в векторной БД и синтезирует развёрнутый ответ со ссылками.
Лёгкий GraphRAG от университета Гонконга: быстрее и дешевле Microsoft GraphRAG, тот же принцип графа знаний поверх векторного поиска.
Честный бенчмарк программирования без утечек: новые задачи с Codeforces и LeetCode, которые модели гарантированно не видели.
Бенчмарк ИИ в соревнованиях по машинному обучению: модель сама строит ML-решения Kaggle-контестов и получает медали.
Гетерогенный инференс гигантских LLM: GPU считает внимание, CPU — остальное — запуск моделей с сотнями миллиардов параметров на домашнем железе.
Каталог из 700+ архитектур компьютерного зрения: предобученные модели, аугментации и тренировочные скрипты на PyTorch.
Максимальная производительность LLM на GPU NVIDIA: квантование FP8, спекулятивный декодинг и оптимизации ядер.
Мощное открытое семейство моделей Zhipu AI: агентные сценарии, рассуждения и кодинг — с открытыми весами.
Огромная открытая модель Moonshot AI с сильным tool calling: триллион параметров, агентные сценарии и открытые веса.