Библиотека кернелов для LLM-инференса: флэш-внимание, сэмплинг и поиск по KV-кэшу — ускоряет vLLM, SGLang и собственные движки.
Тритон-кернелы LinkedIn для обучения LLM: заменяет стандартные слои и ускоряет дообучение до 20%, снижая потребление памяти в разы.
Высокопроизводительный фреймворк RLHF на Ray + vLLM: PPO, DPO, GRPO, KTO и другие методы выравнивания LLM с минимумом кода.
Фреймворк RL-обучения LLM от ByteDance: GRPO, PPO и их гибриды с FSDP/Megatron, коллаборативное обучение на GPU-кластерах.
Система предсказания структуры белков от DeepMind: революция в биологии — трёхмерная структура белка из аминокислотной последовательности за часы.
Открытая реализация GPT-3-масштаба от EleutherAI: код для обучения 20-миллиардной модели на GPU-кластерах с MP и DP параллелизмом.
Модель, начавшая эпоху генеративного ИИ: код и веса GPT-2 — исторический артефакт, с которого началась гонка больших языковых моделей.
Универсальный трансформер для временных рядов от Salesforce: один предобученный модуль прогнозирует любые данные — от продаж до погоды.
Ядро моделей OLMo 2: полностью открытый код обучения, архитектуры и данных — воспроизведите 32-миллиардную модель с нуля у себя.
Распределённое обучение без коммуникационных узких мест от Nous Research: сокращение обмена данными в 1000 раз против традиционного data-parallel.
Открытая аудио-LLM от Moonshot AI: понимает речь, музыку и звуки, отвечает голосом и поёт — полный стек аудиоинтеллекта с открытыми весами.
Быстрое и экономичное внимание от Tri Dao: IO-оптимизированные кернелы ускоряют обучение трансформеров в 3-5 раз без потери точности.
scikit-learn для временных рядов: единый интерфейс для прогнозирования, классификации и кластеризации с унифицированным API.
Глубокое обучение для временных рядов от Nixtla: N-HiTS, TimesNet и десятки SOTA-архитектур с GPU-ускорением и простым API.
Единая библиотека прогнозирования: от ARIMA до трансформеров и LLM-прогнозов — сравнивайте модели одним интерфейсом на своих временных рядах.
Фундаментальная модель прогнозирования временных рядов от Google: точные предсказания без обучения на каждом датасете — как GPT, но для чисел.
Бессерверный векторный поиск: Python-клиент к Turbopuffer — быстрый поиск по миллиардам векторов без управления инфраструктурой векторной БД.
Оркестрация GPU-задач как в Kubernetes, но для ИИ: запускайте обучение, инференс и dev-окружения на любом облаке одной командой.
Коммуникация экспертов MoE от DeepSeek: высокопроизводительный all-to-all для микстуры экспертов на GPU Hopper с NVLink и RDMA.
Кернел multi-head latent attention от DeepSeek: до 3000 TFLOPS на Hopper — открытое ядро внимания, обслуживающее DeepSeek-V3.