Ультрабыстрый ИИ-шлюз с открытым кодом: единая точка для сотни LLM с кэшем, фолбэками и наблюдаемостью — на edge.
Открытый агент-ассистент от Block: работает локально, расширяется расширениями (MCP) и управляет инструментами от разработки до аналитики.
Структурированный язык написания промптов: шаблоны с ролями, правилами и workflow делают сложные промпты поддерживаемыми.
Официальный Python SDK для Gemini API и Vertex AI: мультимодальные запросы, функции, кэширование и живые сессии.
Официальный TypeScript-клиент Claude API: типизированный доступ к моделям, tool use и стримингу из Node и браузера.
Официальный Python-клиент Claude API: чат, tool use, батч-обработка, кэширование промптов и стриминг.
Инструментарий наблюдаемости и оценки GenAI от W&B: трейсы LLM, датасеты для оценки и сравнение версий приложений.
Открытая платформа жизненного цикла ML: трекинг экспериментов, реестр моделей, упаковка и деплой — от Databricks.
Быстрый сервер инференса LLM от исследователей: RadixAttention для переиспользования кэша и сложные программы генерации.
Дообучение LLM через YAML-конфиг: один файл описывает модель, данные и метод — фреймворк делает всё остальное.
Дообучение LLM в разы быстрее и с меньшей памятью: оптимизированные ядра ускоряют QLoRA-обучение на 2–5 раз.
Динамический агент общего назначения: не имеет жёстких инструментов — сам пишет код для решения каждой новой задачи.
Терминальный агент для больших задач на больших репозиториях: планирует изменения, применяет их атомарно и откатывает при ошибках.
Все-в-одном фреймворк семантического поиска и LLM: эмбеддинги, векторный индекс, пайплайны и API в одной библиотеке.
Фреймворк RAG как сервис: загружаете данные любых форматов — получаете готового чат-бота с знаниями через несколько строк кода.
Стандартный инструмент бенчмаркинга языковых моделей от EleutherAI: сотни задач, по которым сравниваются все открытые модели.
Наблюдаемость и эксперименты LLM в одном инструменте: трейсинг, оценки, датасеты и дрифт эмбеддингов.
Открытая платформа трейсинга и оценки LLM от Comet: логи, метрики, плейграунд и самохостинг.
Фреймворк юнит-тестирования LLM-выходов: метрики качества, синтетические данные и CI/CD для промптов и RAG.
Минималистичный фреймворк мультиагентного программирования: агенты как объекты с задачами, инструментами и делегированием.