SGLang
Быстрый сервер инференса LLM от исследователей: RadixAttention для переиспользования кэша и сложные программы генерации.
Страница расширения в связке с Cursor: расширяют возможности вашей среды одной установкой. Фильтруйте по темам через меню слева.
Быстрый сервер инференса LLM от исследователей: RadixAttention для переиспользования кэша и сложные программы генерации.
Дообучение LLM через YAML-конфиг: один файл описывает модель, данные и метод — фреймворк делает всё остальное.
Фреймворк RAG как сервис: загружаете данные любых форматов — получаете готового чат-бота с знаниями через несколько строк кода.
Наблюдаемость и эксперименты LLM в одном инструменте: трейсинг, оценки, датасеты и дрифт эмбеддингов.
Открытая платформа трейсинга и оценки LLM от Comet: логи, метрики, плейграунд и самохостинг.
Фреймворк юнит-тестирования LLM-выходов: метрики качества, синтетические данные и CI/CD для промптов и RAG.
Память типа ETL для агентов: превращает неструктурированные данные в граф знаний, который агент может эффективно запрашивать.
Память и временное знание для агентов: автоматическое суммирование истории, граф сущностей и поиск по памяти.
Умная память для ИИ-ассистентов: извлекает факты из диалогов, сохраняет в профиль пользователя и поднимает релевантное в нужный момент.
Самый простой способ запускать локальные LLM на своём компьютере: одна команда — и модель работает, плюс OpenAI-совместимый API.
Единый интерфейс к сотне LLM: один код для всех провайдеров, плюс прокси с балансировкой, бюджетами и фолбэками.
Платформа интеграций для агентов: сотни готовых инструментов для приложений, единая аутентификация и управление доступом.
Фреймворк для команд ИИ-агентов: каждый агент — роль, задачи распределяются автоматически, есть визуальная среда.