Плагины под экосистему OpenAI: расширяют возможности вашей среды одной установкой. Новые позиции добавляются регулярно.
CLI для тестирования и сравнения промптов: red teaming, оценки, A/B-тесты моделей — всё из командной строки и конфигов.
Фреймворк юнит-тестирования LLM-выходов: метрики качества, синтетические данные и CI/CD для промптов и RAG.
Минималистичный фреймворк мультиагентного программирования: агенты как объекты с задачами, инструментами и делегированием.
Мультиагентная платформа от Alibaba: отказоустойчая реляционная модель сообщений, визуализация и готовые агенты.
Исследовательский фреймворк для мультиагентного общения: агенты ролевого типа договариваются и решают задачи вместе.
Реализация Whisper до восьми раз быстрее оригинала: тот же API на CTranslate2 с меньшим потреблением памяти.
Фундаментальная модель распознавания речи от OpenAI: точная транскрибация и перевод десятков языков, работает локально.
Быстрый и точный конвертер PDF в Markdown: качественно восстанавливает разметку, формулы и таблицы из сложных документов.
Память типа ETL для агентов: превращает неструктурированные данные в граф знаний, который агент может эффективно запрашивать.
Память и временное знание для агентов: автоматическое суммирование истории, граф сущностей и поиск по памяти.
Умная память для ИИ-ассистентов: извлекает факты из диалогов, сохраняет в профиль пользователя и поднимает релевантное в нужный момент.
Лёгкий фреймворк для мультимодальных агентов: память, знания, инструменты и команды — с упором на скорость и простоту.
Лёгкий интерфейс Эндрю Ынга к разным LLM: один вызов для всех провайдеров, легко менять модель строкой конфигурации.
Генерация с гарантированным форматом: JSON по схеме, регулярки, грамматики — модель физически не может выдать невалидный ответ.
Библиотека для строгих структурированных выходов LLM: ответы валидируются Pydantic-схемами, с ретраями и автоматическим исправлением.
Промышленный фреймворк RAG и поиска от deepset: пайплайны, компоненты и масштабируемые поисковые приложения.
Фреймворк для приложений с данными: индексация любых источников, RAG-конвейеры и агенты поверх корпоративных данных.
Самый известный фреймворк для LLM-приложений: цепочки, агенты, ретриверы и сотни интеграций с моделями и хранилищами.
Высокопроизводительный сервер инференса LLM с PagedAttention: в разы большая пропускная способность на GPU.
Эталонная реализация инференса LLM на чистом C/C++: запускает большие модели на обычном железе, включая CPU.