OpenAI Evals
Фреймворк оценки моделей от OpenAI: YAML-шаблоны оценок, сравнение промптов и бенчмарки для любых LLM.
Плагины под экосистему OpenAI: расширяют возможности вашей среды одной установкой. Новые позиции добавляются регулярно.
Фреймворк оценки моделей от OpenAI: YAML-шаблоны оценок, сравнение промптов и бенчмарки для любых LLM.
Главный бенчмарк ИИ-агентов-программистов: реальные issue из популярных репозиториев и автоматическая проверка исправлений.
Прорывная модель OpenAI, связывающая изображения и текст: основа современного векторного поиска и классификации.
Инструментарий цикла разработки LLM-приложений от Microsoft: потоки промптов, оценки, тонкая настройка и деплой в Azure.
Структурированный язык написания промптов: шаблоны с ролями, правилами и workflow делают сложные промпты поддерживаемыми.
Официальный JavaScript-клиент OpenAI: полная типизация, стриминг, функции и поддержка Deno, Bun и браузера.
Официальный Python-клиент OpenAI: чат, функции, ассистенты, стриминг и все новые возможности API.
Сканеры безопасности для LLM-входов и выходов: фильтрация инъекций, чувствительных данных и токсичности одной библиотекой.
Тестирование и защита ИИ-моделей: автоматические проверки на предвзятость, утечки и уязвимости для LLM и классического ML.
Инструментарий наблюдаемости и оценки GenAI от W&B: трейсы LLM, датасеты для оценки и сравнение версий приложений.
Открытая платформа жизненного цикла ML: трекинг экспериментов, реестр моделей, упаковка и деплой — от Databricks.
Быстрый сервер инференса LLM от исследователей: RadixAttention для переиспользования кэша и сложные программы генерации.
Продакшн-сервер инференса LLM от Hugging Face: стриминг, квантование, кэширование — сердце Inference Endpoints.
Библиотека Microsoft для обучения гигантских моделей: параллелизм данных, конвейеров и тензоров на тысячах GPU.
100+ моделей для дообучения через веб-интерфейс: визуальный Gradio-UI делает файнтюнинг доступным без программирования.
Дообучение LLM в разы быстрее и с меньшей памятью: оптимизированные ядра ускоряют QLoRA-обучение на 2–5 раз.
Параметрически эффективное дообучение: адаптеры LoRA и десятки других методов позволяют доучивать гигантские модели на одном GPU.
Самая популярная библиотека для работы с готовыми моделями: десятки тысяч LLM, визуальных и речевых моделей в одном API.
Готовые React-компоненты для чат-интерфейсов ИИ: стриминг, ветвление диалогов, вложения — совместим с Vercel AI SDK.
Все-в-одном фреймворк семантического поиска и LLM: эмбеддинги, векторный индекс, пайплайны и API в одной библиотеке.