τ-bench
Бенчмарк агентов в диалогах с пользователями и инструментами: проверка не только ответа, но и правильности вызванных действий.
Плагины под экосистему OpenAI: расширяют возможности вашей среды одной установкой. Новые позиции добавляются регулярно.
Бенчмарк агентов в диалогах с пользователями и инструментами: проверка не только ответа, но и правильности вызванных действий.
Комплексный бенчмарк LLM-агентов: восемь сред — от OS и баз данных до веба и карточных игр — с единой системой оценки.
Бенчмарк веб-агентов на реальных сайтах: покупки, бронирования, работа с форумами и инструментами — с проверкой результатов.
Реалистичный бенчмарк компьютерных агентов: задачи в настоящих ОС и приложениях — от редактора таблиц до системных настроек.
Библиотека оценки устойчивости LLM от Microsoft: тестирует модели на adversarial-атаки, сдвиги формулировок и инъекции.
Мощная мультимодальная модель, помещающаяся на телефоне: понимает изображения, документы и видео при крошечном размере.
Пионер открытых мультимодальных моделей: соединяет визуальный энкодер с LLM для ответов на вопросы об изображениях.
Официальный клиент Groq — самого быстрого API инференса: ответы моделей со скоростью сотен токенов в секунду.
Периферийный ИИ: SDK для запуска моделей On-Device на любых устройствах — телефонах, десктопах, встраиваемых системах.
Контроль генерации LLM из Python: шаблоны с переменными, ветвлениями и валидацией — модель пишет ровно то, что нужно.
Максимальная производительность LLM на GPU NVIDIA: квантование FP8, спекулятивный декодинг и оптимизации ядер.
Высокопроизводительный сервер эмбеддингов от Hugging Face: сотни моделей, квантование и OpenAI-совместимый API.
Лёгкая локальная генерация эмбеддингов от Qdrant: без тяжёлых зависимостей, быстрый старт в одну строку.
Сильнейшая открытая мультимодальная модель: понимает изображения, документы и видео на уровне закрытых систем.
Мощное открытое семейство моделей Zhipu AI: агентные сценарии, рассуждения и кодинг — с открытыми весами.
Первая открытая модель OpenAI со времен GPT-2: гибридная архитектура MXFP4, мощный tool calling и веса для локального запуска.
Огромная открытая модель Moonshot AI с сильным tool calling: триллион параметров, агентные сценарии и открытые веса.
Прорывная рассуждающая модель DeepSeek с открытыми весами: обучение с подкреплением сделало её сильнейшей в математике и коде.
Флагманское семейство открытых моделей Alibaba: гибридное рассуждение, десятки языков и размеры от 0.6 до 235 миллиардов параметров.
Ультрабыстрый ИИ-шлюз с открытым кодом: единая точка для сотни LLM с кэшем, фолбэками и наблюдаемостью — на edge.