Arena-Hard
Жёсткий бенчмарк чат-ботов от LMArena: 500 сложных промптов и парное сравнение ответов с бутстрэп-доверительными интервалами.
Здесь собраны дополнения для Google Gemini — расширяют возможности вашей среды одной установкой. Выбирайте по рубрике или добавляйте в избранное.
Жёсткий бенчмарк чат-ботов от LMArena: 500 сложных промптов и парное сравнение ответов с бутстрэп-доверительными интервалами.
Бенчмарк понимания длинных текстов от Tsinghua: 21 задача на документах до 32 тысяч токенов — однозначное отслеживание прогресса моделей.
Честная оценка длинного контекста: синтетические задачи из четырёх категорий показывают реальную длину контекста модели — а не заявленную в маркетинге.
Строгая оценка генерации кода: расширенные тесты HumanEval+ и MBPP+ отсеивают код, который формально проходит, но не работает на граничных случаях.
Прозрачная оценка моделей от Стэнфорда: стандартизированные сценарии и метрики — от точности до токсичности и устойчивости к атакам.
Комплексная оценка LLM из Шанхая: сотни датасетов и моделей — официальная платформа ведущих китайских и мировых лидербордов.
Понимание длинных видео от команды LLaVA: отвечает на вопросы по роликам, находит моменты и описывает происходящее с открытыми весами.
Локальный ассистент кода в VS Code: автодополнение и чат через Ollama или LM Studio — никакой рабочий код не покидает вашу машину.
Бенчмарк с ежемесячно обновляемыми задачами: вопросы не попадают в обучающие данные моделей, а ответы проверяются объективно — без LLM-судей.
Понимание видео языковой моделью: отвечает на вопросы по роликам, описывает события и находит моменты на временной шкале.
Третье поколение модели сегментации Meta: выделение объектов по точке, рамке или текстовому описанию — быстрее и точнее предшественников.
Единый инструмент оценки зрительно-языковых моделей: десятки бенчмарков от VQA до OCRBench с воспроизводимым пайплайном — стандарт для сравнения MLLM.
Лёгкий агентный SDK от AWS: стройте агентов с инструментами, памятью и потоковым выводом — без тяжёлой инфраструктуры и вендорной привязки.
Омни-модель от Alibaba: понимает текст, изображения, аудио и видео, отвечает текстом и речью в реальном времени — всё в одной архитектуре.
Аудио-LLM от Alibaba: распознаёт речь и звуки, общается голосом и поёт — понимает музыку, голоса и акустические события.
Омни-модель с локального устройства: видит, слышит и говорит в реальном времени — камера и микрофон телефона превращаются в живого ассистента.
Открытая модель MiniMax с контекстом миллион токенов: первая массовая LLM с lightning attention, сильна в длинном рассуждении и коде.
Инструменты Stripe для ИИ-агентов: платежи, подписки, счета и возвраты через единый API — агенты могут продавать и выставлять счета.
Фреймворк RAG и агентов для корпоративных документов: парсинг тысяч форматов, работа с моделями на CPU и быстрый старт без GPU-кластера.
Автономные агенты разметки от создателей Label Studio: агент учится размечать данные по вашим примерам и доводит качество до заданной планки.