MLE-bench (OpenAI)
Бенчмарк ИИ в соревнованиях по машинному обучению: модель сама строит ML-решения Kaggle-контестов и получает медали.
Бенчмарк ИИ в соревнованиях по машинному обучению: модель сама строит ML-решения Kaggle-контестов и получает медали.
Бенчмарк агентов в диалогах с пользователями и инструментами: проверка не только ответа, но и правильности вызванных действий.
Комплексный бенчмарк LLM-агентов: восемь сред — от OS и баз данных до веба и карточных игр — с единой системой оценки.
Бенчмарк веб-агентов на реальных сайтах: покупки, бронирования, работа с форумами и инструментами — с проверкой результатов.
Реалистичный бенчмарк компьютерных агентов: задачи в настоящих ОС и приложениях — от редактора таблиц до системных настроек.
Генерация длинных видео на видеокартах с 6 ГБ памяти: автор ControlNet сжимает контекст, сохраняя качество движений.
Открытая генерация видео от Zhipu AI: модели до 5 миллиардов параметров, текст и изображения в видео через Diffusers.
Готовые компактные модели речи: STT на десятках языков и TTS — всё работает на CPU быстрее реального времени.
Офлайн-переводчик с открытым кодом: работает полностью на устройстве, пакеты языков скачиваются отдельно.
Whisper с пословными таймкодами и разделением говорящих: транскрибация интервью и встреч с точной разметкой по времени.
Дубляж и субтитры видео силами ИИ: перевод, озвучка нейроголосом и субтитры для вертикальных платформ — всё в одном инструменте.
Автоматический монтаж видео по тексту: транскрибирует ролик и вырезает нужные фрагменты по ключевым словам.
Популярный десктопный ИИ-клиент: десятки провайдеров, агенты, базы знаний и перевод — с красивым интерфейсом.
Продвинутый ИИ-чат для профессионалов: множество моделей, beam-агрегация ответов, personas и работа с документами.
Библиотека оценки устойчивости LLM от Microsoft: тестирует модели на adversarial-атаки, сдвиги формулировок и инъекции.
Мощная мультимодальная модель, помещающаяся на телефоне: понимает изображения, документы и видео при крошечном размере.
Пионер открытых мультимодальных моделей: соединяет визуальный энкодер с LLM для ответов на вопросы об изображениях.
Сервер STT и TTS с OpenAI-совместимым API: быстрые модели распознавания и синтеза речи локально в одном контейнере.
Официальный SDK Deepgram: стриминговая транскрибация речи в реальном времени с диаризацией и аналитикой.
Официальный клиент Groq — самого быстрого API инференса: ответы моделей со скоростью сотен токенов в секунду.