Arena-Hard
Жёсткий бенчмарк чат-ботов от LMArena: 500 сложных промптов и парное сравнение ответов с бутстрэп-доверительными интервалами.
Жёсткий бенчмарк чат-ботов от LMArena: 500 сложных промптов и парное сравнение ответов с бутстрэп-доверительными интервалами.
Полностью открытая реализация пайплайна R1: воспроизводимое обучение рассуждений с подкреплением — данные, тренировка, оценка.
Бенчмарк понимания длинных текстов от Tsinghua: 21 задача на документах до 32 тысяч токенов — однозначное отслеживание прогресса моделей.
Запуск LLM на оборудовании Intel: CPU, встроенные GPU и ускорители Arc — локальные модели без видеокарт NVIDIA.
Референсное обучение LLM от команды PyTorch: современные методы параллелизма FSDP2 — эталонная реализация для обучения моделей на множестве GPU.
Распределённое обучение больших моделей: параллелизм всех видов — tensor, pipeline, sequence и ZeRO — запуск GPT и LLaMA на кластерах GPU.
Открытый конкурс и датасет по сбору данных для LLM: лучшие практики фильтрации веб-данных — фундамент для обучения сильных моделей на ограниченном бюджете.
Унифицированная мультимодальная модель DeepSeek: понимание и генерация изображений в одной архитектуре — декодирование без отдельных модулей.
Строгая оценка генерации кода: расширенные тесты HumanEval+ и MBPP+ отсеивают код, который формально проходит, но не работает на граничных случаях.
Комплексная оценка LLM из Шанхая: сотни датасетов и моделей — официальная платформа ведущих китайских и мировых лидербордов.
Полностью локальный агент в духе Manus: самостоятельно ищет в браузере, пишет и запускает код, работает с файлами — без единого запроса в облако.
Сервинг LLM от Shanghai AI Lab: тот самый движок Turbomind обслуживает тысячи запросов в секунду на GPU с потоковым выводом.
Лёгкий инструмент дообучения от Shanghai AI Lab: 70B-модель на одной видеокарте за счёт clever offload — конфиги из коробки для сотен моделей.
Фреймворк дообучения сотен моделей от Alibaba: LLM, мультимодальные и аудио-модели — полный цикл от SFT до RLHF с одной командой.
Локальный ассистент кода в VS Code: автодополнение и чат через Ollama или LM Studio — никакой рабочий код не покидает вашу машину.
Все чат-боты в одном окне браузера: сравнивайте ответы нескольких моделей рядом, переключайтесь между провайдерами и используйте свой API.
Грамматики для строгого формата ответов LLM: модель выдаёт валидный JSON по схеме с минимальными замедлениями — бэкенд для vLLM и других движков.
Бенчмарк с ежемесячно обновляемыми задачами: вопросы не попадают в обучающие данные моделей, а ответы проверяются объективно — без LLM-судей.
Офлайн-распознавание и синтез речи на любых устройствах: работает без сети на телефоне, в браузере и встроенных системах — сотни предобученных моделей.
Агент в терминале с минимализмом в духе Unix: выполняет команды, правит файлы и работает с инструментами — всё через простой чат-интерфейс.