Плагины под экосистему OpenAI: расширяют возможности вашей среды одной установкой. Новые позиции добавляются регулярно.
Жёсткий бенчмарк чат-ботов от LMArena: 500 сложных промптов и парное сравнение ответов с бутстрэп-доверительными интервалами.
Автоматическая оценка инструктивных LLM: быстрый аннотатор на основе сильной модели ранжирует ответы — стандартная доска лидеров.
Масштабируемый фреймворк RL для LLM: обучение с подкреплением на тысячах GPU, агентные задачи, интеграция с Ray и vLLM.
Полностью открытая реализация пайплайна R1: воспроизводимое обучение рассуждений с подкреплением — данные, тренировка, оценка.
Минималистичная реализация GPT для обучения: от загрузки данных до генерации текста — читаемый код, понятный каждому, кто изучает трансформеры.
Ускоренный AlphaFold для всех: предсказание структуры белков в облаке или на своём GPU — за минуты вместо часов, бесплатно для исследований.
Бенчмарк понимания длинных текстов от Tsinghua: 21 задача на документах до 32 тысяч токенов — однозначное отслеживание прогресса моделей.
Честная оценка длинного контекста: синтетические задачи из четырёх категорий показывают реальную длину контекста модели — а не заявленную в маркетинге.
Быстрый инференс квантованных LLM на GPU: EXL2-квантование с гибким битрейтом — популярное решение для запуска больших моделей на одной видеокарте.
Распределённое обучение больших моделей: параллелизм всех видов — tensor, pipeline, sequence и ZeRO — запуск GPT и LLaMA на кластерах GPU.
Открытая реализация CLIP: воспроизведение обучения CLIP на собственных данных — эталонные эмбеддинги изображений и текста для поиска и классификации.
Открытая зрительно-языковая модель от Tsinghua: точные описания изображений, ответы на визуальные вопросы и OCR — на уровне закрытых моделей.
Открытая фундаментальная модель от Shanghai AI Lab: сильные результаты на математике и коде — основа экосистемы InternLM с миллионами загрузок.
ИИ-ревью кода: автоматически находит дублирование, сложные функции и проблемы качества — с объяснениями и предложениями исправлений.
Бенчмарк сложных программных задач: сотни вызовов библиотек и инструментов в одной задаче — проверка моделей на уровне реальной разработки.
Строгая оценка генерации кода: расширенные тесты HumanEval+ и MBPP+ отсеивают код, который формально проходит, но не работает на граничных случаях.
Прозрачная оценка моделей от Стэнфорда: стандартизированные сценарии и метрики — от точности до токсичности и устойчивости к атакам.
Комплексная оценка LLM из Шанхая: сотни датасетов и моделей — официальная платформа ведущих китайских и мировых лидербордов.
Обучение GPT-2 на чистом C и CUDA от Андрея Карпати: минималистичный, но быстрый код, разбирающий устройство языковых моделей до основания.
Языковая модель на архитектуре RNN: качество трансформера при линейной сложности и постоянной памяти — эффективный инференс на слабом железе.