HELM
Прозрачная оценка моделей от Стэнфорда: стандартизированные сценарии и метрики — от точности до токсичности и устойчивости к атакам.
Прозрачная оценка моделей от Стэнфорда: стандартизированные сценарии и метрики — от точности до токсичности и устойчивости к атакам.
Комплексная оценка LLM из Шанхая: сотни датасетов и моделей — официальная платформа ведущих китайских и мировых лидербордов.
Обучение GPT-2 на чистом C и CUDA от Андрея Карпати: минималистичный, но быстрый код, разбирающий устройство языковых моделей до основания.
Языковая модель на архитектуре RNN: качество трансформера при линейной сложности и постоянной памяти — эффективный инференс на слабом железе.
Оркестрация локальных ИИ-агентов от создателя LocalAI: пул агентов с памятью, планированием и функциями — без облака и без кода.
Платформа разработки LLM-приложений: быстрые эксперименты с промптами и моделями, оценка качества и публикация — от прототипа до прода.
Стриминговая обработка данных для ИИ: постоянно обновляемый индекс из потоков данных — основа для RAG, который не устаревает.
Агентная обработка документов из Berkeley: пайплайны с ИИ-шагами извлекают, преобразуют и разрешают сущности в массивах документов любого объёма.
База знаний по коду для ИИ-агентов: граф зависимостей репозитория с готовыми агентами — ответы на вопросы, изменения кода и тесты.
Наблюдаемость ИИ-агентов: трейсы каждого шага, стоимость токенов и отладка сбоев — для CrewAI, LangChain, Autogen и собственных агентов.
Сервинг LLM от Shanghai AI Lab: тот самый движок Turbomind обслуживает тысячи запросов в секунду на GPU с потоковым выводом.
Фреймворк дообучения сотен моделей от Alibaba: LLM, мультимодальные и аудио-модели — полный цикл от SFT до RLHF с одной командой.
Обработка терабайтов текстов для обучения LLM: фильтрация, дедупликация и токенизация распределённо — инструмент, стоявший за созданием FineWeb.
Понимание длинных видео от команды LLaVA: отвечает на вопросы по роликам, находит моменты и описывает происходящее с открытыми весами.
Платформа мировых моделей от NVIDIA: генерация физически правдоподобного видео для обучения роботов и автономных систем — с предобученными весами.
Набор инструментов для обучения FLUX: LoRA и дообучение с веб-интерфейсом — один из самых популярных способов обучить модель на своих изображениях.
Локальный ассистент кода в VS Code: автодополнение и чат через Ollama или LM Studio — никакой рабочий код не покидает вашу машину.
ИИ-копилот внутри вашего приложения: виджеты чата, автодополнение и агентные действия в React-приложении за часы, а не месяцы.
Оценка RAG-систем без эталонных ответов: метрики точности поиска, верности и полноты ответов из коробки — для CI пайплайна.
Бенчмарк с ежемесячно обновляемыми задачами: вопросы не попадают в обучающие данные моделей, а ответы проверяются объективно — без LLM-судей.