Платформа запуска любых моделей локально: LLM, эмбеддинги, речь и мультимодальные модели с OpenAI-совместимым API.
Свободная замена OpenAI API локально: текст, изображения, аудио и эмбеддинги — без GPU и без отправки данных наружу.
LLM в одном исполняемом файле: веса, рантайм и веб-интерфейс упакованы в один бинарник — запуск на любой ОС без установки.
Распределённый инференс LLM из устройств под рукой: несколько компьютеров, телефонов и одноплатников объединяются в кластер.
Контроль генерации LLM из Python: шаблоны с переменными, ветвлениями и валидацией — модель пишет ровно то, что нужно.
Официальный шаблон чат-бота от Vercel: Next.js, Vercel AI SDK, стриминг, авторизация и история — готовый фундамент продукта.
Максимальная производительность LLM на GPU NVIDIA: квантование FP8, спекулятивный декодинг и оптимизации ядер.
Высокопроизводительный сервер эмбеддингов от Hugging Face: сотни моделей, квантование и OpenAI-совместимый API.
Лёгкая локальная генерация эмбеддингов от Qdrant: без тяжёлых зависимостей, быстрый старт в одну строку.
Официальная книга рецептов по моделям Phi: файнтюнинг, оптимизация, развёртывание на edge и сценарии с маленькими моделями.
Сильнейшая открытая мультимодальная модель: понимает изображения, документы и видео на уровне закрытых систем.
Мощное открытое семейство моделей Zhipu AI: агентные сценарии, рассуждения и кодинг — с открытыми весами.
Первая открытая модель OpenAI со времен GPT-2: гибридная архитектура MXFP4, мощный tool calling и веса для локального запуска.
Огромная открытая модель Moonshot AI с сильным tool calling: триллион параметров, агентные сценарии и открытые веса.
Прорывная рассуждающая модель DeepSeek с открытыми весами: обучение с подкреплением сделало её сильнейшей в математике и коде.
Флагманское семейство открытых моделей Alibaba: гибридное рассуждение, десятки языков и размеры от 0.6 до 235 миллиардов параметров.
Ультрабыстрый ИИ-шлюз с открытым кодом: единая точка для сотни LLM с кэшем, фолбэками и наблюдаемостью — на edge.
Фреймворк оценки моделей от OpenAI: YAML-шаблоны оценок, сравнение промптов и бенчмарки для любых LLM.
Главный бенчмарк ИИ-агентов-программистов: реальные issue из популярных репозиториев и автоматическая проверка исправлений.
Открытый агент-ассистент от Block: работает локально, расширяется расширениями (MCP) и управляет инструментами от разработки до аналитики.