LMDeploy
Сервинг LLM от Shanghai AI Lab: тот самый движок Turbomind обслуживает тысячи запросов в секунду на GPU с потоковым выводом.
Плагины под экосистему OpenAI: расширяют возможности вашей среды одной установкой. Новые позиции добавляются регулярно.
Сервинг LLM от Shanghai AI Lab: тот самый движок Turbomind обслуживает тысячи запросов в секунду на GPU с потоковым выводом.
Фреймворк дообучения сотен моделей от Alibaba: LLM, мультимодальные и аудио-модели — полный цикл от SFT до RLHF с одной командой.
Обработка терабайтов текстов для обучения LLM: фильтрация, дедупликация и токенизация распределённо — инструмент, стоявший за созданием FineWeb.
Whisper на стероидах: транскрипция часового подкаста за секунды на одном GPU — за счёт батчинга, FlashAttention и оптимизаций transformers.
Преобразование голоса в пение: перенесите вокал с одной записи на другую — инструмент, сделавший AI-каверы массовыми.
Понимание длинных видео от команды LLaVA: отвечает на вопросы по роликам, находит моменты и описывает происходящее с открытыми весами.
Платформа мировых моделей от NVIDIA: генерация физически правдоподобного видео для обучения роботов и автономных систем — с предобученными весами.
Набор инструментов для обучения FLUX: LoRA и дообучение с веб-интерфейсом — один из самых популярных способов обучить модель на своих изображениях.
Локальный ассистент кода в VS Code: автодополнение и чат через Ollama или LM Studio — никакой рабочий код не покидает вашу машину.
ИИ-копилот внутри вашего приложения: виджеты чата, автодополнение и агентные действия в React-приложении за часы, а не месяцы.
Запись всего, что происходит на экране и в микрофоне, с ИИ-поиском по архиву: найдите любой момент рабочего дня запросом на естественном языке.
Все чат-боты в одном окне браузера: сравнивайте ответы нескольких моделей рядом, переключайтесь между провайдерами и используйте свой API.
Локальный редактор заметок с блоками и WYSIWYG: база знаний на собственном диске с двунаправленными ссылками и подключением ИИ-провайдеров.
Самохостинговый менеджер закладок с ИИ: сохраняйте ссылки, заметки и PDF — сервис сам разметит теги и сделает всё доступным для поиска.
Поисковый движок с векторным поиском: классический полнотекстовый и семантический поиск в одном запросе, отказоустойчивый кластер за минуты.
Мгновенный поиск с опечатками из коробки: движок, который понимает опечатки, синонимы и ранжирование без настройки — для сайтов и приложений.
Оценка RAG-систем без эталонных ответов: метрики точности поиска, верности и полноты ответов из коробки — для CI пайплайна.
Бенчмарк с ежемесячно обновляемыми задачами: вопросы не попадают в обучающие данные моделей, а ответы проверяются объективно — без LLM-судей.
Понимание видео языковой моделью: отвечает на вопросы по роликам, описывает события и находит моменты на временной шкале.
BI-платформа с ИИ-ассистентом: метрики и дашборды как код, быстрый OLAP поверх DuckDB — от данных до ответа за секунды.