Открытый набор инструментов безопасности LLM от Meta: оценки уязвимостей, кибербенчмарки и движок фильтрации Llama Guard.
Сканеры безопасности для LLM-входов и выходов: фильтрация инъекций, чувствительных данных и токсичности одной библиотекой.
Тестирование и защита ИИ-моделей: автоматические проверки на предвзятость, утечки и уязвимости для LLM и классического ML.
Оценка и мониторинг ML и LLM: 100+ метрик дрейфа данных и качества моделей, отчёты и дашборды без настройки.
Инструментарий наблюдаемости и оценки GenAI от W&B: трейсы LLM, датасеты для оценки и сравнение версий приложений.
Открытая платформа жизненного цикла ML: трекинг экспериментов, реестр моделей, упаковка и деплой — от Databricks.
Фреймворк упаковки и развёртывания моделей: обучили — упаковали в Bento — развернули где угодно как API.
Быстрый сервер инференса LLM от исследователей: RadixAttention для переиспользования кэша и сложные программы генерации.
Продакшн-сервер инференса LLM от Hugging Face: стриминг, квантование, кэширование — сердце Inference Endpoints.
Безкодовое дообучение моделей от Hugging Face: загружаете данные — получаете дообученную модель без единой строки кода.
Стандарт отслеживания ML-экспериментов: метрики, графики, версии моделей и сравнение запусков в одном дашборде.
Автоматизация подбора гиперпараметров и нейроархитектурного поиска от Microsoft: десятки алгоритмов оптимизации в одном инструменте.
Структурирование PyTorch-кода: убирает бойлерплейт обучения, оставляя исследовательскую логику чистой и воспроизводимой.
Библиотека Microsoft для обучения гигантских моделей: параллелизм данных, конвейеров и тензоров на тысячах GPU.
Фреймворк NVIDIA для предобучения на больших кластерах: тензорный и конвейерный параллелизм, на нём обучены модели с сотнями миллиардов параметров.
Нативное дообучение LLM на чистом PyTorch от команды PyTorch: без тяжёлых зависимостей, с контролем над каждым шагом.
100+ моделей для дообучения через веб-интерфейс: визуальный Gradio-UI делает файнтюнинг доступным без программирования.
Дообучение LLM через YAML-конфиг: один файл описывает модель, данные и метод — фреймворк делает всё остальное.
Дообучение LLM в разы быстрее и с меньшей памятью: оптимизированные ядра ускоряют QLoRA-обучение на 2–5 раз.
Библиотека для выравнивания LLM: SFT, DPO, PPO и другие методы обучения с подкреплением на человеческих предпочтениях.