Сжатие промптов и контекста от Microsoft: до 20-кратного уменьшения длины без потери качества ответа — экономия токенов.
Автоматическая оптимизация текста через «текстовые градиенты»: промпты, ответы и код улучшаются обратной связью модели.
Фреймворк оценки ИИ-систем от Института безопасности ИИ Великобритании: проверки моделей, агентов и защиты.
Стандартный инструмент бенчмаркинга языковых моделей от EleutherAI: сотни задач, по которым сравниваются все открытые модели.
Программируемые рельсы безопасности для LLM от NVIDIA: топики, диалоговые потоки и проверки контента на языке Colang.
Валидация выходов LLM декларативными правилами: проверка фактов, PII, токсичности и собственных валидаторов на Python.
Открытый стандарт наблюдаемости LLM на OpenTelemetry: единая телеметрия для всех фреймворков, моделей и векторных БД.
Наблюдаемость и эксперименты LLM в одном инструменте: трейсинг, оценки, датасеты и дрифт эмбеддингов.
Открытая платформа трейсинга и оценки LLM от Comet: логи, метрики, плейграунд и самохостинг.
CLI для тестирования и сравнения промптов: red teaming, оценки, A/B-тесты моделей — всё из командной строки и конфигов.
Фреймворк юнит-тестирования LLM-выходов: метрики качества, синтетические данные и CI/CD для промптов и RAG.
DSL для надёжного извлечения структурированных данных из LLM: типизированные функции, быстрая проверка и генерация клиентов.
Минималистичный фреймворк мультиагентного программирования: агенты как объекты с задачами, инструментами и делегированием.
Мультиагентная платформа от Alibaba: отказоустойчая реляционная модель сообщений, визуализация и готовые агенты.
Исследовательский фреймворк для мультиагентного общения: агенты ролевого типа договариваются и решают задачи вместе.
Компактная модель озвучки с качеством больших систем: 82 миллиона параметров, десятки голосов и языков.
Реализация Whisper до восьми раз быстрее оригинала: тот же API на CTranslate2 с меньшим потреблением памяти.
Фундаментальная модель распознавания речи от OpenAI: точная транскрибация и перевод десятков языков, работает локально.
Стандартизованный слой загрузки документов: единый API для десятков форматов, очистка контента и подготовка к чанкированию.
Инструмент извлечения из PDF на основе моделей: точно восстанавливает текст, формулы, таблицы и читает порядок чтения.