Описание
PyRIT — инструментарий для наступательной безопасности генеративного ИИ от Microsoft: библиотека атакующих промптов и стратегий, автоматизация многотысячных прогонов против модели, скоринг ответов с помощью оценщиков, поддержка разных целевых конечных точек, интеграция в пайплайны тестирования перед релизом.
Что умеет:
— генерировать промпт-атаки на модели;
— массово тестировать устойчивость LLM;
— оценивать ответы целевой системы;
— встраиваться в CI-пайплайны безопасности.
Полная документация ниже — автоматически из репозитория microsoft/PyRIT (ветка main). Оригинальные материалы проекта распространяются на условиях его лицензии.
Python Risk Identification Tool for generative AI (PyRIT)
The Python Risk Identification Tool for generative AI (PyRIT) is an open source
framework built to empower security professionals and engineers to proactively
identify risks in generative AI systems.
- Check out our website for more information
about how to use, install, or contribute to PyRIT. - Review our security policy
to report vulnerabilities privately through the Microsoft Security Response Center. - Visit our Discord server to chat with the team and community.
Trademarks and Citations
This project may contain trademarks or logos for projects, products, or services.
Authorized use of Microsoft trademarks or logos is subject to and must follow
Microsoft’s Trademark & Brand Guidelines.
Use of Microsoft trademarks or logos in modified versions of this project must
not cause confusion or imply Microsoft sponsorship.
Any use of third-party trademarks or logos are subject to those third-party’s
policies.
If you use PyRIT in your research, please cite our paper,
PyRIT: Democratizing AI Red Teaming Through Open-Source Tooling,
using the citation in the CITATION.cff file in the root of this repository.