Cisco выпустила инструмент для проверки происхождения ИИ-моделей
Чтобы решить эту проблему, Cisco представила новый инструмент — Model Provenance Kit.
Платформы вроде Hugging Face уже содержат миллионы моделей. Их активно копируют, дорабатывают, объединяют и публикуют заново. В результате проследить происхождение конкретной версии становится практически невозможно.
В такой среде теряется контроль над тем, где заканчивается оригинальная разработка и начинаются сторонние изменения. Это превращает аудит и анализ поведения модели в сложную задачу, особенно если речь идет о критически важных системах.
Главная проблема — отсутствие прозрачности. Если модель обучалась на искаженных данных, она может выдавать некорректные результаты в реальных условиях. Для бизнеса это означает потенциальные ошибки в автоматизированных решениях.
Еще опаснее сценарий, при котором модель модифицируют намеренно. В её веса могут быть встроены скрытые механизмы, активирующиеся при определенных условиях — фактически это бэкдоры, способные нарушить безопасность всей системы.
Инструмент от Cisco предлагает системный подход к проверке происхождения моделей. Он написан на Python и использует CLI-интерфейс для создания уникального «цифрового отпечатка».
Вместо доверия документации анализируется целый набор технических характеристик:
Такой подход позволяет выявлять изменения даже там, где они не задокументированы.
Model Provenance Kit работает в двух ключевых сценариях:
Второй режим особенно полезен, когда документация отсутствует или вызывает сомнения. Он помогает восстановить историю модели и определить её происхождение.
Современные ИИ-модели редко остаются в исходном виде. Их постоянно дообучают, объединяют и оптимизируют. В такой экосистеме контроль происхождения становится критически важным элементом безопасности.
Model Provenance Kit уже доступен на GitHub и может стать базовым инструментом для компаний, работающих с open source ИИ.
Источник: cisco
- Последние
- Популярные
-
-
-
-
-
-
-
-
-
-
-
-
-
- Май, 04
-
-
-
-
-
-
Новости по дням
5 мая 2026
