Искусственный хакер от OpenAI: новая модель GPT-Red взламывает системы в целях безопасности
Главной целью GPT-Red является борьба с так называемыми "инъекциями подсказок" (prompt injection). Это критическая уязвимость, когда вредоносные инструкции скрывают в файлах, письмах или коде, чтобы заставить ИИ игнорировать правила и похищать данные. Об этом пишет издание GBHackers.
Модель обучали методом обучения с подкреплением посредством самоигры. В этом процессе GPT-Red выступает в роли агрессивного хакера, а другие модели-защитники получают вознаграждение за успешное противодействие атакам.
Результаты оказались впечатляющими: ИИ-хакер успешно взломал 84 процента тестовых сценариев, тогда как люди-тестировщики справились лишь в 13 процентах случаев.
Компания заявила, что традиционное тестирование людьми по-прежнему необходимо, однако оно не способно генерировать достаточное количество вариаций атак, чтобы успевать за все более совершенными моделями, – прокомментировала OpenAI.
Эффективность системы проверили на реальном примере ИИ-агента для вендингового автомата. GPT-Red сумела манипулировать системой так, что цена дорогого товара снизилась до 0,50 доллара, а другой заказ на сумму свыше 100 долларов был оформлен по той же цене в 0,50 доллара. Кроме того, ИИ смог отменить заказ другого клиента.
OpenAI отметила, что держит систему red-teaming отдельно от готовых продуктов, чтобы предотвратить злоупотребление ее наступательными возможностями, – добавила компания.
Все обнаруженные атаки OpenAI использует в качестве обучающих данных для создания более безопасных версий своего GPT, который затем поставляется клиентам. Новая модель GPT-5.6 уже сейчас в 6 раз реже допускает ошибки по сравнению с предшественниками. На самых сложных тестах GPT-5.6 Sol провалилась лишь в 0,05 процента случаев прямой инъекции подсказок. Такая стратегия позволяет создавать более надежные системы, способные работать с веб-ресурсами, облачными сервисами и конфиденциальными данными без риска утечки информации.
- Последние
- Популярные
Новости по дням
17 июля 2026
