AUT-0425· Знання та ШІ
Обмеження дій AI-агента під час обробки зовнішніх документів
Перед запуском агент отримує лише потрібні права, зовнішній контент позначається як недовірений, а критичні дії проходять окреме погодження й атакувальні перевірки.
Чернетка · Оцінка потребує перевірки
01 / Проблема
AI-агент читає листи, сайти або файли й водночас має доступ до бізнес-інструментів; вбудовані в контент інструкції можуть вплинути на його відповіді або дії.
02 / Результат
Зміна агента запускається з задокументованими межами джерел, окремими правами інструментів, погодженням критичних дій і результатами атакувальних тестів.
03 / Процес
ТригерКоманда створює агента, додає йому джерело зовнішнього контенту або змінює перелік доступних бізнес-дій.
Перелічити джерела, типи оброблюваних даних, підключені інструменти, можливі дії та власників повноважень; окремо позначити зовнішній контент як недовірений.
Для кожного інструмента встановити найменший потрібний набір дій і перевіряти дозволи в коді; облікові дані не передавати моделі як звичайний контекст.
Розділити читання джерел і виконання дій; сформувати контрольований список дозволених операцій та блокувати невідомі команди й передачу даних поза визначений процес.
Визначити дії з високим впливом і вимагати окреме людське рішення перед їх виконанням; записати точну версію запиту, дії та підставу погодження.
Перевірити тестовими сценаріями прямі й приховані інструкції у листах, файлах та інших підтримуваних форматах; підтвердити, що обмеження інструментів діють навіть коли модель відповідає неочікувано.
Погодити випуск лише після перевірки прав, журналу, відмови у небезпечному сценарії та плану вимкнення інтеграції; зміни агентських інструментів запускають повторну перевірку.
Після запуску переглядати відхилені виклики та інциденти, зберігати лише потрібні для аудиту дані й додавати підтверджені випадки до контрольних тестів.
04 / Реалізація1 варіант
Приклад · Перевірка меж агента перед випуском
AI-асистент читає запит клієнта й може створити чернетку відповіді. Перед випуском команда додає лист зі прихованою інструкцією, перевіряє що асистент не надсилає листа й не відкриває сторонні дані, а фінальне надсилання лишається окремою погодженою дією.
Спосіб реалізації
- Описати матрицю інструментів і прав; реалізувати allowlist дій, авторизацію та перевірку параметрів у прикладному коді.
- Проводити атакувальні перевірки для прямих і непрямих інструкцій; записувати результати та не запускати агента без погоджених меж доступу.
Що потрібно для реалізації
- Є власник агента, перелік дозволених джерел і карта інструментів з відповідальними за кожну дію.
- Авторизація й секрети контролюються прикладною системою, а не відповіддю моделі.
- Є середовище тестування, журнал рішень, ручне погодження критичних операцій і спосіб негайно вимкнути доступ агента.
- Відомі всі джерела й дії агента.
- Критичні операції можна відокремити та зупинити до виконання.
Обмеження
- OWASP описує prompt injection як ризик, який можна зменшувати кількома шарами захисту; безпомилкового способу запобігання не підтверджено.
- Тестовий набір не доводить відсутність нових або прихованих інструкцій; його треба розширювати після змін джерел, моделей і інструментів.
- Людське погодження й обмеження функцій мають працювати незалежно від класифікатора тексту; модель не повинна мати надмірних прав.
- Оцінка попередня; юридичне погодження, галузевий penetration test і розробка повноцінної агентської платформи не включені.
- Атакувальні тести знижують ризик, але не доводять, що нових способів впливу не існує.
- Усі дозволи мають перевірятися поза моделлю, навіть якщо промпт містить відповідні заборони.
Що потрібно уточнити (2)
- Чи може агент виконувати зміни або надсилати повідомлення в зовнішніх системах?
Перелічіть операції запису, видалення, оплат, зміни прав і зовнішні повідомлення.
- Чи обробляє агент кілька типів контенту, наприклад листи, файли й зображення?
Вкажіть фактичні типи джерел та місця, де контент перетворюється або об’єднується перед моделлю.