Короткий ответ
Начинайте с доступа только на чтение и отдельной учётной записи для ИИ-агента, а затем добавляйте по одному разрешению. Разделите его действия на три класса: чтение и черновики без согласования, обратимые внутренние изменения с проверкой и необратимые или внешние действия, каждое из которых подтверждает названный человек. Закрепите правила в самих системах, ограничьте объём и расходы, ведите журнал, который агент не может править, и до запуска проверьте процедуру остановки.
Ошибка стоит столько, сколько позволяют права
ИИ-агент — это программа, которой разрешено действовать: читать почтовый ящик, обновлять запись, отправлять сообщение, оформлять возврат денег. Модель внутри него иногда будет ошибаться, а иногда её введёт в заблуждение текст, прочитанный по ходу работы. Ни то ни другое нельзя исключить удачной формулировкой. Заранее можно решить другое: как далеко способен зайти неверный шаг.
Проект OWASP Gen AI Security Project называет этот риск Excessive Agency, избыточной самостоятельностью: вредные действия совершаются в ответ на неожиданный, двусмысленный или намеренно искажённый вывод языковой модели. Первопричину он видит в одном или нескольких из трёх обстоятельств: избыточная функциональность, избыточные права и избыточная автономия. Все три — решения того, кто настраивает агента.
Поэтому права доступа ИИ-агента полезно считать заработанными. Агент начинает почти без них, за время работы, которая фиксируется в журнале, показывает, что определённый класс действий ему можно доверить, и только после этого получает следующий.
Перечислите действия, прежде чем подключать инструменты
Запишите задачу как последовательность шагов и для каждого шага отметьте, что агент должен читать и что менять. Список обычно короче, чем набор функций инструмента. Пример OWASP — почтовый помощник, который пересказывает входящие письма: ему нужно читать сообщения, поэтому расширение, которым он пользуется, не должно уметь ещё и удалять или отправлять их.
Затем уберите всё, чего список не оправдывает. Первые рекомендации OWASP — свести к минимуму расширения, которые агент может вызывать, свести к минимуму функции внутри каждого и избегать инструментов с открытыми возможностями, таких как запуск команды оболочки или загрузка любого URL, в пользу узких. Инструмент, который пробовали при разработке и от которого потом отказались, нужно отключить, а не просто не использовать.
Ту же сдержанность применяйте к данным. В примере OWASP агенту, который рекомендует товары, нужен доступ на чтение только к таблице товаров — без возможности добавлять, изменять и удалять записи и без доступа к другим таблицам. Для небольшой компании это одна общая папка или одна воронка в CRM, а не весь аккаунт.
Сначала только чтение, и это длится неделями
В первый период агент читает, ищет и готовит черновики, а каждое действие выполняет человек. Руководство OpenAI по созданию агентов различает инструменты данных, которые получают информацию, и инструменты действий, которые что-то меняют в другой системе. Начните только с первых. Результат работы агента — предложение: черновик ответа, вариант обновления записи, список счетов, которые выглядят неверными.
Этот этап — не потерянное время. Он показывает, как часто черновики принимают без правок, в каких случаях агент ошибается и какие у него ошибки: мелкие или странные. То же руководство называет вмешательство человека особенно важным на раннем этапе внедрения, потому что оно помогает находить сбои и выявлять нетипичные случаи.
Правило перевода на следующий уровень установите до начала, чтобы потом его не подправило нетерпение. Например: категория действий становится автоматической только после согласованного числа черновиков подряд, одобренных без правок, и возвращается в ручной режим после любой серьёзной ошибки. Числа назначаете вы; важно, что они записаны заранее.
Кто что согласует: три класса действий
Отнесите каждое действие из списка к одному из трёх классов. Первый — чтение, поиск и черновики: без согласования, но с записью в журнал. Второй — изменение внутри ваших систем, которое можно отменить: поставить метку на обращение, заполнить поле с историей изменений, сохранить черновик. Такие действия владелец процесса может подтверждать пакетами или проверять выборочно.
Третий класс — всё необратимое, внешнее или финансовое: отправка сообщения клиенту, публикация, удаление, оплата, возврат денег, изменение прав доступа. OWASP рекомендует контроль с участием человека (human-in-the-loop), чтобы действия с серьёзными последствиями человек подтверждал до их выполнения. В руководстве OpenAI сказано, что чувствительные, необратимые или рискованные действия должны запускать человеческий надзор, пока не вырастет уверенность в надёжности агента; в качестве примеров названы отмена заказов, согласование крупных возвратов и проведение платежей.
Назовите согласующего по должности и назначьте заместителя: очередь на согласование, в которой никого нет, становится поводом отключить контроль. Показывайте согласующему само действие, данные, на которых оно основано, и то, что произойдёт дальше, а не пересказ, который агент написал о себе сам.
Правило живёт в системе, а не в промпте
Указание вроде «никогда не удаляй записи» — это просьба к модели. Средством контроля оно не является, потому что подвести может именно модель. Совет OWASP — полное посредничество (complete mediation): реализуйте авторизацию в самих системах, к которым обращается агент, и не полагайтесь на то, что языковая модель сама решит, разрешено ли действие.
На практике агент получает собственную учётную запись — не логин сотрудника и ни в коем случае не ключ администратора — с самой узкой ролью, какую предлагает система. Если агент действует от имени конкретного пользователя, OWASP рекомендует выполнять операции в контексте этого пользователя с минимально необходимыми привилегиями, например через авторизацию OAuth с минимальной требуемой областью доступа.
Шаг согласования должен находиться там же. Если возвраты свыше порога требуют второй подписи в платёжной системе, агент сталкивается с этим правилом точно так же, как сотрудник. Руководство OpenAI добавляет, что защитные ограничения должны сочетаться с надёжной аутентификацией и авторизацией, строгим контролем доступа и стандартными мерами безопасности программного обеспечения.
Лимиты на объём, расходы и охват
Лимит превращает сбой без границ в сбой с границами. OWASP отмечает, что ограничение частоты действий сокращает число нежелательных операций, возможных за определённый период, и повышает шанс обнаружить их при мониторинге до того, как будет нанесён серьёзный ущерб. Одно ошибочное письмо — это извинение; тысяча — уже инцидент.
Задавайте лимиты там, где агент не может их изменить: максимальное число действий за запуск и за день, максимальное число получателей, перечень разрешённых папок, доменов или типов записей. Материал Anthropic о создании агентов упоминает условия остановки, например максимальное число итераций, как распространённый способ сохранять контроль.
Потолок нужен и расходам. Anthropic замечает, что автономность агентов означает более высокие затраты и возможность накопления ошибок. Если в аккаунте поставщика модели есть лимит расходов или оповещение, установите его ниже суммы, которая была бы болезненной. Руководство OpenAI добавляет поведенческий лимит: ограничьте число повторных попыток агента и передавайте случай человеку, когда оно исчерпано.
Журнал, который кто-то действительно читает
Записывайте каждый вызов инструмента: время, задачу, инструмент, входные данные, результат и того, кто действие подтвердил. Храните записи там, где у агента нет права их править. OWASP прямо говорит, чего этим можно добиться: журналирование и мониторинг не предотвращают избыточную самостоятельность, но ограничивают ущерб, показывая, где происходят нежелательные действия.
Журнал никого не защищает, пока в него не заглянул человек. Поручите одному названному ответственному еженедельный просмотр с тремя вопросами: что агент сделал неожиданного, что согласующие отклонили и почему, какие лимиты были достигнуты. По ответам решают, расширить разрешение, оставить или отозвать.
Документ NIST «AI Risk Management Framework», добровольный по статусу, формулирует те же ожидания как результаты. Одна из его подкатегорий требует, чтобы поведение ИИ-системы отслеживалось в рабочей эксплуатации. Другая — чтобы об инцидентах и ошибках сообщали причастным лицам, включая затронутые сообщества, а процессы отслеживания, реагирования и восстановления соблюдались и документировались.
Путь назад описывают до запуска
Тот же документ требует, чтобы существовали механизмы и были распределены и поняты обязанности, позволяющие заменить, отключить или деактивировать ИИ-систему, чьи показатели или результаты не соответствуют её назначению. Для небольшой команды это одна фраза: кто вправе выключить агента и как. Это должно быть действие, которое человек выполняет сам, например отключение интеграции или отзыв учётных данных агента, не дожидаясь разработчика.
Затем опишите путь отмены для каждого обратимого действия. Изменённую запись восстанавливают из истории, перемещённый файл возвращают из прежней папки, черновик просто удаляют. Перед любой массовой операцией делайте резервную копию или выгрузку. Если у действия нет пути отмены, оно отнесено не туда: его место в третьем классе, и оно ждёт согласования.
Отрепетируйте всё один раз на копии данных. Остановите агента посреди запуска, восстановите одно изменение и засеките время того и другого. Решите также, кто сообщит клиентам, если до них дошло то, что не должно было дойти. Пробелы в плане нужно находить до первого рабочего запуска.
Одна страница решений до первого рабочего запуска
Перед запуском соберите решения на одной странице. Назовите назначение агента и задачи, за которые он не должен браться. Перечислите его действия по классам, указав для каждого согласующего и заместителя. Запишите, какой учётной записью он пользуется, с какой ролью и когда истекают её учётные данные. Добавьте лимиты, место хранения журнала, того, кто его просматривает, процедуру остановки и дату репетиции.
Сначала проверьте всё по этой странице в песочнице, на копиях реальных данных. Anthropic рекомендует тщательное тестирование в изолированных средах вместе с подходящими защитными ограничениями. Включите враждебные случаи: документ с указаниями, обращёнными к агенту, просьбу за пределами его назначения, инструмент, который возвращает ошибку. Записывайте, что агент сделал, а не что он обещал сделать.
Документ NIST требует, чтобы роли, обязанности и каналы коммуникации были задокументированы и понятны, а процессы человеческого надзора — определены, оценены и задокументированы. NIST называет свой документ «живым», поэтому сверяйтесь с актуальной версией на его сайте. Назначьте дату пересмотра и своей странице. Права доступа ИИ-агента добавляются по одному, и у каждого из них через год по-прежнему должен быть ответственный.
Практический чеклист
- Перечислите все действия, которые агент способен совершить, и отключите инструменты и функции, не нужные для задачи.
- Дайте агенту отдельную учётную запись сначала только с чтением и добавляйте по одному разрешению за раз.
- Назовите человека, который подтверждает каждое необратимое, внешнее или финансовое действие, и заместителя на время его отсутствия.
- Задайте лимиты на число действий за запуск, получателей и дневные расходы в самих системах, а не в промпте.
- Отрепетируйте процедуру остановки и один откат на копии данных, прежде чем агент коснётся рабочих задач.
Вопросы и ответы
Что означает принцип минимальных привилегий для ИИ-агента?
Он означает, что у агента есть только те инструменты, функции и доступ к данным, которых требует его задача, и ничего сверх этого ради удобства. Примеры OWASP конкретны: помощник, который пересказывает почту, должен уметь читать письма, но не отправлять и не удалять их, а расширение, читающее базу данных, должно подключаться с учётной записью, ограниченной чтением. Проверка простая: можно ли каждое разрешение связать с шагом задачи.
Какие действия ИИ-агента всегда должны требовать подтверждения человека?
Те, которые нельзя отменить, которые выходят за пределы вашей организации или затрагивают деньги и доступ: отправка клиентам, публикация, удаление, оплата, возврат денег и изменение прав. Руководство OpenAI приводит в пример отмену заказов, крупные возвраты и платежи; OWASP добавляет публикацию в социальных сетях от имени пользователя. Позже подтверждение можно ослабить для узкой категории, но только решением, которое записано.
Достаточно ли указания в промпте, чтобы агент чего-то не делал?
Нет. Промпт направляет модель, а модель — как раз тот компонент, который можно запутать или которым можно манипулировать. OWASP рекомендует закреплять авторизацию в системах, к которым подключается агент, чтобы запрещённый запрос отклонялся там при любом решении модели. Промптом объясняйте работу, а границы задавайте ролями, областями доступа и правилами согласования в целевых системах.
Когда агенту можно безопасно расширить права?
Когда есть данные и путь назад. Данные — это отрезок работы, отражённый в журнале, за который черновики агента в этой категории проверяли и принимали по порогу, заданному заранее. Путь назад означает, что вы знаете, как отменить действие такого рода и как отозвать разрешение. Добавляйте по одному разрешению за раз, чтобы новую проблему можно было связать с одним изменением.
Нужна ли малому бизнесу формальная методика для управления ИИ-агентом?
Формальная программа не нужна. Документ NIST «AI Risk Management Framework» добровольный и рассчитан на организации любого размера, а его вопросы хорошо масштабируются вниз: кто отвечает, как определён человеческий надзор, как ведётся наблюдение за системой и как её выключают. Одна страница с ответами, которую поддерживают в актуальном состоянии, делает для небольшой команды главное.