ИИ агенты - управление рисками и защита персональных данных от утечек, Артём Летин, ВТБ
Артём Летин, вице-президент, руководитель управления моделирования КИБ и СМБ, ВТБ. Форум Data Day 2026 «ИИ + Данные». Организатор — Издательский дом «Регламент».
Развитие регулирования цифровых агентов пока находится на начальном этапе. Рамочный законопроект формирует архитектуру, понятийный аппарат и базовую терминологию, однако значительная часть конкретных требований должна быть закреплена в подзаконных актах. Это означает, что окончательная система контроля за цифровыми агентами ещё формируется и будет уточняться по мере развития технологий и практики их применения.
Ключевой вызов связан с тем, что цифровой агент может получить доступ к чувствительной информации и непреднамеренно раскрыть её клиенту. Потенциальная утечка может произойти, например, если агент передаст одному клиенту сведения о проблемах или обстоятельствах, связанных с другим человеком. Поэтому вопрос защиты персональных данных нельзя рассматривать как второстепенный: при масштабировании технологии необходимо заранее устанавливать ограничения на доступ, обработку и передачу информации.
Для управления рисками предлагается разделять цифровых агентов на низкорисковые и высокорисковые. Низкорисковые агенты не взаимодействуют напрямую с клиентами и не работают с персональными данными. Их задачи могут быть ограничены внутренними операциями, где последствия ошибки или неконтролируемого ответа сравнительно невелики.
Высокорисковые агенты встраиваются непосредственно в бизнес-процессы, работают с клиентами или принимают участие в значимых операциях. К этой категории относятся агенты, связанные с оценкой кредитного риска, кредитным ассессментом, консультированием клиентов и подготовкой ответов на их вопросы. Для таких систем необходим значительно более высокий уровень защиты, поскольку ошибка, некорректный ответ или утечка данных могут повлиять на права, решения и финансовое положение человека.
Для низкорисковых решений рассматривается развитие платформ с визуальными и low-code-инструментами. С их помощью бизнес сможет самостоятельно собирать агентские процессы из отдельных блоков, формируя необходимые сценарии работы без создания сложной инфраструктуры для каждого отдельного случая. Такой подход позволит ускорить внедрение цифровых агентов, но одновременно потребует понятных стандартов и ограничений, чтобы самостоятельная настройка бизнесом не приводила к неконтролируемому поведению системы.
Для высокорисковых агентов требуется отдельная инфраструктура безопасности. Её задача заключается в снижении последствий как непреднамеренной, так и преднамеренной утечки информации, а также в предотвращении нежелательных, некорректных или потенциально опасных ответов. Без такой инфраструктуры цифровой агент может формально выполнять поставленную задачу, но при этом нарушать требования к конфиденциальности, содержанию ответов или порядку использования внутренних инструментов.
Важная часть политики безопасности касается вызова внешних и внутренних инструментов. Для каждого инструмента необходимо определить, в каких ситуациях агент может его использовать, какие данные разрешено передавать, какие операции допустимы и какие действия должны быть заблокированы. Это позволяет контролировать не только итоговый ответ агента, но и его промежуточные действия внутри бизнес-процесса.
Отдельно должны регулироваться правила коммуникации с клиентами. Необходимо определить, на какие вопросы агент вправе отвечать, в каких случаях он должен отказаться от ответа или передать запрос человеку, а также какие темы для обсуждения допустимы и какие должны быть исключены. Такой подход нужен для того, чтобы агент не выходил за пределы своей компетенции и не формировал ответы в чувствительных или запрещённых областях.
Контроль должен распространяться на весь цикл взаимодействия с агентом. Специальные ML-сервисы могут фильтровать входящую информацию, определяя содержание и тематику запроса клиента, а затем проверять исходящий ответ системы. Это позволяет выявлять потенциально опасные запросы до их обработки и блокировать ответы, которые нарушают требования безопасности или политики компании.
Фильтрация должна учитывать не только утечку персональных данных, но и другие характеристики ответа. В их число входят токсичность, некорректная или неприемлемая формулировка, нарушение требований политкорректности и иные виды нежелательного содержания. Таким образом, безопасность цифрового агента должна оцениваться не только по способности сохранить конфиденциальную информацию, но и по качеству и допустимости его коммуникации.
В перспективе защитные механизмы должны стать стандартными архитектурными компонентами агентских систем. Гардрейлсы и фильтрующие ML-сервисы предполагается встраивать в рабочий процесс агента так же, как сегодня в него встраивается генеративная модель. Это позволит сделать контроль безопасности не разовой дополнительной мерой, а обязательным элементом архитектуры цифрового агента.
