Гардианы: как ИИ-агенты контролируют друг друга

В мультиагентной системе рабочие агенты выполняют задачу, а гардианы следят, чтобы они делали это в рамках. Гардиан не участвует в самой работе — он стоит между решением агента и его исполнением и отвечает на один вопрос: «можно ли это действие выпустить наружу?». Если нет — возвращает агенту на переделку с указанием причины.

Название прижилось потому, что роль именно охранная: гардиан не улучшает результат и не ускоряет процесс, он предотвращает вред. В нашей терминологии несколько таких проверяющих агентов на разные классы рисков образуют гардиан-mesh — сетку надзора поверх рабочего слоя.

Возникает резонный вопрос: почему бы не попросить самого агента перепроверить себя? Потому что модель, ошибившись, повторит ошибку с той же уверенностью — у неё нет внешней точки опоры. Самопроверка ловит опечатки, но не системные заблуждения: если агент «уверен», что скидка существует, то и на проверке он её подтвердит.

Гардиан решает это независимостью. Он работает по другим правилам, смотрит на действие с другой стороны — «соответствует ли закону», «не противоречит ли фактам из источника правды», «безопасен ли ввод» — а иногда и запускается на другой модели. Независимый проверяющий ловит то, что исполнитель структурно не видит. Это тот же принцип, что разделение автора и ревьюера в командах людей.

Гардианы делятся по классам рисков — под каждый тип угрозы свой проверяющий:

• Факты и цифры. Сверяет утверждения агента с источником правды (каталог, реквизиты, прайс) — не выдумал ли он скидку, срок или характеристику.
• Соответствие правилам и закону. Проверяет тексты и действия на требования площадок и законодательства — например, рекламу по 38-ФЗ до публикации.
• Безопасность ввода. Ловит prompt injection — попытки внешнего текста перехватить инструкции агента.
• Персональные данные. Следит, чтобы ПДн не уходили туда, где им быть не положено, и были замаскированы до вызова модели.
• Границы полномочий. Проверяет, не выходит ли действие за разрешённую агенту зону — и не пора ли передать его человеку.

Набор гардианов подбирается под контур: чат-ассистенту важнее факт-чек и безопасность ввода, агенту-маркетологу — комплаенс рекламы, оператору с доступом к данным — контроль ПДн и полномочий.

Один гардиан — это одна линия проверки. В реальном контуре их несколько, и вместе они образуют гардиан-mesh: каждое действие проходит через применимые к нему проверки, прежде чем вступить в силу. Mesh, а не цепочка, потому что проверки независимы и могут идти параллельно — факт-чек не ждёт проверку на ПДн.

Действие, не прошедшее любую из проверок, не исполняется, а возвращается агенту с причиной — тот переделывает и отправляет снова. Всё это фиксируется в append-only аудит: видно не только финальное действие, но и то, что гардиан отбраковал по пути. Так надзор становится ещё и материалом для улучшения системы.

Термины путают, но это разные вещи. Guardrails — статические ограничения, заданные заранее: инструкции в промпте, белые и чёрные списки, лимиты. Они дёшевы, срабатывают мгновенно и хороши как первый барьер, но не понимают контекста конкретного действия.

Гардиан — активная проверка в моменте: он анализирует именно это подготовленное действие с учётом данных и ситуации. Guardrails говорят «сюда нельзя никогда», гардиан говорит «вот это конкретное действие сейчас — нельзя, потому что…». В зрелом контуре они работают вместе: guardrails отсекают очевидное дёшево, гардианы разбирают спорное содержательно.

Гардиан снижает риск, но не обнуляет его — и честно признать это важнее, чем обещать «100% контроль». Гардиан сам построен на правилах и, возможно, на модели, а значит имеет свои слепые зоны: проверку на факт он сделает настолько хорошо, насколько полон источник правды, а новую, не предусмотренную угрозу может пропустить.

Поэтому гардиан-mesh не отменяет human-in-the-loop на необратимых действиях и не заменяет аудит. Правильная картина такая: guardrails ловят очевидное, гардианы — содержательное, человек держит необратимое, аудит фиксирует всё для разбора. Убрать любой слой — оставить дыру.

Гардиан-mesh — часть каждого нашего мультиагентного контура, а не опция. Состав гардианов мы подбираем под задачу и обкатываем на собственных бизнесах: половина наших кейсов — свои, и надзорный слой сначала проверяется на них. На этом сайте роль гардиана по ПДн выполняет маскирование телефонов и почты в чате до вызова модели.

Как гардианы встроены в полный надзорный контур — в обзоре «Надзор и безопасность ИИ-агентов»; состав работ по автономным контурам — на странице ИИ-операторы. Ориентир по деньгам — от 150 000 ₽ за проект и от 50 000 ₽ в месяц за сопровождение; точная смета — по бесплатному разбору.