Аудит решений ИИ: append-only лог и зачем он бизнесу и регулятору

Когда автономный агент действует сам, возникает естественный вопрос: как потом понять, почему он сделал именно так? Аудит решений ИИ отвечает на него, фиксируя не только сам факт действия, но и его контекст — входные данные, сработавшие правила, вывод модели, подтверждение человека. Это не технический лог «для программистов», а история решений, понятная при разборе.

Ключевое слово — append-only: журнал только пополняется, записи в нём не изменяются и не удаляются. Именно неизменяемость превращает лог в аудит: то, что можно переписать, ничего не доказывает. Аудит делает автономного агента подотчётным — его поведение перестаёт быть «чёрным ящиком» и становится проверяемым.

Обычный лог приложения предназначен для отладки: его чистят, ротируют, при желании правят. Как свидетельство он бесполезен — если запись можно изменить, у неё нет доказательной силы ни в споре с клиентом, ни при проверке. Append-only снимает это возражение по построению: добавить запись можно, изменить или удалить прошлую — нет.

Из неизменяемости следует и второе полезное свойство — полная хронология. Аудит хранит не только последнее состояние («цена стала такой»), но всю последовательность, которая к нему привела («агент предложил, гардиан пропустил, человек подтвердил, цена изменилась»). Это позволяет вернуться к любому моменту и восстановить картину целиком, а не догадываться по итогу.

Полезный аудит записывает достаточно, чтобы решение можно было воспроизвести и объяснить. Типовой состав записи:

• Действие. Что именно агент сделал или предложил сделать.
• Входные данные. На основании чего принято решение — с маскированием персональных данных, чтобы сам аудит не стал утечкой.
• Сработавшие правила. Какие проверки гардианов прошли, а какие отбраковали промежуточные варианты.
• Подтверждение. Прошло ли действие через human-in-the-loop и кто его подтвердил.
• Время и версия. Когда и какой версией контура принято решение — чтобы отделять старое поведение от нового.

Баланс здесь важен: записать нужно достаточно для воспроизводимости, но так, чтобы журнал сам соответствовал 152-ФЗ — персональные данные в нём хранятся минимально и защищённо.

Технически аудит решений близок к паттерну event sourcing, давно известному в разработке. Его идея: хранить не текущее состояние системы, а полный поток событий, которые к нему привели. Текущее состояние тогда — не исходные данные, а результат «проигрывания» всех событий по порядку.

Для надзора за агентами это удобно вдвойне. Во-первых, поток событий по определению append-only — он и есть аудит. Во-вторых, из него можно восстановить состояние на любой момент прошлого: «что система знала и почему решила так две недели назад». Для автономных контуров, где важно объяснять решения, это естественная основа — аудит получается не надстройкой, а частью архитектуры.

Регулятору аудит отвечает на вопрос «докажите, что система работала правильно». При проверке обработки персональных данных по 152-ФЗ неизменяемый журнал показывает, что данные использовались по назначению и с согласия; при споре о рекламе — что тексты проходили проверку до публикации. Без аудита остаётся слово против слова.

Бизнесу аудит нужен раньше и чаще, чем регулятору. Он отвечает на «почему агент так сделал» при разборе инцидента, показывает, где контур ошибается систематически, и даёт основание осознанно расширять автономию — снимать гейты там, где статистика подтверждает надёжность. Аудит из формальности превращается в инструмент управления системой.

Главная практическая ценность аудита — воспроизводимость: возможность взять конкретное решение из прошлого и понять его причину, а не гадать. Когда клиент спрашивает «почему мне назвали такой срок», ответ находится в журнале, а не в предположениях. Когда контур повёл себя странно, разбор начинается с фактов, а не с попытки повторить ситуацию наугад.

Это же свойство защищает и от тихой деградации: сравнивая записи во времени, видно, если качество решений поехало — и можно вмешаться до того, как это заметит клиент. Автономная система без воспроизводимого аудита управляема ровно до первого серьёзного вопроса; с аудитом — постоянно.

Append-only аудит мы закладываем в контур с первого дня — не как опцию, а как часть архитектуры: восстановить историю решений задним числом невозможно, поэтому «добавим потом» здесь не работает. Персональные данные в журнале маскируются, чтобы сам аудит не стал источником утечки. Половина наших кейсов — собственные бизнесы, и подотчётность контура мы сначала проверяем на себе.

Как аудит связан с гардианами и human-in-the-loop в полном надзорном контуре — в обзоре «Надзор и безопасность ИИ-агентов»; состав работ — на странице ИИ-операторы. Ориентир по деньгам — от 150 000 ₽ за проект и от 50 000 ₽ в месяц за сопровождение; точная смета — по бесплатному разбору.