Проектирование ИИ-агента начинается с цели, границ и цены ошибки, а не с выбора модели. Агент может выбирать разрешённый инструмент и следующий шаг, но не становится от этого безошибочным или «безопасным по умолчанию». Проектирование задаёт полномочия, стоп-условия, проверки, наблюдаемость и передачу человеку.
Ниже — основные блоки контура. Сравнение с классической автоматизацией: ИИ-агент vs RPA.
Этап 1. Цель, границы и метрики успеха
Сначала описывают проверяемый исход: заявка классифицирована, звонок направлен в нужную очередь, цена рассчитана по правилу. Агент работает к цели, а результат подтверждает внешний контроль — не само утверждение модели.
- Что считается успехом и как его измерить.
- Какие действия обратимы, какие требуют подтверждения, а какие агенту запрещены.
- Какие источники разрешены и что делать при конфликте, отсутствии или устаревании данных.
Этап 2. Инструменты и доступ к системам
Function calling позволяет модели вызвать описанную функцию или API со структурированными аргументами. MCP (Model Context Protocol) может унифицировать подключение к CRM, базам и сервисам, но сам протокол не определяет бизнес-права и не делает интеграцию безопасной.
Для каждого инструмента задают минимальные права, валидацию аргументов, лимиты, идемпотентность, таймауты и журналирование. Возможность выполнить действие не означает разрешение делать его без проверки.
Этап 3. Один агент или несколько ролей
Сложный процесс иногда полезно разделить на несколько агентных ролей: оркестратор распределяет задачи, исполнители работают в ограниченных зонах, отдельный слой проверяет действия. Мультиагентность сама по себе не даёт устойчивость или масштаб: она добавляет сетевые отказы, стоимость, задержки и новые границы доверия, которые нужно тестировать.
- Оркестратор — управляет состоянием и маршрутом задач.
- Исполнители — вызывают разрешённые инструменты в своей зоне.
- Гардианы — проверяют формализованные правила по доступным сигналам.
Этап 4. Надзор, остановка и аудит
Независимый гардиан-mesh может обнаруживать известные аномалии и дрейф по настроенным правилам. При предусмотренном отклонении контур может остановить или изолировать агент и запустить доступный откат. Это снижает риск только в пределах наблюдаемых сигналов; неизвестный сбой, необратимое внешнее действие или отказ самого надзора могут остаться.
- Human-in-the-loop — выбранные рискованные и необратимые шаги требуют подтверждения человека.
- Append-only аудит-лог — штатный путь только добавляет записи о действии и контексте. Для защиты от подмены нужны разграничение прав, резервирование и контроль целостности; сам журнал не доказывает полноту или соответствие требованиям.
Этап 5. Тесты, выкат и восстановление
Поведение проверяют evals на контрольных и негативных сценариях, включая отказ инструментов, конфликт данных и prompt injection. Такие тесты показывают результат на выбранной выборке, но не гарантируют поведение на любом новом вводе.
Blue-green или параллельный запуск позволяют проверить новую версию рядом со старой и подготовить переключение. Это может сократить простой и упростить откат, но не исключает отказ. Self-hosted-инференс удерживает обработку в контролируемом периметре только при проверенной сетевой изоляции, зависимостях, телеметрии и обновлениях; сравнение — self-hosted vLLM vs облачные API.
С чего начать на практике
Начинают с узкого контура, где есть исходная метрика и ограниченная цена ошибки. Ориентир первого рабочего сценария — 5–7 дней, проект — от 150 000 ₽, сопровождение — от 50 000 ₽/мес.; интеграции и требования могут изменить срок и смету. Часть практики студии получена на собственных контурах, но это не гарантирует повторение результата в другом бизнесе.
Частые вопросы
Чем проектирование ИИ-агента отличается от настройки чат-бота?
У агента дополнительно проектируют инструменты, права, состояние, стоп-условия и проверку действий. Он может работать к цели и обрабатывать часть исключений, но завершение задачи не гарантировано.
Можно ли спроектировать агента так, чтобы он не выдумывал?
Полностью исключить галлюцинации нельзя. RAG, провенанс, структурированные ответы, evals и безопасная эскалация снижают риск и делают ошибки наблюдаемее.
Кто отвечает за необратимые действия агента?
Ответственность определяется ролью оператора, договором и применимым правом. Human-in-the-loop сохраняет подтверждение человека для выбранных действий, а защищённый аудит помогает восстановить ход событий, но не решает юридический вопрос автоматически.
Сколько занимает запуск первого контура?
Ориентир для узкого сценария — 5–7 дней; точная оценка зависит от данных, интеграций и требований к безопасности.