О чём эта статья
Ошибки при разработке AI-агентов часто возникают раньше первого промпта. Команда выбирает модель, подключает CRM и показывает убедительную демонстрацию, но не определяет, какую операцию агент должен улучшить и как проверить результат. В рабочем потоке такая система сталкивается с неполными данными, повторными запросами и исключениями.
Ошибка 1. Нет измеримой задачи
Формулировка «автоматизировать продажи» слишком широкая. Для MVP лучше выбрать одну операцию: разобрать входящую заявку, извлечь контакты и подготовить карточку для проверки менеджером. До разработки фиксируются исходное время обработки, частые ошибки и критерии приёмки.
Согласованный результат помогает отличить полезную автоматизацию от красивого диалога. Подготовить такие критерии можно в ходе аудита AI-процессов.
Ошибка 2. Модель получает противоречивые данные
Старый прайс, дубли документов и инструкции без владельца делают ответы непредсказуемыми. Перед подключением базы знаний нужно определить приоритет источников, правила обновления и доступ по ролям. RAG помогает находить информацию, но не исправляет содержание документов.
Для проверки используют реальные вопросы с известными ответами. Если правильного ответа в базе нет, система должна сообщить об этом или передать задачу человеку.
Ошибка 3. Любой ответ сразу превращается в действие
Текст модели нельзя считать разрешением на изменение записи или отправку документа. Между решением и действием нужны проверки параметров, прав и допустимого состояния процесса. Денежные операции и другие чувствительные действия требуют согласованного подтверждения.
Повтор одного запроса также не должен создавать второй заказ. Для этого проектируют защиту от дублей, журнал операций и правила восстановления после сбоя.
Ошибка 4. Проверяется только успешный сценарий
Тестовый набор должен включать опечатки, пустые вложения, недоступный API, противоречивые инструкции и попытки получить чужие сведения. Отдельно проверяют, как система реагирует на команды, встроенные в документы, которые она читает.
Нужны и проверки качества ответов, и обычные тесты интеграций. Изменение модели или базы знаний — повод повторить критические сценарии.
Ошибка 5. После релиза нет владельца
Без ответственного за документы и метрики качество постепенно падает. Новые товары, поля CRM и регламенты должны попадать в план поддержки. Сотрудникам нужен простой способ отметить ошибку и сохранить проблемный пример.
Чек-лист перед рабочим запуском
- описана одна цель MVP и критерий готовности;
- определены источники данных и права доступа;
- предусмотрены лимиты действий и затрат;
- протестированы сбои и повторные запросы;
- есть передача человеку и возможность остановить сценарий;
- назначены владельцы интеграций и базы знаний.
Можно ли исправить всё промптом?
Промпт уточняет поведение модели. Проверку прав, транзакции, журнал действий и защиту от дублей реализуют в программной логике.
С чего начать проверку подрядчика?
Попросите показать обработку ошибки и восстановление после сбоя. Дополнительные критерии есть в статье как выбрать разработчика AI-агентов.
