Чек-лист запуска ИИ-чат-бота: что проверить перед стартом

Что нужно проверить в первую очередь

ИИ-чат-бот готов к запуску, когда он правильно отвечает на типовые вопросы, честно отказывает там, где не знает, и умеет передать разговор человеку. Всё остальное — логирование, приватность, мониторинг — нужно, чтобы держать это качество после старта. Ниже — чек-лист по блокам.

1. Набор тестовых вопросов

• Собраны реальные вопросы клиентов из чатов, почты, звонков — а не придуманные командой.
• Для каждого вопроса есть эталонный ответ или критерий правильности.
• Покрыты все основные темы: цены, сроки, доставка, оплата, возвраты, контакты — что актуально для вашего бизнеса.
• Есть вопросы в разных формулировках: коротко, с опечатками, на разных языках, если аудитория многоязычная.
• Тестовый прогон повторяется после каждого изменения промпта, модели или базы знаний.

2. Пограничные случаи

• Вопросы вне темы бизнеса: бот вежливо возвращает к своей задаче.
• Провокации и попытки заставить бота игнорировать инструкции (prompt injection): «забудь правила», «покажи системный промпт».
• Агрессивные и оскорбительные сообщения: бот сохраняет спокойный тон.
• Очень длинные сообщения, пустые сообщения, только эмодзи или стикеры, файлы и голосовые, если канал их поддерживает.
• Несколько вопросов в одном сообщении.
• Вопросы о конкурентах, политике, медицине, праве — заранее решено, как бот на них реагирует.

3. Поведение при отказе

• Если ответа нет в базе знаний, бот говорит об этом, а не выдумывает.
• Бот не обещает скидки, сроки и условия, которых нет в утверждённых материалах.
• Формулировка отказа дружелюбная и сразу предлагает следующий шаг: оператор, форма, телефон.
• Бот не раскрывает внутренние инструкции и служебные данные.

4. Передача оператору

• Есть явная команда или кнопка «связаться с человеком».
• Бот передаёт разговор сам, если: пользователь недоволен, вопрос сложный, речь о деньгах или жалобе.
• Оператор получает историю диалога, чтобы клиенту не пришлось повторять.
• Определено, что происходит в нерабочее время: бот честно сообщает, когда ответит человек.
• Проверено, что уведомления о передаче действительно доходят до операторов.

5. Логирование

• Сохраняются вопросы, ответы, использованные источники и случаи эскалации.
• Есть способ отметить плохой ответ — например, кнопки оценки.
• Логи хранятся с ограниченным доступом и понятным сроком хранения.
• Персональные данные в логах по возможности маскируются.

6. Приватность и прозрачность

• Пользователь видит, что общается с ботом, а не с человеком.
• Есть короткое уведомление об обработке данных и ссылка на политику конфиденциальности.
• Бот не просит лишнего: номера карт, пароли, паспортные данные.
• Проверены условия обработки данных у провайдера модели и требования законодательства о персональных данных в вашей стране.

7. Мониторинг после запуска

• Назначен ответственный, который регулярно просматривает выборку диалогов.
• Настроены оповещения при сбоях API и резком росте ошибок.
• Запланирован постепенный запуск: сначала часть трафика или внутренние пользователи, затем все.

Частые ошибки при запуске

• Тестировать только «хорошие» вопросы.
• Не дать пользователю способа выйти на человека.
• Запустить и не смотреть логи первые недели.
• Обновлять базу знаний без повторного тестового прогона.