Почему промпта недостаточно

Характер, тон и красивое приветствие — только верхний слой. Чтобы бот работал в реальном бизнесе, нужно определить, какие данные он знает, каким доверяет и что делает при противоречии.

Обычно именно в этот момент выясняется, что часть правил существует только в головах сотрудников, условия отличаются по направлениям, а исключения никто не записывал.

Что приходится описывать

  • сегменты пользователей и разные сценарии;
  • обязательные вопросы для квалификации;
  • актуальные цены, условия и ограничения;
  • запрещённые обещания;
  • действия после согласия пользователя;
  • события, при которых нужен менеджер;
  • логику повторных касаний и остановки диалога.

Где бот особенно опасен

Модель стремится дать полезный и законченный ответ. Если данных не хватает, она может логично достроить недостающее. Для бизнеса это означает риск выдуманной гарантии, неверного тарифа или обещанного действия, которое система не умеет выполнять.

Надёжный бот — не тот, который отвечает на всё. Надёжный бот знает, где он не имеет права решать.

Какие метрики нужны

Оценивать только количество диалогов бессмысленно. Нужна цепочка: первый ответ, содержательный разговор, прохождение квалификации, согласие продолжить, успешное действие и фактический бизнес-результат.

Контроль качества
  • вопросы без ответа в базе;
  • повторные и противоречивые ответы;
  • утечки служебного текста;
  • неверные обещания;
  • доля корректных передач менеджеру.

ИИ-бот быстро показывает не уровень нейросети, а качество правил внутри бизнеса.