Чемпионат по эффективности: как рассчитать KPI бота

Ксения Перова, специалист по работе с ключевыми партнерами компании Just AI, рассказывает, на что можно опираться, оценивая качество работы голосовых и чат-ботов. 

Возвращаемся к целям

Эффективность внедрения бота логично оценивать по его влиянию на бизнес-процессы — как выросла лидогенерация, насколько увеличилась конверсия, что с лояльностью клиентов и так далее. Для работы с этими метриками нужен доступ к внутренней аналитике компании, оценка KPI может быть реализована как на стороне клиента, так и на стороне вендора.

Тем не менее, определенные выводы об эффективности реально сделать, отталкиваясь от типа чат-бота и целей его внедрения. Для голосовых важно достижение одних целей, для текстовых — совсем других. 

Так, телефонные боты могут обрабатывать как входящие запросы — например, консультировать или принимать какие-то данные, так и совершать исходящие звонки — продавать или проводить NPS-опросы, то есть изучать уровень лояльности клиентов. 

В случае с продажами показателем успешности диалога бота с абонентом может служить, например, согласие на какое-либо действие — например, перейти на новый тариф мобильного оператора или получить специальное предложение по кредиту от банка. Соответственно, после завершения проекта легко рассчитать долю успешных диалогов от общего количества контактов. 

Когда речь идет о мониторинге лояльности, нужно отслеживать общее число принявших участие в опросе — долю от количества абонентов в базе, а также число тех, кто ответил на все вопросы анкеты. Поэтому крайне важен дизайн диалога, он оценивается на протяжении всего времени. 

Например, крупная страховая компания регулярно проводит исследования удовлетворенности своих клиентов. Каждый месяц виртуальный ассистент обзванивает 400-500 человек, из них соглашаются ответить на вопросы около 40%. Когда опросы проводили сотрудники компании, результативность была ниже. 

Боты могут быть призваны собирать информацию — например, показания счетчиков или заявки на получение услуги. Так, один сервисный центр полностью автоматизировал сбор заявок на поверку счетчиков после того, как пилотный проект показал: робот обрабатывает в пять раз больше запросов, нежели диспетчер, при этом диалог строится по четко заданному сценарию. 

Все чаще внедряются боты-коллекторы, основная цель которых — сообщить человеку о задолженности и получить от него подтверждение, что он скоро ее погасит. Соответственно, его эффективность определяется количеством полученных ответов. 

Считаем количество

Для виртуальных собеседников существуют и универсальные показатели. Ключевой KPI любого бота — точность и эффективность его работы. Условно, если мы сделали бота для ответов на вопросы, то нам важно понять, правильно ли он это делает. Первым делом на помощь приходят количественные показатели, не зависящие от смысла и результата диалога — условно их можно назвать «скоростными». За основу в этом случае берут показатели, которые ставились изначально для операторов контакт-центров или в принципе для процессов коммуникации компании с клиентом.

Первый из них — Service Level: процент принятых и обработанных обращений от общего количества поступивших. Если продолжать параллели с типичным колл-центром, то за 100% берется количество всех попыток дозвониться, а эффективность определяет доля попыток, которые увенчались успехом — здесь основную роль играет количество операторов и нагрузка на каждого из них. 

Service Level бота, в свою очередь, зависит от пропускной способности и программного обеспечения. Если ПО легко масштабируется, бот в состоянии принять десятки тысяч одновременных обращений — сколько бы человек ни написало или ни позвонило боту, все сообщения будут обработаны. Поэтому Service Level бота стремится к максимальным значениям, в отличие от результатов живых людей.

Еще один показатель, «общий» для операторов и ботов — среднее время обработки запроса (Average Handle Time, AHT). Для корректной оценки важно обозначить границы периода — что мы считаем началом запроса, а что его завершением. В этом случае, к слову, у оператора против бота нет шансов — человек не может одновременно говорить и фиксировать результат диалога, люди в моменте способны выполнять только одно действие. Бот делает все одновременно: и получает ответ из базы знаний, и отправляет данные в CRM, и фиксирует результат беседы.

Проверяем качество

Логично, что следом к боту возникает вопрос: насколько правильно был обработан входящий запрос? На это ответит показатель First Call Resolution (FCR) — был ли вопрос решен с первого раза или клиенту пришлось переспрашивать, возвращаться и так далее. Обычно для мониторинга этого результата достаточно добавить в конец сценария простые обратные вопросы клиенту, вроде, «Была ли решена ваша проблема?». Для более глубокого анализа требуется схема сложнее: сессия с клиентом разбирается целиком — и вопросы, и ответы, и факты возвращения клиента с тем же запросом.

Когда мы изучаем работу людей, FCR зависит от качества обучения персонала, от способностей операторов работать с базой знаний, от качества самой базы знаний. Для бота же важно определить темы и варианты обращений, работе с которыми его обучали, и оценивать качество только по ним, а не по всей массе поступающих сообщений. 

Условно, если бота научили отвечать только на вопросы о сроках доставки, нет смысла считать FCR по обращениям, связанным с возвратом товаров. При этом нужно учитывать, какой процент всех обращений в компанию относится именно к срокам доставки, то есть теме, которую бот в состоянии понять.

Также важно следить за количеством нераспознанных вопросов. И снова есть важное ограничение — изучается только массив обращений по темам, которым бота обучали. Некорректно оценивать этот аспект по всем вопросам: например, если мы научили бота разбираться только с возвратом товара и предоставлением сертификатов, будет странно ожидать, что он ответит на вопрос про скидки и специальные предложения. Качество работы бота определяет доля нераспознанных запросов от общего количества поступивших на заданную тему.

В этом разрезе можно провести и более глубокий анализ. Вернемся к примеру из абзаца выше: собирается массив данных о необработанных запросах, фильтруется, а дальше смотрим, чаще бот не понимал вопрос про возврат или про сертификаты, или вообще появилась новая тема — про доставку, которой необходимо обучить, так как это востребовано у клиентов. 

---

Читайте также:  Дают рекомендации, но не решают проблемы: возможности и ограничения чат-ботов

---

Еще важна оценка качества понимания естественного языка — работы NLU-ядра (Natural Language Understanding). Например, насколько точно бот распознает слова с грамматическими ошибками, разные формы одного и того же слова. На основе анализа логов можно строить планы по дальнейшему обучению бота или корректировке сценариев. 

Следим за временем

А как скоро после внедрения бота можно начинать оценивать его эффективность? Самое разумное — следить за его работой прямо с первого дня. Как минимум, отслеживать число нераспознанных запросов. Если таковых сразу много, то явно нужно пересмотреть сценарии и провести повторное обучение. 

При этом важно учитывать и объемы работы бота — потенциальную нагрузку. Если поставить ассистента на сайт, где бывают два человека в день, говорить о репрезентативности данных и вовсе не приходится. А вот если «проходимость» высокая, то уже через две недели можно будет сформулировать первые выводы о целесообразности внедрения, как минимум.  

Ксения Перова, 
специалист по работе с ключевыми партнерами компании Just AI.

Для New Retail