Ile wynosi skuteczność starego MAXA?
Przy zagadnieniach technicznych w usługach domowych (światłowód, telewizja) MAX obsługuje ponad 70 proc. spraw. W przypadku awarii diagnozuje bardzo precyzyjnie, czy to uszkodzenie sprzętu, czy sieci. Przyjmuje zgłoszenie, jeśli potrzeba wysyła technika. Jeśli trzeba wymienić sprzęt ‒ informuje o tym. I ta ścieżka ma naprawdę dużą akceptację klientów: jeśli maszyna załatwia sprawę ‒ klient mówi „ok”. Jeśli nie załatwia ‒ to się irytuje bardziej niż na człowieka.
A czy ta wysoka skuteczność nie wynika z tego, że MAX w 70 proc. przypadków odpowiada, że w danym rejonie sieci jest awaria?
Nie. To, że jest awaria w rejonie odpowiada precyzyjnie w 100 proc. 70 proc. oznacza, że obsługuje zgłoszenia techniczne całościowo, np. „nie działa mi telewizja”, albo „nie działa mi internet”. Natomiast przy fakturach jego skuteczność jest kilkakrotnie niższa.
Dlaczego przy fakturach jest tak niska skuteczność? Przecież to są konkretne informacje.
Właśnie dlatego, że jest deterministyczny ‒ nie korzysta z całej bazy informacji o kliencie, ma tylko zdefiniowane ścieżki. Nowy, LLM-owy MAX będzie skuteczniejszy, bo sięgnie do bazy wiedzy i bazy danych jednocześnie.
Z jakich baz będzie korzystał?
Z dwóch zagregowanych źródeł. Baza wiedzy – informacje o procesach, cenach, ofertach, jak funkcjonują procedury Orange: zarówno dla klientów, jak i dla pracowników. I baza danych – czyli rachunki, informacje o połączeniach, historia klienta itp.
Jak mają się zmienić kluczowe KPI po wdrożeniu LLM-a?
Kluczowe wskaźniki, to ilu naszych klientów jest zadowolonych, a ilu niezadowolonych. Spodziewamy się, że liczba tych drugich spadnie, a liczba tych pierwszych wzrośnie. To przekłada się na postrzeganie operatora i na transakcyjny NPS [Net Promoter Score ‒ red.], a to z kolei na wszystkie kluczowe relacje z klientem: jego chęć zakupu usługi, czy też skłonność do rezygnacji. Brak satysfakcji jest jeszcze ważniejszy, ponieważ silnie przekłada się na percepcyjny NPS, czyli co klienci sądzą o dostawcy nawet jeżeli nie mają z nim komercyjnych doświadczeń.
Drugim kluczowym KPI jest skuteczność ‒ jak trafnie bot odpowiada na pytania. Na początku każdego projektu bardzo ważna jest poprawność odpowiedzi: czy to co mówi jest zgodnie ze stanem faktycznym.
Jeżeli regułowy MAX obsługuje 70 proc. pytań, to LLM-owy ma obsługiwać jaki procent?
Ma odpowiadać na bardziej równomiernym poziomie ‒ na wysokim poziomie we wszystkich kategoriach pytań. Wspomniane 70 proc. to średnia ‒ w poszczególnych kategoriach poziom trafności może być wyższy i niższy.
Chcemy też, żeby nowy MAX odpowiadał logicznie. Żeby nie było sytuacji, że zadajesz proste pytanie a on nie odpowiada. Dziś deterministyczny bot, gdy pytasz o coś spoza jego ścieżek ‒ na przykład „po ile są jajka” ‒ nie wie co odpowiedzieć, bo nie przewidziano takiego pytania i może przypadkowo przypisać ścieżkę odpowiedzi. LLM-owy powie po prostu, że nie udzieli odpowiedzi na takie pytanie.
Czyli twarde KPI mają się utrzymać albo wyrównać, a główna korzyść będzie z większej przyjazności narzędzia?
Tak, z ilości intencji oraz ich skutecznego obsłużenia przez bota. Przede wszystkim chodzi jednak o to, żeby MAX był bardziej zrozumiały dla rozmówcy ‒ jeśli zadasz pytanie, dostajesz odpowiedź. Jeśli nie potrafi odpowiedzieć, mówi o tym i łączy do doradcy.
Jedno z głównych źródeł irytacji klientów na MAXA, to proces weryfikacji. To się ma szansę zmienić po wdrożeniu LLM-a?
Nie zmieni się, bo musimy zweryfikować klienta. To wynika z przepisów prawa. Wdrażamy nowe narzędzia, jak weryfikacja dwuskładnikowa, żeby proces był łatwiejszy, jednak go nie unikniemy. Wiemy, że klienci tego nie lubią ‒ choć co ciekawe, w przypadku bankowości i poczucia ochrony pieniędzy, są bardziej tolerancyjni. A my nie możemy postępować inaczej. Dane rachunkowe, historia połączeń to informacje, które możemy udostępniać tylko osobom upoważnionym.
