Wiążą go jednak predefiniowane reguły, poza które nie wyjdzie. Generatywna AI jest elastyczniejsza.
Jak od strony czysto biznesowej, pod kątem efektywności, wypada porównanie Maxa z „flexbotem”?
W tej chwili oba boty obsługują inne rzeczy. Max jest narzędziem regułowym, a reguły najsensowniej jest budować dla największego wolumenu zdarzeń. Max ma sprostać najczęściej pojawiającym się pytaniom, które często wymagają aktualnego kontekstu usług danego klienta. Dla zapytań rzadko występujących nie opłaca się budować reguł. Tutaj LLM radzi sobie znacznie lepiej, bo dzięki swojej wiedzy i umiejętności korzystania z kontekstu potrafi znaleźć odpowiedź na takie pytanie.
A jeżeli chodzi o jakość odpowiedzi (rozwiązania problemu klienta)?
Jeżeli ścieżka rozwiązania jest powtarzalna, to nie powinno być różnicy w działaniu obu typów AI. Jeżeli sprawa jest mniej typowa, model LLM może okazać się skuteczniejszy.
A gdyby kierować się podstawowym celem automatyzacji, to które narzędzie potrafi załatwić więcej zgłoszeń samodzielnie?
Z pewnością większy potencjał mają narzędzia LLM. Dzisiaj jednak jeszcze wszyscy uczymy się, jak je stosować. Jeżeli klient chciałby szczegółowo omówić niedopłatę z ostatniej faktury, to GenAI sobie poradzi, ale jest wiele zagadnień z zakresu bezpieczeństwa, compliance i ochrony danych, o które trzeba najpierw zadbać.
Co pan ma na myśli?
Chodzi o narzędzia oparte na chmurze obliczeniowej, które trzeba zweryfikować, gdzie muszą być ulokowane serwery (jeżeli na przykład prawo nakazuje lokalne przetwarzanie danych klientów) i zawrzeć odpowiednie porozumienia z dostawcami chmury i narzędzi LLM.
Z tego wnosimy, że dzisiaj Max więcej spraw umie załatwić sam niż „flexbot”.
Dzisiaj te narzędzia załatwiają trochę inne sprawy. Max jest bardziej skoncentrowany na pytaniach z kontekstem klienta, a „flexbot” na pytaniach ogólnych. Który bot procentowo załatwia więcej spraw, to trudno porównać, bo zależy od specyfiki infolinii, czy kanału czatowego i proporcji pomiędzy rodzajami pojawiających się pytań.
Czyli gdyby nawet możliwe było przejście na narzędzie generatywne ‒ z dnia na dzień, to takie rozwiązanie niekoniecznie musiałoby działać efektywniej? Przynajmniej na początku…
Tak. Proste pytania/odpowiedzi regułowy bot może obsługiwać lepiej niż bot oparty na LLM. W tradycyjnym podejściu sprawa jest prosta: z rozpoznanego w określony sposób pytania wynika określona odpowiedź i nie ma innej możliwości. W przypadku narzędzia LLM też tak powinno być i kiedyś będzie, ale to wymaga pracy i czasu, żeby wdrożyć niezbędne mechanizmy zapewniające poprawność i bezpieczeństwo: począwszy od sformułowania promptu, przez dynamiczny kontekst po ostateczną weryfikację odpowiedzi.
Czy można zatem w ogóle porównywać jakość obu typów narzędzi: opartych na predykcyjnej i generatywnej AI?
Dzisiaj jest to trudne. Jakość rozwiązania nie wynika tylko z technologii, która jest wykorzystywana. Trzeba zrobić z niej dobry użytek. Generatywna AI ma ogromny potencjał. Dlatego w przyszłości prawdopodobnie przejdziemy na korzystanie z generatywnej AI.
A czy narzędzie oparte na LLM nie może po prostu nauczyć się danych zebranych do tej pory przez Maxa?
To mylące stwierdzenie, że narzędzia LLM „mogą się uczyć” w rozumieniu: powiększać bazowe zasoby swojej wiedzy. Faktycznie każde narzędzie LLM bazuje na podstawowej, uniwersalnej wiedzy modelu jaki wytrenował jego dostawca. Każde zapytanie zostaje rozpatrzone w świetle tych zasobów oraz przydatnej dodatkowej wiedzy, jaką można ad hoc pozyskać z innych źródeł i dodać w postaci kontekstu do pytania (prompta).
Warto pamiętać, że modele LLM są wyuczone na podstawie danych o ofercie telekomów i obsłudze ich klientów na całym świecie. To nie jest tak, że po rozmowie z jednym klientem w Polsce chatbot jest mądrzejszy i będzie umiał to wykorzystać w rozmowie z kolejnym klientem. Dzisiaj głównym zadaniem modeli LLM w czat bocie jest zrozumienie, o co klientowi chodzi i sformułowanie odpowiedzi w oparciu o dostarczony kontekst. Potrzebuje jednak pomocy, aby sprostać pytaniu.
