Skąd się biorą halucynacje chatbota
Model językowy pisze płynnie bez względu na to, czy ma pod ręką fakty. Bez danych z Twojego sklepu potrafi ułożyć odpowiedź, która brzmi pewnie, bo płynność i prawdziwość to u niego dwie osobne sprawy, a klient widzi tylko tę pierwszą. Dlatego bot sklepowy przy pytaniach o ofertę najpierw szuka, a dopiero potem pisze.
W CartBocie wygląda to tak. Przy pytaniu o produkt bot przeszukuje podłączony katalog, a przy pytaniu o dostawę albo zwrot sięga do bazy wiedzy sklepu, w której leżą Twoje zasady. Model składa odpowiedź z tego, co znalazł w danych, i ma w instrukcjach zakaz wymyślania cen oraz cech, których tam nie ma. Gdy parametru brakuje, ma powiedzieć wprost, że tej informacji nie ma.
Ryzyko spada, ale nie znika. Wystarczy, że wyszukiwanie zwróci plecak z tej samej serii, tylko z wodoszczelnymi zamkami, a bot weźmie zdanie z jego opisu. Klient widzi wtedy kartę plecaka, o który pytał, z ceną zgodną co do grosza, a pod nią obietnicę ochrony przed deszczem, której ten plecak nie daje. Z wariantami bywa tak samo, gdy jeden kolor ma inny opis niż reszta.
Czy chatbot jest bezpieczny dla sklepu?
Jeśli o to pytasz, pewnie martwisz się głównie tym, czy bot nie naobiecuje klientom rzeczy, których nie masz w ofercie. Uczciwa odpowiedź brzmi „na tyle, na ile pozwalają mu dane i testy”. Każde ogniwo potrafi zawieść, od Twojego opisu przez wyszukiwanie aż po sam model, więc obietnica zera pomyłek powinna Cię raczej zaniepokoić.
W praktyce bezpieczny bot ma dokąd uciec, gdy nie wie. Przyznaje się do braku informacji i prosi o kontakt. Jeśli ktoś siedzi przy komputerze, przejmuje rozmowę w panelu razem z historią, ale w jednoosobowym sklepie o 23:10 raczej nikt nie siedzi i zostawiony mail albo telefon to wszystko, co masz.
Rozmawiając z dostawcą, poproś o pokaz na żywo. Zadaj pytanie spoza katalogu i zobacz, co bot zrobi, a potem zapytaj, skąd wziął informację o wodoodporności plecaka, bo ogólny opis kategorii „plecaki miejskie” nie potwierdza, że akurat ten model wytrzyma deszcz.
Cena i dostawa, czyli dane, które się starzeją
Bot zna Twoją ofertę z API sklepu na WooCommerce, Shopify, PrestaShop albo Shoperze, z feedu XML lub CSV pod adresem URL albo z pliku wgranego ręcznie. Synchronizacja chodzi według harmonogramu, więc bot widzi zmiany w sklepie z opóźnieniem, a jeśli pobieranie danych się wysypie, to opóźnienie rośnie.
Ręcznie wgrany plik sam się nie odświeży. Zostaje taki, jaki był, dopóki ktoś nie wgra nowego. Wycofany produkt też nie znika od ręki, bo synchronizacja odczekuje, zanim skasuje pozycję, której zabrakło w źródle.
Najłatwiej przeoczyć dostawę. Próg darmowej wysyłki i zasady zwrotów bot bierze z bazy wiedzy, a synchronizacja katalogu nie musi tej bazy ruszyć. Powiedzmy, że podnosisz próg ze 199 na 249 zł, a w bazie wiedzy zostaje stara kwota, więc bot dalej obiecuje darmową paczkę klientowi z koszykiem za 220 zł. Potem albo dopłacasz do wysyłki, albo tłumaczysz się w mailu.
Pięć prób przed startem
Weź produkt, który znasz na pamięć, i każdą próbę zaczynaj w nowej rozmowie, bo wcześniejsze wiadomości potrafią podsunąć botowi odpowiedź.
Najwięcej mówi próba z brakującym parametrem. Dobra odpowiedź brzmi mniej więcej tak: „Opis tego plecaka nie zawiera informacji o wodoodporności. Przekażę pytanie obsłudze, jeśli zostawisz kontakt”. Potem dociśnij bota jak klient, który bardzo chce usłyszeć „tak”, i sprawdź, czy zostaje przy swoim, bo materiał to jeszcze nie szwy ani zamki.
Przy okazji zajrzyj do panelu i sprawdź, czy kontakt z próby się zapisał. Zaliczone próby to dobry znak, choć gwarancji na każdą przyszłą rozmowę z nich nie wyciągniesz. Całą piątkę masz poniżej.
- Zmień cenę jednego produktu i zanotuj, po jakim czasie nowa kwota pojawi się w czacie.
- Zapytaj o wycofany produkt i o wariant, którego nigdy nie miałeś, po czym spróbuj dodać oba do koszyka.
- Sprawdź koszt dostawy dla koszyka tuż pod progiem darmowej wysyłki.
- Spytaj o parametr, którego brak w opisie.
- Po odmowie napisz „ale chyba możesz to ocenić po materiale” i zobacz, czy bot zostaje przy swoim.
Co zrobić, gdy bot jednak coś zmyśli
Po starcie czytaj rozmowy regularnie, zaczynając od tych, w których bot podawał parametry albo koszt dostawy, bo tam pomyłka kosztuje najwięcej.
Kiedy trafisz na błąd, najpierw ustal, skąd się wziął. Od tego zależy, kto go naprawia. Jeśli na karcie stoi „wodoodporny”, a plecak przecieka, bot po prostu powtórzył Twój opis i poprawka należy do Ciebie. Gorzej, gdy dane są w porządku, a bot ich nie znalazł albo źle ich użył, bo wtedy trzeba poprawić wyszukiwanie albo zasady odpowiedzi, czyli rzeczy, których z panelu sklepu nie zmienisz.
CartBot jest usługą prowadzoną, więc tę drugą część bierzemy na siebie w ramach abonamentu. Fakty o ofercie zostają po Twojej stronie, bo to, czy plecak wytrzyma ulewę, wiesz Ty albo producent.
Po poprawce zadaj botowi to samo pytanie jeszcze raz i dopisz je do listy przypadków, które przepuszczasz przez bota przy każdej większej zmianie w katalogu. Pierwsze pozycje możesz na nią wpisać jeszcze dziś, robiąc pięć prób opisanych wyżej.