Wiarygodna halucynacja AI: jak wyłapać błąd modelu
Czyli o tym, dlaczego najdroższa pomyłka modelu to ta, przy której nic Ci nie zgrzytnęło.
Czytaj →Chatbot (po polsku też czatbot) to program, który prowadzi z człowiekiem rozmowę w języku naturalnym, najczęściej w oknie czatu na stronie, w komunikatorze albo w aplikacji. Starsze chatboty działają według z góry zapisanych reguł i ścieżek, nowsze generują odpowiedzi za pomocą dużych modeli językowych. W obu przypadkach chodzi o to samo: klient pisze pytanie, a odpowiada mu maszyna, nie człowiek.
Kiedy ktoś pyta, co to jest chatbot, zwykle ma na myśli jedną z dwóch rzeczy: dymek w rogu sklepu internetowego, który pyta „W czym mogę pomóc?”, albo asystenta w rodzaju ChatGPT. Technicznie to bardzo różne systemy i właśnie ta różnica decyduje, czy chatbot w Twojej firmie pomoże, czy narobi kłopotów.
Pierwszym znanym chatbotem była ELIZA, program napisany w latach 60. przez Josepha Weizenbauma z MIT. Udawała terapeutę: wyłapywała słowa kluczowe i odbijała je w formie pytań. Weizenbaum opisał ją w pracy ELIZA – A Computer Program for the Study of Natural Language Communication between Man and Machine i sam był zaskoczony, jak chętnie ludzie przypisywali programowi zrozumienie, którego nie miał. To zjawisko dotyczy także dzisiejszych botów.
Przez kolejne dekady chatboty pozostały regułowe: drzewo decyzyjne, przyciski z gotowymi odpowiedziami, rozpoznawanie kilku intencji („status zamówienia”, „zwrot”). Taki bot nie powie nic spoza scenariusza. Jest przewidywalny, ale sztywny: wystarczy, że klient zapyta innymi słowami, i rozmowa się sypie.
Przełom w jakości rozmowy przyniosły LLM, czyli duże modele językowe. Bot oparty na modelu nie wybiera odpowiedzi z listy, tylko ją układa słowo po słowie na podstawie pytania i kontekstu. Rozumie parafrazy, literówki i pytania złożone. Płaci za to przewidywalnością: potrafi z pełnym przekonaniem podać informację nieprawdziwą, czyli wygenerować Halucynacje AI.
Sam model zna tylko to, czego nauczył się w trakcie treningu. Nie wie, jaki masz cennik, godziny otwarcia ani regulamin zwrotów. Dlatego firmowy chatbot składa się zwykle z trzech warstw:
Im więcej z tych warstw ma bot, tym więcej potrafi. I tym więcej może zepsuć.
Chatbot opłaca się tam, gdzie pytania się powtarzają, a odpowiedzi są spisane. Kilka typowych sytuacji:
Chatbot nie ma sensu, gdy pytań jest mało, gdy każda sprawa jest inna albo gdy nie masz spisanej wiedzy. Bot nie wymyśli Twojej polityki zwrotów. Jeśli jej nie ma na piśmie, model ją zgadnie.
Najczęstszy błąd to założenie, że za odpowiedzi bota nikt nie odpowiada. W 2024 roku trybunał w Kolumbii Brytyjskiej rozpatrywał sprawę klienta, któremu chatbot linii Air Canada błędnie opisał zasady zniżki. Linia argumentowała, że bot jest odrębnym bytem. Trybunał to odrzucił i uznał, że firma odpowiada za informacje na swojej stronie, także te podane przez bota (Moffatt v. Air Canada, 2024 BCCRT 149). To, co napisze Twój bot, klient przeczyta jako słowo firmy.
Inne błędy, które powtarzają się w małych firmach:
Zanim wybierzesz narzędzie, odpowiedz sobie na jedno pytanie: które trzy pytania klientów zabierają Ci dziś najwięcej czasu? Od nich zaczyna się sensowny chatbot.
Najczęściej zadawane pytania
Chatbot to program, który rozmawia z człowiekiem w języku naturalnym, zwykle w oknie czatu na stronie albo w komunikatorze. Działa na jeden z dwóch sposobów. Chatbot regułowy ma zapisane ścieżki rozmowy i gotowe odpowiedzi: rozpoznaje kilka intencji, na przykład pytanie o status zamówienia, i podaje przygotowany tekst. Chatbot oparty na dużym modelu językowym układa odpowiedź sam, na podstawie pytania, instrukcji od firmy i dokumentów, które dostał do przeszukania. Pierwszy jest przewidywalny, ale gubi się, gdy klient zapyta innymi słowami. Drugi rozumie parafrazy i pytania złożone, za to potrafi z przekonaniem podać informację nieprawdziwą. Dlatego firmowy chatbot na modelu językowym dostaje zwykle bazę wiedzy z cennikiem i regulaminem oraz jasne granice tematów. W praktyce dla klienta różnica sprowadza się do tego, czy bot zrozumie jego pytanie i czy odpowie zgodnie z tym, co firma faktycznie oferuje.
Chatbot na stronie opłaca się małej firmie wtedy, gdy klienci zadają powtarzalne pytania, a odpowiedzi na nie są spisane. Sklep, który codziennie odpowiada na pytania o dostawę, rozmiary i zwroty, zyska najwięcej: bot obsłuży je w nocy i w weekend, a właściciel dostanie rano tylko sprawy nietypowe. Podobnie gabinet albo warsztat, w którym bot podaje ceny i wolne terminy. Chatbot się nie opłaca, gdy zapytań jest kilka tygodniowo, gdy każda sprawa wymaga indywidualnej wyceny albo gdy firma nie ma spisanych zasad. Bez dokumentu źródłowego model będzie zgadywał, a za jego odpowiedzi odpowiada firma. Prosty test przed zakupem: wypisz pytania z maili i wiadomości z ostatniego miesiąca. Jeśli te same pięć czy dziesięć pytań wraca regularnie i zajmuje Ci sporo czasu, chatbot ma sens. Jeśli nie, lepiej dopracować stronę FAQ.
Chatbot i agent AI różnią się tym, czy program tylko odpowiada, czy także działa. Klasyczny chatbot prowadzi rozmowę: przyjmuje pytanie i zwraca tekst, nawet jeśli korzysta przy tym z bazy wiedzy firmy. Agent AI dostaje cel i narzędzia, na przykład dostęp do kalendarza, systemu zamówień albo poczty, i sam decyduje, jakie kroki wykonać, żeby cel osiągnąć. Granica jest płynna. Chatbot, który po rozmowie sam rezerwuje wizytę w kalendarzu, ma już cechy agenta. Dla firmy ta różnica przekłada się na ryzyko. Błąd chatbota to zła odpowiedź, którą klient może zweryfikować. Błąd agenta to wykonane działanie: anulowane zamówienie, wysłany mail, zmieniony termin. Dlatego agentom daje się możliwie wąskie uprawnienia, a przy działaniach nieodwracalnych zostawia człowiekowi przycisk zatwierdzenia. Zacznij od chatbota, który tylko odpowiada, a narzędzia dodawaj stopniowo.
Tak, firma odpowiada za to, co jej chatbot powie klientom, przynajmniej tak rozstrzygnięto znaną sprawę z 2024 roku. Chatbot linii Air Canada błędnie opisał klientowi zasady zniżki na bilet. Linia twierdziła przed trybunałem w Kolumbii Brytyjskiej, że bot jest odrębnym bytem i sam odpowiada za swoje słowa. Trybunał uznał ten argument za nietrafiony: informacja na stronie firmy jest informacją firmy, niezależnie od tego, czy podał ją człowiek, statyczna podstrona czy chatbot. To orzeczenie dotyczy prawa kanadyjskiego i organu rozstrzygającego drobne spory, ale dobrze pokazuje kierunek myślenia. W praktyce oznacza to, że bot nie powinien obiecywać rabatów, terminów ani warunków, których nie ma w Twoich dokumentach. Ogranicz jego tematy, każ mu odsyłać sprawy sporne do człowieka i regularnie czytaj zapisy rozmów, żeby wyłapać błędne odpowiedzi, zanim zrobi to klient.
Chatbota dla firmy zrobisz bez programisty, korzystając z gotowych narzędzi, w których wgrywasz dokumenty i ustawiasz instrukcję, a potem wklejasz na stronę fragment kodu dostarczony przez dostawcę. Ważniejsze od wyboru narzędzia jest przygotowanie. Najpierw zbierz pytania, które klienci zadają najczęściej. Potem spisz w jednym dokumencie aktualne odpowiedzi: cennik, czas realizacji, zasady zwrotów, godziny pracy. Napisz instrukcję dla bota: o czym rozmawia, czego nie obiecuje, kiedy przekazuje sprawę człowiekowi. Na start ogranicz go do pytań z listy, a rozmowy spoza zakresu niech trafiają do Ciebie razem z zapisem. Sprawdź też, gdzie dostawca przetwarza dane i czy podpisze umowę powierzenia, jeśli bot zbiera dane klientów. Przez pierwsze tygodnie czytaj rozmowy i poprawiaj dokument źródłowy. Integracje z kalendarzem czy sklepem dodawaj dopiero wtedy, gdy same odpowiedzi są poprawne.
Chatbot AI stworzony przez OpenAI, oparty na modelach GPT — najpopularniejsze narzędzie konwersacyjnej sztucznej inteligencji na…
Duży model językowy — sieć neuronowa trenowana na miliardach tekstów, zdolna do generowania, rozumienia i przetwarzania języka…
Systemy AI trenowane na ogromnych zbiorach tekstu, zdolne do rozumienia i generowania ludzkiego języka — silniki stojące za…
Zjawisko generowania przez modele AI informacji brzmiących wiarygodnie, które są błędne lub całkowicie zmyślone — fundamentalne…
Technika łącząca model językowy z bazą wiedzy — zamiast polegać na pamięci AI, podajesz mu sprawdzone źródła do generowania…
Interfejs programistyczny umożliwiający komunikację między systemami — kelner między Twoją aplikacją a serwisem zewnętrznym,…
Autonomiczne systemy AI zdolne do samodzielnego planowania, podejmowania decyzji i wykonywania wieloetapowych zadań — następny…
Zespół nadpobudliwości psychoruchowej z deficytem uwagi — neurorozwojowe zaburzenie wpływające na koncentrację, impulsywność i…
Czyli o tym, dlaczego najdroższa pomyłka modelu to ta, przy której nic Ci nie zgrzytnęło.
Czytaj →Masz ChatGPT. Odpowiada na pytania, pisze maile, generuje pomysły. Świetne narzędzie. Ale nadal musisz go karmić kontekstem, poprawiać halucynacje i ręcznie kopiować wynik do właściwego miejsca. To nie jest asystent. To szybszy Google z lepszą gramatyką.
Czytaj →