Human in the loop, czyli gdzie zostawić przycisk „zatwierdzam”

Czyli o tym, w którym miejscu automatyzacji człowiek chroni firmę, a w którym tylko ją spowalnia.

Poniedziałek, dziewiąta rano. Automatyzacja, którą zbudowałeś w zeszłym miesiącu, działa jak w zegarku: zapytanie z formularza ląduje w arkuszu, model językowy pisze szkic oferty, system dolicza cenę z cennika i wysyła PDF do klienta. Nikt tego nie dotyka i właśnie o to chodziło. Aż do wiadomości, która przychodzi w południe: „Biorę. Proszę o fakturę”. Szybko. Za szybko.

Otwierasz ofertę i widzisz rabat, którego nikt nie dawał. Formuła wzięła stawkę z arkusza promocji, który miał zniknąć tydzień temu.

Teraz masz dwa wyjścia i oba są złe. Honorujesz cenę i dopłacasz do zlecenia albo piszesz do klienta, że to był błąd, i tłumaczysz się z czegoś, czego nie zrobiłeś osobiście.

Prawie każdy czyta tę scenę tak samo: automatyzacja zawiodła, więc albo trzeba było jej nie ufać, albo zbudować ją lepiej, tak żeby nie myliła się nigdy. A gdyby problem nie polegał na tym, że system się pomylił, tylko na tym, że między jego pomyłką a klientem nie stał nikt? Tym właśnie zajmuje się podejście, które ma w branży swoją nazwę: human in the loop, czyli człowiek w pętli. To układ, w którym automatyczny proces w jednym, z góry wybranym kroku zatrzymuje się i czeka na decyzję człowieka (zatwierdź, popraw albo odrzuć), a dopiero potem jedzie dalej. Ludzie budują to z prostego powodu: dostają szybkość maszyny we wszystkich krokach, w których pomyłka nic nie kosztuje, i własny osąd tam, gdzie kosztuje.

Potrzebę widać po narzędziach i po prawie. Narzędzie n8n, w którym buduje się sporą część automatyzacji w małych firmach, ma osobną funkcję do zatrzymywania agenta AI przed wykonaniem wybranej akcji, z akceptacją przez dziewięć kanałów, od Slacka po Gmaila i WhatsAppa. Unijny AI Act poświęca nadzorowi człowieka cały artykuł 14. Sam przycisk nie załatwia jednak niczego. Postawiony w złym miejscu spowalnia proces, a klikany sto razy dziennie przestaje być kontrolą i staje się pieczątką.

Człowiek w pętli, na pętli i poza nią to trzy różne role

Nadzór człowieka nad automatyzacją ma trzy odmiany i warto je rozróżniać, zanim zaczniesz dokładać przyciski. Różnią się momentem, w którym człowiek może zmienić wynik: przed akcją, w trakcie albo dopiero po fakcie.

Większość procesów w firmie to mieszanka wszystkich trzech. To, co nazywamy automatyzacją procesów biznesowych, rzadko oznacza proces od początku do końca bez ludzi. Częściej oznacza proces, w którym ludzie zostają w dwóch, trzech miejscach, za to wybranych świadomie, a nie tam, gdzie ktoś zawsze klikał, bo tak było w starym systemie.

Maszyna nie myli się częściej niż człowiek, tylko szybciej

Najdroższa lekcja o automatyzacji bez zatrzymania pochodzi z giełdy. 1 sierpnia 2012 roku amerykańska firma maklerska Knight Capital wdrożyła zmianę w systemie, który automatycznie kierował zlecenia na rynek. Na jednym z serwerów została stara, nieużywana od lat funkcja, a nowa konfiguracja przypadkiem ją obudziła.

Ciekawsza od straty jest ostatnia pozycja. Człowiek formalnie był w tej pętli: system wysyłał ostrzeżenia na dziesiątki minut przed katastrofą. Według ustaleń SEC nikt na nie nie zareagował. Ostrzeżenie, które przychodzi mailem razem z setką innych automatycznych wiadomości, ginie wśród nich jak każdy inny mail.

Pracownik, który pomyli się przy ofercie, pomyli się raz, przy jednym kliencie, i zwykle wyłapie to przy następnej. Automatyzacja z tym samym błędem powtórzy go przy każdym zapytaniu, aż ktoś zauważy. Twoja skala jest o kilka rzędów mniejsza niż giełda, ale proporcja zostaje ta sama: błąd w regule nie zdarza się raz, tylko tyle razy, ile razy reguła się uruchomi. Pisałem o tym od drugiej strony w tekście o tym, jak automatyzacja potrafi cicho przestać działać, i tam też problemem nie był sam błąd, tylko to, jak długo nikt go nie widział.

Klient nie rozróżnia, czy pomylił się pracownik, czy bot

Drugi argument za człowiekiem w pętli jest prawny i dotyczy już nie pieniędzy, tylko obietnic. W listopadzie 2022 roku Jake Moffatt zapytał czatbota na stronie Air Canada o zniżkę na lot na pogrzeb babci. Bot odpowiedział, że o zniżkę można wnioskować już po podróży. To była nieprawda, regulamin linii tego nie przewidywał, więc po powrocie Moffatt dostał odmowę.

Sprawa trafiła do kanadyjskiego trybunału rozjemczego, a linia broniła się argumentem, że nie odpowiada za informacje podane przez swojego czatbota. Trybunał uznał to stanowisko za „niezwykłe” i w lutym 2024 roku nakazał Air Canada zapłacić różnicę w cenie biletu. Kwota była symboliczna. Zasada już nie: to, co mówi Twoja automatyzacja, mówisz Ty.

Czy to znaczy, że każda odpowiedź bota ma czekać na akceptację? Nie, wtedy bot traci sens. Znaczy to, że obietnica wobec klienta (cena, termin, zwrot, wyjątek od regulaminu) jest dokładnie tym rodzajem wyniku, przy którym warto postawić człowieka, bo cofnięcie jej kosztuje więcej niż jej sprawdzenie.

Dwa pytania wyznaczają miejsce na przycisk „zatwierdzam”

Kryterium jest prostsze, niż sugerują diagramy architektury. Przy każdym kroku procesu zadaj dwa pytania. Pierwsze: czy da się to cofnąć bez kosztu? Drugie: czy wynik wychodzi poza firmę, do klienta albo z Twojego konta? Jeśli na pierwsze odpowiadasz „nie”, a na drugie „tak”, krok czeka na człowieka. W każdym innym przypadku jedzie sam, a Ty najwyżej go obserwujesz.

Przy pieniądzach jest jeszcze jeden powód, żeby nie ufać regule w ciemno. Policja od lat ostrzega przed oszustwem, w którym przestępcy przejmują skrzynkę kontrahenta i wysyłają fakturę z podmienionym numerem konta. Automatyzacja, która sama odczytuje faktury i sama zleca przelewy, wykona takie polecenie bez mrugnięcia, bo z jej punktu widzenia wszystko się zgadza: znany nadawca, poprawny format, kwota w normie. Zmiana numeru konta u stałego dostawcy to wyjątek od reguły, a wyjątki są właśnie tym, czego reguła nie widzi.

Zauważ, ile wierszy jedzie samo. Human in the loop polega na wstawieniu człowieka w dwóch, trzech miejscach, w których decyzja dotyczy pieniędzy albo klienta, i na puszczeniu reszty bez nadzoru. Dzięki temu te dwa, trzy kliknięcia dostają Twoją pełną uwagę.

Przycisk klikany za często przestaje być kontrolą

Akceptacja ma swoją ciemną stronę i psychologowie opisują ją od dawna. Raja Parasuraman i Dietrich Manzey w przeglądzie badań z 2010 roku pokazali, że ludzie nadzorujący automat z czasem przestają sprawdzać jego wyniki, zwłaszcza gdy mają na głowie inne zadania, a zjawiska nie usuwa ani doświadczenie, ani samo szkolenie. Ma ono swoją nazwę.

Ze słownika Noraline: błąd automatyzacji (automation bias) to skłonność do przyjmowania wyniku systemu bez sprawdzenia, także wtedy, gdy przeczą mu inne dostępne informacje. Mózg traktuje podpowiedź maszyny jako domyślnie poprawną i przestaje szukać sygnałów, że jest inaczej.

Najlepiej zbadanym przykładem jest medycyna. Programy do zlecania leków ostrzegają lekarza o groźnych interakcjach, a przegląd siedemnastu badań z 2006 roku wykazał, że lekarze pomijają od 49 do 96% takich ostrzeżeń. Autorzy nie oskarżają lekarzy o lenistwo. Wskazują na konstrukcję alertów: za dużo, za mało trafnych, bez jasnej informacji, co dokładnie jest nie tak. Kiedy większość ostrzeżeń okazuje się fałszywym alarmem, rozsądnie jest je klikać, i tak się dzieje.

Przełóż to na swoją firmę. Jeśli automatyzacja prosi Cię o zatwierdzenie każdej oferty, a dziewięćdziesiąt dziewięć na sto jest poprawnych, po dwóch tygodniach klikasz z telefonu w kolejce do kasy. Ta jedna zła oferta przejdzie przez Twoje ręce dokładnie tak samo, jak przeszłaby bez nich. Masz wtedy najgorszą możliwą wersję: proces spowolniony przez człowieka i niechroniony przez człowieka.

Stąd wniosek, który brzmi paradoksalnie. Im mniej rzeczy czeka na Twoją akceptację, tym lepiej jest ona chroniona. Próg, poniżej którego krok jedzie sam, jest warunkiem, żeby kontrola powyżej progu w ogóle działała.

Prośba o akceptację ma pokazywać różnicę, nie cały dokument

Drugą połowę roboty robi to, co widzisz w chwili, gdy proces się zatrzymuje. Jeśli dostajesz czterostronicowy PDF z dopiskiem „do zatwierdzenia”, musisz sam znaleźć, co jest nietypowe. Jeśli dostajesz jedno zdanie o tym, czym ta oferta różni się od normy, decyzja zajmuje kilka sekund i jest świadoma.

Kwoty w tym przykładzie są przykładowe, ale konstrukcja nie. Dobra prośba o akceptację ma trzy cechy. Mówi, co odbiega od reguły, zamiast kazać Ci tego szukać. Daje więcej niż jedną odpowiedź, bo samo „zatwierdź” zachęca do zatwierdzania. I ma bezpieczny stan domyślny: gdy nikt nie kliknie, proces staje, a nie jedzie dalej.

Ta ostatnia cecha jest najczęściej pomijana, a AI Act wymienia ją wprost wśród możliwości, które człowiek nadzorujący system ma mieć do dyspozycji: przycisk „stop” albo podobną procedurę, która pozwala zatrzymać system w bezpiecznym stanie (art. 14 ust. 4 lit. e). Akceptacja z automatycznym „tak” po dobie to nie jest nadzór. To odroczona wysyłka.

Prawo wymaga od małej firmy mniej, niż straszą, ale nie zero

Przy temacie nadzoru człowieka szybko pada hasło AI Act, a za nim obawa, że każda automatyzacja z modelem językowym wymaga teraz procedur. Tak nie jest. Artykuł 14 dotyczy wyłącznie systemów wysokiego ryzyka, czyli tych wymienionych w załącznikach do rozporządzenia, takich jak ocena kandydatów w rekrutacji czy ocena zdolności kredytowej. Szkic oferty albo sortowanie maili do nich nie należą. Obowiązki dla systemów z załącznika III mają zacząć obowiązywać, według aktualnego tekstu na stronie poświęconej rozporządzeniu, od grudnia 2027 roku.

Bliżej codzienności małej firmy jest RODO. Artykuł 22 daje każdemu prawo, by nie podlegać decyzji opartej wyłącznie na zautomatyzowanym przetwarzaniu, jeśli wywołuje ona wobec niego skutki prawne albo w podobny sposób istotnie na niego wpływa. Tam, gdzie taka decyzja jest dopuszczalna, na przykład bo jest niezbędna do zawarcia umowy, osoba ma prawo do interwencji człowieka, do przedstawienia swojego stanowiska i do zakwestionowania decyzji.

W praktyce: jeśli Twoja automatyzacja sama odrzuca klientowi wniosek o płatność odroczoną na podstawie punktacji albo sama odmawia zwrotu, ktoś po Twojej stronie musi umieć tę decyzję obejrzeć i zmienić. Wpis w regulaminie tego nie załatwi. Potrzebny jest krok w procesie, który da się wykonać, zanim klient pójdzie ze skargą dalej.

Jedyny krok, którego w publikacji tego bloga nie liczy miernik

Opiszę jeden przebieg z własnego podwórka, bo dobrze pokazuje, gdzie stawiać kontrolę. Publikacja wpisu na tym blogu to w większości automatyzacja: grafiki się kompresują, pliki trafiają na serwer, mapa strony się przebudowuje, a skrypty sprawdzają długość tytułu, rytm tekstu i to, czy każda liczba ma źródło. Wszystko to jedzie samo, bo każdy z tych kroków da się cofnąć jednym poleceniem.

Jeden krok jest inny. Przed publikacją ktoś musi spojrzeć na zdjęcie główne i odpowiedzieć na pytanie, którego żaden skrypt nie zada: czy to jestem ja. Ta kontrola pojawiła się na początku września, po tym, jak generator obrazów zwrócił kadr z zupełnie obcą twarzą. Kompozycja była poprawna, wszystkie mierniki tekstu zielone. Bez tego jednego spojrzenia wpis poszedłby w świat z cudzą twarzą jako wizerunkiem marki, a zdjęcia z wpisów rozchodzą się po mediach społecznościowych szybciej, niż da się je poprawić.

Ten przykład spełnia oba kryteria z tabeli: wynik wychodzi do ludzi i trudno go cofnąć. I jest pojedynczy. Gdyby akceptacji wymagał każdy z kilkunastu kroków, ta jedna, ważna, utonęłaby wśród pozostałych dokładnie tak, jak ostrzeżenia w Knight Capital.

Zanim dodasz przycisk, zapisz cztery rzeczy

Jeśli masz już działającą automatyzację albo dopiero ją planujesz, przejdź przez nią w tej kolejności. Zajmie to godzinę przy kartce, a oszczędzi rozmowy z klientem w stylu tej z poniedziałku.

Po miesiącu zrób jeszcze jedną rzecz: policz, ile razy ktoś przy akceptacji coś poprawił albo odrzucił. Jeśli przez miesiąc było to zero razy na kilkaset kliknięć, masz dwie możliwości. Albo próg jest za nisko i przycisk łapie rzeczy, które mogłyby jechać same, albo nikt już naprawdę nie patrzy. Obie da się naprawić, tylko najpierw trzeba je zobaczyć. Jeśli przed wdrożeniem chcesz wiedzieć, ile kroków w ogóle warto ruszać, zacznij od pomiaru procesu, który dziś robisz na oko. A jeśli chcesz uniknąć automatyzacji, która z czasem robi więcej szkody niż pożytku, przeczytaj o tym, kiedy automatyzacja staje się pułapką.

Ofertowanie to zresztą najczęstsze miejsce, w którym ten układ się sprawdza: szkic i wycena z cennika powstają same, a rabat i nietypowy termin czekają na jedno kliknięcie właściciela. Tak budujemy to w ramach automatyzacji ofertowania.

Bezpłatny ebook

20 procesów w firmie, które możesz oddać automatyzacji

Lista procesów, przy których możesz od razu sprawdzić, który krok jedzie sam, a który powinien czekać na Twoją decyzję.

Pobierz za darmo →