Błąd automatyzacji (automation bias)

Błąd automatyzacji, po angielsku automation bias, to skłonność do przyjmowania wyniku systemu komputerowego bez samodzielnego sprawdzenia. Człowiek traktuje podpowiedź maszyny jako domyślnie poprawną i przestaje aktywnie szukać informacji, które mogłyby jej zaprzeczyć. W efekcie przepuszcza błędy, które miał przed oczami, albo wykonuje złe działanie tylko dlatego, że system je zasugerował. Zjawisko opisano najpierw w lotnictwie, gdzie piloci polegający na autopilocie przeoczali sygnały z innych przyrządów. Dziś dotyczy każdego, kto zatwierdza wyniki automatyzacji: księgowej akceptującej faktury odczytane przez program, handlowca wysyłającego ofertę wygenerowaną przez model językowy czy lekarza, któremu system podpowiada dawkę leku. Błąd automatyzacji nie jest objawem lenistwa ani braku kompetencji. To przewidywalna reakcja uwagi na system, który zwykle działa poprawnie.

Najskuteczniejszą metodą jest ograniczenie liczby rzeczy, które czekają na akceptację człowieka. Jeśli automatyzacja prosi o zatwierdzenie każdej oferty, a prawie wszystkie są poprawne, po kilku tygodniach zatwierdzanie staje się odruchem. Lepiej ustalić próg: kroki zgodne z regułami jadą same, a akceptacji wymagają tylko wyjątki, na przykład rabat powyżej limitu albo przelew na nowy numer konta. Druga metoda to treść prośby o akceptację. Zamiast całego dokumentu powinna pokazywać jednym zdaniem, co odbiega od normy, i dawać więcej niż jedną odpowiedź, na przykład wyślij, popraw albo odrzuć. Trzecia to bezpieczny stan domyślny: gdy nikt nie kliknie w wyznaczonym czasie, proces się zatrzymuje. Warto też raz w miesiącu policzyć, ile razy ktoś przy akceptacji coś poprawił. Zero poprawek przy setkach kliknięć to sygnał ostrzegawczy.

Samo szkolenie chroni słabo. Przegląd badań Parasuramana i Manzeya z 2010 roku wskazuje, że błąd automatyzacji występuje zarówno u nowicjuszy, jak i u ekspertów, a proste ćwiczenia ani instrukcje go nie usuwają. Powód jest taki, że nie chodzi o wiedzę, tylko o to, jak rozkłada się uwaga przy wielu zadaniach naraz. Człowiek, który wie o istnieniu tego zjawiska, nadal ulega mu wtedy, gdy jest zmęczony, zajęty czymś innym albo gdy system przez długi czas działał bez zarzutu. Dlatego skuteczniejsze od szkoleń są zmiany w samym procesie: mniej próśb o akceptację, wyraźne zaznaczanie nietypowych przypadków i zatrzymywanie procesu przy braku reakcji. Szkolenie ma sens jako uzupełnienie, bo pomaga zrozumieć, po co te mechanizmy istnieją, ale nie zastąpi dobrze zaprojektowanego punktu kontroli.