Słowniczek · AI

Multimodalność (model multimodalny)

Multimodalność w sztucznej inteligencji to zdolność jednego modelu do pracy na kilku rodzajach danych, czyli modalnościach: tekście, obrazie, dźwięku, a czasem wideo. Model multimodalny może dostać zdjęcie faktury i pytanie tekstowe, a odpowiedzieć tekstem, głosem albo nawet obrazem. Model wyłącznie tekstowy widzi tylko słowa.

Dla użytkownika różnica jest prosta: zamiast przepisywać do czatu to, co widzisz, możesz to pokazać. Zrzut ekranu z błędem, zdjęcie tablicy po spotkaniu, nagranie głosowe z samochodu.

Skąd się wzięły modele multimodalne

Przez lata systemy AI były wyspecjalizowane: jeden model rozpoznawał obrazy, drugi zamieniał mowę na tekst, trzeci tłumaczył. Badania nad łączeniem modalności mają długą historię, a ich przegląd przedstawili Baltrušaitis, Ahuja i Morency w pracy Multimodal Machine Learning: A Survey and Taxonomy. Ważnym krokiem był model CLIP z 2021 roku, opisany w pracy Learning Transferable Visual Models From Natural Language Supervision. Uczył się na parach obraz i podpis, dzięki czemu obrazy i teksty trafiały do wspólnej przestrzeni znaczeń.

Kolejny etap to duże modele językowe, które dostały „oczy” i „uszy”. Dziś wielu popularnych asystentów, w tym ChatGPT i Claude, przyjmuje obrazy obok tekstu, a część z nich obsługuje też rozmowę głosową. Zakres obsługiwanych modalności różni się między produktami i zmienia się z wersji na wersję, więc przed wyborem narzędzia sprawdź jego aktualną dokumentację.

Jak model łączy tekst, obraz i dźwięk

Uproszczony mechanizm wygląda tak: każda modalność ma własny „koder”, który zamienia dane na wektory liczb, podobne do tych, które opisuje pojęcie embedding. Obraz dzielony jest na małe fragmenty, dźwięk na krótkie odcinki, tekst na tokeny. Wszystko to trafia do wspólnej części modelu, która przetwarza je razem. Dzięki temu model może powiązać słowo „przecieka” z plamą na zdjęciu sufitu.

Ważna konsekwencja: obraz zajmuje miejsce w Context Window tak samo jak tekst. Kilkadziesiąt zrzutów ekranu w jednej rozmowie potrafi wyczerpać okno szybciej niż długi dokument.

Zastosowania multimodalności w małej firmie

  • Dokumenty ze zdjęć. Zdjęcie paragonu, protokołu albo odręcznej notatki zamieniasz na tekst i od razu na tabelę. Model rozumie też układ dokumentu, czego klasyczne rozpoznawanie znaków (OCR) nie potrafi.
  • Wsparcie techniczne. Klient przysyła zdjęcie uszkodzonej części albo zrzut ekranu z komunikatem. Model rozpoznaje problem i podsuwa wstępną diagnozę, którą weryfikuje człowiek.
  • Notatki głosowe. Mówisz w biegu, a model zamienia nagranie w uporządkowaną listę zadań. Dla osób z ADHD, którym pomysły uciekają między jednym a drugim zajęciem, to jeden z najprostszych sposobów, żeby je złapać.
  • Treści marketingowe. Model ocenia projekt grafiki, opisuje zdjęcia produktów do sklepu, proponuje teksty alternatywne dla osób niewidomych.
  • Analiza wykresów. Wklejasz zrzut wykresu z panelu sprzedaży i pytasz, co się zmieniło. Szybciej niż eksport danych, choć mniej dokładnie.

Granice i typowe błędy

  • Odczytane nie znaczy poprawne. Model potrafi źle przeczytać cyfrę na nieostrym zdjęciu i dalej pracować na błędnej wartości. Kwoty, numery kont i daty zawsze sprawdzaj ze źródłem. Przy obrazach Halucynacje AI wyglądają szczególnie przekonująco.
  • Liczenie i precyzyjne pomiary. Policzenie obiektów na zdjęciu czy odczytanie dokładnej wartości z wykresu to słabe strony wielu modeli.
  • Dane w tle. Na zrzucie ekranu łatwo zostawić nazwiska klientów, adresy czy hasła widoczne w innym oknie. Model zobaczy wszystko, co jest na obrazie.
  • Ukryte polecenia. Tekst wpisany w obraz, nawet mało widoczny, model może potraktować jak instrukcję. To odmiana ataku Prompt injection.
  • Generowanie a rozumienie. Model, który dobrze opisuje zdjęcia, nie musi umieć ich tworzyć, i odwrotnie. To często osobne funkcje albo osobne modele.

Dobry pierwszy test: weź jeden dokument, który dziś przepisujesz ręcznie, zrób mu zdjęcie telefonem i sprawdź, ile poprawek wymaga wynik. To od razu pokaże, czy multimodalność oszczędzi Ci czas.

Pytania i odpowiedzi

Najczęściej zadawane pytania

Model multimodalny to model sztucznej inteligencji, który przyjmuje albo tworzy kilka rodzajów danych naraz: tekst, obraz, dźwięk, a czasem wideo. Każdy z tych rodzajów nazywa się modalnością, stąd nazwa. Model wyłącznie tekstowy rozumie tylko słowa, więc wszystko, co widzisz na ekranie, musisz mu opisać. Model multimodalny możesz zapytać o zdjęcie, zrzut ekranu, wykres albo nagranie głosowe. Technicznie każda modalność jest najpierw zamieniana na wektory liczb przez osobny koder, a potem wspólna część modelu przetwarza je razem. Dzięki temu model łączy słowo z tym, co widać na obrazie. Wiele popularnych asystentów AI przyjmuje dziś obrazy obok tekstu, a część obsługuje też rozmowę głosową. Zakres różni się między produktami i zmienia się z wersji na wersję, więc konkretne możliwości warto sprawdzić w aktualnej dokumentacji wybranego narzędzia.

Multimodalność AI przydaje się w firmie wszędzie tam, gdzie informacja jest na zdjęciu, zrzucie ekranu albo w nagraniu, a nie w tekście. Przykłady: zdjęcie paragonu, protokołu albo odręcznej notatki model zamienia na tekst i tabelę, rozumiejąc układ dokumentu. W obsłudze klienta model ocenia zdjęcie uszkodzonego produktu albo zrzut ekranu z komunikatem błędu i podsuwa wstępną diagnozę do sprawdzenia przez człowieka. Notatkę głosową nagraną w samochodzie zamienia na listę zadań. W marketingu opisuje zdjęcia produktów do sklepu, ocenia projekt grafiki i proponuje teksty alternatywne dla osób niewidomych. W raportowaniu odczytuje trendy z wklejonego wykresu. Wspólny mianownik: oszczędzasz czas na przepisywaniu i opisywaniu tego, co widzisz. Wyniki z kwotami, datami i numerami zawsze trzeba jednak porównać ze źródłem, bo model potrafi źle odczytać nieostry znak.

Multimodalność i OCR różnią się zakresem rozumienia. OCR, czyli optyczne rozpoznawanie znaków, zamienia obraz tekstu na znaki: odczytuje litery i cyfry, ale nie wie, co znaczą ani jak się do siebie mają. Model multimodalny odczytuje tekst i jednocześnie rozumie kontekst. Na zdjęciu faktury rozpozna, która kwota jest sumą brutto, kto jest sprzedawcą, a kto nabywcą, i może od razu ułożyć dane w tabelę albo odpowiedzieć na pytanie o termin płatności. Potrafi też opisać elementy, które nie są tekstem, na przykład pieczątkę, wykres czy zdjęcie produktu. Ma to swoją cenę. Klasyczny OCR jest przewidywalny i powtarzalny, a model multimodalny czasem coś dopowie albo pomyli nieczytelną cyfrę. Przy dużej liczbie jednolitych dokumentów sprawdzony OCR bywa pewniejszy. Przy różnorodnych dokumentach i pytaniach o ich sens lepiej sprawdza się model multimodalny.

Tak, model multimodalny myli się przy obrazach, a jego błędy bywają trudne do zauważenia, bo odpowiedź brzmi pewnie. Typowe pomyłki to źle odczytana cyfra na nieostrym zdjęciu, pominięty wiersz w tabeli, błędnie policzone obiekty albo niedokładna wartość odczytana z wykresu. Model może też dopowiedzieć szczegół, którego na obrazie nie ma, czyli zhalucynować. Osobne ryzyko to tekst ukryty w obrazie, który model potraktuje jak polecenie. Dlatego w pracy dobrze jest przyjąć kilka zasad. Kwoty, numery kont, daty i nazwiska zawsze porównuj ze źródłem. Rób zdjęcia ostre, dobrze oświetlone i bez zbędnych elementów w kadrze. Przy dłuższych dokumentach proś model o wypisanie danych w tabeli, którą łatwo sprawdzić wzrokiem. Przed wysłaniem zrzutu ekranu przejrzyj go pod kątem danych klientów i haseł widocznych w tle.

Z multimodalności w pracy najłatwiej zacząć od jednego powtarzalnego zadania, w którym dziś przepisujesz albo opisujesz to, co widzisz. Może to być faktura, protokół z budowy, notatka z tablicy po spotkaniu albo zrzut ekranu z raportu. Zrób zdjęcie telefonem, wgraj je do asystenta AI obsługującego obrazy i poproś o konkretny wynik, na przykład tabelę z kolumnami data, kontrahent i kwota. Potem porównaj wynik ze źródłem i policz poprawki. Jeśli jest ich mało, masz gotowy sposób pracy. Drugi łatwy start to notatki głosowe: nagrywasz myśli w biegu, a model zamienia je w listę zadań. Zanim wyślesz cokolwiek do modelu, sprawdź, czy na obrazie nie ma danych osobowych klientów, i ustal, gdzie dostawca przetwarza pliki. Dopiero gdy pojedyncze zadanie działa pewnie, rozszerzaj użycie na kolejne.