Słowniczek · AI

Embedding (osadzenie wektorowe)

Embedding (po polsku osadzenie wektorowe, czasem po prostu „wektor”) to sposób zapisania słowa, zdania, dokumentu albo obrazu jako długiej listy liczb. Liczby dobiera model tak, żeby treści o podobnym znaczeniu dostawały podobne listy. Dzięki temu komputer może sprawdzić, czy dwa teksty mówią o tym samym, nawet jeśli nie mają ani jednego wspólnego słowa.

Embeddingi rzadko widać na powierzchni, ale pracują pod spodem większości narzędzi AI w firmie: wyszukiwarki w bazie wiedzy, chatbota odpowiadającego z dokumentów, systemu, który podpowiada podobne produkty.

Skąd się wzięło osadzanie słów w liczbach

Pomysł, że znaczenie słowa wynika z jego otoczenia, jest w językoznawstwie stary. Praktyczny przełom w uczeniu maszynowym przyniosła w 2013 roku metoda word2vec, opisana przez zespół Tomasa Mikolova z Google w pracy Efficient Estimation of Word Representations in Vector Space. Model uczył się wektorów słów na dużych zbiorach tekstu i okazało się, że ich geometria odwzorowuje relacje znaczeniowe. Słynny przykład: wektor „król” minus „mężczyzna” plus „kobieta” ląduje blisko wektora „królowa”.

Później zaczęto osadzać całe zdania i akapity. Jedną z popularnych metod opisano w pracy o Sentence-BERT. Dziś embeddingi tworzą wyspecjalizowane modele, a dostawcy modeli językowych udostępniają je przez API obok zwykłych czatów.

Jak działa podobieństwo semantyczne

Wyobraź sobie mapę, na której każde zdanie jest punktem. Zdania o reklamacjach leżą w jednym rejonie, o fakturach w drugim, o urlopach w trzecim. Embedding to współrzędne punktu na takiej mapie, tyle że ma ona setki albo tysiące wymiarów zamiast dwóch.

Podobieństwo mierzy się zwykle podobieństwem kosinusowym, czyli kątem między dwoma wektorami. Mały kąt oznacza podobne znaczenie. Przykład techniczny: zamieniasz na wektory trzy zdania.

  • A: „Jak zwrócić towar?”
  • B: „Chcę oddać kurtkę, bo jest za mała.”
  • C: „Kiedy wysyłacie zamówienia?”

Zdania A i B nie mają wspólnych słów, a jednak ich wektory wyjdą sobie bliskie, bo oba dotyczą zwrotu. C znajdzie się dalej. Klasyczna wyszukiwarka po słowach kluczowych tej zależności nie zobaczy.

Embedding w RAG i w wyszukiwaniu

Najważniejsze zastosowanie dla małej firmy to RAG, czyli model językowy odpowiadający na podstawie Twoich dokumentów. Mechanizm opisano w pracy Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks i w praktyce wygląda tak:

  1. Dzielisz dokumenty (regulamin, instrukcje, oferty) na fragmenty.
  2. Każdy fragment zamieniasz na embedding i zapisujesz w bazie wektorowej.
  3. Gdy ktoś zada pytanie, ono też staje się wektorem, a baza zwraca fragmenty leżące najbliżej.
  4. Te fragmenty trafiają do modelu razem z pytaniem, a model układa z nich odpowiedź.

Embedding odpowiada tu wyłącznie za wyszukiwanie. Jeśli wyszuka złe fragmenty, nawet najlepszy model odpowie źle albo zacznie zgadywać, co kończy się tym, co nazywa się Halucynacje AI.

Inne sytuacje, w których embeddingi się przydają:

  • Porządkowanie zgłoszeń. Setki maili od klientów grupujesz według tematu i widzisz, które problemy wracają najczęściej.
  • Szukanie we własnych notatkach. Dla kogoś, kto zapisuje pomysły w biegu i potem nie pamięta, jakich słów użył, wyszukiwanie po znaczeniu bywa jedynym sposobem, żeby je odnaleźć. Przy ADHD to realna różnica.
  • Wyłapywanie duplikatów. Dwa wpisy w bazie wiedzy, które opisują to samo innymi słowami, wychodzą w wyszukiwaniu jako bardzo podobne wektory.

Granice i typowe błędy

  • Podobny nie znaczy prawdziwy. Embedding mierzy bliskość tematu. „Zwrot przysługuje przez 14 dni” i „zwrot nie przysługuje” mogą mieć bardzo bliskie wektory.
  • Liczby, kody i nazwy własne. Numery faktur czy symbole produktów lepiej wyszukiwać zwykłym dopasowaniem tekstu. Dobre systemy łączą oba sposoby.
  • Wektory z różnych modeli nie są porównywalne. Zmiana modelu osadzeń oznacza przeliczenie całej bazy.
  • Zbyt duże fragmenty. Wektor całego dziesięciostronicowego dokumentu rozmywa sens. Krótsze, spójne fragmenty wyszukują się trafniej.
  • Dane wrażliwe. Wysyłając dokumenty do zewnętrznego API embeddingów, przekazujesz ich treść dostawcy. Obowiązują te same zasady co przy każdym innym narzędziu AI.

Jeśli testujesz bazę wiedzy z AI, zacznij od sprawdzenia samego wyszukiwania: zadaj dziesięć prawdziwych pytań klientów i zobacz, jakie fragmenty system zwraca, zanim w ogóle oddasz je modelowi do napisania odpowiedzi.

Pytania i odpowiedzi

Najczęściej zadawane pytania

Embedding w AI to zapis treści, na przykład słowa, zdania, dokumentu albo obrazu, w postaci listy liczb, czyli wektora. Model, który tworzy embeddingi, dobiera te liczby tak, żeby treści o podobnym znaczeniu dostawały podobne wektory. Dzięki temu komputer może porównywać znaczenie zamiast samych liter. Zdanie o zwrocie kurtki i pytanie, jak oddać towar, nie mają wspólnych słów, a mimo to ich wektory leżą blisko siebie. Po polsku mówi się o osadzeniu wektorowym albo po prostu o wektorach. Embeddingi rzadko widać bezpośrednio, ale pracują pod spodem wielu narzędzi: wyszukiwarek w bazach wiedzy, chatbotów odpowiadających z dokumentów firmy, systemów rekomendacji i narzędzi grupujących podobne zgłoszenia. Pierwszym szeroko znanym podejściem było word2vec z 2013 roku, a dziś embeddingi udostępniają dostawcy modeli językowych przez swoje API.

Embedding jest częścią RAG odpowiedzialną za wyszukiwanie. RAG, czyli generowanie wspomagane wyszukiwaniem, to sposób, w jaki model językowy odpowiada na podstawie Twoich dokumentów zamiast z własnej pamięci. Dokumenty dzieli się na fragmenty, każdy fragment zamienia na embedding i zapisuje w bazie wektorowej. Gdy użytkownik zadaje pytanie, ono też staje się wektorem, a baza zwraca fragmenty o najbliższym znaczeniu. Dopiero te fragmenty trafiają do modelu, który układa z nich odpowiedź. Z tego wynika praktyczny wniosek: jakość odpowiedzi RAG zależy w dużej mierze od tego, czy embeddingi znajdą właściwe fragmenty. Jeśli wyszukiwanie zwróci nieaktualny cennik albo akapit z innego tematu, model zbuduje odpowiedź na złym materiale. Testując bazę wiedzy, sprawdzaj więc najpierw, jakie fragmenty system wyszukuje dla prawdziwych pytań, a dopiero potem samą odpowiedź modelu.

Embedding tekstu to po prostu długa lista liczb zmiennoprzecinkowych, zwykle kilkaset albo kilka tysięcy pozycji, zależnie od modelu. Pojedyncza liczba nic nie znaczy, a sens ma dopiero położenie całego wektora względem innych. Przykład: zamieniasz na wektory trzy zdania. Pierwsze brzmi jak zwrócić towar, drugie chcę oddać kurtkę, bo jest za mała, trzecie kiedy wysyłacie zamówienia. Porównujesz je podobieństwem kosinusowym, czyli kątem między wektorami. Pierwsze i drugie zdanie wyjdą sobie bliskie, choć nie mają wspólnych słów, bo oba dotyczą zwrotu. Trzecie będzie dalej. Na tej samej zasadzie wyszukiwarka w bazie wiedzy znajduje odpowiedź na pytanie zadane innymi słowami niż te w dokumencie. Wyszukiwanie po słowach kluczowych tej zależności nie wychwyci, dlatego dobre systemy łączą oba podejścia.

Embedding nie rozumie tekstu tak jak człowiek. Odwzorowuje statystyczne podobieństwo znaczeń wyuczone na dużych zbiorach danych. W praktyce dobrze rozpoznaje temat: wie, że pytanie o oddanie kurtki dotyczy zwrotu. Gorzej radzi sobie z niuansami, które człowiek wyłapuje od razu. Zdania zwrot przysługuje przez czternaście dni oraz zwrot nie przysługuje mogą mieć bardzo bliskie wektory, bo mówią o tym samym temacie, choć znaczą coś przeciwnego. Słabością są też numery, kody produktów i rzadkie nazwy własne, które lepiej wyszukiwać zwykłym dopasowaniem znaków. Dlatego embedding traktuj jako narzędzie do zawężania poszukiwań. Znajduje kandydatów, a o tym, który fragment jest właściwy i co z niego wynika, decyduje model językowy albo człowiek. Ta granica ma znaczenie szczególnie w regulaminach, umowach i cennikach.

Embedding w małej firmie najczęściej działa pod spodem gotowych narzędzi i nie trzeba go programować samodzielnie. Najczęstsze zastosowanie to baza wiedzy z AI: wgrywasz regulaminy, instrukcje i odpowiedzi na częste pytania, a narzędzie zamienia je na wektory i wyszukuje fragmenty pasujące do pytań klientów lub pracowników. Drugie zastosowanie to porządkowanie zgłoszeń. Maile klientów zamienione na wektory da się pogrupować według tematu i zobaczyć, które problemy wracają najczęściej. Trzecie to wyszukiwanie we własnych notatkach po znaczeniu, przydatne dla osób, które zapisują pomysły w biegu i nie pamiętają potem użytych słów. Zanim zaczniesz, sprawdź, gdzie dostawca przetwarza dokumenty, bo wysyłasz mu ich pełną treść. Przy testach patrz najpierw, czy wyszukiwanie zwraca właściwe fragmenty, a dopiero potem oceniaj odpowiedzi modelu.