Recurrent depth, nazywany też zapętlonymi transformerami (looped transformers), to sposób budowania modelu językowego, w którym te same bloki sieci są używane wielokrotnie dla jednej odpowiedzi. Zwykły transformer przepuszcza dane przez kolejne, osobne warstwy — każda ma własne wagi. Model z rekurencyjną głębokością przepuszcza je przez ten sam zestaw bloków kilka razy z rzędu.
Efektem jest większa głębokość obliczeń przy mniejszej liczbie parametrów do przechowania. Model o dwudziestu dwóch blokach użytych dwukrotnie daje czterdzieści cztery przejścia, ale waży tyle, co dwadzieścia dwa. Spada koszt trenowania i uruchamiania, a jakość odpowiedzi zostaje. Pamięć podręczna na klucze i wartości nie oszczędza nic — każde przejście potrzebuje własnej.
Dotąd modele rozumujące „myślały na głos": rozpisywały kolejne kroki w języku naturalnym, a ten zapis dało się przeczytać i sprawdzić. Kiedy część rozumowania przenosi się do wewnętrznych pętli obliczeniowych, przestaje być wyrażona słowami. Badacze bezpieczeństwa nazywają to problemem monitorowalności: trudniej ustalić, dlaczego model podjął taką, a nie inną decyzję.
Pojęcie weszło do szerszego obiegu we wrześniu 2026 roku, przy premierze modelu GPT-6 Astra. Zobacz też: LLM i okno kontekstowe.
Najczęściej zadawane pytania
Zwykły transformer ma osobne warstwy, każda z własnymi wagami, i dane przechodzą przez nie raz. Model z rekurencyjną głębokością przepuszcza dane kilka razy przez ten sam zestaw bloków. Efekt obliczeniowy jest podobny do głębszej sieci, ale wag do przechowania jest mniej, więc model taniej się trenuje i uruchamia.
Nie bezpośrednio. Zapętlenie to mechanizm obliczeniowy, a tok myślenia to osobna warstwa — widoczne kroki rozpisane w języku naturalnym. Sporne jest to, że modele korzystające z tej techniki wypisują krótsze i mniej szczegółowe uzasadnienia, przez co trudniej sprawdzić, jak doszły do wyniku. Część badaczy bezpieczeństwa uznaje ten kierunek za ryzykowny.
Technika trafiła do szerokiej świadomości przy premierze GPT-6 Astra we wrześniu 2026 roku, choć badania nad zapętlonymi transformerami prowadzono wcześniej na mniejszych modelach otwartych. OpenAI nie potwierdziło szczegółów architektury, a karta systemowa modelu odnotowuje regres w czytelności śladu rozumowania względem poprzednika.
Duży model językowy — sieć neuronowa trenowana na miliardach tekstów, zdolna do generowania, rozumienia i przetwarzania języka…
Maksymalna ilość tekstu, którą model AI może przetworzyć w jednej interakcji — determinuje ile informacji AI widzi i pamięta…
Prosisz asystenta AI, żeby przeniósł faktury z poczty do arkusza. Dostajesz odpowiedź: kilkanaście punktów, ładnie sformatowanych, z podpowiedzią, jak ustawić filtr w skrzynce. Czytasz raz. Zamykasz. I przepisujesz ręcznie, bo wdrożenie tej instrukcji trwałoby dłużej niż sama robota.
Czytaj →
