Temperatura (w AI)

Temperatura w kontekście modeli AI to parametr kontrolujący losowość (randomness) generowania tekstu. Determinuje, jak „kreatywny” versus „przewidywalny” będzie output modelu. To jedno z najważniejszych ustawień, które możesz dostroić przy korzystaniu z AI przez API — i jedno z najbardziej niezrozumianych.

Analogia: temperatura to pokrętło od podręcznika (0) do improwizacji jazzowej (1.0+). Na 0 model zawsze da tę samą, bezpieczną odpowiedź. Na 1.0 zacznie eksperymentować — czasem genialnie, czasem absurdalnie.

Jak działa temperatura technicznie?

LLM przy każdym kroku generowania oblicza prawdopodobieństwa dla wszystkich możliwych następnych tokenów (fragmentów tekstu). Temperatura modyfikuje rozkład tych prawdopodobieństw:

• Temperatura 0 (lub bliska 0) — model zawsze wybiera token o najwyższym prawdopodobieństwie. Wynik jest deterministyczny i przewidywalny. Ten sam prompt da (prawie) tę samą odpowiedź za każdym razem. Jak automat — wrzucasz monetę, dostajesz ten sam produkt.
• Temperatura 0.3-0.7 — „sweet spot” dla większości zastosowań. Model eksploruje alternatywy, ale trzyma się rozsądnych granic. Odpowiedzi są zróżnicowane, ale spójne i kontrolowalne.
• Temperatura 1.0 — pełna losowość z oryginalnego rozkładu prawdopodobieństw. Odpowiedzi są kreatywne, ale mogą być niespójne lub zaskakujące.
• Temperatura > 1.0 — eksploracja mało prawdopodobnych tokenów. Wynik jest „dziki”, nieprzewidywalny, często niespójny. Przydatne do burzy mózgów i generowania nietypowych pomysłów — rzadko do produkcji.

Kiedy używać jakiej temperatury?

Praktyczny przewodnik:

• 0 — 0.2 — analiza danych, ekstrakcja informacji, odpowiadanie na pytania faktograficzne, klasyfikacja dokumentów, tłumaczenie. Wszędzie, gdzie chcesz dokładności i powtarzalności. Chatbot obsługi klienta: 0.1-0.2 (klient pytający o cennik musi dostać tę samą cenę za każdym razem).
• 0.3 — 0.5 — pisanie maili biznesowych, generowanie kodu, podsumowania, dokumentacja, SOP. Balans między spójnością a naturalnym brzmieniem tekstu.
• 0.5 — 0.8 — pisanie artykułów, content marketing, kreatywne teksty, opisy produktów. Zróżnicowane, naturalne, ale nadal kontrolowalne.
• 0.8 — 1.2 — burza mózgów, generowanie pomysłów na nazwy/slogany, kreatywne pisanie fikcji, brainstorming strategiczny. Maksymalna kreatywność, akceptowalny chaos.

Temperatura a halucynacje AI

Kluczowy związek: wyższa temperatura = więcej halucynacji AI. Mechanizm: gdy model eksploruje mniej prawdopodobne tokeny (wysoka temperatura), prawdopodobieństwo wygenerowania zmyślonych informacji rośnie — bo „mniej prawdopodobny token” to statystycznie mniej pewna informacja.

Dlatego w zastosowaniach wymagających dokładności (RAG, chatboty firmowe, analiza dokumentów) stosuj niską temperaturę (0.1-0.3). W zastosowaniach kreatywnych (burza mózgów, content) wyższa temperatura jest OK, bo „halucynacja” w kontekście kreatywnym to po prostu nietypowy pomysł — nie ma znaczenia czy statystyka jest zmyślona, jeśli szukasz inspiracji.

Temperatura w praktyce biznesowej

Jeśli korzystasz z AI przez chatbot (ChatGPT, Claude) — nie masz kontroli nad temperaturą, dostawca ustawia ją za Ciebie (zazwyczaj ~0.7 dla ogólnych rozmów). Kontrolę masz przez API i przy budowaniu agentów AI.

Typowe ustawienia w produkcji:

• Chatbot obsługi klienta: temperatura 0.1-0.2 (konsystentne, dokładne odpowiedzi)
• Generator treści: temperatura 0.5-0.7 (kreatywne, ale kontrolowalne)
• Brainstorming bot: temperatura 0.9-1.2 (maksymalna różnorodność pomysłów)
• Klasyfikator maili/dokumentów: temperatura 0 (deterministyczny, powtarzalny wynik)

Top_p (nucleus sampling) — alternatywa dla temperatury

Obok temperatury istnieje parametr top_p (nucleus sampling), który również kontroluje losowość, ale innym mechanizmem. Temperatura skaluje prawdopodobieństwa, top_p obcina „ogon” rozkładu (ignoruje tokeny poniżej kumulatywnego progu prawdopodobieństwa). W praktyce: nie ustawiaj obu naraz. Używaj temperatury LUB top_p. Większość deweloperów AI preferuje temperaturę — jest bardziej intuicyjna i przewidywalna.