Wir haben also ein neuronales Netz mit Bergen von Text trainiert — aber wie generiert es tatsächlich eine Antwort, wenn du eine Nachricht eintippst? Dieser Schritt heißt Inferenz: Das Modell nimmt deine Eingabe und sagt vorher, was als Nächstes kommt, ein Token nach dem anderen.

Das Netzwerk gibt eine Wahrscheinlichkeit für jedes mögliche nächste Token aus. Es könnte immer das höchste wählen (Greedy Decoding), aber das erzeugt repetitiven, langweiligen Text. Stattdessen sampeln LLMs aus der Wahrscheinlichkeitsverteilung — wie das Werfen eines gewichteten Würfels. Ein Token mit 30% Wahrscheinlichkeit wird in 30% der Fälle gewählt, eines mit 5% hat immer noch eine Chance. Deshalb kann derselbe Prompt jedes Mal andere Antworten erzeugen.

Temperatur: die Zufälligkeit steuern

Aber wie viel Zufälligkeit möchtest du? Das steuert die Temperatur-Einstellung — ein Regler zwischen „langweilig aber zuverlässig" und „kreativ aber chaotisch". Bei Temperatur 0 überspringt das Modell das Sampling komplett und wählt immer das Top-Wort (Greedy-Modus). Bei Temperatur 2 werden die Wahrscheinlichkeiten so abgeflacht, dass auch seltene Wörter faire Chancen haben.