KI mit menschlich geschriebenen Beispielen zu trainieren stößt irgendwann an eine Grenze — das Modell kann nur so gut sein wie seine Lehrer. Reinforcement Learning (RL) durchbricht dieses Limit mit einer einfachen, aber mächtigen Idee: Statt dem Modell die „richtige" Antwort zu zeigen, lässt man es viele verschiedene Antworten ausprobieren und aus denen lernen, die funktionieren.

Damit dieser Kreislauf funktioniert, braucht man eine entscheidende Zutat: eine Möglichkeit zu prüfen, ob die Antwort richtig ist. Ein Mathe-Problem hat eine korrekte Antwort, die man verifizieren kann. Ein Stück Code besteht seine Tests oder nicht. Aber „schreibe ein schönes Gedicht"? Das ist subjektiv — es gibt keinen automatischen Prüfer.

Das ist ein Hauptgrund, warum KI-Coding sich so dramatisch verbessert hat. Code ist der perfekte RL-Spielplatz: Du schreibst eine Funktion, führst die Test-Suite aus und weißt sofort, ob sie funktioniert. Kein menschlicher Reviewer nötig — der Computer prüft die Antwort für dich, millionenfach.

Dasselbe Prinzip gilt für Mathematik (Antwort prüfen), Logikrätsel (Lösung verifizieren) und sogar Spiele (hast du gewonnen?). Überall, wo ein Computer das Ergebnis beurteilen kann, kann RL Millionen von Trainingsbeispielen generieren — weit mehr, als jeder Mensch schreiben könnte.

Aber schau dir die rote Zone im Spektrum oben an. „Ist dieses Gedicht schön?" „Ist diese Erklärung für einen 10-Jährigen verständlich?" „Ist dieser Rat hilfreich, ohne schädlich zu sein?" Für diese Fragen gibt es keine Test-Suite. Doch Menschen erkennen intuitiv eine gute Antwort, wenn sie eine sehen.

Hier kommt RLHF — Reinforcement Learning from Human Feedback — ins Spiel. Statt eines automatisierten Prüfers nutzt man Menschen als Reward-Signal.

Die zentrale Erkenntnis: Es ist viel einfacher zu beurteilen, welche Antwort besser ist, als selbst eine perfekte Antwort zu schreiben. Du musst kein Koch sein, um zu wissen, welches von zwei Gerichten besser schmeckt. Tausende solcher Vergleiche trainieren ein „Reward-Modell", das lernt vorherzusagen, was Menschen bevorzugen — und dieses Modell wird zum automatisierten Bewerter für RL. So lernen Modelle, „Ich bin mir nicht sicher" zu sagen, statt selbstbewusst Dinge zu erfinden, und gefährliche Anfragen abzulehnen, während sie für alles andere hilfreich bleiben.