Was sind RL-Umgebungen für das Training von Sprachmodellen?

Eine RL-Umgebung für das Training von Sprachmodellen ist eine gebündelte Aufgabenwelt: eine Aufgabenbeschreibung, der Arbeitszustand und die Dokumente, mit denen das Modell umgeht, und ein programmatischer Prüfer, der jeden Versuch bewertet. Bestärkendes Lernen optimiert das Modell dann gegen diese Bewertung.

Drei Teile: Eine Aufgabe, ein realistischer Umgebungszustand, ein programmatischer Prüfer
Belohnung: Vom Prüfer berechnet, nicht aus menschlicher Vorliebe erschlossen
Knapper Rohstoff: Überprüfbare Aufgaben aus Arbeit, die tatsächlich stattgefunden hat

Die drei Bestandteile

Aufgabenbeschreibung. Was das Modell erreichen soll, der Ausgangszustand und die verfügbaren Unterlagen, idealerweise aus Arbeit, die tatsächlich stattgefunden hat, und nicht aus erfundenen Szenarien.
Arbeitszustand. Die Dokumente, Unterlagen und der Zusammenhang, in dem sich die Aufgabe abspielt. Wie realistisch das ist, entscheidet darüber, ob sich das antrainierte Verhalten auf echte Einsätze überträgt.
Prüfer. Eine programmatische Prüfung, die entscheidet, ob ein Versuch gelungen ist und in welchem Maß. Das ist das Belohnungssignal. Ohne verlässlichen Prüfer gibt es kein bestärkendes Lernen, sondern nur Textproduktion.

Warum Labore von Korpora zu Umgebungen gewechselt sind

Vortraining an statischem Text zeigt einem Modell, wie Arbeit aussieht. Es bringt dem Modell nicht bei, die Arbeit zu tun, weil es keine Rückkopplung gibt. Die aktuelle Generation von Denkmodellen wird stark mit bestärkendem Lernen an überprüfbaren Aufgaben trainiert: Das Modell versucht eine Aufgabe viele Male, der Prüfer benotet jeden Versuch, und das Modell verschiebt sich zu Strategien, die gelingen.

Das verändert, was Trainingsdaten bedeuten. Der Engpass sind nicht mehr Token, sondern überprüfbare Aufgabeninstanzen. Mathematik und Programmierung kamen zuerst, weil ihre Prüfer trivial sind: Ein Beweis geht auf oder nicht, eine Testsuite läuft durch oder nicht. Die Grenze verläuft jetzt bei allem anderen: der dokumentenlastigen, urteilslastigen Arbeit, die echte Betriebsabläufe ausfüllt.

Was eine RL-Umgebung gut macht

In echter Arbeit verwurzelt. Synthetische Aufgaben driften zu dem, was leicht zu erzeugen ist. Aus echten Arbeitsabläufen rekonstruierte Aufgaben tragen die Unregelmäßigkeit und die Randfälle, die antrainiertes Verhalten belastbar machen.
Wirklich zurückgehalten. Wenn das zugrunde liegende Material je im offenen Web stand, steckt es bereits im Modell, und sowohl Trainingssignal als auch Evaluation sind kontaminiert.
Verlässlich überprüfbar. Der Prüfer muss mit einem fachkundigen Menschen darin übereinstimmen, was als Erfolg zählt. Ein verrauschter Prüfer trainiert verrauschtes Verhalten.
Rechtlich geklärt. Eine Umgebung, die auf Daten beruht, zu deren Nutzung niemand berechtigt war, ist ein Risiko, wie gut sie auch sei.

Wie TGDC sie baut

The General Data Company baut RL-Umgebungen aus einwilligungsbasierten, rechtlich geklärten Unternehmensquellen (Dokumentenbestände aus Insolvenzen, nachgestellte Facharbeitsabläufe und beigesteuerte persönliche Dokumente), je Charge anonymisiert und überprüft. Weil das Ausgangsmaterial nie online stand, sind die Aufgaben tatsächlich ungesehen. Jede Aufgabe wird mit ihrem eigenen programmatischen Prüfer und einer zurückgehaltenen Evaluationsteilmenge geliefert, sodass ein Labor echte Fähigkeitszuwächse statt Auswendiglernen messen kann. Was eine Lieferung enthält, steht unter RL-Umgebungen; die zugrunde liegenden Korpora unter Datenlizenzierung.