Un environnement RL pour l’entraînement d’un LLM est un univers de tâches conditionné : une spécification de tâche, l’état de travail et les documents avec lesquels le modèle interagit, et un vérificateur programmatique qui note chaque tentative.
Spécification de tâche. Ce que le modèle doit accomplir, l’état de départ et les documents disponibles, idéalement tirés de travail achevé, et non de scénarios inventés. État de travail. Les documents, les pièces et le contexte dans lesquels la tâche se déroule.
Vérificateur. Un contrôle programmatique qui décide si une tentative a réussi, et dans quelle mesure. C’est le signal de récompense.
Le pré-entraînement sur du texte statique montre à un modèle à quoi ressemble le travail. La génération actuelle de modèles de raisonnement est fortement entraînée par apprentissage par renforcement sur des tâches vérifiables : le modèle tente une tâche de nombreuses fois, le vérificateur note chaque tentative, et le modèle s’oriente vers les stratégies qui réussissent.
Le goulot d’étranglement, ce sont désormais les instances de tâches vérifiables. Les mathématiques et le code sont venus en premier parce que leurs vérificateurs sont triviaux : une preuve tient ou non, une suite de tests passe ou non. La frontière est désormais tout le reste : le travail dense en documents et en jugement qui remplit les opérations réelles.
Ancré dans du travail réel. Les tâches reconstruites à partir de flux de travail réels portent l’irrégularité et les cas limites qui rendent le comportement appris robuste. Réservé. Si les données de base ont un jour paru sur le web ouvert, il est déjà dans le modèle, et le signal d’entraînement comme l’évaluation sont contaminés.
Vérifiable de façon fiable. Le vérificateur doit s’accorder avec un humain compétent sur ce qui compte comme une réussite. Un environnement bâti sur des données que personne n’avait le droit d’utiliser est un risque, quelle qu’en soit la qualité.
Une suite de tests est exacte. Un contrôle qui compare une tentative à une décision humaine consignée fait appel au jugement. Un vérificateur n’est déterministe que si une même tentative reçoit toujours la même note et que rien dans le contrôle ne dépend d’un modèle ou du hasard.
Les tâches synthétiques sont moins chères à produire et plus faciles à vérifier. Les tâches issues de travail réel portent des irrégularités et des cas limites, et les données réelles ne gagnent pas toutes les comparaisons.
Comment des archives industrielles deviennent des tâches d’agentChaque tâche est livrée avec son propre vérificateur programmatique et un jeu d’évaluation réservé, afin qu’un laboratoire mesure des gains de capacité plutôt que de la mémorisation.
Notre page sur les environnements RL décrit ce que contient une livraison. Ou dites-nous ce que vous construisez.