Un entorno de RL para entrenar un modelo de lenguaje es un mundo de tareas empaquetado: una especificación de tarea, el estado de trabajo y los documentos con los que el modelo interactúa, y un verificador programático que puntúa cada intento.
Especificación de tarea. Qué debe lograr el modelo, el estado inicial y los materiales disponibles, idealmente extraídos de trabajo terminado y no de escenarios inventados. Estado de trabajo. Los documentos, registros y el contexto en el que transcurre la tarea.
Verificador. Una comprobación programática que decide si un intento tuvo éxito, y en qué grado. Esa es la señal de recompensa.
El preentrenamiento con texto estático enseña a un modelo cómo es el trabajo. La generación actual de modelos de razonamiento se entrena intensamente con aprendizaje por refuerzo sobre tareas verificables: el modelo intenta una tarea muchas veces, el verificador puntúa cada intento y el modelo se orienta hacia las estrategias que funcionan.
El cuello de botella son ahora las instancias de tareas verificables. Las matemáticas y el código llegaron primero porque sus verificadores son triviales: una demostración cuadra o no, un conjunto de pruebas pasa o no. La frontera es ahora todo lo demás: el trabajo denso en documentos y en criterio que llena las operaciones reales.
Anclado en trabajo real. Las tareas reconstruidas a partir de flujos de trabajo reales conservan la irregularidad y los casos límite que hacen robusto el comportamiento aprendido. Reservado. Si el material de base apareció alguna vez en la web abierta, ya está dentro del modelo, y tanto la señal de entrenamiento como la evaluación quedan contaminadas.
Verificable de forma fiable. El verificador debe coincidir con una persona competente sobre qué cuenta como éxito. Un entorno construido sobre datos que nadie tenía derecho a usar es un riesgo, por buena que sea su calidad.
Un conjunto de pruebas es exacto. Una comprobación que compara un intento con una decisión humana registrada requiere juicio. Un verificador es determinista solo cuando el mismo intento recibe siempre la misma puntuación y nada en la comprobación depende de un modelo o del azar.
Las tareas sintéticas son más baratas de producir y más fáciles de verificar. Las tareas procedentes de trabajo real traen irregularidades y casos límite, y los datos reales no ganan todas las comparaciones.
Cómo los registros industriales se convierten en tareas de agenteCada tarea se entrega con su propio verificador programático y un conjunto de evaluación reservado, de modo que un laboratorio pueda medir ganancias de capacidad en lugar de memorización.
En nuestra página de entornos de RL puede ver qué contiene una entrega. O díganos qué está construyendo.