The General Data Company construye para laboratorios de IA entornos de aprendizaje por refuerzo a partir de flujos de trabajo industriales reales: especificaciones de tareas ancladas en documentos operativos, un estado de trabajo realista y verificadores programáticos que puntúan cada intento.
Un corpus documental estático le muestra a un modelo cómo es el trabajo; un entorno de RL le permite intentar ese trabajo y ser puntuado por el resultado. Esa señal de puntuación es un verificador programático que decide si el intento tuvo éxito, y es lo que hace que un entorno sirva para entrenar, y no solo para evaluar.
Una especificación de tarea derivada de un flujo de trabajo real: el objetivo, el estado inicial y los materiales de que disponía la persona que lo ejecutó. Un estado de trabajo realista, compuesto a partir de documentos operativos como correspondencia, contratos, asientos y formularios, anonimizados antes de usar cualquiera de ellos.
Un verificador programático que puntúa cada intento según cómo se resolvió el asunto, de modo que el entorno produzca una señal de recompensa utilizable. Y un conjunto de evaluación reservado, para que los laboratorios midan su progreso en tareas que el modelo no ha visto en ninguna forma.
La carencia a la que apuntamos es el trabajo experto dentro de las operaciones industriales: cambios de ingeniería, investigaciones de calidad, casos de servicio y ofertas de proveedores que los datos públicos de la web no pueden enseñar.
Los documentos de base nunca se publicaron, así que ningún modelo ha visto estas tareas.
Una colección de tareas es un conjunto de problemas extraídos de trabajo terminado, un benchmark es una colección de tareas separada del entrenamiento, y un entorno añade estado de trabajo y una comprobación programática para que los intentos puedan ejecutarse y puntuarse.
Cómo los registros industriales se convierten en tareas de agenteAlgunas comprobaciones son exactas, como un modelo que se reconstruye o un balance que cierra. Otras comparan un intento con una decisión humana registrada e implican juicio. Un verificador solo debería llamarse determinista si el mismo intento recibe siempre la misma puntuación, y en una muestra se ve cómo se comporta una comprobación concreta.
Los entornos se licencian por colección de tareas con condiciones por escrito.
¿Qué es un entorno de RL?Díganos qué capacidad está entrenando y delimitaremos un corpus o una colección de tareas a su medida.