Conjunto de datos, colección de tareas, benchmark y entorno
Un conjunto de datos es una colección de registros, como documentos, tablas y archivos, que sirve para entrenar o analizar. Una colección de tareas es un conjunto de problemas extraídos de esos registros, cada uno con un estado inicial y un resultado definido. Un benchmark, o conjunto de evaluación, es una colección de tareas que se mantiene separada del entrenamiento para poder medir capacidades. Un entorno ejecutable añade herramientas, estado de trabajo y una comprobación programática, de modo que un modelo puede intentar una tarea muchas veces y ser puntuado en cada intento.
Un archivo de documentos es un conjunto de datos. Pasa a ser una colección de tareas cuando alguien decide cuál era la pregunta y qué aspecto tiene una buena respuesta, y pasa a ser un entorno cuando un intento puede ejecutarse y puntuarse sin una persona en el bucle.
Qué debe contener un registro para convertirse en tarea
Cuatro cosas tienen que poder recuperarse: la solicitud tal como llegó, el material que tenían entonces las personas implicadas, la decisión que tomaron y lo que ocurrió después. Si falta una, el registro puede seguir siendo útil como texto, pero no puede puntuarse como tarea.
Una tarea se acota al momento de la decisión. Todo lo escrito después, como un plano revisado, un correo de cierre o un informe de acción correctiva, puede revelar la respuesta.
Un flujo ilustrativo
Este ejemplo se inventó para esta página y no procede de los registros de ninguna empresa ni de ningún conjunto de datos disponible. Un cliente envía una solicitud de oferta para un soporte en una línea de embalaje, con una especificación en la revisión A. Sale una oferta. La revisión del cliente vuelve con un cambio y la especificación pasa a la revisión B, que modifica un patrón de taladros. Ingeniería actualiza el modelo CAD y el plano y presenta una orden de cambio que enumera los conjuntos que usan el soporte. Catorce meses después se cierra una visita de servicio con un código de avería.
Una sola cadena sostiene varias tareas, cada una acotada a un momento distinto y con información distinta. En la oferta, la tarea es presupuestar el trabajo y la comprobación es el resultado registrado. En la orden de cambio, es encontrar los conjuntos afectados y la comprobación es la lista que aprobó ingeniería. En la visita de servicio, es encontrar la causa probable y la comprobación es la orden de trabajo cerrada.
Archivos CAD aislados y flujos de ingeniería conectados
Un modelo CAD muestra lo que se diseñó. El historial de revisiones, los comentarios de los revisores, la orden de cambio y la correspondencia con los proveedores muestran cómo y por qué cambió, y eso es una señal de proceso que los archivos terminados no pueden ofrecer. Un modelo entrenado o probado con archivos aislados puede aprender geometría.
Los archivos aislados siguen sirviendo para tareas que solo necesitan geometría, como comprobar que un modelo se reconstruye o que un conjunto encaja. Las tareas sobre impacto de un cambio, elección de proveedor o análisis de causa raíz necesitan los registros que los rodean, enlazados entre sí y con la pieza.
Una comprobación puede ser exacta, juzgada o mixta
Algunas comprobaciones son exactas: un modelo se reconstruye o falla, un balance de materia y energía cierra, un esquema y una lista de entradas y salidas concuerdan etiqueta por etiqueta. Otras comparan un intento con un requisito escrito antes de empezar el trabajo, como una línea de especificación o una prueba de aceptación. Otras lo comparan con una decisión humana registrada, lo que requiere juicio.
Un verificador es determinista solo cuando el mismo intento recibe siempre la misma puntuación y nada en la comprobación depende de un modelo o del azar. Una comprobación ruidosa entrena comportamiento ruidoso, por lo que cada tarea debería decir qué mide su comprobación y por dónde puede burlarse.
Preguntas para cualquier proveedor
¿De dónde procede el material y podría estar ya en los datos de entrenamiento de un modelo? ¿Qué contiene cada tarea: el estado inicial, las herramientas, el límite de información? ¿Qué mide la comprobación, es exacta o juzgada, y cómo se probó con intentos que parecen correctos y no lo son? ¿Qué tareas se reservan para la evaluación y quién puede verlas?
¿Quién autorizó el uso, qué usos están permitidos y quién puede recibir el material? ¿Cómo se tratan los datos personales y qué se deja al contrato en lugar de a la anonimización? ¿Qué tareas resultaron demasiado fáciles o irresolubles en una muestra y qué se hizo con ellas?
Dónde ayudan los datos reales y dónde no
Las tareas sintéticas son más baratas de producir y más fáciles de verificar. Cuál entrena mejor una capacidad dada es una cuestión empírica, y los datos reales no ganan todas las comparaciones.
Entornos de RL para trabajo industrial →