Datensatz, Aufgabensammlung, Benchmark und Umgebung
Ein Datensatz ist eine Menge von Unterlagen, etwa Dokumente, Tabellen und Dateien, die zum Training oder zur Analyse dient. Eine Aufgabensammlung ist eine Menge von Problemen, die aus diesen Unterlagen abgeleitet wurden, jedes mit einem Ausgangszustand und einem definierten Ergebnis. Ein Benchmark oder Evaluationsset ist eine Aufgabensammlung, die vom Training getrennt bleibt, damit sich Fähigkeiten messen lassen. Eine ausführbare Umgebung ergänzt Werkzeuge, Arbeitszustand und eine programmatische Prüfung, sodass ein Modell eine Aufgabe viele Male versuchen kann und jeder Versuch bewertet wird.
Ein Dokumentenarchiv ist ein Datensatz. Es wird zur Aufgabensammlung, wenn jemand festlegt, wie die Frage lautete und wie eine gute Antwort aussieht, und es wird zur Umgebung, wenn sich ein Versuch ausführen und ohne Mensch im Ablauf bewerten lässt.
Was eine Unterlage enthalten muss, um zur Aufgabe zu werden
Vier Dinge müssen sich rekonstruieren lassen: die Anfrage, wie sie eintraf, das Material, das die Beteiligten damals hatten, die Entscheidung, die sie trafen, und was daraus wurde. Fehlt eines, kann die Unterlage als Text nützlich bleiben, lässt sich aber nicht als Aufgabe bewerten.
Eine Aufgabe wird auf den Moment der Entscheidung zugeschnitten. Alles, was später entstand, etwa eine überarbeitete Zeichnung, eine Abschlussmail oder ein Bericht über Korrekturmaßnahmen, kann die Antwort verraten.
Ein Beispielablauf
Dieses Beispiel wurde für diese Seite erfunden und stammt weder aus den Unterlagen eines Unternehmens noch aus einem angebotenen Datensatz. Ein Kunde schickt eine Anfrage für ein Halteblech an einer Verpackungslinie, mit einer Spezifikation in Revision A. Ein Angebot geht hinaus. Die Prüfung des Kunden kommt mit einer Änderung zurück, und die Spezifikation wechselt auf Revision B, die ein Lochbild verändert. Die Konstruktion aktualisiert das CAD-Modell und die Zeichnung und legt einen Änderungsauftrag an, der die Baugruppen mit dem Halteblech auflistet. Vierzehn Monate später wird ein Serviceeinsatz mit einem Fehlercode geschlossen.
Aus einer Kette entstehen mehrere Aufgaben, jede auf einen anderen Moment und andere Informationen zugeschnitten. Beim Angebot besteht die Aufgabe darin, den Auftrag zu kalkulieren, und die Prüfung ist das dokumentierte Ergebnis. Beim Änderungsauftrag besteht sie darin, die betroffenen Baugruppen zu finden, und die Prüfung ist die Liste, die die Konstruktion freigegeben hat. Beim Serviceeinsatz besteht sie darin, die wahrscheinliche Ursache zu finden, und die Prüfung ist der geschlossene Arbeitsauftrag.
Einzelne CAD-Dateien und verbundene Konstruktionsabläufe
Ein CAD-Modell zeigt, was konstruiert wurde. Der Revisionsverlauf, die Kommentare der Reviewer, der Änderungsauftrag und der Schriftverkehr mit Lieferanten zeigen, wie und warum es sich änderte, und das ist ein Prozesssignal, das fertige Dateien nicht liefern können. Ein Modell, das an einzelnen Dateien trainiert oder getestet wird, kann Geometrie lernen.
Einzelne Dateien eignen sich weiterhin für Aufgaben, die nur Geometrie brauchen, etwa die Prüfung, ob ein Modell neu aufgebaut werden kann oder eine Baugruppe passt. Aufgaben zu Änderungsauswirkung, Lieferantenauswahl oder Ursachenanalyse brauchen die umgebenden Unterlagen, untereinander und mit dem Bauteil verknüpft.
Eine Prüfung kann exakt, beurteilt oder gemischt sein
Manche Prüfungen sind exakt: Ein Modell lässt sich neu aufbauen oder nicht, eine Wärme- und Stoffbilanz schließt sich, ein Schaltplan und eine E/A-Liste stimmen Kennzeichen für Kennzeichen überein. Manche vergleichen einen Versuch mit einer Anforderung, die vor Beginn der Arbeit festgehalten wurde, etwa einer Spezifikationszeile oder einem Abnahmetest. Andere vergleichen ihn mit einer dokumentierten menschlichen Entscheidung, und das erfordert Urteilsvermögen.
Ein Verifier ist nur deterministisch, wenn derselbe Versuch stets dieselbe Bewertung erhält und nichts an der Prüfung von einem Modell oder vom Zufall abhängt. Eine verrauschte Prüfung trainiert verrauschtes Verhalten, deshalb sollte jede Aufgabe sagen, was ihre Prüfung misst und wo sie sich austricksen lässt.
Fragen an jeden Anbieter
Woher stammt das Material, und könnte es bereits in den Trainingsdaten eines Modells stecken? Was enthält jede Aufgabe: den Ausgangszustand, die Werkzeuge, die Informationsgrenze? Was misst die Prüfung, ist sie exakt oder beurteilt, und wie wurde sie an Versuchen getestet, die richtig aussehen und falsch sind? Welche Aufgaben sind für die Evaluation zurückgehalten, und wer kann sie sehen?
Wer hat die Nutzung genehmigt, welche Nutzungen sind erlaubt, und wer darf das Material erhalten? Wie werden personenbezogene Daten behandelt, und was bleibt dem Vertrag statt der Anonymisierung überlassen? Welche Aufgaben erwiesen sich in einer Stichprobe als zu leicht oder unlösbar, und was geschah mit ihnen?
Wo echte Daten helfen und wo nicht
Synthetische Aufgaben sind günstiger herzustellen und leichter zu prüfen. Welche eine bestimmte Fähigkeit besser trainiert, ist eine empirische Frage, und echte Daten gewinnen nicht jeden Vergleich.
RL-Umgebungen für industrielle Arbeit →