Ein KI-Projekt liefert noch nicht die gewünschten Ergebnisse. Soll das Team jetzt weitere Daten sammeln? Die Antwort „mehr hilft mehr“ greift zu kurz. Lernkurven bei KI helfen dabei, diese Frage genauer zu stellen: Wie verändern sich Trainings- und Validierungsergebnisse, wenn dieselbe Modellkonfiguration mit unterschiedlich vielen Beispielen trainiert wird?
Für Interessierte an einer KI-Weiterbildung ist das eine nützliche Lesekompetenz. Sie müssen dafür nicht selbst ein Modell programmieren. Wichtig ist zunächst, eine Auswertung nicht mit einem Versprechen zu verwechseln. Die folgende selbst entwickelte Übung verwendet ausschließlich erfundene Ergebnisse; sie beschreibt weder ein reales System noch eine zugesicherte Leistung eines Bildungsangebots.
Was auf den beiden Achsen steht
Die offizielle scikit-learn-Erläuterung zu Lernkurven betrachtet Trainings- und Validierungswerte bei unterschiedlichen Anzahlen von Trainingsbeispielen. Die waagerechte Achse zeigt also die Datenmenge, die senkrechte Achse eine festgelegte Bewertungskennzahl. Eine Lernkurve ist in diesem Sinne kein Verlauf über Trainingsdurchläufe oder Lernstunden.
Die Unterscheidung ist praktisch: „Das Modell wurde länger trainiert“ beantwortet eine andere Frage als „Das Modell wurde mit mehr unterschiedlichen Beispielen trainiert“. Prüfen Sie daher zuerst die Achsenbeschriftung. Zwei ähnlich aussehende Diagramme können unterschiedliche Experimente darstellen.
Der Lernfall: Anfragen vorsortieren
Ein erfundenes Serviceteam möchte eingehende Nachrichten in zwei Arbeitskategorien vorsortieren: Fragen zu Rechnungen und Fragen zu Lieferungen. Eine Fehlzuordnung löst in unserem Lernfall keine automatische Kundenantwort aus; Mitarbeitende kontrollieren die Vorschläge. Das Team untersucht zunächst nur die Zuordnung, nicht die Qualität einer späteren Antwort.
Für drei Versuchsgrößen werden getrennte Modelle mit derselben Konfiguration neu trainiert. Bewertungsregeln und Datenaufteilung bleiben nach demselben vorab festgelegten Verfahren organisiert. Die folgenden Zahlen seien zusammengefasste Ergebnisse dieser fiktiven Untersuchung, keine Resultate eines tatsächlich ausgeführten Trainings:
- 100 Trainingsbeispiele: 98 Prozent richtige Zuordnungen im Training, 70 Prozent in der Validierung.
- 300 Trainingsbeispiele: 96 Prozent im Training, 78 Prozent in der Validierung.
- 900 Trainingsbeispiele: 94 Prozent im Training, 84 Prozent in der Validierung.
Alle Werte beziehen sich hier auf dieselbe Kennzahl: den Anteil richtiger Zuordnungen. Die Trainingsmengen sind keine Anzahlen von Validierungsfällen. Wer das Protokoll liest, muss deshalb zusätzlich erfahren, wie groß die jeweiligen Bewertungsmengen sind und wie die zusammengefassten Werte gebildet wurden.
Die Lücke wird kleiner – und der Trainingswert sinkt
Bei 100 Trainingsbeispielen liegen die beiden Werte 28 Prozentpunkte auseinander. Bei 300 Beispielen sind es 18, bei 900 noch zehn Prozentpunkte. Gleichzeitig sinkt der Trainingswert von 98 auf 94 Prozent. In unserer Übung wäre es irreführend, allein daraus eine Verschlechterung abzuleiten: Die Validierungswerte steigen währenddessen von 70 auf 84 Prozent.
Das Team könnte seine Beobachtung so festhalten: „Mit wachsenden Trainingsmengen verbessert sich in dieser Untersuchung der Validierungswert; der Abstand zum Trainingswert nimmt ab.“ Das beschreibt die vorliegenden Zahlen. „Mit der nächsten Verdreifachung erreichen wir sicher 90 Prozent“ wäre dagegen eine unbelegte Fortschreibung.
Die ersten beiden Schritte bringen acht beziehungsweise sechs Prozentpunkte mehr in der Validierung. Bereits diese Unterschiede zeigen, warum man weder einen festen Gewinn pro zusätzlicher Nachricht noch einen verlässlichen Zieltermin aus den drei Punkten berechnen sollte.
Ein zweiter Verlauf führt zu einer anderen Frage
Nun stellen wir uns eine andere, ebenfalls rein fiktive Auswertung vor. Bei 100, 300 und 900 Trainingsbeispielen liegen Trainings- und Validierungswerte jeweils ungefähr bei 72 und 71 Prozent. Trotz steigender Datenmenge bewegen sich beide Reihen kaum.
Die scikit-learn-Erläuterung beschreibt einen niedrigen gemeinsamen Grenzbereich als Hinweis darauf, dass zusätzliche Trainingsdaten allein wenig bringen könnten. Ob ein Wert „niedrig“ ist, muss zur konkreten Aufgabe passen. Eine große Lücke zwischen gutem Trainingswert und schwächerer Validierung kann dagegen auf Überanpassung hindeuten. Das sind Diagnosehinweise, keine automatisch feststehenden Ursachen.
Für unseren zweiten Lernfall würde das Team deshalb nicht sofort weitere Nachrichten beschaffen. Es würde zunächst seine Annahmen prüfen: Sind die Arbeitskategorien eindeutig? Enthält die gewählte Darstellung der Nachricht überhaupt die benötigten Informationen? Passt der untersuchte Modellansatz zur Aufgabe? Die Kurve entscheidet diese Fragen nicht selbst, sie lenkt die nächste Untersuchung.
Was ein aussagekräftiges Auswertungsprotokoll enthält
Die Dokumentation der Funktion learning_curve erläutert das Training mit unterschiedlich großen Teilmengen innerhalb einer Kreuzvalidierung. Sie liefert Ergebnisse für die einzelnen Teilungen und Trainingsgrößen. Für einen belastbaren Bericht sollten neben zusammengefassten Werten auch die Unterschiede zwischen den Auswertungen nachvollziehbar bleiben.
Im Serviceteam könnte eine verantwortliche Person deshalb vor einer Entscheidung folgende Informationen anfordern:
- Aufgabe: Welche Kategorien werden unterschieden, und was gilt als richtige Zuordnung?
- Mengen: Wie viele Beispiele wurden zum Trainieren und wie viele zum Bewerten verwendet?
- Vergleich: Wurden Modellkonfiguration, Kennzahl und Auswertungsverfahren zwischen den Größen konstant gehalten?
- Streuung: Sind die zusammengefassten Werte typisch, oder unterscheiden sich die einzelnen Auswertungen deutlich?
- Geltungsbereich: Welche Nachrichtenarten sind vertreten, und welche fehlen möglicherweise?
Diese Fragen verhindern im Lernfall einen einfachen Berichtsfehler: Eine geglättete Linie sieht eindeutiger aus als die dahinterliegenden Ergebnisse. Werden bei jeder Datenmenge gleichzeitig neue Einstellungen gewählt, lässt sich der Unterschied zudem nicht mehr sauber als reine Untersuchung der Trainingsmenge lesen.
Von der Beobachtung zur begrenzten nächsten Maßnahme
Im ersten Verlauf wäre eine weitere, klar begrenzte Untersuchung mit zusätzlichen geeigneten Beispielen nachvollziehbar. Das Team müsste vorab festlegen, wie es Aufwand und Ergebnis beurteilt. Im zweiten Verlauf könnte zunächst eine Prüfung der Kategorien oder der verwendeten Informationen sinnvoller sein. Beides sind mögliche nächste Schritte für diesen Lernfall, keine allgemeine Beschaffungsregel.
Außerdem gilt: Eine hohe Gesamtquote beantwortet nicht jede betriebliche Frage. Das Serviceteam möchte beispielsweise gesondert wissen, ob Rechnungsfragen häufig fälschlich im Lieferbereich landen. Die Entscheidung über einen praktischen Einsatz braucht daher mehr als den Verlauf einer einzigen Kennzahl.
FAQ: Lernkurven bei KI lesen
Zeigt eine steigende Validierungskurve eine sichere Verbesserung im späteren Betrieb?
Nein. Sie beschreibt die untersuchten Daten und Bedingungen. Ob der Verlauf auf andere Nachrichten und spätere Zeiträume übertragbar ist, bleibt gesondert zu prüfen.
Müssen beide Kurven immer gleich verlaufen?
Nein. Im ersten erfundenen Beispiel sinkt der Trainingswert, während der Validierungswert steigt. Entscheidend ist die gemeinsame Einordnung, nicht eine isolierte Linie.
Kann ich den benötigten Datenbestand exakt ablesen?
Aus den drei fiktiven Punkten nicht. Sie begründen Fragen für einen nächsten Versuch, aber keine genaue Mindestmenge und keine garantierte Zielquote.
Fazit: Datenbedarf als Frage behandeln
Lernkurven machen die Frage nach zusätzlichen Daten konkreter. Lesen Sie zuerst die Achsen, vergleichen Sie beide Reihen und prüfen Sie das Versuchsprotokoll. Wer solche Auswertungen besser einordnen möchte, findet bei GrandEdu Media das Angebot KI-Grundlagenkompetenzen für die digitale Arbeitswelt. Über den Kontakt zu GrandEdu Media können Sie klären, welches öffentlich angebotene Lernformat zu Ihren Vorkenntnissen und Zielen passt.