Ein Bericht nennt einen F1-Score von 0,80. Heißt das, dass die KI 80 Prozent aller Fälle richtig zuordnet? Nein. Der F1-Score bei KI verbindet zwei Kennzahlen für eine bestimmte Klasse. Richtig negative Fälle gehen in die hier betrachtete binäre Berechnung gar nicht ein. Deshalb kann derselbe F1-Wert neben sehr unterschiedlichen Gesamt-Trefferquoten stehen.
Das lässt sich ohne Programmierung nachvollziehen. Wir rechnen mit zwei ausdrücklich erfundenen Fallmengen und anschließend mit zwei unterschiedlichen Fehlerverteilungen. Die Beispiele sind keine Messung eines GrandEdu-Angebots und keine Empfehlung für einen betrieblichen Grenzwert. Ihr Zweck ist, einen Leistungsbericht genauer lesen zu können.
Was genau fasst der F1-Score zusammen?
Die offizielle scikit-learn-Dokumentation zum F1-Score beschreibt ihn als harmonisches Mittel von Precision und Recall. Er liegt zwischen null und eins; ein höherer Wert ist für diese Kennzahl besser. Wir betrachten ausschließlich die binäre Auswertung einer ausdrücklich festgelegten positiven Klasse.
Unser fiktives Team unterscheidet Anfragen, die eine fachliche Nachprüfung brauchen, von Anfragen ohne diesen Bedarf. „Positiv“ bedeutet hier „Nachprüfung erforderlich“, nicht „gutes Ergebnis“. Die tatsächliche Zuordnung wird für die Übung als bekannt vorausgesetzt.
- TP – richtig positiv: Eine nachprüfungsbedürftige Anfrage wird erkannt.
- FP – falsch positiv: Eine unauffällige Anfrage wird unnötig markiert.
- FN – falsch negativ: Eine notwendige Nachprüfung wird übersehen.
- TN – richtig negativ: Eine unauffällige Anfrage bleibt korrekt unmarkiert.
Precision fragt nach dem Anteil echter Prüffälle unter den Markierungen: TP / (TP + FP). Recall fragt nach dem Anteil gefundener Prüffälle unter den tatsächlich vorhandenen: TP / (TP + FN). Die scikit-learn-Übersicht zu Bewertungskennzahlen erläutert diese Perspektiven und ihre Zusammenführung.
Die Formel zeigt die entscheidende Auslassung
Für unseren binären Fall lautet die Formel: F1 = 2 × TP / (2 × TP + FP + FN). TN kommt darin nicht vor. Wenn TP, FP und FN unverändert bleiben, bleibt folglich auch F1 unverändert – unabhängig davon, wie viele korrekt unmarkierte Fälle zusätzlich in der Fallmenge enthalten sind.
Das ist keine Rechenpanne. Die Kennzahl bündelt das Finden der positiven Klasse und die Verlässlichkeit ihrer Markierungen. Sie beantwortet eine andere Frage als Accuracy, also die Gesamt-Trefferquote. Diese zählt alle richtigen Zuordnungen: (TP + TN) / Gesamtzahl.
Die Formulierung „80 Prozent richtig“ würde beide Fragen vermischen. Schreiben Sie stattdessen beispielsweise „F1 = 0,80 für die Klasse Nachprüfung“ und nennen Sie Precision, Recall und die vier Fallzahlen daneben.
Zwei Fallmengen: F1 bleibt 0,80, Accuracy verändert sich
Fallmenge A enthält 100 Anfragen
Wir wählen acht richtig erkannte Prüffälle, zwei unnötige Markierungen, zwei übersehene Prüffälle und 88 korrekt unmarkierte Anfragen. Zusammen sind das 100 Fälle.
Precision beträgt 8 / 10 = 0,80, Recall ebenfalls 8 / 10 = 0,80. Der F1-Score ergibt sich als 16 / (16 + 2 + 2) = 0,80. Insgesamt stimmen 8 + 88 Zuordnungen: Die Accuracy beträgt 96 Prozent.
Fallmenge B enthält 20 Anfragen
Nun lassen wir alle acht richtig positiven und beide Arten von jeweils zwei Fehlern unverändert. Lediglich die richtig negativen Fälle reduzieren wir von 88 auf acht. Insgesamt bleiben 20 Anfragen.
Precision und Recall sind weiterhin jeweils 0,80. Auch F1 bleibt 16 / 20 = 0,80. Die Gesamt-Trefferquote beträgt dagegen (8 + 8) / 20 = 80 Prozent.
Der Unterschied entsteht vollständig durch die Zahl der richtig negativen Fälle. Beide Fallmengen enthalten vier Fehlzuordnungen, aber eine andere Gesamtzahl. Aus F1 allein lässt sich deshalb nicht zurückrechnen, welcher Anteil sämtlicher Anfragen korrekt behandelt wurde.
Wichtig: Dieser absichtlich konstruierte Vergleich beweist nicht, dass ein Modell besser ist als ein anderes. Wir haben die Zusammensetzung der Daten verändert. Ein fairer Modellvergleich benötigt eine gemeinsame, nachvollziehbare Bewertungsgrundlage. Die Übung isoliert lediglich eine Eigenschaft der Formel.
Ein zweiter blinder Fleck: Gleicher F1, andere Fehlerart
Auch die Summe FP + FN verdient Aufmerksamkeit. Halten wir TP bei acht und verteilen insgesamt vier Fehler anders, entstehen zwei weitere Rechenfälle:
- Variante C: ein Fehlalarm und drei übersehene Prüffälle. Precision = 8 / 9, also rund 0,889; Recall = 8 / 11, also rund 0,727.
- Variante D: drei Fehlalarme und ein übersehener Prüffall. Precision = 8 / 11, also rund 0,727; Recall = 8 / 9, also rund 0,889.
In beiden Varianten lautet F1 erneut 16 / (16 + 4) = 0,80. Die Fehlerverteilung ist trotzdem verschieden. Im erfundenen Prozess müsste das Team bei D mehr unnötige Nachprüfungen erledigen; bei C blieben mehr erforderliche Prüfungen aus.
Welche Variante eher zu einem konkreten Arbeitsablauf passt, lässt sich nicht aus diesem identischen F1-Wert entscheiden. Dafür muss der Fachbereich die Folgen beider Fehlerarten beurteilen. Ein Zahlenwert ersetzt weder diese Abwägung noch eine Verantwortung für die Freigabe.
So wird aus einer Zahl ein nachvollziehbarer Bericht
Stellen Sie sich eine kurze Besprechung vor: Auf einer Folie steht nur „F1: 0,80“. Bevor daraus eine Einsatzentscheidung wird, bitten Sie um Ergänzungen. Für unser Nachprüfungsbeispiel wären folgende Informationen hilfreich:
- Genaue Klasse: Was löst eine Nachprüfung aus, und wer legt die tatsächliche Zuordnung fest?
- Vollständige Fallzahlen: Wie viele TP, FP, FN und TN wurden gezählt? Wie groß ist die ausgewertete Menge?
- Getrennte Perspektiven: Welche Precision und welcher Recall stehen hinter F1?
- Auswertungsbedingungen: Welche Fälle, welcher Zeitraum und welche Zuordnungsregel wurden verwendet?
- Praktische Folgen: Welche zusätzliche Prüfmenge und welche übersehenen Fälle sind entstanden?
Diese Ergänzungen sind keine universelle Abnahmerichtlinie. Sie verhindern im Beispiel, dass zwei sehr verschiedene Situationen hinter derselben Kennzahl verschwinden. Dokumentieren Sie insbesondere Änderungen der Fallauswahl: Eine neue Zahl kann sonst durch eine andere Datenzusammensetzung statt durch ein verändertes Modell entstehen.
Bei mehreren Klassen muss die Zusammenfassung genannt werden
Ein Bericht mit mehreren Kategorien kann F1-Werte pro Klasse oder einen zusammengefassten Wert zeigen. Die API-Dokumentation unterscheidet unter anderem Macro-, Micro- und gewichtete Mittelung. Macro mittelt die Klassenwerte gleichgewichtet; die gewichtete Variante berücksichtigt die Anzahl tatsächlicher Fälle pro Klasse. Micro bündelt die entsprechenden Zählungen.
Unsere Aussage über unveränderte TN bezieht sich auf den F1-Wert einer einzelnen positiven Klasse im binären Fall. Sie darf nicht ungeprüft auf jede Mittelungsart übertragen werden. Fragen Sie daher nach der verwendeten Berechnung, bevor Sie zwei Übersichten vergleichen.
FAQ zum F1-Score bei KI
Ist 0,80 automatisch ausreichend?
Nein. Unsere Zahlen wurden frei gewählt. Ob eine Auswertung für einen vorgesehenen Einsatz genügt, hängt von Aufgabe, Datenbasis und Fehlerfolgen ab.
Kann ein F1-Wert die Richtigkeit einer einzelnen Antwort garantieren?
Nein. Er fasst gezählte Klassifikationsfälle zusammen. Daraus folgt keine Garantie für die nächste Anfrage oder einen frei formulierten KI-Text.
Was passiert, wenn die positive Klasse vollständig fehlt?
Sind TP, FP und FN alle null, ist die Formel mathematisch undefiniert. scikit-learn besitzt dafür eine konfigurierbare Behandlung. Ein ausgegebener Ersatzwert sollte nicht als Beleg einer erfolgreichen Erkennung missverstanden werden.
Fazit: F1 lesen heißt auch seine Grenzen lesen
F1 verbindet Precision und Recall, bildet aber nicht jede richtige Zuordnung und nicht jede betriebliche Fehlerfolge ab. Unsere beiden Fallmengen zeigen gleichen F1 bei unterschiedlicher Accuracy; die Varianten C und D zeigen gleichen F1 bei unterschiedlicher Fehlerverteilung. Fragen Sie deshalb nach den Zahlen hinter dem Ergebnis.
Wenn Sie KI-Ergebnisse im Beruf fachlich einordnen möchten, informieren Sie sich über „Anwendungsbezogene KI im beruflichen Arbeitsalltag“. Fragen zum passenden Bildungsangebot können Sie über den Kontakt zu GrandEdu Media stellen. Der Artikel ist eine eigenständige Erläuterung und keine Zusage bestimmter Kursinhalte.
Quellen und interne Zielseiten geprüft am 13. Oktober 2026. Sämtliche Fallzahlen sind erfundene Rechenbeispiele.