Eine KI versieht eine Kundenanfrage mit zwei Schlagwörtern. Die Fachprüfung vergibt ebenfalls zwei. Bedeutet das schon, dass das Ergebnis stimmt? Nicht unbedingt: Zwei gleich lange Listen können völlig andere Inhalte enthalten. Für einen sinnvollen Vergleich muss sichtbar werden, welche Begriffe gemeinsam vorkommen und welche nur auf einer Seite stehen.
Die Jaccard-Ähnlichkeit bei KI beschreibt die Überschneidung zweier Mengen. Sie kann beispielsweise helfen, vorhergesagte Schlagwörter mit einer festgelegten Referenz zu vergleichen. Eine eigene, vollständig fiktive Büroübung zeigt die Rechnung, die Bedeutung gemeinsamer Abwesenheiten und die Grenze einer einzigen Gesamtzahl. Dafür brauchst Du keine Programmierkenntnisse.
Unser Lernfall: Mehrere Schlagwörter für eine Anfrage
Ein erfundenes Servicebüro möchte Anfragen mit passenden Themen versehen. Eine Nachricht kann mehr als ein Thema betreffen. Als zulässige Begriffe legen wir für die Übung „Rechnung“, „Lieferung“, „Retoure“, „Adresse“ und „Vertrag“ fest. Jeder Begriff zählt je Nachricht höchstens einmal. Die Reihenfolge der Begriffe spielt keine Rolle.
Für eine fiktive Nachricht setzt die Fachprüfung die Referenz auf Rechnung und Lieferung. Die KI liefert dagegen Rechnung und Retoure. Die Referenz ist in dieser Übung bewusst vorgegeben. Bei einer realen Bewertung müsste zuerst geprüft werden, ob die fachliche Zuordnung nachvollziehbar und konsistent ist.
Wir betrachten hier nur die Themenzuordnung. Verständlichkeit eines Antworttextes, Datenschutz, Bearbeitungsgeschwindigkeit oder eine betriebliche Freigabe werden damit nicht bewertet. Die Kennzahl soll eine genau abgegrenzte Frage beantworten: Wie groß ist die Überschneidung der beiden Begriffsmengen?
Gemeinsame Begriffe durch alle vorkommenden Begriffe
Die offizielle scikit-learn-Dokumentation zu jaccard_score definiert den Jaccard-Index als Größe der Schnittmenge geteilt durch Größe der Vereinigung zweier Labelmengen. Übersetzt in unsere Übung: Zähle zuerst die gemeinsam vergebenen Themen; teile dann durch alle verschiedenen Themen, die mindestens eine Seite vergeben hat.
Gemeinsam ist nur „Rechnung“. Der Zähler beträgt eins. Insgesamt kommen „Rechnung“, „Lieferung“ und „Retoure“ vor. Der Nenner beträgt drei. Die Rechnung lautet deshalb 1 ÷ 3 = ungefähr 0,333, also rund 33,3 Prozent Überschneidung nach diesem Maßstab.
„Rechnung“ wird im Nenner nicht doppelt gezählt. Die Vereinigung enthält verschiedene Begriffe, nicht die Gesamtlänge beider Listen. Wer einfach zwei plus zwei rechnet, erhielte vier und würde die gemeinsame Kategorie doppelt aufnehmen. Das wäre eine andere Rechnung.
Drei Änderungen zeigen, was den Wert bewegt
Ein zusätzliches falsches Thema
Die KI ergänzt „Adresse“, ohne ihre bisherigen Begriffe zu ändern. Jetzt steht ihrer Menge Rechnung, Retoure und Adresse die Referenz Rechnung und Lieferung gegenüber. Gemeinsam bleibt ein Begriff; insgesamt kommen vier vor. Der Wert sinkt auf 1 ÷ 4 = 0,25. Mehr ausgegebene Schlagwörter sind also nicht automatisch eine vollständigere richtige Zuordnung.
Nur der sicher passende Begriff
Die KI nennt ausschließlich „Rechnung“. Dann ist weiterhin ein Thema gemeinsam, die Vereinigung enthält aber nur Rechnung und Lieferung. Das ergibt 1 ÷ 2 = 0,5. Der höhere Wert beseitigt nicht das fehlende Thema Lieferung. Er beschreibt lediglich ein anderes Verhältnis von Überschneidung zu Vereinigung.
Genau die Referenzmenge
Die KI nennt Rechnung und Lieferung, ohne weitere Themen. Beide Begriffe sind gemeinsam und beide bilden die Vereinigung. Das ergibt 2 ÷ 2 = 1. In dieser einzelnen Übung stimmen die Mengen vollständig überein. Daraus folgt keine fehlerfreie Arbeit des Systems bei anderen Nachrichten.
Warum zwei gemeinsam fehlende Themen nicht mitgezählt werden
Im Ausgangsfall fehlen „Adresse“ und „Vertrag“ auf beiden Seiten. Diese gemeinsamen Abwesenheiten erhöhen unseren Jaccard-Wert nicht: Beide Themen liegen außerhalb der Vereinigung. Die offizielle SciPy-Dokumentation zur Jaccard-Distanz zeigt denselben Ausschluss beidseitiger Nullwerte in der booleschen Berechnung. Sie beschreibt außerdem den Zusammenhang: Ähnlichkeit entspricht eins minus Distanz.
Für unseren Ausgangsfall beträgt die Distanz deshalb 1 − 1/3 = 2/3. Ein hoher Distanzwert bedeutet etwas anderes als ein hoher Ähnlichkeitswert. Ein Bericht mit der bloßen Spaltenüberschrift „Jaccard“ wäre leicht missverständlich. Benenne ausdrücklich, welche Richtung Du verwendest.
Fügen wir der Übung fünf weitere zulässige Themen hinzu, die weder Referenz noch KI vergeben, bleibt die Überschneidung 1/3. Das ist eine nützliche Gegenprobe: Die Bewertung verbessert sich nicht allein dadurch, dass die Themenliste viele unbenutzte Kategorien enthält.
Eine gute Zahl ist noch kein passender Arbeitsablauf
Unsere Rechnung behandelt Rechnung, Lieferung und Retoure gleich. Im Betrieb könnten ihre Fehlzuordnungen jedoch unterschiedliche Folgen haben. Vielleicht löst ein übersehenes Lieferproblem eine Verzögerung aus, während ein zusätzliches Retoure-Schlagwort nur eine kurze manuelle Kontrolle verursacht. Diese Gewichtung steckt nicht in unserer einfachen Rechnung.
Der Fachbereich sollte deshalb neben dem Wert notieren, welcher Begriff fehlt und welcher zusätzlich ausgegeben wurde. Im Ausgangsfall fehlt Lieferung; Retoure kommt unbegründet hinzu. Diese konkrete Beschreibung ist für die weitere Prüfung oft hilfreicher als die Frage, ob 0,333 „gut genug“ klingt.
Auch die Referenz benötigt eine Kontrolle. Wenn zwei Fachpersonen dieselbe Nachricht unterschiedlich einordnen, ist zunächst die Kategorienregel zu klären. Die Kennzahl kann einen solchen Konflikt sichtbar machen, entscheidet aber nicht selbst, welche Auslegung fachlich richtig ist.
Leere Mengen brauchen eine ausdrücklich dokumentierte Regel
Was passiert, wenn weder Referenz noch KI ein Thema nennen? Dann sind Schnittmenge und Vereinigung leer. Die einfache Mengenformel ergibt 0 ÷ 0 und liefert ohne Zusatzregel keinen definierten Wert.
Die Software-Konventionen sind nicht identisch: scikit-learn beschreibt bei fehlenden wahren und vorhergesagten Labels standardmäßig null mit Warnung. SciPy legt für zwei vollständig leere boolesche Vektoren die Distanz null fest; die daraus abgeleitete Ähnlichkeit ist eins. Prüfe deshalb Funktion, Version und Einstellungen, bevor Du Berichte vergleichst. Eine Konvention ersetzt keine Erklärung des Falls.
In unserer Büroübung würden wir solche Nachrichten zunächst separat ausweisen und fachlich prüfen: Sind tatsächlich keine der definierten Themen betroffen oder wurde die Zuordnung nicht durchgeführt? Wir würden unbekannte Bearbeitungsstände nicht stillschweigend in „keine Themen“ umwandeln.
So protokollierst Du den Vergleich nachvollziehbar
Notiere für jeden fiktiven Fall die Referenzmenge, die KI-Menge, die gemeinsame Menge und die Vereinigung. Ergänze den berechneten Wert sowie einen kurzen Satz zu fehlenden und zusätzlichen Themen. Damit kann eine zweite Person die Rechnung unabhängig nachprüfen.
Wenn später viele Fälle zusammengefasst werden, muss außerdem die Zusammenfassungsregel feststehen. Ein einzelner Fallwert ist nicht automatisch ein Gesamtmaß für das Modell. Berichte sollten ihre Berechnung und den Umgang mit Sonderfällen nennen, statt unterschiedlich ermittelte Zahlen ohne Erklärung nebeneinanderzustellen.
FAQ zur Jaccard-Ähnlichkeit bei KI
Zählen doppelt ausgegebene Schlagwörter mehrfach?
In unserer Mengenübung nicht. Rechnung, Rechnung und Lieferung wird zuerst zu Rechnung und Lieferung bereinigt. Häufigkeiten wären eine andere Fragestellung.
Ist 0,5 gleichbedeutend mit 50 Prozent fehlerfreien Nachrichten?
Nein. Für unseren einzelnen Fall bezeichnet 0,5 das Verhältnis gemeinsamer Begriffe zur Vereinigung. Es ist keine Erfolgsquote über Nachrichten.
Kann ich damit frei geschriebene Antworten vollständig bewerten?
Nein. Unser Vergleich prüft festgelegte Themenmengen. Ob ein Text sachlich korrekt, verständlich und für den Arbeitsablauf geeignet ist, bleibt gesondert zu beurteilen.
Fazit: Die Mengen hinter dem Score mitlesen
Jaccard-Ähnlichkeit macht die Überschneidung von Schlagwortmengen prüfbar. In unserem Lernfall entscheidet nicht die gleiche Listenlänge, sondern der Vergleich von gemeinsamen und insgesamt vorkommenden Themen. Dokumentiere zusätzlich konkrete Fehler und Sonderfälle.
Du möchtest KI-Ergebnisse im Arbeitsalltag fundierter einordnen? Informiere Dich über KI-Grundlagenkompetenzen für die digitale Arbeitswelt und besprich Deinen Lernbedarf über den Kontakt zu GrandEdu Media. Diese eigenständige Übung ist keine Zusage zu einer bestimmten Softwareeinheit oder Prüfungsaufgabe.