Eine Servicestelle möchte eingehende Anfragen vorsortieren. Fast jede Nachricht enthält das Wort „Anfrage“. Manche sprechen von Rechnungen, andere von Lieferungen oder Terminen. Wer nur zählt, welche Wörter insgesamt am häufigsten vorkommen, erfährt deshalb noch wenig darüber, wodurch sich die einzelnen Nachrichten unterscheiden.
Hier setzt TF-IDF an: Die Gewichtung verbindet das Vorkommen eines Ausdrucks im einzelnen Text mit seiner Verbreitung im betrachteten Textbestand. Für Interessierte an KI und digitaler Textanalyse ist das ein hilfreicher Einstieg in die Frage, wie aus Sprache rechnerisch nutzbare Merkmale werden. An einer kleinen Übung lässt sich der Unterschied zwischen Zählen und Gewichten ohne Programmierkenntnisse nachvollziehen.
Zwei Zählfragen, die Sie nicht verwechseln sollten
TF steht für Term Frequency. In der hier verwendeten Variante ist damit die Anzahl der Vorkommen eines Ausdrucks innerhalb eines Dokuments gemeint. Die Dokumenthäufigkeit zählt dagegen, in wie vielen Dokumenten der Ausdruck mindestens einmal erscheint. Fünf Wiederholungen innerhalb derselben Nachricht erhöhen also den ersten Wert, nicht die Zahl der Dokumente.
IDF bedeutet Inverse Document Frequency. Der Bestandteil gewichtet Ausdrücke abhängig von ihrer Verbreitung im Bestand. Die offizielle Dokumentation des TfidfTransformer beschreibt dafür unterschiedliche Einstellungen. Wir verwenden im Folgenden die geglättete IDF-Variante und einfache Häufigkeiten. Damit ist die Rechenweise ausdrücklich festgelegt; „TF-IDF“ allein benennt nicht sämtliche Parameter.
Vier erfundene Serviceanfragen als Rechenübung
Die folgenden Mini-Texte sind vollständig erfunden und absichtlich auf wenige Wörter reduziert. Sie bilden keine reale Kundenkommunikation ab. Großschreibung und Satzzeichen spielen in dieser Übung keine Rolle; jeder durch Leerzeichen getrennte Ausdruck wird als Wortmerkmal behandelt.
- Dokument A: „anfrage rechnung rechnung“
- Dokument B: „anfrage lieferung“
- Dokument C: „anfrage termin“
- Dokument D: „anfrage lieferung“
Der Bestand umfasst vier Dokumente. „Anfrage“ steht in allen vier, „Lieferung“ in zwei, „Rechnung“ und „Termin“ jeweils in einem. In Dokument A kommt „Rechnung“ zwar zweimal vor, seine Dokumenthäufigkeit beträgt trotzdem eins. Genau an dieser Stelle lohnt sich eine Kontrollfrage: Zähle ich gerade Wörter innerhalb einer Nachricht oder Nachrichten mit einem bestimmten Wort?
Die IDF-Werte berechnen
Unsere gewählte Formel lautet: IDF = ln((1 + Anzahl der Dokumente) / (1 + Dokumenthäufigkeit)) + 1. „ln“ bezeichnet den natürlichen Logarithmus. Die geglättete Berechnung und die zusätzliche Eins entsprechen der dokumentierten Einstellung mit aktivierter IDF-Glättung.
Für „Anfrage“ ergibt sich ln(5/5) + 1 = 1. Für „Lieferung“ sind es ln(5/3) + 1, gerundet 1,511. Für „Rechnung“ und „Termin“ erhalten wir jeweils ln(5/2) + 1, gerundet 1,916. Die Rechnung wird mit ungerundeten Werten fortgeführt; die gerundeten Zahlen dienen hier nur der Lesbarkeit.
Wortvorkommen mit dem Gewicht verbinden
Nun multiplizieren wir die Häufigkeit im jeweiligen Dokument mit dessen IDF-Wert. Für Dokument A bedeutet das: „Anfrage“ erhält vor der Normalisierung den Wert 1 × 1 = 1. „Rechnung“ erhält 2 × 1,916, also ungefähr 3,833. „Lieferung“ und „Termin“ fehlen dort und erhalten null.
Das häufige Bestandswort „Anfrage“ verschwindet in dieser Variante nicht. Die verwendete Formel gibt ihm den IDF-Wert eins. „Rechnung“ wird im Beispiel stärker gewichtet, weil es in A mehrfach vorkommt und nur in einem der vier Dokumente enthalten ist. Das ist eine Eigenschaft dieses kleinen Bestands, keine allgemeingültige Rangliste wichtiger Wörter.
Warum das Softwareergebnis andere Zahlen zeigen kann
Nach dem Gewichten kann eine Normalisierung folgen. Der scikit-learn-Leitfaden zur Merkmalsextraktion erläutert die standardmäßige L2-Normalisierung: Der Dokumentvektor wird durch seine euklidische Länge geteilt. Für unseren Vektor mit den beiden positiven Werten 1 und ungefähr 3,833 beträgt diese Länge rund 3,961.
Damit werden aus den beiden Werten ungefähr 0,252 für „Anfrage“ und 0,968 für „Rechnung“. Die übrigen Einträge bleiben null. Wer diese Ausgabe mit 1 und 3,833 vergleicht, hat also möglicherweise nicht falsch gerechnet, sondern zwei verschiedene Rechenstände gegenübergestellt. Die normalisierten Werte sind keine Prozentanteile; sie müssen sich nicht zu eins addieren.
Ein anderer Textbestand verändert dieselbe Nachricht
Erweitern wir unsere Übung um vier weitere Dokumente, die jeweils „anfrage rechnung“ enthalten. Dokument A bleibt wortgleich. Der neue Bestand umfasst aber acht Dokumente, und „Rechnung“ kommt nun in fünf davon vor. Sein neu berechneter IDF-Wert beträgt ln(9/6) + 1, ungefähr 1,405.
Der unnormalisierte Wert für „Rechnung“ in A sinkt damit von ungefähr 3,833 auf 2,811. An der ursprünglichen Nachricht wurde nichts geändert. Geändert wurde die Vergleichsbasis. Für eine Besprechung der Ergebnisse sollte deshalb klar sein, auf welchem Bestand die Gewichte ermittelt wurden. Zwei Zahlen aus unterschiedlich zusammengestellten Sammlungen sind nicht automatisch direkt vergleichbar.
Eine praktische Prüfnotiz für das Team
Wenn Ihnen jemand eine Liste hoch gewichteter Wörter zeigt, bitten Sie zunächst um ein konkretes Dokument. Prüfen Sie darin einen einzigen Ausdruck vollständig nach: Vorkommen im Text, Zahl der Dokumente mit diesem Ausdruck, verwendete Formel und abschließende Normalisierung. Diese kleine Stichprobe ist verständlicher als eine Diskussion über hunderte unkommentierte Dezimalzahlen.
Notieren Sie außerdem, welche Nachrichten überhaupt zur Sammlung gehören. Werden kurze Betreffzeilen mit langen Gesprächsverläufen vermischt? Enthält der Bestand viele identische automatische Antworten? In unserer Übung wären vier zusätzliche Rechnungstexte sofort sichtbar. In einem großen Export kann derselbe Effekt in der Zusammensetzung leicht übersehen werden. Die Rückfrage richtet sich dann an die Datenauswahl, nicht nur an die Berechnung.
Bevor aus der Übung ein Arbeitsablauf wird, formulieren Sie die eigentliche Aufgabe: Geht es um eine Suchhilfe, einen Themenüberblick oder eine vorsichtige Vorsortierung? Für unser Servicebeispiel wäre ein sinnvoller nächster Test, einzelne Originalnachrichten neben die vorgeschlagene Zuordnung zu legen. Eine hohe Gewichtung von „Rechnung“ allein entscheidet noch nicht, ob eine Anfrage tatsächlich an die Rechnungsabteilung gehört. Sie könnte beispielsweise ausdrücklich mitteilen, dass kein Rechnungsproblem vorliegt.
FAQ zu TF-IDF bei KI
Bedeutet ein hoher Wert, dass die Aussage wichtig oder wahr ist?
Nein. In unserer Übung beschreibt der Wert eine rechnerische Gewichtung eines Wortmerkmals. Weder Dringlichkeit noch Richtigkeit einer Nachricht werden damit geprüft.
Warum zählt die doppelte „Rechnung“ nicht als zwei Dokumente?
Weil beide Vorkommen in Dokument A stehen. Worthäufigkeit innerhalb eines Textes und Verbreitung über mehrere Texte beantworten unterschiedliche Fragen.
Muss ich dafür sofort programmieren lernen?
Für das Grundverständnis nicht. Mit vier erfundenen Texten und einem Taschenrechner können Sie die Zählschritte nachvollziehen. Eine technische Umsetzung erfordert zusätzlich klare Einstellungen und eine Prüfung am vorgesehenen Anwendungsfall.
Fazit: Erst den Bestand verstehen, dann die Gewichte lesen
TF-IDF wird greifbar, wenn Sie nicht bei der Abkürzung stehen bleiben: Zählen Sie im einzelnen Dokument, prüfen Sie die Verbreitung im Bestand und unterscheiden Sie gewichtete Rohwerte von normalisierten Ausgaben. Wer digitale Verfahren im Arbeitsalltag besser einordnen möchte, findet bei GrandEdu Media das Angebot KI-Grundlagenkompetenzen für die digitale Arbeitswelt. Für Fragen zur passenden Weiterbildung nutzen Sie den Kontakt zu GrandEdu Media. Die Rechenübung dieses Artikels ist eine eigenständige Verständnishilfe und keine Zusage zu bestimmten Kursinhalten oder betrieblichen Ergebnissen.