Eine Suche findet einen Tippfehler nicht, ein anderes System erkennt trotzdem eine Ähnlichkeit. Wie kann das sein? Eine mögliche Grundlage sind Zeichen-N-Gramme: kleine, überlappende Ausschnitte einer Zeichenfolge. Wer KI-Anwendungen im Beruf beurteilen möchte, muss dafür nicht programmieren können. Schon einige handschriftliche Beispiele machen sichtbar, welche Gemeinsamkeiten diese Darstellung erhält.
Der entscheidende Punkt lautet: Eine ähnliche Buchstabenfolge ist nicht automatisch eine ähnliche Bedeutung. Dieser Beitrag erklärt Zeichen-N-Gramme bei KI an eigenen Lernbeispielen. Er beschreibt weder die Arbeitsweise jedes KI-Systems noch ein tatsächlich eingesetztes GrandEdu-Suchverfahren.
Eine Zeichenfolge wird in kleine Fenster zerlegt
Ein Zeichen-Trigramm besteht aus drei aufeinanderfolgenden Zeichen. Für unsere erste Übung verwenden wir ausschließlich kleingeschriebene Einzelwörter und ergänzen keine Leerzeichen an den Rändern. Das Fenster rückt jeweils um ein Zeichen weiter. Beim Wort „haus“ entstehen damit genau zwei Ausschnitte: „hau“ und „aus“.
Die offizielle scikit-learn-Dokumentation zur Merkmalsextraktion erläutert Zeichen-N-Gramme als mögliche Textdarstellung für maschinelles Lernen. Sie zeigt auch, wie trotz eines Schreibfehlers gemeinsame Merkmale erhalten bleiben können. Das ist eine mögliche Eigenschaft dieser Darstellung, keine Garantie für korrekte Ergebnisse eines damit arbeitenden Systems.
Ein Tippfehler und vier erhaltene Ausschnitte
Betrachten wir zwei bewusst gewählte Schreibweisen: „rechnung“ und den erfundenen Tippfehler „rechnugn“. Beide haben acht Zeichen. Unsere Fensterlänge bleibt drei, ohne zusätzliche Randzeichen. Schreiben Sie die Ausschnitte ruhig selbst auf, bevor Sie weiterlesen.
- rechnung: rec, ech, chn, hnu, nun, ung.
- rechnugn: rec, ech, chn, hnu, nug, ugn.
Vier Ausschnitte sind gemeinsam: rec, ech, chn und hnu. Zwei unterscheiden sich jeweils. In dieser Übung kann die Zeichenbetrachtung also eine Gemeinsamkeit zeigen, obwohl die vollständigen Wörter nicht identisch sind. Ein Vergleich, der nur vollständige Wörter auf exakte Gleichheit prüft, würde diese beiden Schreibweisen dagegen als verschieden behandeln.
Aus den vier gemeinsamen Ausschnitten folgt noch kein fertiger Ähnlichkeitswert. Wir haben weder eine Gewichtung noch eine Vergleichsformel festgelegt. „Vier gemeinsam“ ist zunächst eine Zählung in genau dieser Übung. Wer daraus ungefragt „zu 67 Prozent richtig“ macht, verwechselt eine selbst gewählte Rechnung mit einer Bewertung der Rechtschreibung oder des Inhalts.
Was bei einer anderen Fensterlänge passiert
Wählen wir stattdessen die vollständige Wortlänge von acht Zeichen, enthält jedes unserer beiden Wörter nur einen Ausschnitt. Die beiden Ausschnitte sind verschieden; es bleibt kein gemeinsamer übrig. Die Wörter haben sich nicht nochmals geändert. Geändert wurde lediglich die Darstellung, mit der wir sie betrachten.
Unser Beispiel begründet deshalb keine Empfehlung, immer die kürzesten Ausschnitte zu wählen. Es zeigt nur, warum ein dokumentierter Vergleich die Fensterlänge nennen muss. Ohne diese Angabe wäre selbst die einfache Behauptung „Die Wörter haben gemeinsame N-Gramme“ für andere nicht eindeutig nachprüfbar.
Der Gegencheck: haus und maus
Nun vergleichen wir „haus“ und „maus“ mit denselben Dreierfenstern. Für „haus“ erhalten wir „hau“ und „aus“, für „maus“ erhalten wir „mau“ und „aus“. Der Ausschnitt „aus“ ist gemeinsam. Trotzdem wird aus einem Gebäude kein Tier.
Dieses kleine Gegenbeispiel ist wichtig, wenn ein Werkzeug ähnliche Schreibweisen als mögliche Treffer anbietet. Eine gemeinsame Zeichenfolge kann ein Anlass zum Hinsehen sein. Sie ist in unserer Übung aber kein Nachweis dafür, dass beide Wörter austauschbar wären. Insbesondere dürfen wir daraus keine automatische Korrektur von „maus“ zu „haus“ ableiten.
In einem erfundenen Büroprozess könnte eine Sachbearbeiterin solche Vorschläge deshalb zunächst als Prüfliste behandeln. Sie liest den vollständigen Satz und entscheidet, ob tatsächlich ein Tippfehler vorliegt. Das ist unser Anwendungsvorschlag für den Lernfall, keine Aussage über die Fehlerquote eines konkreten Produkts.
Auch fehlende Übereinstimmung sagt nicht alles
Die umgekehrte Verwechslung lässt sich mit „auto“ und „wagen“ prüfen. Unsere Dreierfenster sind „aut“, „uto“ beziehungsweise „wag“, „age“, „gen“. Es gibt keine gemeinsame Dreierfolge. In einem passenden Satz können beide Wörter trotzdem ein Fahrzeug bezeichnen. Die genaue Austauschbarkeit hängt dabei weiterhin vom Sprachkontext ab.
Für den Lernfall sind das zwei verschiedene Warnungen: „haus“ und „maus“ zeigen gemeinsame Zeichen ohne gleiche Bedeutung. „auto“ und „wagen“ zeigen einen möglichen Bedeutungsbezug ohne gemeinsame Dreierfolge. Eine Zeichenliste beantwortet somit eine andere Frage als das Lesen eines vollständigen Satzes.
Wortgrenzen müssen zur beschriebenen Methode passen
In der offiziellen Dokumentation zu CountVectorizer wird zwischen den Varianten „char“ und „char_wb“ unterschieden. „char“ kann Ausschnitte über Wortgrenzen hinweg bilden. „char_wb“ berücksichtigt Wörter getrennt und ergänzt an Wortanfang und Wortende Leerzeichen. Die Auswahl der N-Gramm-Längen wird ebenfalls ausdrücklich eingestellt.
Unsere bisherigen handschriftlichen Einzelwortlisten enthalten keine zusätzlichen Rand-Leerzeichen. Sie dürfen deshalb nicht als unveränderte Ausgabe der Variante „char_wb“ ausgegeben werden. Für eine nachvollziehbare Vorführung reicht es nicht, irgendeinen Bibliotheksnamen dazuzuschreiben: Die beschriebene Einstellung muss zum gezeigten Ergebnis passen.
Ein kleines Prüfblatt für den Berufsalltag
Wenn Sie einen eigenen Lernversuch dokumentieren, können Sie die folgenden Angaben zusammen festhalten. Das ist ein praktischer Arbeitsvorschlag für unsere Beispiele, kein allgemeiner Softwarestandard:
- Welche Originaltexte wurden verglichen?
- Wurden Großbuchstaben, Leerzeichen oder Satzzeichen verändert?
- Welche Fensterlänge wurde verwendet?
- Wurden zusätzliche Randzeichen ergänzt?
- Welche Ausschnitte sind tatsächlich gemeinsam?
- Welche fachliche Entscheidung darf aus dem Vergleich ausdrücklich nicht folgen?
Für die beiden Rechnungs-Schreibweisen würde auf dem Blatt stehen: Kleinschreibung bereits vorhanden, Fensterlänge drei, keine ergänzten Randzeichen, vier gemeinsame Ausschnitte. Die Schlussfolgerung bliebe begrenzt auf diese Darstellung. Eine Rechnungskorrektur, Dokumentenfreigabe oder Zusammenführung von Datensätzen wäre damit nicht genehmigt.
FAQ zu Zeichen-N-Grammen bei KI
Sind Zeichen-N-Gramme immer ganze Wörter?
Nein. In unserem Beispiel ist „hnu“ ein Ausschnitt aus „rechnung“, aber kein vollständiges Wort. Die Länge bezieht sich hier auf Zeichen.
Beweisen viele gemeinsame Ausschnitte einen Tippfehler?
Nein. Schon „haus“ und „maus“ teilen bei unserer Einstellung einen Ausschnitt. Ob ein Fehler vorliegt, muss gesondert beurteilt werden.
Arbeitet jede KI mit dieser Darstellung?
Das lässt sich aus der Bezeichnung „KI“ nicht ableiten. Unsere Beispiele erklären eine konkrete Textdarstellung, nicht sämtliche Sprachmodelle oder Suchprodukte.
Fazit: Erst die Darstellung verstehen, dann das Ergebnis bewerten
Zeichen-N-Gramme bei KI machen kleine Schreibmuster sichtbar. Die eigenen Beispiele zeigen sowohl erhaltene Ausschnitte bei einem Tippfehler als auch Grenzen für Bedeutungsurteile. Benennen Sie deshalb zuerst die Vergleichsregeln und formulieren Sie anschließend nur die Schlussfolgerung, die der Versuch tatsächlich trägt.
Sie möchten KI-Begriffe für Ihren beruflichen Alltag systematischer einordnen? Informieren Sie sich über die KI-Grundlagenkompetenzen für die digitale Arbeitswelt oder besprechen Sie Ihre Lernziele über den Kontakt zu GrandEdu Media. Der Artikel ist ein eigenständiger Lernimpuls und keine Zusage bestimmter Kursinhalte oder Lernergebnisse.