Eine Seite soll nicht in Google erscheinen. Also schnell einen Eintrag in der robots.txt setzen? Genau dieser Gedankensprung kann zum falschen Ergebnis führen. Wer noindex oder robots.txt sinnvoll einsetzen möchte, muss zuerst unterscheiden: Geht es um den Abruf durch einen Crawler, um die Aufnahme in Suchergebnisse oder um den Schutz vertraulicher Inhalte?
Dieser Beitrag richtet sich an Einsteigerinnen und Einsteiger im digitalen Marketing, die technische Einstellungen verständlich mit dem Zweck einer Seite verbinden möchten. Ein selbst entwickelter, fiktiver Lernfall zeigt, warum zwei ähnlich klingende Sperren unterschiedliche Aufgaben erfüllen. Er ist keine Diagnose einer realen Website und kein Auftrag, Einstellungen ungeprüft zu ändern.
Eine Website, drei Absichten
Unsere fiktive Agentur betreut die Website eines Veranstaltungsanbieters. Das Team bespricht drei Bereiche: eine öffentliche Bestätigungsseite nach einer Newsletter-Anmeldung, viele automatisch erzeugte Suchansichten und eine interne Liste mit unveröffentlichten Referentenhonoraren. Alle drei sollen „nicht gefunden werden“. Trotzdem ist diese Formulierung zu ungenau.
Bei der Bestätigungsseite dürfen Menschen mit dem Link den allgemeinen Dankestext lesen; personenbezogene Angaben enthält sie nicht. Nur ein eigenständiger Google-Treffer ist nicht gewünscht. Bei den Suchansichten geht es zunächst um wiederholte Abrufe, die das Team untersuchen möchte. Die Honorarliste dagegen soll ausschließlich berechtigten Personen offenstehen. Bevor jemand eine technische Regel auswählt, müssen diese Absichten getrennt aufgeschrieben werden.
Abrufen und indexieren sind zwei verschiedene Vorgänge
Google beschreibt in seinem Leitfaden zur Funktionsweise der Suche drei Phasen: Crawling, Indexierung und Bereitstellung von Suchergebnissen. Beim Crawling ruft Software Inhalte ab. Bei der Indexierung werden Informationen über eine Seite verarbeitet und gegebenenfalls im Index gespeichert. Für eine Suchanfrage werden anschließend passende Ergebnisse ausgewählt.
Eine lesbare Seite ist deshalb nicht automatisch ein Suchtreffer. Umgekehrt kann eine bekannte URL eine Rolle spielen, obwohl ihr aktueller Inhalt nicht abgerufen werden darf. Google garantiert weder Crawling noch Indexierung oder eine bestimmte Suchposition. Für unser Team bedeutet das: „Der Browser zeigt die Seite“ beantwortet eine andere Frage als „Google kann ihre Anweisung lesen“.
robots.txt spricht den Abruf an
Die offizielle Einführung zu robots.txt erklärt die Datei als Steuerung für Crawler-Zugriffe. Eine Disallow-Regel kann den Abruf passender URLs durch Googlebot verhindern. Sie ist bei Webseiten jedoch kein verlässlicher Ausschluss aus Suchergebnissen: Google kann eine URL beispielsweise über Links anderer Seiten kennen und ohne Abruf ihres Inhalts indexieren.
In unserem Lernfall wären die Suchansichten daher ein Anlass, zunächst die Abrufe und ihren Nutzen zu untersuchen. Eine robots.txt-Regel nur deshalb einzusetzen, weil die Seiten wenig Besucher erhalten, wäre noch keine begründete Entscheidung. Das Team sollte wissen, welche Adressen und welcher Crawler betroffen sind und welches konkrete Abrufproblem gelöst werden soll.
noindex spricht die Suchaufnahme an
Nach Googles Dokumentation zu noindex kann die Regel über ein Robots-Meta-Tag im HTML-Kopf oder einen HTTP-Antwortheader ausgeliefert werden. Google muss die Seite erreichen und die Regel lesen können. Ein noindex-Eintrag in der robots.txt wird von Google nicht unterstützt.
Für unsere öffentliche Bestätigungsseite passt deshalb ein anderer Prüfauftrag: Die zuständige technische Person soll klären, wie das verwendete System noindex korrekt ausliefert, ohne den erforderlichen Abruf zu blockieren. Ein im Redaktionssystem angehaktes Kästchen ist für die Abnahme allein noch kein Beleg. Entscheidend ist die tatsächlich ausgelieferte Seite.
Warum die vermeintliche doppelte Absicherung scheitern kann
Das Team schlägt zunächst beides vor: noindex auf der Seite und zusätzlich eine Crawling-Sperre. Damit kann ausgerechnet die neue Anweisung unerreichbar werden. Eine verschlossene Tür und ein Hinweis dahinter sind keine stärkere Botschaft an jemanden, der draußen bleiben muss. Diese Analogie erklärt den Konflikt, nicht die gesamte Verarbeitung einer Suchmaschine.
Im Übungsprotokoll erhält die Kombination deshalb den Vermerk „Ziel und Lesbarkeit widersprechen sich“. Sie wird nicht durch weitere pauschale Sperren ergänzt. Erst wird geprüft, ob Googlebot die relevante Anweisung überhaupt erhalten kann. Das erspart dem Team eine Diskussion darüber, welche der beiden Einstellungen vermeintlich „stärker“ sei.
Die Honorarliste ist kein SEO-Problem
Weder eine Crawling-Regel noch noindex ist eine Zugangsberechtigung. Googles robots.txt-Leitfaden warnt ausdrücklich davor, die Datei als Schutz vor unerwünschten Zugriffen zu verstehen: Nicht alle Crawler halten sich an ihre Regeln. Für die interne Liste braucht unser Lernfall deshalb eine fachlich geprüfte Zugriffsbeschränkung, etwa einen geschützten Bereich mit passenden Berechtigungen.
Der Marketingauftrag lautet hier nicht „unsichtbar machen“, sondern „nicht öffentlich bereitstellen“. Das Team gibt diese Frage an die zuständigen Personen für Website-Technik und Informationssicherheit weiter. Eine interne Datei wird für die Lernübung nicht öffentlich hochgeladen, um anschließend eine Suchsperre auszuprobieren.
| Absicht | Passende Prüffrage |
|---|---|
| Abrufe steuern | Welche Crawling-Regel betrifft welche URLs? |
| Google-Suchaufnahme verhindern | Kann Google die noindex-Regel lesen? |
| Vertraulichkeit sichern | Wer darf den Inhalt tatsächlich abrufen? |
Ein Prüfauftrag, der Redaktion und Technik verbindet
Statt „Bitte aus Google entfernen“ formuliert die Agentur für die Bestätigungsseite eine präzisere Aufgabe: „Der allgemeine Text bleibt öffentlich erreichbar, soll aber nicht in der Google-Suche erscheinen. Prüfe die Indexierungsanweisung und ihre Erreichbarkeit.“ Das ist eine eigene Aufgabenformulierung für den Lernfall, keine universelle Konfigurationsvorlage.
Zur Abnahme gehören die genaue URL, das vereinbarte Ziel, die vorgefundene Einstellung, der Prüfzeitpunkt und die verantwortliche Person. Bei Änderungen an Vorlagen soll außerdem eine öffentliche Angebotsseite als Gegenprobe geprüft werden: Eine Regel für Bestätigungsseiten darf nicht versehentlich sämtliche Seiten desselben Systems betreffen.
Googles Hilfe zum URL-Prüftool unterscheidet bekannte Indexdaten vom Live-Test. Der Live-Test untersucht den aktuellen Abruf; sein Ergebnis kann vom bisher erfassten Stand abweichen. Ein erfolgreicher Test garantiert keine Indexierung. Für die Abnahme sind daher Einstellung, Abruf und bisheriger Indexstatus getrennte Beobachtungen, keine austauschbaren Erfolgsmeldungen.
Unser Team verspricht weder eine feste Bearbeitungszeit noch eine sofortige Änderung der Suche. Es dokumentiert, was technisch geprüft wurde und welcher externe Stand noch nachkontrolliert werden muss. Das macht die Übergabe nachvollziehbar, ohne aus einem einzelnen Test einen sicheren Sucherfolg abzuleiten.
FAQ: noindex oder robots.txt?
Kann ich noindex einfach in die robots.txt schreiben?
Für Google nein. Nutze die dokumentierte Umsetzung im HTML-Kopf oder als Antwortheader und prüfe, ob die Anweisung erreichbar ist.
Ist eine Suchsperre gleichzeitig Datenschutz?
Nein. Für vertrauliche Inhalte ist zu klären, wer tatsächlich Zugriff erhält. Eine Suchmaschinenregel ersetzt keine Berechtigungen.
Muss ich dafür selbst programmieren?
Nicht unbedingt. Als Marketingverantwortliche kannst Du Ziel und Abnahmekriterien formulieren. Die Umsetzung hängt vom eingesetzten System ab und sollte durch zuständige, berechtigte Personen geprüft werden.
Fazit: Erst das Ziel benennen, dann die Regel wählen
Der Unterschied zwischen noindex und robots.txt liegt nicht in der Stärke, sondern im Zweck. Unser Lernfall zeigt drei getrennte Aufgaben: Abrufe steuern, Suchaufnahme verhindern und vertraulichen Zugriff begrenzen. Mit dieser Trennung lassen sich technische Rückfragen präziser stellen und Ergebnisse ehrlicher bewerten.
Du möchtest Suchstrategie, Inhalte und technische Rahmenbedingungen gemeinsam verstehen? Prüfe das öffentlich angebotene SEO/SEM Management bei GrandEdu Media. Für die persönliche Kursorientierung steht Dir der Kontakt zu GrandEdu Media offen. Eine Weiterbildung verspricht weder ein bestimmtes Ranking noch einen garantierten beruflichen Erfolg.