Was steht in der robots.txt?
Kurz gesagt
Fast jede Website hat eine winzige Textdatei, die Suchmaschinen zuerst lesen. Sie heißt robots.txt. In diesem Video schauen wir, was darin steht und warum das wichtig ist, wenn deine Seite bei Google oder in KI-Suchen auftauchen soll.
Das Wichtigste in Kürze
- Einfache Textdatei im Hauptordner
- Erreichbar unter deineseite.de/robots.txt
- Erste Anlaufstelle für Crawler
- Wie ein Schild im Museum
- Sagt: hier bitte nicht weitergehen
- Keine Mauer, nur eine Bitte
- Crawler sind automatische Suchprogramme
- Sie sammeln Seiten für den Index
Zum Nachlesen: Was im Video sagt
EinleitungFast jede Website hat eine winzige Textdatei, die Suchmaschinen zuerst lesen. Sie heißt robots.txt. In diesem Video schauen wir, was darin steht und warum das wichtig ist, wenn deine Seite bei Google oder in KI-Suchen auftauchen soll.
Was die robots.txt istDie robots.txt ist eine schlichte Textdatei, die direkt im Hauptordner deiner Website liegt. Du erreichst sie, indem du hinter deine Adresse ein Schrägstrich und robots.txt schreibst. Suchmaschinen lesen sie meist als Erstes, bevor sie sich deine Seiten ansehen.
Ein Hinweisschild am EingangStell dir ein Museum vor. Am Eingang hängt ein Schild: Räume eins bis fünf sind offen, der Lagerraum bleibt zu. Genau so funktioniert die robots.txt. Sie ist allerdings keine abgeschlossene Tür, sondern eine höfliche Bitte, an die sich seriöse Besucher halten.
Wer hier liestEin Crawler ist ein Programm, das automatisch durchs Internet läuft und Seiten einsammelt. Diese Seiten landen dann im Index, also im großen Verzeichnis der Suchmaschine. Auch die Bots von KI-Suchen lesen die robots.txt, bevor sie Inhalte für ihre Antworten verwenden.
Die wichtigsten ZeilenUser-agent legt fest, welcher Bot gemeint ist. Disallow benennt Bereiche, die er auslassen soll, Allow erlaubt einzelne Ausnahmen. Ganz unten steht oft ein Link zur Sitemap, also zur Liste aller Seiten, damit nichts übersehen wird.
Typische FehlerEin einziges falsches Zeichen kann die komplette Website für Suchmaschinen sperren. Auch Dateien für Design und Bilder sollten lesbar bleiben, sonst sieht die Suchmaschine deine Seite nur halb. Und wichtig: Was in der robots.txt steht, kann jeder lesen. Echte Geheimnisse gehören dort nicht hinein.
Zum SchlussDie robots.txt ist klein, aber sie entscheidet mit, welche Türen für Suchmaschinen und KI-Bots offen stehen. Ruf deine eigene Datei einmal im Browser auf und schau nach, was dort steht. Im nächsten Video geht es um die Sitemap, die passende Übersicht aller deiner Seiten.
