Was ist ein Crawler?
Kurz gesagt
Bevor eine Website bei Google auftauchen kann, muss Google sie erst einmal kennen. Dafür sind Crawler da. Hier erfährst du in 2 Minuten, was ein Crawler macht und was er von dir braucht.
Das Wichtigste in Kürze
- Computerprogramm, kein Mensch
- Liest Seiten im Internet
- Auch Bot oder Spider genannt
- Startet auf einer bekannten Seite
- Folgt jedem Link weiter
- So entdeckt er neue Seiten
- Crawler sammelt Inhalte ein
- Index ist das Inhaltsverzeichnis
Zum Nachlesen: Was im Video sagt
EinleitungBevor eine Website bei Google auftauchen kann, muss Google sie erst einmal kennen. Dafür sind Crawler da. Hier erfährst du in 2 Minuten, was ein Crawler macht und was er von dir braucht.
Ein Crawler ist ein LeseprogrammEin Crawler ist ein Programm, das Websites automatisch aufruft und liest. Man nennt ihn auch Bot oder Spider. Google nennt seinen Crawler Googlebot.
Er folgt Links wie WegweisernStell dir eine Stadt vor, in der an jeder Ecke Wegweiser stehen. Der Crawler läuft los und folgt einem Wegweiser nach dem anderen. Links auf Websites sind genau solche Wegweiser: Über sie findet der Crawler Seiten, die er noch nicht kannte.
Danach kommt der IndexWas der Crawler liest, wandert in den Index. Der Index ist wie das Inhaltsverzeichnis einer riesigen Bibliothek: Dort steht, welche Seite worum geht. Wenn jemand sucht, schaut die Suchmaschine nicht im Internet nach, sondern in diesem Verzeichnis.
Was der Crawler brauchtEin Crawler kann nur lesen, was erreichbar und verlinkt ist. Seiten ohne einen einzigen Link dorthin sind wie ein Laden ohne Straße davor. Und Text, der nur als Bild existiert, kann er schlecht verstehen.
Auch KI-Suchen crawlenAuch KI-Suchen schicken Programme los, die Websites lesen. Die Grundregel bleibt dieselbe: Was nicht gelesen werden kann, kann auch nicht in einer Antwort vorkommen. In einer Datei namens robots.txt legst du fest, welche Bereiche ein Bot besuchen darf.
Zum SchlussMerke dir die Reihenfolge: crawlen, indexieren, ranken. Ohne den ersten Schritt passiert der Rest nicht. Sorge also dafür, dass deine Seiten erreichbar, verlinkt und lesbar sind.
