Egal was man über die SEO-Community sagen möchte, eins muss man ihr lassen: sie ist erfinderisch. Mitunter wurden dadurch in der Vergangenheit durch kreative SEO-Pioniere Techniken erfunden, die heute zu den Standard-Maßnahmen gehören. Andere Tricks haben sich jedoch nicht durchgesetzt. In einem Post auf dem Social-Media-Dienst Bluesky hat ein Nutzer jetzt einen kreativen Ansatz für ein bekanntes Crawlingproblem gefunden. Was sagt Google dazu?
Um welches Problem geht es? Gerade bei großen Websites mit vielen Unterseiten kann es passieren, dass das Crawl-Budget vorschnell erschöpft ist. Der IT-Mitarbeiter eines Unternehmers mit dem Namen Señor Muñoz kam auf die Idee, die robots.txt Datei der Website einfach zweimal täglich zu ändern. Jeweils am Morgen und am Nachmittag würden dadurch andere Unterseiten für Googles Crawler gesperrt werden und so ein doppeltes Crawlen verhindert werden. Damit würde man auch innerhalb des Crawl-Budgets bleiben.
Googles Antwort? Die ließ nicht lange auf sich warten. John Mueller hält diesen Trick für eine schlechte Idee, weil die Verarbeitung der robots.txt-Datei bis zu 24 Stunden dauern kann. Im schlimmsten Fall würde man also einen Teil der Website für den Crawler komplett sperren. Stattdessen sollte man lieber die Codes 503 und 429 nutzen, wenn das Problem bestehen bleibt. Unternehmer sollten also lieber die Finger von diesem Crawling-Hack lassen.
Wenn Sie weitere Fragen rund um SEO haben, dann schreiben Sie uns heute eine E-Mail an: info@munich-milan.de