Gib in der URL-Zeile des Browsers die Startseitenadresse mit /robots.txt ein und überprüfe Folgendes:
- Sind wichtige Website-Bereiche für Bots geblockt?
- Ist ein Link auf die Sitemap enthalten?
Bsp. https://www.filzgleiter-shop.de/robots.txt → enthält Link auf Sitemap und alle anderen wichtigen Daten
↳ Das ist in Ordnung.
Du kannst auch den robots.txt-Tester des Screaming Frog oder ein Online-Testing-Tool zur Unterstützung verwenden.