Die robots.txt ist eine Textdatei, die auf einer Website platziert wird, um Suchmaschinen-Robots (auch bekannt als “Crawler” oder “Spiders”) anzuweisen, welche Teile der Website sie durchsuchen dürfen und welche nicht.

Für E-Commerce- und Shopware 6-Seiten ist die robots.txt besonders wichtig, da sie die Sichtbarkeit der Website in Suchmaschinenergebnissen beeinflusst. Durch die richtige Konfiguration der robots.txt kann der Zugriff von Suchmaschinen auf bestimmte Seiten, Verzeichnisse oder Dateien gesteuert werden. Dies ist hilfreich, um sensible Informationen wie Kundendaten oder vertrauliche Inhalte zu schützen, die nicht in den Suchmaschinenergebnissen erscheinen sollen.

Die robots.txt kann auch genutzt werden, um bestimmte Bereiche der Website von der Indexierung auszuschließen, beispielsweise Seiten mit doppeltem Inhalt oder Seiten, die für Suchmaschinen nicht relevant sind. Dadurch kann die Suchmaschinenoptimierung verbessert und die Sichtbarkeit der relevanten Seiten erhöht werden.

Es ist wichtig, die robots.txt sorgfältig zu konfigurieren, um sicherzustellen, dass sie die gewünschten Seiten und Inhalte für Suchmaschinen zugänglich macht, während vertrauliche Informationen geschützt bleiben und die Optimierung der Website nicht beeinträchtigt wird.

So könnte eine robots.txt für Shopware 6 aussehen

User-agent: *
Allow: /
Disallow: /account/
Disallow: /bundles/
Disallow: /checkout/
Disallow: /navigation/
Disallow: /widgets/
Disallow: /search?search=

Sitemap: www.shopurl.de/sitemap.xml

Wichtig die www.shopurl.de bitte korrigieren.

Quellen:

• https://developers.google.com/search/docs/crawling-indexing/robots/create-robots-txt?hl=de