Automatische Erkennung von sitemap.xml und Auflistung aller URLs einer Website.
Eine XML-Sitemap listet jede URL auf, die Sie indiziert haben möchten, sowie das Datum der letzten Änderung. Crawler verwenden sie, um neue Inhalte schneller zu entdecken und erneute Besuche zu planen. Dieser Finder durchsucht eine Domain an allen gängigen Sitemap-Speicherorten – /sitemap.xml, /sitemap_index.xml, der robots.txt-Direktive und gängigen CMS-Pfaden – validiert dann die Datei und zählt URLs.
Bis zu 50.000 URLs und 50 MB unkomprimiert. Größere Websites werden in mehrere Sitemaps innerhalb einer Sitemap-Indexdatei aufgeteilt.
Kleine Websites werden normalerweise auch ohne Sitemap entdeckt. Sitemaps werden für Websites mit Tausenden von Seiten, neuen Inhalten oder schwacher interner Verlinkung unerlässlich.
Nein. Das Einschließen würde ein widersprüchliches Signal an Crawler senden. Die Sitemap sollte Ihrem kanonischen, indizierbaren Inventar entsprechen.
Nur, wenn sich der Inhalt tatsächlich ändert. Das Aufblähen von 'lastmod' bei jedem Crawl führt dazu, dass Suchmaschinen dem Feld misstrauen.