Hin und wieder muss ein Webworker seine Webseite aus den Augen des Google Bots sehen. Ich zeige hier drei Wege, wie Du die Webseiten wie durch einen GoogleBot abrufen kannst.
Wenn Google beim Crawlen der Webseite Fehler entdeckt, die Du entweder im Browser nicht nachvollziehen kannst oder Du sehen willst, was andere Webseiten dem Googlebot an Inhalten präsentieren, dann können die folgenden drei Varianten dabei sehr behilflich sein eine Webseite wie ein Googlebot abzurufen:
Webseite Aufrufen wie durch Googlebot
Webseite Aufrufen wie durch Googlebot mit cURL
Mit cURL lässt sich der UserAgent auf den GoogleBot einstellen, so dass cURL die Webseite wirklich so abrufen kann wie der Google Bot. Das funktioniert folgendermaßen:
Googlebot Desktop
curl -A "Googlebot/2.1" http://www.url.de
Googlebot Mobile
curl -A "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" http://www.url.de
In Datei Speichern
curl -A "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" http://www.url.de -o "Dateiname.html"
Webseite Header Aufrufen wie durch Googlebot mit cURL
Um die Headerinformationen zu bekommen, muss man den Befehl wie folgt erweitern:
Googlebot Desktop
curl -I -L -A "Googlebot/2.1" http://www.url.de
Googlebot Mobile
curl -I -L -A "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" http://www.url.de
Webseite Aufrufen wie durch Googlebot mit Web-Sniffer
Mit dem Web-Sniffer lassen sich Webseiten unter anderem abrufen, wie durch den Googlebot. Dazu einfach unter User Agent den Googlebot auswählen. Die Ausgabe zeigt dann auf einen Blick, wie die Headerinformationen und das zurückgelieferte HTML aussehen.
Webseite Aufrufen wie durch Googlebot mit Google Webmaster Tools
Das ist die unflexibelste Lösung, da hierzu nur eigene Webseiten, die unter Google Webmaster Tools angemeldet sing untersucht werden können und Google hier nur ein Erfolg oder Misserfolg meldet. Auf diese Weise lassen sich bei Fehlern weder Headerinformationen ausgeben lassen, noch die Response, die den Fehler verursacht hat.
Dazu passt auch
Letzte Änderung: