Sep 5, 2012

https Zugriffe für Google Bot blockieren

Kategorie: SEO

Herr über die https Zugriffe werden

Irgendwann hat der Google Bot angefangen hier auf dieser Domain die https Variante zu crawlen und dadurch hunderte Fehler zu werfen. Mein Provider routet die https Anfragen nämlich nicht auf ein separates Verzeichnis, sondern liefert einfach eine Kopie der http Version aus. Dadurch entsteht natürlich zusätzlich zu den Fehlern auch noch Duplicate Content. Ich musste also Herr über die Lage werden und irgendwie diesen Fehler beseitigen.

Folgendes habe ich ausprobiert und letzteres (3.) hat dann auch geholfen:

1. Duplicate Content über https durch Canonical Tags auf http beseitigen

Sergej Müller hatte dieses Problem vor zwei Versionen in wpSEO erkannt und bietet seit wpSEO 3.0.2 die Funktionalität https Seitenaufrufe per Canonical auf http zu setzen. Klasse! Hat aber in meinem Fall leider nichts gebracht. Auch nach 3 Monaten lieferte Google mir immer noch Fehler

2. Alle https Anfragen per Redirect auf http umleiten

Die Idee alle https Anfragen per Redirect auf http umzuleiten mag zwar theoretisch gut sein, aber der Google Bot lässt sich davon nicht beirren und crawlt munter weiter – mit noch mehr Fehlern. Wer dennoch diese .httaccess Weiterleitung benötigt, bitte sehr:

RewriteCond %{HTTPS} on
RewriteRule ^(.*)$ http://%{HTTP_HOST}%{REQUEST_URI} [R=301,L]

Damit wird jede https Anfrage einfach auf die dazugehörige http Anfrage per 301 Redirect umgeleitet

3. https per robots.txt blocken

Last but not least hat John Müller (Google Webmaster Team CH) mir heute letztendlich den wahrscheinlich entscheidend richtigen Tip gegeben. Ich solle per htaccess die Zugriffe des Google Bots für https einfach blocken. Per htaccess lässt sich ziemlich simpel eine zweite robots.txt (robots.https.txt) für https Zugriffe festlegen. Hier wird dann der Bot beim Zugriff auf die https Variante einfach nicht durchgelassen:

Update: Achtung nicht nachmachen!!!

Die http Variante sagt zwar beim “Abruf wie Google Bot” alles klar, kann ich lesen, meckert aber gleichzeitig bei den Serverdetails, dass weder das DNS, noch die Serverpfade noch die robots.txt errreicht werden kann. Es scheint fast so, als trennte GWT die einzelnen Seite nicht sauber genug!!

—> siehe Diskussion auf Google Plus

robots.https.txt auf dem Server mit dem folgenden Inhalt anlegen:
```
#https block
User-agent: *
Disallow: /
```

Ganz oben in der .htaccess folgenden Eintrag machen:

RewriteCond %{HTTPS} on
RewriteRule ^robots.txt$ robots.https.txt

Kontrollieren ob durch den Aufruf von http://domain.de/robots.txt und https://domain.de/robots.txt die jeweils richtigen robots.txt Dateien ausgeliefert werden.
apache-https-redirect-htaccess

in Google Webmaster Tools kontrollieren, ob auch alles korrekt erkannt wurde.

Dazu die Seite auch als https Variante in Google Webmaster Tools anlegen
Und dann mit “Abrufen wie Google Bot” die robots.txt abrufen

Das Ergebnis sollte wie folgt sein:

Die http Variante sollte aber noch crawlbar sein:

Keine Gewähr für mögl. Folgen!

Über den Autor

Ich, Viktor Dite bin Shopadmin, Webdeveloper und ein Geek, der das Auge fürs Alltagstaugliche nicht verlieren möchte. Hier im Blog versuche ich beide Welten unter einen Hut zu bringen, so dass auch nicht “Digital Residents” die Möglichkeit bekommen, das Meiste aus der digitalen Welt herauszuholen.

Gefällt Dir der Beitrag?

Wenn Dir der Beitrag gefällt, freue ich mich über jedes Share oder ein Kommentar!