Crawling und Search Console
Esta página aún no está disponible en tu idioma.
Die Immobilien-Übersicht von WP-ImmoMakler ist unter mehr Adressen erreichbar, als in den Index einer Suchmaschine gehören: Sortier-Links, die Rücksprung-Adressen des Infinite Scrolling, der Rahmen der Karte. Diese Adressen sind für den Browser Ihrer Besucher gedacht. Für Suchmaschinen sind sie Kopien einer Seite, die sie bereits kennen – und in der Google Search Console tauchen sie als Einträge auf, die nichts über die Auffindbarkeit Ihrer Immobilien aussagen.
Dieser Artikel beschreibt, welche Adressen das sind, wie WP-ImmoMakler damit umgeht und welche Voraussetzung Ihr Server dafür erfüllen muss.
Welche Adressen betroffen sind
Abschnitt betitelt „Welche Adressen betroffen sind“| Adresse | Zweck | Beispiel |
|---|---|---|
?im_order=… | Sortier-Links der Immobilien-Übersicht | /immobilien/?im_order=priceasc |
/page/12/loadall/ | Rücksprung “Zur Übersicht” beim Infinite Scrolling: lädt die Seiten 1 bis 12 auf einmal, damit Besucher an der Stelle weiterlesen, an der sie eine Immobilie geöffnet haben | /immobilien/page/12/loadall/ |
?callback=map-iframe | Der Rahmen, in dem die Karte einer Immobilie oder der Übersicht geladen wird | /immobilien/haus-am-see/?callback=map-iframe&immomakler_map_frame=map-1 |
Jede dieser Adressen trägt bereits ein Signal, das Suchmaschinen den Weg weist: Die Sortier-Links sind mit rel="nofollow" ausgezeichnet; mit einem SEO-Plugin wie Yoast SEO oder Rank Math verweisen sie und die /loadall/-Seiten außerdem per Canonical-Tag auf die reguläre Seite. Der Kartenrahmen leitet einen Aufruf ohne Herkunftsseite – so kommt ein Crawler an – per HTTP 301 auf die Immobilien-Übersicht weiter. Der Rahmen selbst sendet zusätzlich X-Robots-Tag: noindex, nofollow.
Alle diese Signale liest eine Suchmaschine erst, nachdem sie die Adresse abgerufen hat. Der Abruf selbst findet also weiterhin statt, und genau der erscheint in der Search Console.
Wie WP-ImmoMakler Suchmaschinen fernhält
Abschnitt betitelt „Wie WP-ImmoMakler Suchmaschinen fernhält“WP-ImmoMakler ergänzt die robots.txt Ihrer Website um eine eigene Regelgruppe, die den Abruf dieser Adressen von vornherein unterbindet:
User-agent: *Disallow: /*callback=map-iframeDisallow: /*im_order=Disallow: /*/loadall/Die Regeln gelten für alle Crawler, die das *-Platzhalterzeichen verstehen – Google, Bing und die übrigen großen Suchmaschinen. Für Ihre Besucher ändert sich nichts: Der Browser lädt Kartenrahmen, Sortierung und Rücksprung wie bisher.
Voraussetzung: WordPress muss die robots.txt ausliefern
Abschnitt betitelt „Voraussetzung: WordPress muss die robots.txt ausliefern“WordPress erzeugt die robots.txt dynamisch – es gibt keine Datei auf dem Server, die Anfrage an /robots.txt beantwortet WordPress selbst. Nur dann können Plugins wie WP-ImmoMakler oder Ihr SEO-Plugin ihre Regeln ergänzen. Zwei Konstellationen setzen das außer Kraft:
- Der Webserver beantwortet die Anfrage selbst. Manche nginx- oder Apache-Konfigurationen behandeln
/robots.txtals statische Datei und liefern einen Fehler 404, wenn keine vorhanden ist. Die Anfrage erreicht WordPress dann nie – Ihre Website hat in diesem Fall gar keinerobots.txt, auch nicht die von WordPress und Ihrem SEO-Plugin. - Es liegt eine echte Datei
robots.txtim Hauptverzeichnis. Der Webserver liefert sie direkt aus, WordPress wird nicht gefragt. Die Regeln von WP-ImmoMakler fehlen dann ebenso wie die Ihres SEO-Plugins.
So prüfen Sie den Zustand Ihrer Website:
curl -I https://ihre-website.de/robots.txtAntwortet der Server mit HTTP/2 200 und content-type: text/plain, ist alles in Ordnung. Rufen Sie die Adresse zusätzlich im Browser auf: Enthält die Ausgabe die Zeile Disallow: /*im_order=, kommt sie von WordPress und die Regeln von WP-ImmoMakler sind aktiv.
Antwortet der Server mit 404, greift Konstellation 1. Bitten Sie Ihren Hosting-Anbieter, Anfragen an /robots.txt an WordPress durchzureichen – bei nginx typischerweise über try_files $uri /index.php?$args; für diesen Pfad. Fehlt in der Ausgabe die Zeile, obwohl der Server mit 200 antwortet, liegt Konstellation 2 vor: Ergänzen Sie die drei Disallow-Zeilen aus dem Abschnitt oben in Ihrer Datei von Hand, oder löschen Sie die Datei, damit WordPress die robots.txt wieder erzeugt.
Was in der Search Console zu erwarten ist
Abschnitt betitelt „Was in der Search Console zu erwarten ist“Nach der Umstellung wandern die betroffenen Adressen in der Search Console in den Bereich Durch robots.txt-Datei blockiert. Das ist der gewünschte Zustand: Google nennt die Adressen dort nur, weil es sie noch aus früheren Abrufen kennt, und ruft sie nicht mehr ab. Der Bereich leert sich über einige Wochen von selbst.
Adressen aus früheren Versionen von WP-ImmoMakler, bei denen sich Seitenzahlen aneinandergereiht haben – etwa /immobilien/page/7/page/5/ –, leitet WP-ImmoMakler per HTTP 301 auf die gemeinte Seite weiter, hier /immobilien/page/5/. In der Search Console erscheinen sie damit als Seite mit Weiterleitung statt als Fehler 404 und verschwinden ebenfalls von selbst.
Drei Berichte sind dagegen kein Grund zur Sorge, auch wenn sie viele Einträge zeigen:
- Alternative Seite mit richtigem kanonischen Tag – Google hat eine Adresse abgerufen, deren Canonical-Tag auf eine andere Seite zeigt, und ist der Empfehlung gefolgt.
- Seite mit Weiterleitung – Google hat eine Adresse abgerufen, die per 301 weiterleitet, und die Zieladresse übernommen.
- Durch robots.txt-Datei blockiert – siehe oben.
Ein Eintrag in diesen Berichten bedeutet nicht, dass eine Ihrer Immobilien schlechter auffindbar ist. Kritisch sind allein die Berichte, in denen eine Immobilien-Detailseite oder die Übersicht selbst steht – etwa Nicht gefunden (404) für eine Immobilie, die noch angeboten wird.