Robots.txt für Magento 2: Eine vollständige Anleitung

Hinweis: Der folgende Artikel hilft Ihnen dabei: Robots.txt für Magento 2: Eine vollständige Anleitung

Aus SEO-Sicht ist es äußerst wichtig, die Magento 2 robots.txt-Datei für Ihre Website zu konfigurieren. Eine robots.txt-Datei gibt an, welche Seiten einer Website von Webcrawlern indiziert und analysiert werden sollen. Die robots.txt-Datei spielt eine große Rolle bei SEO.

Bei SEO geht es darum, die richtigen Signale an Suchmaschinen zu senden – und robots.txt für Magento 2 ist eine der besten Möglichkeiten, Suchmaschinen Ihre Crawling-Präferenzen mitzuteilen.

Was ist Robots.txt?

Grundsätzlich teilen robots.txt-Dateien Suchmaschinen-Crawlern mit, auf welche URLs auf Ihrer Website sie zugreifen können. Dies dient hauptsächlich dazu, eine Überlastung Ihrer Website mit Anfragen zu verhindern. Robots.txt-Dateien dienen hauptsächlich dazu, die Aktivitäten guter Bots zu verwalten, da schlechte Bots den Anweisungen wahrscheinlich nicht folgen. Um zu verhindern, dass eine Webseite gecrawlt wird, blockieren Sie sie mit kein Index oder die Seite oder Website mit einem Passwort schützen.

Warum ist Robots.txt wichtig?

robots.txt für Magento 2 hilft Ihnen nicht nur dabei, Suchmaschinen-Crawler von den weniger wichtigen Seiten Ihrer Website abzulenken, sondern bietet auch die folgenden Vorteile.

• Dies kann dazu beitragen, das Auftreten von doppeltem Inhalt zu verhindern. Manchmal erfordert Ihre Website möglicherweise mehr als eine Kopie eines Inhalts. Wenn Sie beispielsweise eine druckbare Version eines Inhalts erstellen, liegen möglicherweise zwei verschiedene Versionen vor. Google hat eine bekannte Strafe für doppelten Inhalt. Dies würde es Ihnen ermöglichen, dies zu vermeiden.
• Mit Magento 2 robots.txt können Sie in der Entwicklung befindliche Seiten vor der Indizierung ausblenden, bevor sie bereit sind.
• Außerdem gibt es möglicherweise Seiten auf Ihrer Website, die die Öffentlichkeit nicht sehen soll – beispielsweise haben Sie möglicherweise nur ein einfaches Produkt hinzugefügt. Ein weiteres Beispiel wäre eine Dankesseite, nachdem jemand einen Kauf getätigt oder sich registriert hat. Diese Seiten sollten nicht in einer Suchmaschine erscheinen, sodass es für Google oder andere Suchmaschinen sinnlos ist, sie zu indizieren.

So konfigurieren Sie Robots.txt für Magento 2

Bitte befolgen Sie die folgenden Schritte, um Ihre robots.txt-Datei in Magento 2 zu konfigurieren.

Schritt 1: Melden Sie sich bei Ihrem an Administrationsmenü.

Schritt 2: Gehe zu Inhalt > Design > Konfiguration.

Schritt 3: Suchen Sie im geöffneten Raster die Linie Globaldrücke den Bearbeiten Link, und öffnen Sie die Suchmaschinenroboter Tab.

Schritt 4: Jetzt wählen Sie was Standardroboter Sie benötigen Folgendes:

• INDEX, FOLGEN: Suchmaschinen indizieren Ihre Seiten regelmäßig und überprüfen die Änderungen.
• NOINDEX, FOLGEN: Der Suchmaschinen-Bot indiziert Ihre Website nicht, überwacht aber dennoch Änderungen.
• INDEX, NOFOLLOW: Der Suchbot indiziert Ihren Shop einmal, kommt aber nie wieder zurück, um die Änderungen zu verfolgen.
• NOINDEX, NOFOLLOW: Diese Einstellung verbirgt Ihren Shop vor Suchmaschinen-Bots.

Schritt 5: Mit der Anweisung „Benutzerdefinierte bearbeiten“ der Zeile „robots.txt-Datei“ können Sie benutzerdefinierte Anweisungen schreiben. Um die Standardeinstellungen zurückzusetzen, klicken Sie auf Zurücksetzen Klicken Sie auf die Schaltfläche, mit der alle Ihre benutzerdefinierten Anweisungen entfernt werden

Schritt 6: Klicke auf Konfiguration speichern um die Änderungen anzuwenden.

Beispiele für benutzerdefinierte Magento 2 Robots.txt-Anweisungen

Wie oben erwähnt, können Sie benutzerdefinierte Anweisungen für die robot.txt-Konfigurationen von Magento 2 definieren. Hier sind einige Beispiele:

Vollzugriff zulassen

User-Agent:*

Nicht zulassen:

Zugriff auf alle Ordner verbieten

User-Agent:*

Nicht zulassen: /

Blockieren Sie den Google Bot aus einem Ordner

Benutzeragent: Googlebot

Nicht zulassen: /Unterordner/

Blockieren Sie den Google Bot von einer Seite

Benutzeragent: Googlebot

Nicht zulassen: /subfolder/page-url.html

Standardanweisungen

Nicht zulassen: /lib/

Nicht zulassen: /pkginfo/

Nicht zulassen: /report/

Nicht zulassen: /var/

Nicht zulassen: /catalog/

Nicht zulassen: /Kunde/

Nicht zulassen: /rezension/

Nicht zulassen: /*.php$

Beschränken Sie Checkout-Seiten und Benutzerkonten

Nicht zulassen: /checkout/

Nicht zulassen: /onestepcheckout/

Nicht zulassen: /Kunde/

Nicht zulassen: /Kunde/Konto/

Nicht zulassen: /customer/account/login/

Katalogsuchseiten einschränken

Nicht zulassen: /catalogsearch/

Nicht zulassen: /catalog/product_compare/

Nicht zulassen: /catalog/category/view/

Nicht zulassen: /catalog/product/view/

Doppelte Inhalte nicht zulassen

Nicht zulassen: /tag/

Nicht zulassen: /rezension/

So fügen Sie eine Sitemap zur Robots.txt-Datei in Magento 2 hinzu

Eine Sitemap ist eine XML-Datei, die eine Liste aller Webseiten Ihrer Website sowie Metadaten enthält (Metadaten sind Informationen, die sich auf jede URL beziehen). Genauso wie eine robots.txt-Datei funktioniert, ermöglicht eine Sitemap Suchmaschinen, einen Index aller Webseiten Ihrer Website an einem Ort zu durchsuchen.

Ermöglichen Übermittlung an Robots.txt In Magento 2 müssen Sie die folgenden Schritte ausführen:

Schritt 1: Melden Sie sich bei Ihrem an Administrationsmenü.

Schritt 2. Gehen Sie zu Stores > Einstellungen > Konfiguration und wähle XML-Sitemap im Katalog Tab.

3. Öffnen Sie die Einstellungen für die Übermittlung an Suchmaschinen Tab und legen Sie fest Ja im Aktivieren Sie die Übermittlung an Robots.txt runterfallen.

4. Klicken Sie auf Konfiguration speichern Taste.

Wenn Sie möchten, dass diese Option automatisch aktiviert wird, navigieren Sie zu und legen Sie im Feld „Benutzerdefinierte Anweisung bearbeiten“ der robot.txt-Datei die Anweisungen zum Hinzufügen der Sitemap wie folgt fest:

Sitemap: https://magefan.com/pub/sitemaps/sitemap.xml

Sitemap: https://magefan.com/pub/sitemaps/blog_sitemap.xml

Sitemap: https://magefan.com/pub/sitemaps/sitemap_ua.xml

Sitemap: https://magefan.com/pub/sitemaps/blog_sitemap_ua.xml

Für Suchmaschinen ist es einfacher, wenn Sie über eine robots.txt-Datei verfügen, die die neueste Sitemap angibt, anstatt jede Seite der Website zu crawlen und sie dann Tage später wiederzufinden. Wenn Ihre Website keine gute Leistung erbringt und die Webseiten nicht korrekt indiziert sind, ist Ihre Position in den Suchmaschinenergebnissen gefährdet. Für die Leistung Ihrer Website ist es außerdem sehr wichtig, die Website optimiert zu halten. Dieser Artikel zur Geschwindigkeitsoptimierung für Magento 2 kann dabei weiterhelfen.

Jetzt wissen Sie

Jetzt wissen Sie, wie Sie Magento 2 Robots.txt für Ihre Website erstellen.

Wenn Sie Magento verwenden, sollten Sie ein vollständig verwaltetes Magento-Hosting von Hostinger in Betracht ziehen. Zu unseren Plänen gehören Varnish, PHP 7+, ein integriertes CDN und Bildkomprimierung für erstklassige Leistung.

Profitieren Sie von unseren kostenlosen Magento-Site-Migrationen und wechseln Sie noch heute zu Hostinger.

Entdecken Sie unsere vollständig verwalteten Magento-Pläne, um loszulegen.