<meta name="robots">

Der robots-Wert des name-Attributs des <meta>-Elements (häufig als "Robots-Tag" bezeichnet) definiert das Crawl- und Indexierungsverhalten, das Web-Crawler mit der Seite verwenden sollten. Wenn angegeben, definieren Sie Anweisungen für Crawler im content-Attribut des <meta>-Elements als kommaseparierte Liste von einer oder mehreren Regeln.

Zum Beispiel, um Crawler darauf hinzuweisen, dass eine Seite aus ihren Suchindizes ausgeschlossen werden sollte, kann ein noindex-Wert verwendet werden:

html
<meta name="robots" content="noindex" />

Hinweis: Nur kooperative Roboter befolgen diese Regeln. Ein Crawler muss trotzdem auf die Ressource zugreifen, um Header und Meta-Elemente zu lesen (siehe X-Robots-Tag: Interaction with robots.txt). Wenn Sie den Bandbreitenverbrauch durch Crawler verhindern möchten, ist eine restriktive robots.txt-Datei effektiver als Indexierungsregeln, da sie Ressourcen ganz vom Crawling ausschließt.

Nutzungsnotizen

Ein <meta name="robots">-Element kann die folgenden zusätzlichen Attribute haben:

content

Das content-Attribut muss definiert sein, und sein Wert legt das Indexierungs- und Crawlverhalten für kooperative Suchmaschinenroboter fest. Akzeptiert eines oder mehrere der folgenden Schlüsselwörter als kommaseparierte Liste:

index

Erlaubt dem Roboter, die Seite zu indexieren. Dies ist das Standardverhalten. Wird von allen großen Crawlern verwendet.

noindex

Bitte den Roboter, die Seite nicht zu indexieren. Wird von allen großen Crawlern verwendet.

follow

Erlaubt dem Roboter, Links auf der Seite zu folgen. Dies ist das Standardverhalten. Wird von allen großen Crawlern verwendet.

nofollow

Bitte den Roboter, Links auf der Seite nicht zu folgen. Wird von allen großen Crawlern verwendet.

all

Entspricht index, follow. Verwendet von: Google.

none

Entspricht noindex, nofollow. Verwendet von: Google.

noarchive

Bitte die Suchmaschine, den Seiteninhalt nicht im Cache zu speichern. Verwendet von: Google, Yahoo, Bing.

nosnippet

Verhindert die Anzeige einer Beschreibung der Seite in den Suchmaschinenergebnissen. Verwendet von: Google, Bing.

noimageindex

Bitte, dass diese Seite nicht als verweisende Seite eines indizierten Bildes erscheint. Verwendet von: Google.

nocache

Synonym für noarchive. Verwendet von: Bing.

Beschreibung

Es gibt einige wichtige Überlegungen, die bei der Einstellung eines robots-Meta-Werts zu beachten sind:

  • Nur kooperative Roboter befolgen diese Regeln. Sie verhindern nicht, dass böswillige Akteure wie E-Mail-Harvester die Anweisungen ignorieren.
  • Wenn in einem <meta>-Tag definiert, müssen Roboter die Seite trotzdem aufrufen, um diese Regeln zu lesen. Um die Bandbreite zu reduzieren, sollten Sie stattdessen eine robots.txt-Datei verwenden.
  • Das <meta name="robots">-Tag und die robots.txt-Datei erfüllen unterschiedliche Rollen: robots.txt steuert das Crawling, während das robots-Meta-Tag die Indexierung und anderes Verhalten beeinflusst.
  • Eine durch robots.txt blockierte Seite kann trotzdem indiziert werden, wenn sie von anderen Quellen verlinkt wird.
  • Die noindex-Direktive wird erst wirksam, nachdem der Roboter die Seite erneut besucht hat, daher sollten Sie sicherstellen, dass robots.txt dies nicht verhindert.
  • Einige Werte, wie index vs. noindex oder follow vs. nofollow, schließen sich gegenseitig aus. Das Verhalten ist undefined, wenn widersprüchliche Werte verwendet werden.
  • Roboter wie Google, Yahoo und Bing unterstützen diese Direktiven auch im HTTP-Header X-Robots-Tag, was für nicht-HTML-Inhalte wie PDFs oder Bilder nützlich ist.

Beispiele

Verwendung eines Robots-Schlüsselworts

Das folgende Beispiel verwendet nofollow, um anzufordern, dass ein Crawler keine Links auf einer Seite verfolgt, und noindex, um anzufordern, dass die Seite von der Indexierung ausgeschlossen wird:

html
<meta name="robots" content="nofollow, noindex" />

Spezifikationen

Obwohl nicht Teil einer Spezifikation, ist es eine de-facto Standardmethode zur Kommunikation mit Suchmaschinen-Bots, Web-Crawlern und ähnlichen User Agents.

Browser-Kompatibilität

Dieses Merkmal ist für Crawler zur Beachtung vorgesehen, daher ist "Browser"-Kompatibilität nicht anwendbar.

Siehe auch