John Müller von Google hat klargestellt, dass das "nofollow"-Attribut bei Links nicht verhindert, dass die verlinkten Seiten indexiert werden. Es ist ein weit verbreiteter Irrglaube, dass das Hinzufügen von "nofollow" zu einem Link die Indexierung der Ziel-URL durch Suchmaschinen stoppt. Das ist jedoch nicht der Fall. Während "nofollow" Google anweist, keinen PageRank an die verlinkten Seiten weiterzugeben, bedeutet dies nicht, dass diese Seiten niemals indiziert werden. Um eine Seite effektiv vor der Indexierung zu schützen, empfiehlt Müller die Verwendung des "noindex"-Tags im Robots-Meta-Tag oder im HTTP-Header der betreffenden Seite.
Google hat bereits 2020 angekündigt, dass "nofollow"-Links zukünftig für das Crawling und die Indexierung berücksichtigt werden können. Dies unterstreicht die Wichtigkeit, Links bewusst und überlegt einzusetzen. Will man Links wirklich vom Index ausschließen, ist ein explizites "noindex" unumgänglich. Suchmaschinen können auf verschiedene Weise auf URLs stoßen, und es lässt sich nicht immer vorhersehen, welchen Weg sie nehmen.
Für Webseitenbetreiber, die Tausende von URLs auf "noindex" setzen müssen und Bedenken wegen des Google Caffeine Updates haben, weil es zu viele URLs sind, ist es ratsam, von Anfang an eine geeignete Strategie für den Umgang mit diesen URLs zu wählen. Methoden wie die Verwendung eines JavaScript-OnClick-Events zur Maskierung der Links, die Anwendung von PRG-Patterns (Post/Redirect/Get, bei dem Links durch ein HTML-Formular maskiert werden) oder spezifische Disallow-Direktiven in der robots.txt-Datei können hierbei hilfreich sein.
Es ist nun ein guter Zeitpunkt, die eigene Webseite mit Tools wie Screaming Frog neu zu crawlen, um festzustellen, ob und wie "nofollow"- und "noindex"-Direktiven wirksam eingesetzt werden. Dieser Prozess hilft dabei, die Sichtbarkeit und Indexierung der Webseiteninhalte im Einklang mit den eigenen SEO-Zielen zu steuern.
