Was Robots sind und was eine robots.txt Datei bewirkt.

Beschreibt in Beispielen warum die Datei robots.txt so wichtig ist damit Seiten in Suchmaschinen auffindbar werden.

Anleitung von SelfHtml zur Zugriffskontrolle für Suchmaschinen mit der robots.txt-Datei.

Werkzeug, mit welchem man eine angepasste robots.txt-Datei online erstellen kann.

Kurzeinleitung zur Konfiguration einer robots.txt Datei.