Robots.txt Generator

Standard:  Alle Roboter sind:	erlaubt nicht erlaubt
Crawl-Verzoegerung:	Standard - Keine Verzoegerung 5 Seconds 10 Seconds 20 Seconds 60 seconds 120 Seconds
Sitemap: (lassen Sie das Feld leer, wenn Sie es nicht haben)
Search Robots:	Google	Wie Standard erlaubt nicht erlaubt
	Google Image	Wie Standard erlaubt nicht erlaubt
	Google Mobile	Wie Standard erlaubt nicht erlaubt
	MSN Search	Wie Standard erlaubt nicht erlaubt
	Yahoo	Wie Standard erlaubt nicht erlaubt
	Yahoo MM	Wie Standard erlaubt nicht erlaubt
	Yahoo Blogs	Wie Standard erlaubt nicht erlaubt
	Ask/Teoma	Wie Standard erlaubt nicht erlaubt
	GigaBlast	Wie Standard erlaubt nicht erlaubt
	DMOZ Checker	Wie Standard erlaubt nicht erlaubt
	Nutch	Wie Standard erlaubt nicht erlaubt
	Alexa/Wayback	Wie Standard erlaubt nicht erlaubt
	Baidu	Wie Standard erlaubt nicht erlaubt
	Naver	Wie Standard erlaubt nicht erlaubt
	MSN PicSearch	Wie Standard erlaubt nicht erlaubt
nicht erlaubte Ordner:	Der Pfad ist relativ zu root und muss einen abschließenden Schraegstrich enthalten "/"

Erstellen Sie nun die Datei 'robots.txt' in Ihrem Stammverzeichnis. Kopieren Sie den obigen Text und fuegen Sie ihn in die Textdatei ein.

UEber Robots.txt Generator

COCAMACO - Robots.txt Generator - SEO Tool

Generieren Sie effektive robots.txt-Dateien, die dazu beitragen, dass Google und andere Suchmaschinen Ihre Website richtig crawlen und indexieren.