Robots.txt Generator - Robots.txt generátor

Default - Tous les robots sont:	Permis Refusé
Retardement:	Default - No Delay 5 Seconds 10 Seconds 20 Seconds 60 seconds 120 Seconds
Plan du site: (laissez en blanc si vous n'en avez pas)
Robots de Recherche:	Google	Comme par défaut Permis Refusé
	Google Image	Comme par défaut Permis Refusé
	Google Mobile	Comme par défaut Permis Refusé
	MSN Search	Comme par défaut Permis Refusé
	Yahoo	Comme par défaut Permis Refusé
	Yahoo MM	Comme par défaut Permis Refusé
	Yahoo Blogs	Comme par défaut Permis Refusé
	Ask/Teoma	Comme par défaut Permis Refusé
	GigaBlast	Comme par défaut Permis Refusé
	DMOZ Checker	Comme par défaut Permis Refusé
	Nutch	Comme par défaut Permis Refusé
	Alexa/Wayback	Comme par défaut Permis Refusé
	Baidu	Comme par défaut Permis Refusé
	Naver	Comme par défaut Permis Refusé
	MSN PicSearch	Comme par défaut Permis Refusé
Répertoires restreints:	Le chemin est relatif à root et doit contenir une barre oblique "/"

Maintenant, créez le fichier "robots.txt" dans votre répertoire racine. Copiez le texte ci-dessus et collez-le dans le fichier texte.

Sur Robots.txt Generator - Robots.txt generátor

A robots.txt egy fájl, amelyet el lehet helyezni a webhely gyökérmappájába, hogy a keresőmotorok jobban indexeljék a webhelyét. A keresőmotorok, például a Google, webhely-bejárókat vagy robotokat használnak, amelyek áttekintik a webhely teljes tartalmát. Előfordulhat, hogy webhelyének vannak olyan részei, amelyeket nem szeretne feltérképezni, ezt bele kell foglalniuk a felhasználói keresési eredményekbe, például az admin oldalra. Ezeket az oldalakat felveheti a fájlba, hogy azokat kifejezetten figyelmen kívül hagyja. A Robots.txt fájlok a Robots kizárási protokollnak hívják. Ez az eszköz könnyen elkészíti magának a fájlt a kizárandó oldalak bevitelével együtt.