Gerador de Robots.txt

Padrão - Todos os robôs estão:	Permitidos Bloqueados
Crawl-Delay:	Padrão - Sem Delay 5 Seconds 10 Seconds 20 Seconds 60 seconds 120 Seconds
Sitemap: (deixe em branco se não possuir)
Search Robots:	Google	Mesmo do padrão Permitidos Bloqueados
	Google Image	Mesmo do padrão Permitidos Bloqueados
	Google Mobile	Mesmo do padrão Permitidos Bloqueados
	MSN Search	Mesmo do padrão Permitidos Bloqueados
	Yahoo	Mesmo do padrão Permitidos Bloqueados
	Yahoo MM	Mesmo do padrão Permitidos Bloqueados
	Yahoo Blogs	Mesmo do padrão Permitidos Bloqueados
	Ask/Teoma	Mesmo do padrão Permitidos Bloqueados
	GigaBlast	Mesmo do padrão Permitidos Bloqueados
	DMOZ Checker	Mesmo do padrão Permitidos Bloqueados
	Nutch	Mesmo do padrão Permitidos Bloqueados
	Alexa/Wayback	Mesmo do padrão Permitidos Bloqueados
	Baidu	Mesmo do padrão Permitidos Bloqueados
	Naver	Mesmo do padrão Permitidos Bloqueados
	MSN PicSearch	Mesmo do padrão Permitidos Bloqueados
Diretórios restritor:	O caminho é relativo à raiz e deve conter uma barra final "/"

Agora, crie o arquivo 'robots.txt' no diretório raiz. Copie o texto abaixo e cole no arquivo.

Sobre Gerador de Robots.txt

O arquivo robots.txt é um item primordial para o gerenciar o comportamento de crawlers (robôs de rastreamento) no site.

É possível escolher quais páginas podem ser rastreadas, quanto tempo o robô deve passar em cada página, definir um sitemap e ainda realizar configurações para cada robô, sendo os principais:

• Googlebot
• googlebot-image
• googlebot-mobile
• MSNBot
• Slurp
• Teoma
• Gigabot
• Robozilla
• Nutch
• ia_archiver
• baiduspider
• naverbot
• yeti
• yahoo-mmcrawler
• psbot
• yahoo-blogs/v3.9