Aprenda o que quiser. Milhares de cursos incríveis para escolher.

Gerador de Robots.txt


Padrão - Todos os robôs estão:  
    
Crawl-Delay:
    
Sitemap: (deixe em branco se não possuir) 
     
Search Robots: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Diretórios restritor: O caminho é relativo à raiz e deve conter uma barra final "/"
 
 
 
 
 
 
   



Agora, crie o arquivo 'robots.txt' no diretório raiz. Copie o texto abaixo e cole no arquivo.


Aprenda o que quiser. Milhares de cursos incríveis para escolher.

Sobre Gerador de Robots.txt

O arquivo robots.txt é um item primordial para o gerenciar o comportamento de crawlers (robôs de rastreamento) no site.

É possível escolher quais páginas podem ser rastreadas, quanto tempo o robô deve passar em cada página, definir um sitemap e ainda realizar configurações para cada robô, sendo os principais:

  • Googlebot
  • googlebot-image
  • googlebot-mobile
  • MSNBot
  • Slurp
  • Teoma
  • Gigabot
  • Robozilla
  • Nutch
  • ia_archiver
  • baiduspider
  • naverbot
  • yeti
  • yahoo-mmcrawler
  • psbot
  • yahoo-blogs/v3.9