Queria averiguar se o arquivo robots.txt que gerei para minha página web está correto. Segui os passos indicados, porém me dá um pouco de medo executar o arquivo robots.txt na web, pode ser que esteja mal criado e esteja bloqueando a indexação de páginas que sim que quero que os buscadores tenham em seus bancos de dados de webs.
Antes que nada, queria lhe dar uma referência à informação que publicamos em Criar.com sobre el
arquivo robots.txt.
Depois responder a sua pergunta, que é simples. Não sei se você conhece as ferramentas para websmasters de google:
https://www.google.com/webmasters/tools/
Entre essas ferramentas há uma que lhe interessará, que serve para comprovar a validez de nosso robots.txt. Permite por exemplo escrever URLs distintas e processá-las com o robots.txt para saber se estariam permitidas por este ou bloqueadas.
É um pouco trabalhoso, porque teria que ir página a página ou URL a URL na que tiver dúvidas, revisando se está ou não bloqueada pelo robots.txt, porém pelo menos lhe dá uma boa informação.
Por Miguel Angel Alvarez
