Mediante as diferentes etiquetas META que podemos colocar em um website dispomos de uma variedade ampla de meta-informações para comunicar a qualquer sistema que leia nossa página web. Neste artigo vamos apresentar uma etiqueta interessante para definir como se têm que comportar os motores de busca na hora de visitar nossa página e mostrá-la entre os resultados de buscas realizados no buscador. Trata-se da etiqueta meta de robots.

A etiqueta META de Robots serve para personalizar o comportamento de robots de indexação, tipo Google, na hora de processar nossa página web. Cada uma das páginas de nosso site pode ter uma declaração da etiqueta meta de robots distinta, com o qual podemos inclusive definir de maneira independente como desejamos que se trate cada uma das páginas que compõe o web.

Em CriarWeb.com publicamos anteriormente informações sobre distintas etiquetas META em artigos.

Etiqueta ROBOTS de META Tags

Como dissemos, a etiqueta robots, dentro das possíveis etiquetas com Meta-informações sobre um documento web, serve para levar um controle exaustivo do que pode ou não pode fazer um robot de indexação quando visita nosso website. Os comportamentos mais típicos que podemos definir são permitir ou não indexar uma página e seguir ou não seus links.

Nota: Convém recordar que também se pode definir o comportamento dos robots de busca com nosso site, na hora por exemplo de permitir ou não indexar as distintas páginas, mediante o arquivo robots.txt.

Agora vejamos como se define esta etiqueta META de robots.

<META name="robots" content="NOINDEX">

Como se pode ver, se define a etiqueta META e se acompanha de dois atributos essenciais:

Name: que para a etiqueta META que controla os comportamentos em motores de indexação o valor é "robots".

Content: se indica as diretivas que queremos que apliquem os motores de indexação quando visitam a página.

Valores possíveis da etiqueta META ROBOTS

No atributo Content da etiqueta meta devemos colocar as diretrizes que desejarmos para buscadores, tantas como desejarmos, separadas por vírgulas. As distintas diretrizes a aplicar são as seguintes:

INDEX / NOINDEX
Serve para indicar se se deseja ou não permitir a indexação da página pelos motores de busca.

FOLLOW / NOFOLLOW
Com esta diretriz se indica se se deve ou não permitir aos motores de busca percorrer ou seguir percorrendo a web através dos links que encontre no corpo do documento.

ARCHIVE / NOARCHIVE
Isto permite dizer se desejamos ou não que o motor de busca arquive o conteúdo do website em seu cachê interno. Como pudemos ver, buscadores como Google têm um cache e podemos ver as páginas web tal como as tem "cacheadas" o buscador. Para isso, nos resultados das buscas aparece um link que põe cache. Se dissemos que não arquive a página, não deveria mostrar esse link de cache. Isto na verdade, segundo Google, não evita que se salve em cache a página, e sim que não permite vê-la aos usuários do buscador e portanto não mostra o link.

SNIPPET / NOSNIPPET
Esta diretriz à princípio não resulta muito útil, pelo menos a primeira vista. Serve para que o motor de busca não mostre nenhuma descrição de um site, só seu título. Se utilizar NOSNIPPET automaticamente define um NOARCHIVE, por isso que a página tampouco se mostrará em cache.

ODP / NOODP
Serve para dizer ao buscador que deve, ou não, mostrar o título e descrição da página iguais aos que se encontra no Open Directory Project. Em alguns casos, alguns buscadores mostram como título e descrição de uma web os que se publicaram no ODP (http://www.dmoz.org/).

YDIR / NOYDIR
É basicamente o mesmo que ODP / NOODP, com a diferença que é para que não se possa, ou se, mostrar a descrição e título que aparece no diretório de Yahoo.

Quando não existe esta etiqueta os buscadores interpretam as condições mais favoráveis para eles, ou seja, que podem fazer tudo o que costumam fazer com outras páginas a nossa, como indexá-la, seguir seus links, arquivá-la, etc.

Exemplos de etiquetas META ROBOTS

Na hora de utilizar a META ROBOTS basicamente o que podemos fazer é restringir as possibilidades dos motores de busca, visto que as possibilidades por padrão são as menos restritivas.

Isto quer dizer que uma etiqueta como a seguinte é irrelevante, porque o buscador sempre vai indexar a página e seguir seus links de maneira pré-determinada:

<META name="robots" content="INDEX,FOLLOW">

Podemos definir então casos mais restritivos como estes:

<META name="robots" content="INDEX,NOFOLLOW">
Para indicar que se deseja que se indexe a página, porém não se sigam os links. Dada que a opção INDEX é a que se subentende por padrão, esta etiqueta teria o mesmo valor que a seguinte:

<META name="robots" content="NOFOLLOW">
Para indicar que não queremos que se sigam os links da página.

<META name="robots" content="NOINDEX,NOFOLLOW">
Para indicar que não queremos que se indexe a página nem que se sigam os links que possa conter.

<META name="robots" content="NOARCHIVE">
O único que indicamos é que não se mostre o link para ver a página no cache do buscador.

<META name="robots" content="NOINDEX,NOFOLLOW,NOARCHIVE,NOODP,NOSNIPPET">
Com esta restritiva etiqueta forçamos para que não se indexe a página, não se sigam os links, não se mostre o link de cache, não se mostre o título e descrição do Open Directory Project e só se mostre o título da página nos resultados das buscas.