Com o auge de Google ou a googlemania os pesquisadores da área informática prestaram especial atenção ao fenômeno da busca de informação na Internet. Em um momento histórico quando boa parte da pesquisa, em múltiplas áreas, vai a caminho de ser sinônimo de buscar em Google, os analistas em recuperação de informação estão desenhando novos buscadores.

A competência de Google não ficou atrás e por exemplo, Yahoo.com mostra as descrições dos resultados das buscas de uma forma completa que Google: duas linhas mais de texto que mostram as primeiras frases que aparecem na página web.

Como recuperar a informação desde bancos de dados gigantes como é a Internet não é um problema novo, é um problema que se remonta quase às origens da computação quando ainda não era algo aplicável se visualizava claramente que seria um aspecto primordial a resolver em qualquer sistema que maneje informação.

Quando você busca qualquer cadeia de texto em Google, por exemplo, "excursões a México" e aparece o título "Google encontrou 190.000 sites relacionados em 0,23 segundos" isto não quer dizer que nessa fração de tempo Google tenha buscado em toda Internet e tenha reportado os resultados. Google grava todas as palavras possíveis de ser buscadas e as relaciona com sites nos quais aparecem, logo as indexa armando uma gigantesca árvore dentro da qual busca quando você introduz qualquer cadeia de texto. Google está constantemente inspecionando a red com sues spiders (aranhas) e atualizando seu banco de dados. Buscar em um banco de dados próprio é o que faz ser rápido aos sistemas de buscadores como Google, Yahoo, MSN, etc.

Os spiders são programas que inspecionam a Internet buscando sites, vendo quais outros sites apontam para este, datas de atualização e variados aspectos que se tem em conta e são modificados constantemente para que o buscador não seja enganado e posicione erradamente a determinados sites.

Como Google indexa

Para localizar quais sãos sites mais importantes, os que aparecem nas primeiras posições o algoritmo de busca aplica várias estratégias de classificação. Uma das habituais é o produto da freqüência do termo no documento (termo buscado) pelo logaritmo da inversa da fração de documentos em que aparece.

Google também considera a análise de links desde e para um site ou página web que se pretende ordenar dentro de uma lista de resultado de busca. Valora-se a natureza da página em função de seus links com outras páginas. A página pode ser uma autoridade em razão da quantidade de links que são apontados para ela. Claro que não pode ser qualquer site que o vincule através do link, e sim, sites de temáticas similares.

Por sua vez, um site pode ser um distribuidor se dele saírem muitos links para outros sites, sendo assim, qualquer site que indexe sites web será um distribuidor. Os principais distribuidores são os próprios buscadores como Google, Yahoo, Msn, etc. Google terá em conta qual é a posição em outros buscadores importantes para indexar por sua vez em seu próprio buscador.

Conseguir estar nas duas primeiras páginas de resultados de Google (20 primeiras posições) é fundamental para qualquer website e não é nada impossível. O principal é indexar por página e não por site (que apareça o site principal www.nome_site.com como resultado de uma busca) salvo que o site seja muito específico. Por exemplo, se o site é um hipermercado não será indexado nas primeiras posições pela palavra hipermercado ou similares (ou pelo nome do domínio), e sim, que terá que se enfocar em posicionar determinados produtos (que sejam os mais consumidos) em determinada região e que estarão descritos em uma ou duas páginas do site do hipermercado. Uma vez posicionadas várias páginas, estas serão o ingresso do usuário ao site principal do hipermercado através do buscador.