Como funciona o arquivo robots.txt?

Não encontrou o que procurava?