Como configuro e utilizo o arquivo Robots.txt?

Não encontrou o que procurava?