ROBOTS.TXT – O que é e como criar robots.txt para seu site

Robots.txt é um arquivo de texto comum e muito fácil de criar. Ao definir algumas regras neste arquivo de texto, você pode instruir os robôs do google e outros motores de busca a não indexar algumas partes do seu site ou até mesmo excluir o site inteiro. Por exemplo, você pode usar o robots.txt para inpedir que o Google apresente em suas listagens a página de membros.

O arquivo robots.txt funciona desta forma: Um robô do yahoo quer vistar a URL do site, digamos www.criarsite.net.br/autores.html. Antes de fazer isso, ele verificará primeiro o arquivo www.comocriarumsite.org/robots.txt. Caso esta url esteja bloqueada no robots.txt, o bot do yahoo não irá indexar esta página. Agora que já sabe o que é , vamos aprender como criar um robots.txt

Criar robots.txt

Criar um robots.txt é muito fácil e pode ser feito em qualquer editor de texto simples. Abra o bloco de notas do windows e crie um arquivo chamado exatamente “robots.txt”. Depois de fazer este arquivo, você vai colocar os seguintes códigos dentro dele para impedir que o Google indexe o diretório cgi-bin:

User-agent: * Disallow: / User-agent: Googlebot Disallow: /cgi-bin/ Allow: /

Onde colocar o arquivo robots.txt

Depois de criar, você terá de colocar o robots.txt na raiz do seu site. Geralmente é o mesmo lugar onde você coloca o arquivo index.html. No caso deste site seria: www.criarsite.net.br/robots.txt. Se puser em outro diretório não irá funcionar.

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *