Tutoriais

Como Criar robots.txt e Bloquear os Mecanismos de Busca

Como Criar robots.txt e Bloquear os Mecanismos de Busca

Os bots dos mecanismos de busca estão constantemente escaneando sites para serem indexados. Mas por alguma razão você pode optar por esconder seus sites. Neste caso o robots.txt pode ser utilizado para impedir que os bots acessem a sua página. Neste tutorial você vai aprender como criar robots.txt.

O que você vai precisar

Antes de iniciar você vai precisar:

  • Acesso ao painel de controle de sua hospedagem ou FTP.

1º Passo — Acessando o servidor e criar robots.txt

Antes de mais nada, você precisa criar um arquivo para criar robots.txt. Para isso você pode usar um cliente FTP ou o Gerenciador de Arquivos. O arquivo deve ser colocado na mesma pasta onde se encontra seu site (geralmente public_html). Neste tutorial vamos usar o Gerenciador de Arquivos para criar robots.txt:

Como Criar robots.txt e Bloquear os Mecanismos de Busca

2º Passo — Editando o robots.txt

Cada mecanismo de busca usa seu crawler (bot ou user-agent) próprio. Ao criar robots.txt você pode especificar o crawler usando o User-agent. Existem centenas de crawlers, mas os mais comuns são:

  • Googlebot
  • Yahoo! Slurp
  • bingbot
  • AhrefsBot
  • Baiduspider
  • Ezooms
  • MJ12bot
  • YandexBot

Por exemplo, se você quer impedir o crawler do Bing de acessar o seu site, basta editar o robots.txt com a seguinte regra:

User-agent: bingbot
Disallow: /

Caso você queira bloquar todos os crawlers é só usar o *:

User-agent: *
Disallow: /

Se você quer prevenir que o crawler acesse algum diretório ou arquivo específico, a regra é semelhante, mas você precisa especificar o nome do arquivo ou pasta. Digamos que você não quer que os crawlers acessem o diretório artigos e o arquivo private.php apenas. Nesse caso o robots.txt vai ficar assim:

User-agent: *
Disallow: /artigos/
Disallow: /private.php

Quando terminar de editar o arquivo robots.txt não esqueça de salvar as alterações.

salvar arquivo

Conclusão

Você acabou de aprender como impedir que crawlers (ou bots) de mecanismos de busca acessem e indexem o seu site. Isso é útil para prevenir que seu site apareça nos mecanismos de busca, claro, se é isso mesmo que você quer que aconteça.

 

Ariane G.

Ariane é jornalista, analista de conteúdo & SEO na Hostinger Brasil e tem o papel de contar para todo mundo o poder transformador da internet. Com foco em otimização, produção para web e técnicas de SEO, divide os dias entre pesquisas de palavras-chave e passagens aéreas (ela ama viajar).

Deixe um Comentário

Deixe seu comentário!

This site uses Akismet to reduce spam. Learn how your comment data is processed.

Comece a Economizar Agora!

Hospedagem com tudo incluso e nome de domínio
R$3
12
/mês*

Junte-se a centenas de inscritos em todo o mundo

e receba um resumo dos tutoriais mais recentes direto para o seu e-mail

Please wait...

Obrigado por se inscrever!

[href]
[href]