Global AD Insights Blog

  • Acesse nosso site

O que é Robots.txt?

Redação Global AD

O Robots.txt é um arquivo no formato texto (bloco de notas) que trabalha como um filtro para os robôs ou crawlers dos mecanismos de busca. Ele avisa aos crawlers quais páginas e diretórios não devem ser indexados, ou seja, devem excluídos do processo de rastreamento, evitando que algum conteúdo restrito fique disponível na busca orgânica (ou SERP). O Robots.txt deve estar localizado na pasta raiz do site para ser facilmente encontrado pelos crawlers.

Os principais comandos utilizados no arquivo robots.txt são:
– User-agent: Lista quais robôs devem seguir as regras indicadas. Exemplo: Googlebot (Crawler do Google); Slurp (Crawler do Yahoo); * (todos os mecanismos)
– Disallow: Orienta os crawlers sobre quais páginas não devem ser incluídas no índice.
– Allow: Indica qual página ou diretório pode ter seu conteúdo indexado, mas eles são, por definição, sempre permitidos.
– Sitemap: Indica o caminho para o sitemap.xml.

Para saber mais confira o suporte do Google.

 1 1

Redação Global AD

Somos uma agência digital especialista em marketing de performance, com mais de 12 anos de mercado. Confira nossos conteúdos e evolua no universo das estratégias digitais. Se tiver alguma dúvida, deixe um comentário que responderemos o quanto antes!

Nos canais digitais

Na sua caixa de email

Assine nossa newsletter!

Faça parte do time

  • Estágio em Business Intelligence

    • Porto Alegre (RS)
    • Global AD
    • Estágio

Global AD | Agência de Marketing Digital

Assine nossa newsletter