Modelo de ROBOTS.TXT para WordPress
Postado em 5 de outubro de 2010 por Henderson | Categorias: Úteis | Sem comentários » | Comentar
Abaixo um modelo bom pra WordPress de um arquivo robots.txt para ser colocado na raiz da hospedagem:
User-agent: *
# remova os diretorios
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
User-agent: Googlebot
# remover scrips css e afins
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$# qualquer endereco que contenha ?
Disallow: /*?*# permitir o adsense em qualquer url
User-agent: Mediapartners-Google*
Disallow:
Allow: /*#Sitemap
Sitemap: http://www.site.com.br/sitemap.xml
Site gerador de Robots: http://www.marketingdebusca.com.br/robots-txt/
Wikipédia: http://pt.wikipedia.org/wiki/Robots.txt
Artigo do BRPOINT sobre Robots.txt: http://www.brpoint.net/o-robotstxt-ideal-para-o-wordpress.html
http://pt.wikipedia.org/wiki/Robots.txt
Deixe um comentário