在Google搜索我的页面,能出来400+页面,但好多都是额外的页面,比如分页下的信息,比如说wap下的信息,最可怕的是甚至登录页面都暴露在Google搜索 结果中,这让我有点害怕了。

参考下面两篇文章《善用 robots.txt 优化 Wordpress 博客 | 望月的博客》、《总结一下Meta的用法及robot.txt的讲解 - SEO搜索引擎优化 -  ITOKIT.COM |WEB开发技术,站长交流论坛 - Powered by Discuz!

为了优化WordPress的SEO效率,我们可以使用robots.txt文件来对搜索引擎搜索范 围进行限制。

下面是我的robots.txt内容:

User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /page/
Disallow: /comments/feed
Disallow: /index-wap.php/
# BEGIN XML-SITEMAP-PLUGIN
Sitemap: http://log4d.com/sitemap.xml.gz
# END XML-SITEMAP-PLUGIN

其中屏蔽了page的分页、feed页面(据说feed容易引起baidu收录页面低下)、wp-页面(为了安全)、wap页面。

最后一句话为搜索引擎指出sitemap位置。

祝大家被Google/Baidu收录更多更有用的文章。

更新(09-08-12):这段时间发现Google收录骤减,检查后发现很多以前日志没了,想了一下原因,发现下列代码阻止了蜘蛛爬以前的日志,造成收录减少,删除 下面的代码即可。

Disallow: /page/


原文链接: https://blog.alswl.com/2009/08/wordpress-to-add-robots-txt/
3a1ff193cee606bd1e2ea554a16353ee
欢迎关注我的微信公众号:窥豹

Comments

comments powered by Disqus