如何检测网站的robots.txt文件

前两天刚刚为网站配置了robots.txt文件，但有童鞋在留言中提出质疑，说我的robots.txt文件有一些错误，至少baidu的站长平台——robots工具，检测出来有很多不合规范的地方。

主要的错误原因是说“路径必须以/开始”，而我有几项以“*”开始的，还有几个错误都是和000webhost的统计代码有关。关于这一点，之前的删除000webhost免费空间robots.txt里的统计代码已经解决。所以只要将以“*”开头的路径重新设置即可。

除了百度的站长平台以及之前文章里所提到的谷歌的网站管理员工具可以检测你的robots.txt文件以外，还有不少优秀的robots检测工具，比如国外的Motoricerca——一个非营利性的网站优化和搜索引擎定位向导，检测地址是：http://tool.motoricerca.info/robots-checker.phtml。如果没有通过的话，会有粉色错误提示，而且教你如何去修改。

最终，如果通过的话，会告知你通过的结果。

通过以上几种测试工具的比较，发现谷歌的网站管理员工具最为开放，支持以“*”开头的路径，支持“Allow”语法；百度的站长平台不仅支持robots文件分析，而且还可以自己生成robots.txt文件，只不过不允许以“*”开头的路径，也支持“Allow”语法；最后的Motoricerca检测工具是这三个里面最严格的，不允许空行，不支持以“*”开头的路径，提示“*”为Google支持的语法，不支持“Allow”语法。

所以关于这个robots.txt文件，也可谓是仁者见仁智者见智了，因为没有统一的标准，对于每个搜索引擎还可能不一样，看来想要写好是非常不易了，而且对于效果到底如何，也只有大家自己尝试了。