Tag Archives: robots

这两天在用一个站去测试百度的robots，虽然百度官方已经给出结论。但刚好有个站能用的上，就顺便测试了下。

反映速度还挺快的，三四天就有反映了，然后一个星期不到百度彻底不抓取，所有页面彻底不收录，但不知道到底是robots.txt起的作用还是<meta name=”robots” content=”nofollow”>起的作用，应该都一样吧