百度是否支持User-agent: Slurp

User-agent: Sosospider

Crawl-delay: 5

抓取时间和频率限制

是否支持呢？

 

可以在robots中的crawl-delay中设置，这个参数是baidu spider对网站访问频率的重要参考信息之一，但spider系统会根据网站规模、质量、更新频度等多方面信息综合计算得出最终的执行压力，因此并不保证严格遵守crawl-delay中的设置值。

作者：青莲居士SEO
原文链接: http://www.17050.cn/news/2011/1013/article_32.html
版权所有。转载时必须以链接形式注明作者和原始出处及本声明。