进入移动时代,同学们肯定会发现,百度官方和各知名大拿们都在不断强调一个词:速度!最重要的莫过于,从用户点击搜索结果到页面完全加载完毕,不可超过3秒,否则有可能被限制展现(因为百度做过测试,当页面在3秒以上还无法打开的话,用户会选择关闭该网页)。于是大家各种针对速度的问题也多了起来,在大讲堂中,我们看到了这样一个简单的对话:
同学问:站点遇到抓取,应该在多长时间内给出反馈?时间太长会不会被惩罚?
工程师答:1秒是最好,最多4至5秒也可以接受,如果时间再长,恐怕蜘蛛会过段时间再来了。当然如果这种情况经常发生,对你站点的抓取是非常不利的。
在Baiduspider3.0主题的高端沙龙中,高级工程师也有这样一页PPT,其中提到历史抓取效果好和服务器稳定的站点,Spider会优先抓取处理。