如果听过N年前阿里巴巴前SEO负责人张国平的培训课程，就知道目前阿里系SEOer，基本上不建议屏蔽对静态文件的抓取的。
查看百度蜘蛛爬行记录的方法：第一，前往空间服务器，下载网站日志。
第二，打开网站日志文件，搜索：Baiduspider。
百度（Baidu）爬虫名称：Baiduspider
第三，鉴别百度蜘蛛的真伪。
由于很多站长工具会模拟百度蜘蛛的名称来爬抓网站，因此，需要我们鉴别百度蜘蛛的真伪。
鉴别方法：
开始—运行—输入 cmd ，用命令nslookup +ip
只要是百度的IP段，代码中会有出现：name：baiduspider，如果没有出现，那就不说不是真的百度IP段
第四，可以通过日志工具来查看网站日志。例如：光年日志。
