百度蜘蛛频繁抓取js和css该怎么办

html-css031

百度蜘蛛频繁抓取js和css该怎么办,第1张

如果你确实不想让百度蜘蛛抓取js和css,可以通过robots.txt进行屏蔽。新建一个robots.txt放在网站根目录,内容为 (如果禁止所有搜索引擎抓取js和css文件,将下面的User-agent: baiduspider改为User-agent: *):

User-agent: baiduspider

Disallow: /*.js$

Disallow: /*.css$

百度爬虫能识别css和js里的内容,而且一般查看服务器日志里,都会有对js、css以及图片的抓取,不用担心浪费爬虫资源,一般来说百度都会派出一些爬虫去抓取样式表script等,主要是为了确保快照的正常展示,我自己也尝试过屏蔽,对百度快照的影响比较大。

如果听过N年前阿里巴巴前SEO负责人张国平的培训课程,就知道目前阿里系SEOer,基本上不建议屏蔽对静态文件的抓取的。

百度蜘蛛抓不了图片的,只能通过 alt="xxx" 属性告诉蜘蛛你这张图是什么内容,所以一般网站优化的话img 都是需要加 alt 的,有些图片被删应该不可能把,蜘蛛的作用只会抓取网站的内容根据你网站的相关性进行关键词排名,不会删网站的东西的。网站图片显示异常应该是后台出了问题吧,建议先检查一下后台