百度蜘蛛频繁抓取js和css该怎么办

百度蜘蛛频繁抓取js和css该怎么办

如果你确实不想让百度蜘蛛抓取js和css,可以通过robots.txt进行屏蔽。新建一个robots.txt放在网站根目录,内容为 (如果禁止所有搜索引擎抓取js和css文件,将下面的User-agent: baiduspider改为Use
html-css280