百度蜘蛛爬行CSS和JS很多,这会不会浪费了蜘蛛的资源

百度蜘蛛爬行CSS和JS很多,这会不会浪费了蜘蛛的资源

百度爬虫能识别css和js里的内容,而且一般查看服务器日志里,都会有对js、css以及图片的抓取,不用担心浪费爬虫资源,一般来说百度都会派出一些爬虫去抓取样式表script等,主要是为了确保快照的正常展示,我自己也尝试过屏蔽,对百度快照的影
JavaScript130