scrapy 中的css 选择器怎么看

html-css016

scrapy 中的css 选择器怎么看,第1张

//通过 名为 video_part_lists 的Class 中下面的 li 标签

liList = response.css('.video_part_lists li')

for li in liList:再通过li 标签获取 a 标签中得 href 属性

name= li.css('a::attr(href)').extract()

如果你确实不想让百度蜘蛛抓取js和css，可以通过robots.txt进行屏蔽。新建一个robots.txt放在网站根目录，内容为 （如果禁止所有搜索引擎抓取js和css文件，将下面的User-agent: baiduspider改为User-agent: *）：

User-agent: baiduspider

Disallow: /*.js$

Disallow: /*.css$