python爬虫如何定位

html-css014

python爬虫如何定位,第1张

4种方法可以定位爬虫位置:1、传统 BeautifulSoup 操作经典的 BeautifulSoup 方法借助 from bs4 import BeautifulSoup,然后通过 soup = BeautifulSoup(html, "lxml") 将文本转换为特定规范的结构,利用 find 系列方法进行解析。2、基于 BeautifulSoup 的 CSS 选择器这种方法实际上就是 PyQuery 中 CSS 选择器在其他模块的迁移使用,用法是类似的。关于 CSS 选择器详细语法可以参考:http://www.w3school.com.cn/cssref/css_selectors.asp 由于是基于 BeautifulSoup 所以导入的模块以及文本结构转换都是一致的。3、XPathXPath 即为 XML 路径语言,它是一种用来确定 XML 文档中某部分位置的计算机语言,如果使用 Chrome 浏览器建议安装 XPath Helper 插件,会大大提高写 XPath 的效率。4、正则表达式如果对 HTML 语言不熟悉,那么之前的几种解析方法都会比较吃力。这里也提供一种万能解析大法:正则表达式,只需要关注文本本身有什么特殊构造文法,即可用特定规则获取相应内容。依赖的模块是re希望以上回答可以帮助到你。

css定位,driver.find_element_by_css_selector(ul[role="menu"][id="item_3$Menu"]>li:nth-child(2))

定位集成环境就改成child(1)

定位功能环境就改成child(2)

如果元素role和id并列不能定位,那就再加个方括号,里面copy上class属性,样式同role,如果能找到ul元素,肯定可以定位这2个元素