运行了几天之后发现有问题。selenium在抓取数据的时候莫名其妙的有一部分数据抓取不到。
分析代码呀什么的都没问题呀,奇了怪了。
三个td
前两个td里面的内容抓取的一点问题都没有,但是抓取第三个的时候就总是出错,用我自己的电脑测试就是好的。
我一度怀疑是不是我的笔记本电脑有什么驱动或者硬件导致的问题。
前两个能抓取到,shuliang抓取不到。如果我把shuliang里面的td[5]换成td[4]就是抓取他前面那一个元素,也是没问题的。但是我换成td[6]抓取他后面的元素就不行。
最后我发现有可能是selenium打开的chrome浏览器大小的问题,因为浏览器里面打开的页面正好只能显示到td[4],第5列显示不出来。
于是加一行代码
控制一下打开浏览器的大小,测试成功。shuliang成功抓取到了数据。
看来selenium真的是不是所见即所得的抓取模式,浏览器里面遮住的部分,他就抓不到了。
这可能也是很多selenium写好的代码换到别的电脑上执行就会出错的一个原因之一吧。
今天的分享记录就到这了。
运用 selenium 去实现对浏览器控制,可以对Firefox,Chrome, Phantom等。
from selenium import webdriverbrowser = webdriver.Firefox()
browser.get("http://XX.XX.com/")
跳转网站,网页dom控制,跳转一应俱全。
希望能帮到你!