1用dryscrape库动态抓取页面
js脚本是通过浏览器来执行并返回信息的，所以，抓取js执行后的页面，一个最直接的方式就是用python模拟浏览器的行为。WebKit 是一个开源的浏览器引擎，python提供了许多库可以调用这个引擎，dryscrape便是其中之一，它调用webkit引擎来处理包含js等的网页！
2 selenium web测试框架
selenium是一个web测试框架，它允许调用本地的浏览器引擎发送网页请求，所以，它同样可以实现抓取页面的要求。
对于这种动态加载的网站，建议使用第三方库selenium爬取。它可以完全模拟浏览器，等待网站全部加载完成后再进行数据的自动获取。
对于主流的ChromeDriver、InternetExplorerDriver、FirefoxDriver、OperaDriver都支持，网站上的元素也支持多种选择器，如class、id、xpath等。
但是用习惯以后，对于这种非纯静态页面，离开selenium感觉就完全不会爬虫了。
不是爬不到是因为用js生成的网页，是通过浏览器加载js代码之后，由js动态生成的。
用爬虫直接去抓网页的话，抓下来的是原始代码，浏览器还未解析过的内容。
纯 html 的话，抓下来可以直接拿来用，但是如果是由 js 动态生成的网页的话，就没办法直接用了。
像通过js动态加载的网页，理论上如果能用开源的浏览器内核将网页解析出来的话，通过浏览器内核提供的接口，完全可以把网页最终的 html 拿出来
