如何获取JS执行过后的网页源代码

JavaScript010

如何获取JS执行过后的网页源代码,第1张

需要获取网页中的javascript执行后生成的完整的网页源码（通常使用的右键-查看源代码是看不到js执行后的内容的，用firefox的firebug看到的代码就是js执行后的代码），从中提取一些有用的数据。

我做过爬虫，对这个比较了解，如果网页源码中有些内容是js渲染过来的，那你通过HttpClient直接取肯定取不到，但是这些数据一般都是通过异步请求传过来的（一般都是通过ajax的get或者post方式）。那么你可以通过火狐浏览器的firebug或者chrome的审查元素，在网络选项中找到这个请求地址，再用HttpClient请求一次就可以拿到你想要的数据，但这些数据可能不是网页源码，一般都是json字符串。