如果你的网站页面经常更新，爬虫就会更加频繁的访问页面，优质的内容更是爬虫喜欢抓取的目标，尤其是原创内容。
如果你做了许多努力仍没有被爬虫抓取，可以看一下老渔哥给出的两点建议：
1、不建议站点使用js生成主体内容，如过js渲染出错，很可能导致页面内容读取错误，页面则无法被爬虫抓取。
2、许多站点会针对爬虫做优化，建议页面长度在128k之内，不要过长。
抓取动态页面有两种常用的方法，一是通过JavaScript逆向工程获取动态数据接口（真实的访问路径），另一种是利用selenium库模拟真实浏览器，获取JavaScript渲染后的内容。但selenium库用起来比较繁琐，抓取速度相对较慢，所以第一种方法日常使用较多。js获取页面请求了dataType是json,contentType是接口，页面抓取又称为网页抓取,它主要是指搜索出新的网页,搜集那些在上次搜索后有改变的网页,或者搜索到以前不存在的网页,并从库中删除。
