简单说:
通过编写程序，模拟浏览器上网，然后去互联网上抓取数据资源的过程。
互联网包含着各种海量的信息。出于数据分析或产品需求，我们需要从某些网站，提取出我们感兴趣、有价值的内容，我们需要一种能自动获取网页内容并可以按照指定规则提取相应内容的程序，这就是爬虫。
爬虫访问网站的过程会消耗目标系统资源。不少网络系统并不默许爬虫工作。因此在访问大量页面时，爬虫需要考虑到规划、负载，还需要讲“礼貌”。 不愿意被爬虫访问、被爬虫主人知晓的公开站点可以使用robots.txt文件之类的方法避免访问。
去年在公司写过一个爬虫工具，用于抓取自动化报告通过率、自动发送报告。由于当时是第一次接触爬虫，难免会遇到各种问题，解决方案全都是按照网上的一些爬虫文章示例，照猫画虎写的。虽然能正常使用，但其实很多地方都没弄明白。最近学习了一些前端和后台的原理，了解了cookie与session的机制，总算弄明白了爬虫登录过程中的一个疑问。
编写爬虫第一步，在登录公司的自动化平台时就遇到了一个难题，登录请求中必须包含一个authenticity_token字段。令人头大的是，完全不知道这个字段从何而来，而且该字段还每次都不一样，参考的爬虫登录示例也没教啊！真是急坏苯宝宝了
