如果你想在Linux服务器上周期性地执行某个 Python 脚本，最出名的选择应该是 Crontab 脚本，但是 Crontab 具有以下缺点：
1.不方便执行 秒级的任务 。
2.当需要执行的定时任务有上百个的时候，Crontab的 管理就会特别不方便 。
另外一个选择是 Celery，但是 Celery 的配置比较麻烦，如果你只是需要一个轻量级的调度工具，Celery 不会是一个好选择。
在你想要使用一个轻量级的任务调度工具，而且希望它尽量简单、容易使用、不需要外部依赖，最好能够容纳 Crontab 的所有基本功能，那么 Schedule 模块是你的不二之选。
使用它来调度任务可能只需要几行代码，感受一下：
上面的代码表示每10分钟执行一次 job 函数，非常简单方便。你只需要引入 schedule 模块，通过调用 scedule.every(时间数).时间类型.do(job) 发布周期任务。
发布后的周期任务需要用 run_pending 函数来检测是否执行，因此需要一个 While 循环不断地轮询这个函数。
下面具体讲讲Schedule模块的安装和初级、进阶使用方法。
1.准备
请选择以下任一种方式输入命令安装依赖 ：
1. Windows 环境 打开 Cmd (开始-运行-CMD)。
2. MacOS 环境 打开 Terminal (command+空格输入Terminal)。
3. 如果你用的是 VSCode编辑器 或 Pycharm，可以直接使用界面下方的Terminal.
2.基本使用
最基本的使用在文首已经提到过，下面给大家展示更多的调度任务例子：
可以看到，从月到秒的配置，上面的例子都覆盖到了。不过 如果你想只运行一次任务 的话，可以这么配：
参数传递
如果你有参数需要传递给作业去执行，你只需要这么做：
获取目前所有的作业
如果你想获取目前所有的作业：
取消所有作业
如果某些机制触发了，你需要立即清除当前程序的所有作业：
标签功能
在设置作业的时候，为了后续方便管理作业，你可以给作业打个标签，这样你可以通过标签过滤获取作业或取消作业。
设定作业截止时间
如果你需要让某个作业到某个时间截止，你可以通过这个方法：
截止日期之后，该作业将无法运行。
立即运行所有作业，而不管其安排如何
如果某个机制触发了，你需要立即运行所有作业，可以调用 schedule.run_all :
3.高级使用
装饰器安排作业
如果你觉得设定作业这种形式太啰嗦了，也可以使用装饰器模式：
并行执行
默认情况下，Schedule 按顺序执行所有作业。其背后的原因是，很难找到让每个人都高兴的并行执行模型。
不过你可以通过多线程的形式来运行每个作业以解决此限制：
日志记录
Schedule 模块同时也支持 logging 日志记录，这么使用：
效果如下：
异常处理
Schedule 不会自动捕捉异常，它遇到异常会直接抛出，这会导致一个严重的问题： 后续所有的作业都会被中断执行 ，因此我们需要捕捉到这些异常。
你可以手动捕捉，但是某些你预料不到的情况需要程序进行自动捕获，加一个装饰器就能做到了：
这样， bad_task 在执行时遇到的任何错误，都会被 catch_exceptions 捕获，这点在保证调度任务正常运转的时候非常关键。
可以基于tornado-APScheduler实现添加动态添加/删除/暂停/清除定时任务。安装：pip3 install apsheduler
1.任何调度器在开始后，不能再次start。不然会出现异常
2.shutdown方法:终结掉对应的调度器,所以代码逻辑里需要检测一下. running方法可以判断调度器的运行状态，如果需要设计delete方法清除某个任务，建议用remove方法，对应代码逻辑需要注意start（）不要重复
3.注意BlockingScheduler，如果你想动态添加任务的话，这个调度器是阻塞的，所以每个任务必须是一个守护线程，个人感觉不太方便，建议用其他非阻塞的
4. get_jobs()方法很有用，如果我们加上dir，配合这个方法可以很灵活地配置
5.修改一个周期任务，需要用modify_job方法，根据你的job_id修改
Python由荷兰数学和计算机科学研究学会的Guido van Rossum 于1990 年代初设计，作为一门叫做ABC语言的替代品。 Python提供了高效的高级数据结构，还能简单有效地面向对象编程。Python语法和动态类型，以及解释型语言的本质，使它成为多数平台上写脚本和快速开发应用的编程语言，随着版本的不断更新和语言新功能的添加，逐渐被用于独立的、大型项目的开发。
Python爬虫即使用Python程序开发的网络爬虫（网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。其实通俗的讲就是通过程序去获取 web 页面上自己想要的数据，也就是自动抓取数据。网络爬虫（英语：web crawler），也叫网络蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。网络搜索引擎等站点通过爬虫软件更新自身的网站内容或其对其他网站的索引。网络爬虫可以将自己所访问的页面保存下来，以便搜索引擎事后生成索引供用户搜索。
爬虫访问网站的过程会消耗目标系统资源。不少网络系统并不默许爬虫工作。因此在访问大量页面时，爬虫需要考虑到规划、负载，还需要讲“礼貌”。 不愿意被爬虫访问、被爬虫主人知晓的公开站点可以使用robots.txt文件之类的方法避免访问。这个文件可以要求机器人只对网站的一部分进行索引，或完全不作处理。
互联网上的页面极多，即使是最大的爬虫系统也无法做出完整的索引。因此在公元2000年之前的万维网出现初期，搜索引擎经常找不到多少相关结果。现在的搜索引擎在这方面已经进步很多，能够即刻给出高质量结果。
爬虫还可以验证超链接和HTML代码，用于网络抓取。
Python 爬虫
Python 爬虫架构
Python 爬虫架构主要由五个部分组成，分别是调度器、URL 管理器、网页下载器、网页解析器、应用程序（爬取的有价值数据）。
调度器：相当于一台电脑的 CPU，主要负责调度 URL 管理器、下载器、解析器之间的协调工作。
URL 管理器：包括待爬取的 URL 地址和已爬取的 URL 地址，防止重复抓取 URL 和循环抓取 URL，实现 URL 管理器主要用三种方式，通过内存、数据库、缓存数据库来实现。
网页下载器：通过传入一个 URL 地址来下载网页，将网页转换成一个字符串，网页下载器有 urlpb2（Python 官方基础模块）包括需要登录、代理、和 cookie，requests(第三方包)
网页解析器：将一个网页字符串进行解析，可以按照我们的要求来提取出我们有用的信息，也可以根据 DOM 树的解析方式来解析。网页解析器有正则表达式（直观，将网页转成字符串通过模糊匹配的方式来提取有价值的信息，当文档比较复杂的时候，该方法提取数据的时候就会非常的困难）、html.parser（Python 自带的）、beautifulsoup（第三方插件，可以使用 Python 自带的 html.parser 进行解析，也可以使用 lxml 进行解析，相对于其他几种来说要强大一些）、lxml（第三方插件，可以解析 xml 和 HTML），html.parser 和 beautifulsoup 以及 lxml 都是以 DOM 树的方式进行解析的。
应用程序：就是从网页中提取的有用数据组成的一个应用。
爬虫可以做什么？
你可以用爬虫爬图片，爬取视频等等你想要爬取的数据，只要你能通过浏览器访问的数据都可以通过爬虫获取。
爬虫的本质是什么？
模拟浏览器打开网页，获取网页中我们想要的那部分数据
浏览器打开网页的过程：
当你在浏览器中输入地址后，经过 DNS 服务器找到服务器主机，向服务器发送一个请求，服务器经过解析后发送给用户浏览器结果，包括 html,js,css 等文件内容，浏览器解析出来最后呈现给用户在浏览器上看到的结果
所以用户看到的浏览器的结果就是由 HTML 代码构成的，我们爬虫就是为了获取这些内容，通过分析和过滤 html 代码，从中获取我们想要资源。
相关推荐：《Python教程》以上就是小编分享的关于python的爬虫是什么意思的详细内容希望对大家有所帮助，更多有关python教程请关注环球青藤其它相关文章！
