现阶段，掌握一门开发语言已经成为高级运维工程师的必备计能，不会开发，你就不能充分理解你们系统的业务流程，你就不能帮助调试、优化开发人开发的程序， 开发人员有的时候很少关注性能的问题，这些问题就得运维人员来做，一个业务上线了，导致 CPU 使用过高，内存占用过大，如果你不会开发，你可能只能查到进程级别，也就是哪个进程占用这么多，然后呢？然后就交给开发人员处理了，这样咋体现你的价值？
另外，大一点的公司，服务器都上几百，上千，甚至数万台，这种情况下怎样做自动化运维？用 SHELL 写脚本 FOR 循环？呵呵，歇了吧， SHELL 也就适合简单的系统管理工作。到复杂的自动化任务还得要用专门的开发语言。你可能说了，自动化管理有专门的开源软件＼监控也有，直接拿来用下就好了，但是现有的开源软件如 puppet\saltstack\zabbix\nagio 多为通用的软件，不可能完全适用你公司的所有需求，当你需要做定制、做二次开发的时候，你咋办？找开发部门？开发部门不懂运维的实际业务逻辑，写出来的东西烂烂不能用，这活最后还得交给运维开发人员来做。
其次，不会运维开发，你就不能自己写运维平台＼复杂的运维工具，一切要借助于找一些开源软件拼拼凑凑，如果是这样，那就请不要抱怨你的工资低，你的工作不受重视了。
为什么要学 PYTHON ？
PYTHON 第一是个非常牛 B 的脚本语言， 能满足绝大部分自动化运维的需求，又能做后端 C/S 架构，又能用 WEB 框架快速开发出高大上的 WEB 界面，只有当你自已有能力做出一套运维自动化系统的时候，你的价值才体现出来，你才有资格跟老板谈重视， 否则，还是老老实实回去装机器吧。
运维开发为什么要用 PYTHON ？
Good question, 为什么不用 PHP ， JAVA ， C++ ， RUBY ，这里我只能说，见人见智， 如果你碰巧已经掌握了除 PYTHON 之外的其它语言，那你爱用啥用啥，如果你是一个连 SHELL 都还没写明白的新手，想学个语言的话，请用 PYTHON ， 为什么呢？首先， PHP 是跟 PYTHON 比的最多的，其实他俩根本就不用比，为什么呢？两个语言适用性不同， PHP 主要适用于 WEB 开发，可以迅速的做出中小型，轻量级的 WEB 网站，但后端嘛，基本还是要借助其它语言， 借助什么语言呢？ SHELL ？ PYTHON ？呵呵。 而 PYTHON 呢， 是个综合语言， 前后端都可以，单拿出来比 WEB ，也一点不比 PHP 差，但为什么WEB方向上 PHP 比 PYTHON 要火？ 先入为主嘛， PHP 90 年代诞生就是做 WEB 的， PYTHON2000 年后才出现 WEB 框架，但论优秀程度上， PYTHON 的 WEB 框架基本上出其无左，至少是跟 PHP 比。
那 JAVA 呢？好吧，一个臃肿＼中庸＼豪无新意的语言，还是老老实实用它来做 ERP 吧，搞个运维小平台，用 JAVA 真心没啥必要，在我看来， JAVA 就是稳定的中年男人，稳定＼成熟＼秃顶，而 PYTOHN 代表的就是青春， 简洁＼快＼干净＼帅！
C++ ＼ C ，这个嘛，我只能说，如果你会了 PYTHON, 又会 C 的话，那你会更吃香，但是不会 C 的话，其实也无大碍，基本上做运维的人，搞搞 C 就是为了来装 B 的，因为多数情况下你都到不了看系统底层源码的程度。
RUBY ，小日本开发的，还不错，风格跟 PYTHON 有点像，因为 ruby onrails 出了名，国外用的比较多，国内，放心吧，没戏， PYTHON 已经把它的想象空间都占死了。
当然还有新的语言 GO ， 有些搞运维的看见做开发的人员搞 GO ，也想凑热闹，觉得是未来，我想说，别瞎没事跟风， GO 再成功，也不会变成运维开发语言。
有些人觉得 PYTHON 效率底，说他不能支持多线程， OH ，好吧，这个还有点说对了，但是我想问，看我这篇文章的有几个做过搜索引擎开发？有几个做个上亿 PV 的并发网站开发？ 有几个看过 LINUX 内核源码？如果没有，请别瞎跟着传了，知道 PYTHON 为什么不支持多线程吗？这句话问错了，其实 PYTHON 支持多线程，只是不支持多 CPU 多线程，也就是一个程序 spawn 出来的多线程只能占用一个 CPU ，但是为什么呢？噢，因为 GIL ， GIL 是什么东东，请自行补脑。。。但是你非得用多线程吗？你可以用多进程呀，再牛 B 你还可以用协程呀，这些 PYTOHN 支持的都很好呀，如果你的程序逻辑不好，搞个多线程也快不起来。我认识一个博士讲过一句话，我觉得不错，他说，程序效率高低， 80% 都是写程序的人决定了，语言本身就占 20% ，所以下次有人再说 PYTHON 效率低的时候，请让他先回去自己检查下自己的程序多了多少无用的逻辑、循环等等。 这个博士自己用 PYTHON 写的 WEB 程序，一台服务器每天能处理上亿请求，一秒并发近两万， 什么 WEB 框架这么牛 B ？ 别问它是谁， 它叫 tornado 。
PYTHON 能否自学？
当然可以，什么都可以自学，前提是你得能学得会，见过 N 多菜鸟踏上上自学的不归路，他妈的什么都能自学的话，还用大学干什么？自己在家鳖不就行了？动不动就说 PYTHON 是个脚本语言，自己看看就不会了，说这话的只可能有两种人，一种是高手，一种是 SB ，对于高手来讲，他肯定已经会其它语言， PYTHON 在这种情况下，自学当然就很容易学会，几年前我刚接触 PYTHON 时，代码遇到问题，找了个开发的哥们帮调试，哥们帮调了十几分钟就搞定了，结果人家以前一句 PYTHON 代码也没写过，为什么，因为语言都有相通之处，一门掌握好了，其它门自己学学就会了。但对于新手来讲，没任何语言基础就开始自学，那么恭喜你，菜鸟们见此文章为证，从今天开始自学，一年后，你要是能自己做出个软件来，来找我要一千块钱。 哈哈，真的。 基本上自学是属于专业人员干的事情，就像会一门乐器了，自己学下就可能学会另一门，但我之前没音乐基础，跟着老师都没把吉它学会。
所以奉劝没基础又想学 PYTHON 的同学，花点钱去报个班学吧，拿钱换时间，时间是生命，钱没了可再挣钱，时间过去了就再也不会回来，如果你不信邪，非要自己学，那我佩服你的勇气，不过自己试试就知道了。
说了这么多，只想告诉那些迷茫不知所措该学什么语言的新手们， 在你还没学好走路的时候，不要老想着，将来我当上老板了，我是开宝马呢？还是开奔驰呢？先学会骑自行车吧。
就像只要会JavaScript就可以写出完整的Web应用，只要会Python，就可以实现一个完整的大数据处理平台。云基础设施
这年头，不支持云平台，不支持海量数据，不支持动态伸缩，根本不敢说自己是做大数据的，顶多也就敢跟人说是做商业智能（BI）。
云平台分为私有云和公有云。私有云平台如日中天的 OpenStack
，就是Python写的。曾经的追赶者CloudStack，在刚推出时大肆强调自己是Java写的，比Python有优势。结果，搬石砸脚，2015年
初，CloudStack的发起人Citrix宣布加入OpenStack基金会，CloudStack眼看着就要寿终正寝。
如果嫌麻烦不想自己搭建私有云，用公有云，不论是AWS，GCE，Azure，还是阿里云，青云，在都提供了Python SDK，其中GCE只提供Python和JavaScript的SDK，而青云只提供Python SDK。可见各家云平台对Python的重视。
提到基础设施搭建，不得不提Hadoop，在今天，Hadoop因为其MapReduce数据处理速度不够快，已经不再作为大数据处理的首选，但
是HDFS和Yarn——Hadoop的两个组件——倒是越来越受欢迎。Hadoop的开发语言是Java，没有官方提供Python支持，不过有很多第
三方库封装了Hadoop的API接口（pydoop，hadoopy等等）。
Hadoop MapReduce的替代者，是号称快上100倍的 Spark ，其开发语言是Scala，但是提供了Scala，Java，Python的开发接口，想要讨好那么多用Python开发的数据科学家，不支持Python，真是说不过去。HDFS的替代品，比如GlusterFS， Ceph 等，都是直接提供Python支持。Yarn的替代者， Mesos 是C++实现，除C++外，提供了Java和Python的支持包。
DevOps
DevOps有个中文名字，叫做 开发自运维 。互联网时代，只有能够快速试验新想法，并在第一时间，安全、可靠的交付业务价值，才能保持竞争力。DevOps推崇的自动化构建/测试/部署，以及系统度量等技术实践，是互联网时代必不可少的。
自动化构建是因应用而易的，如果是Python应用，因为有setuptools, pip, virtualenv, tox,
flake8等工具的存在，自动化构建非常简单。而且，因为几乎所有Linux系统都内置Python解释器，所以用Python做自动化，不需要系统预
安装什么软件。
自动化测试方面，基于Python的 Robot Framework 企业级应用最喜欢的自动化测试框架，而且和语言无关。Cucumber也有很多支持者，Python对应的Lettuce可以做到完全一样的事情。 Locust 在自动化性能测试方面也开始受到越来越多的关注。
自动化配置管理工具，老牌的如Chef和Puppet，是Ruby开发，目前仍保持着强劲的势头。不过，新生代 Ansible 和 SaltStack ——均为Python开发——因为较前两者设计更为轻量化，受到越来越多开发这的欢迎，已经开始给前辈们制造了不少的压力。
在系统监控与度量方面，传统的Nagios逐渐没落，新贵如 Sensu 大受好评，云服务形式的New Relic已经成为创业公司的标配，这些都不是直接通过Python实现的，不过Python要接入这些工具，并不困难。
除了上述这些工具，基于Python，提供完整DevOps功能的PaaS平台，如 Cloudify 和 Deis ，虽未成气候，但已经得到大量关注。
网络爬虫
大数据的数据从哪里来？除了部分企业有能力自己产生大量的数据，大部分时候，是需要靠爬虫来抓取互联网数据来做分析。
网络爬虫是Python的传统强势领域，最流行的爬虫框架Scrapy，HTTP工具包urlib2，HTML解析工具beautifulsoup，XML解析器lxml，等等，都是能够独当一面的类库。
不过，网络爬虫并不仅仅是打开网页，解析HTML这么简单。高效的爬虫要能够支持大量灵活的并发操作，常常要能够同时几千甚至上万个网页同时抓取，传统的
线程池方式资源浪费比较大，线程数上千之后系统资源基本上就全浪费在线程调度上了。Python由于能够很好的支持协程（ Coroutine ）操作，基于此发展起来很多并发库，如Gevent，Eventlet，还有Celery之类的分布式任务框架。被认为是比AMQP更高效的ZeroMQ也是最早就提供了Python版本。有了对高并发的支持，网络爬虫才真正可以达到大数据规模。
抓取下来的数据，需要做分词处理，Python在这方面也不逊色，著名的自然语言处理程序包NLTK，还有专门做中文分词的Jieba，都是做分词的利器。
数据处理
万事俱备，只欠东风。这东风，就是数据处理算法。从统计理论，到数据挖掘，机器学习，再到最近几年提出来的深度学习理论，数据科学正处于百花齐放的时代。数据科学家们都用什么编程？
如果是在理论研究领域，R语言也许是最受数据科学家欢迎的，但是R语言的问题也很明显，因为是统计学家们创建了R语言，所以其语法略显怪异。而且
R语言要想实现大规模分布式系统，还需要很长一段时间的工程之路要走。所以很多公司使用R语言做原型试验，算法确定之后，再翻译成工程语言。
Python也是数据科学家最喜欢的语言之一。和R语言不同，Python本身就是一门工程性语言，数据科学家用Python实现的算法，可以直
接用在产品中，这对于大数据初创公司节省成本是非常有帮助的。正式因为数据科学家对Python和R的热爱，Spark为了讨好数据科学家，对这两种语言
提供了非常好的支持。
Python的数据处理相关类库非常多。高性能的科学计算类库NumPy和SciPy，给其他高级算法打了非常好的基础，matploglib让
Python画图变得像Matlab一样简单。Scikit-learn和Milk实现了很多机器学习算法，基于这两个库实现的 Pylearn2 ，是深度学习领域的重要成员。 Theano 利用GPU加速，实现了高性能数学符号计算和多维矩阵计算。当然，还有 Pandas ，一个在工程领域已经广泛使用的大数据处理类库，其DataFrame的设计借鉴自R语言，后来又启发了Spark项目实现了类似机制。
对了，还有 iPython ，这个工具如此有用，以至于我差点把他当成标准库而忘了介绍。iPython是一个交互式Python运行环境，能够实时看到每一段Python代码的结果。默认情况下，iPython运行在命令行，可以执行 ipython notebook 在网页中运行。用matplotlib绘制的图可以直接嵌入式的显示在iPython Notebook中。
iPython Notebook的笔记本文件可以共享给其他人，这样其他人就可以在自己的环境中重现你的工作成果；如果对方没有运行环境，还可以直接转换成HTML或者PDF。
为什么是Python
正是因为应用开发工程师、运维工程师、数据科学家都喜欢Python，才使得Python成为大数据系统的全栈式开发语言。
对于开发工程师而言，Python的优雅和简洁无疑是最大的吸引力，在Python交互式环境中，执行 import this
，读一读Python之禅，你就明白Python为什么如此吸引人。Python社区一直非常有活力，和NodeJS社区软件包爆炸式增长不
同，Python的软件包增长速度一直比较稳定，同时软件包的质量也相对较高。有很多人诟病Python对于空格的要求过于苛刻，但正是因为这个要求，才
使得Python在做大型项目时比其他语言有优势。OpenStack项目总共超过200万行代码，证明了这一点。
对于运维工程师而言，Python的最大优势在于，几乎所有Linux发行版都内置了Python解释器。Shell虽然功能强大，但毕竟语法不够优雅，写比较复杂的任务会很痛苦。用Python替代Shell，做一些复杂的任务，对运维人员来说，是一次解放。
对于数据科学家而言，Python简单又不失强大。和C/C++相比，不用做很多的底层工作，可以快速进行模型验证；和Java相比，Python语法简
洁，表达能力强，同样的工作只需要1/3代码；和Matlab，Octave相比，Python的工程成熟度更高。不止一个编程大牛表达过，Python
是最适合作为大学计算机科学编程课程使用的语言——MIT的计算机入门课程就是使用的Python——因为Python能够让人学到编程最重要的东西——
如何解决问题。
