为什么运维需要会Python开发

Python015

为什么运维需要会Python开发,第1张

Python的特点在于灵活运用,因为其拥有大量第三方库,所以开发人员不必重复造轮子,就像搭积木-样,只要擅于利用这些库就可以完成绝大部分工作。

对于运维而言,系统运行过程中变化小,重复性非常高。Python 是高层语言,只需要(编辑-测试-调试)过程,不需要编译,在每一次使用时直接调用库文件。开发速度Python是C、C++的5倍,甚至可以将C、C++已经编好的程序直接附在python中使用,python就像胶水语言一样,所以python非常适合做测试,运维管理。其次,不会运维开发,你就不能自己写运维平台复杂的运维工具,一切要借助于找一些开源软件拼拼凑凑,如果是这样,你的工作不受重视了,自身竞争力也小。学会Python能满足绝大部分自动化运维的需求,又能做后端C/S架构,又能用WEB框架快速开发出高大上的Web界面。能够自己做出一套运维自动化系统,体现自己的价值。千锋教育多年办学,课程大纲紧跟企业需求,更科学更严谨,每年培养泛IT人才近2万人。不论你是零基础还是想提升,都可以找到适合的班型,是一家性价比极高的教育机构

Python 批量遍历目录文件,并修改访问时间

import os

path = "D:/UASM64/include/"

dirs = os.listdir(path)

temp=[]

for file in dirs:

temp.append(os.path.join(path, file))

for x in temp:

os.utime(x, (1577808000, 1577808000))

Python 实现的自动化服务器管理

import sys

import os

import paramiko

ssh = paramiko.SSHClient()

ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())

def ssh_cmd(user,passwd,port,userfile,cmd):

def ssh_put(user,passwd,source,target):

while True:

try:

shell=str(input("[Shell] # "))

if (shell == ""):

continue

elif (shell == "exit"):

exit()

elif (shell == "put"):

ssh_put("root","123123","./a.py","/root/a.py")

elif (shell =="cron"):

temp=input("输入一个计划任务: ")

temp1="(crontab -lecho "+ temp + ") |crontab"

ssh_cmd("root","123123","22","./user_ip.conf",temp1)

elif (shell == "uncron"):

temp=input("输入要删除的计划任务: ")

temp1="crontab -l | grep -v " "+ temp + "|crontab"

ssh_cmd("root","123123","22","./user_ip.conf",temp1)

else:

ssh_cmd("lyshark","123123","22","./user_ip.conf",shell)

遍历目录和文件

import os

def list_all_files(rootdir):

import os

_files = []

list = os.listdir(rootdir) #列出文件夹下所有的目录与文件

for i in range(0,len(list)):

path = os.path.join(rootdir,list[i])

if os.path.isdir(path):

_files.extend(list_all_files(path))

if os.path.isfile(path):

_files.append(path)

return _files

a=list_all_files("C:/Users/LyShark/Desktop/a")

print(a)

python检测指定端口状态

import socket

sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM)

sk.settimeout(1)

for ip in range(0,254):

try:

sk.connect(("192.168.1."+str(ip),443))

print("192.168.1.%d server open \n"%ip)

except Exception:

print("192.168.1.%d server not open"%ip)

sk.close()

python实现批量执行CMD命令

import sys

import os

import paramiko

ssh = paramiko.SSHClient()

ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())

print("------------------------------>\n")

print("使用说明,在当前目录创建ip.txt写入ip地址")

print("------------------------------>\n")

user=input("输入用户名:")

passwd=input("输入密码:")

port=input("输入端口:")

cmd=input("输入执行的命令:")

file = open("./ip.txt", "r")

line = file.readlines()

for i in range(len(line)):

print("对IP: %s 执行"%line[i].strip('\n'))

python3-实现钉钉报警

import requests

import sys

import json

dingding_url = ' https://oapi.dingtalk.com/robot/send?access_token=6d11af3252812ea50410c2ccb861814a6ed11b2306606934a5d4ca9f2ec8c09'

data = {"msgtype": "markdown","markdown": {"title": "监控","text": "apche异常"}}

headers = {'Content-Type':'application/jsoncharset=UTF-8'}

send_data = json.dumps(data).encode('utf-8')

requests.post(url=dingding_url,data=send_data,headers=headers)

import psutil

import requests

import time

import os

import json

monitor_name = set(['httpd','cobblerd']) # 用户指定监控的服务进程名称

proc_dict = {}

proc_name = set() # 系统检测的进程名称

monitor_map = {

'httpd': 'systemctl restart httpd',

'cobblerd': 'systemctl restart cobblerd' # 系统在进程down掉后,自动重启

}

dingding_url = ' https://oapi.dingtalk.com/robot/send?access_token=b5258c4335ed8ab792075013c965efcbf4f8940f92e7bd936cdc7842d3bf9405'

while True:

for proc in psutil.process_iter(attrs=['pid','name']):

proc_dict[proc.info['pid']] = proc.info['name']

proc_name.add(proc.info['name'])

判断指定端口是否开放

import socket

port_number = [135,443,80]

for index in port_number:

sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

result = sock.connect_ex(('127.0.0.1', index))

if result == 0:

print("Port %d is open" % index)

else:

print("Port %d is not open" % index)

sock.close()

判断指定端口并且实现钉钉轮询报警

import requests

import sys

import json

import socket

import time

def dingding(title,text):

dingding_url = ' https://oapi.dingtalk.com/robot/send?access_token=6d11af3252812ea50410c2ccb861814a69ed11b2306606934a5d4ca9f2c8c09'

data = {"msgtype": "markdown","markdown": {"title": title,"text": text}}

headers = {'Content-Type':'application/jsoncharset=UTF-8'}

send_data = json.dumps(data).encode('utf-8')

requests.post(url=dingding_url,data=send_data,headers=headers)

def net_scan():

port_number = [80,135,443]

for index in port_number:

sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

result = sock.connect_ex(('127.0.0.1', index))

if result == 0:

print("Port %d is open" % index)

else:

return index

sock.close()

while True:

dingding("Warning",net_scan())

time.sleep(60)

python-实现SSH批量CMD执行命令

import sys

import os

import paramiko

ssh = paramiko.SSHClient()

ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())

def ssh_cmd(user,passwd,port,userfile,cmd):

file = open(userfile, "r")

line = file.readlines()

for i in range(len(line)):

print("对IP: %s 执行"%line[i].strip('\n'))

ssh.connect(hostname=line[i].strip('\n'),port=port,username=user,password=passwd)

cmd=cmd

stdin, stdout, stderr = ssh.exec_command(cmd)

result = stdout.read()

ssh_cmd("lyshark","123","22","./ip.txt","free -h |grep 'Mem:' |awk '{print $3}'")

用python写一个列举当前目录以及所有子目录下的文件,并打印出绝对路径

import sys

import os

for root,dirs,files in os.walk("C://"):

for name in files:

print(os.path.join(root,name))

os.walk()

按照这样的日期格式(xxxx-xx-xx)每日生成一个文件,例如今天生成的文件为2013-09-23.log, 并且把磁盘的使用情况写到到这个文件中。

import os

import sys

import time

new_time = time.strftime("%Y-%m-%d")

disk_status = os.popen("df -h").readlines()

str1 = ''.join(disk_status)

f = open(new_time+'.log','w')

f.write("%s"%str1)

f.flush()

f.close()

统计出每个IP的访问量有多少?(从日志文件中查找)

import sys

list = []

f = open("/var/log/httpd/access_log","r")

str1 = f.readlines()

f.close()

for i in str1:

ip=i.split()[0]

list.append(ip)

list_num=set(list)

for j in list_num:

num=list.count(j)

print("%s ----->%s" %(num,j))

写个程序,接受用户输入数字,并进行校验,非数字给出错误提示,然后重新等待用户输入。

import tab

import sys

while True:

try:

num=int(input("输入数字:").strip())

for x in range(2,num+1):

for y in range(2,x):

if x % y == 0:

break

else:

print(x)

except ValueError:

print("您输入的不是数字")

except KeyboardInterrupt:

sys.exit("\n")

ps 可以查看进程的内存占用大小,写一个脚本计算一下所有进程所占用内存大小的和。

import sys

import os

list=[]

sum=0

str1=os.popen("ps aux","r").readlines()

for i in str1:

str2=i.split()

new_rss=str2[5]

list.append(new_rss)

for i in list[1:-1]:

num=int(i)

sum=sum+num

print("%s --->%s"%(list[0],sum))

关于Python 命令行参数argv

import sys

if len(sys.argv) <2:

print ("没有输入任何参数")

sys.exit()

if sys.argv[1].startswith("-"):

option = sys.argv[1][1:]

利用random生成6位数字加字母随机验证码

import sys

import random

rand=[]

for x in range(6):

y=random.randrange(0,5)

if y == 2 or y == 4:

num=random.randrange(0,9)

rand.append(str(num))

else:

temp=random.randrange(65,91)

c=chr(temp)

rand.append(c)

result="".join(rand)

print(result)

自动化-使用pexpect非交互登陆系统

import pexpect

import sys

ssh = pexpect.spawn('ssh [email protected]')

fout = file('sshlog.txt', 'w')

ssh.logfile = fout

ssh.expect("[email protected]'s password:")

ssh.sendline("密码")

ssh.expect('#')

ssh.sendline('ls /home')

ssh.expect('#')

Python-取系统时间

import sys

import time

time_str = time.strftime("日期:%Y-%m-%d",time.localtime())

print(time_str)

time_str= time.strftime("时间:%H:%M",time.localtime())

print(time_str)

psutil-获取内存使用情况

import sys

import os

import psutil

memory_convent = 1024 * 1024

mem =psutil.virtual_memory()

print("内存容量为:"+str(mem.total/(memory_convent))+"MB\n")

print("已使用内存:"+str(mem.used/(memory_convent))+"MB\n")

print("可用内存:"+str(mem.total/(memory_convent)-mem.used/(1024*1024))+"MB\n")

print("buffer容量:"+str(mem.buffers/( memory_convent ))+"MB\n")

print("cache容量:"+str(mem.cached/(memory_convent))+"MB\n")

Python-通过SNMP协议监控CPU

注意:被监控的机器上需要支持snmp协议 yum install -y net-snmp*

import os

def getAllitems(host, oid):

sn1 = os.popen('snmpwalk -v 2c -c public ' + host + ' ' + oid + '|grep Raw|grep Cpu|grep -v Kernel').read().split('\n')[:-1]

return sn1

def getDate(host):

items = getAllitems(host, '.1.3.6.1.4.1.2021.11')

if name == ' main ':

Python-通过SNMP协议监控系统负载

注意:被监控的机器上需要支持snmp协议 yum install -y net-snmp*

import os

import sys

def getAllitems(host, oid):

sn1 = os.popen('snmpwalk -v 2c -c public ' + host + ' ' + oid).read().split('\n')

return sn1

def getload(host,loid):

load_oids = '1.3.6.1.4.1.2021.10.1.3.' + str(loid)

return getAllitems(host,load_oids)[0].split(':')[3]

if name == ' main ':

Python-通过SNMP协议监控内存

注意:被监控的机器上需要支持snmp协议 yum install -y net-snmp*

import os

def getAllitems(host, oid):

def getSwapTotal(host):

def getSwapUsed(host):

def getMemTotal(host):

def getMemUsed(host):

if name == ' main ':

Python-通过SNMP协议监控磁盘

注意:被监控的机器上需要支持snmp协议 yum install -y net-snmp*

import re

import os

def getAllitems(host,oid):

def getDate(source,newitem):

def getRealDate(item1,item2,listname):

def caculateDiskUsedRate(host):

if name == ' main ':

Python-通过SNMP协议监控网卡流量

注意:被监控的机器上需要支持snmp协议 yum install -y net-snmp*

import re

import os

def getAllitems(host,oid):

sn1 = os.popen('snmpwalk -v 2c -c public ' + host + ' ' + oid).read().split('\n')[:-1]

return sn1

def getDevices(host):

device_mib = getAllitems(host,'RFC1213-MIB::ifDescr')

device_list = []

def getDate(host,oid):

date_mib = getAllitems(host,oid)[1:]

date = []

if name == ' main ':

Python-实现多级菜单

import os

import sys

ps="[None]->"

ip=["192.168.1.1","192.168.1.2","192.168.1.3"]

flage=1

while True:

ps="[None]->"

temp=input(ps)

if (temp=="test"):

print("test page !!!!")

elif(temp=="user"):

while (flage == 1):

ps="[User]->"

temp1=input(ps)

if(temp1 =="exit"):

flage=0

break

elif(temp1=="show"):

for i in range(len(ip)):

print(i)

Python实现一个没用的东西

import sys

ps="[root@localhost]# "

ip=["192.168.1.1","192.168.1.2","192.168.1.3"]

while True:

temp=input(ps)

temp1=temp.split()

检查各个进程读写的磁盘IO

import sys

import os

import time

import signal

import re

class DiskIO:

def init (self, pname=None, pid=None, reads=0, writes=0):

self.pname = pname

self.pid = pid

self.reads = 0

self.writes = 0

def main():

argc = len(sys.argv)

if argc != 1:

print ("usage: please run this script like [./lyshark.py]")

sys.exit(0)

if os.getuid() != 0:

print ("Error: This script must be run as root")

sys.exit(0)

signal.signal(signal.SIGINT, signal_handler)

os.system('echo 1 >/proc/sys/vm/block_dump')

print ("TASK PID READ WRITE")

while True:

os.system('dmesg -c >/tmp/diskio.log')

l = []

f = open('/tmp/diskio.log', 'r')

line = f.readline()

while line:

m = re.match(

'^(\S+)(\d+)(\d+): (READ|WRITE) block (\d+) on (\S+)', line)

if m != None:

if not l:

l.append(DiskIO(m.group(1), m.group(2)))

line = f.readline()

continue

found = False

for item in l:

if item.pid == m.group(2):

found = True

if m.group(3) == "READ":

item.reads = item.reads + 1

elif m.group(3) == "WRITE":

item.writes = item.writes + 1

if not found:

l.append(DiskIO(m.group(1), m.group(2)))

line = f.readline()

time.sleep(1)

for item in l:

print ("%-10s %10s %10d %10d" %

(item.pname, item.pid, item.reads, item.writes))

def signal_handler(signal, frame):

os.system('echo 0 >/proc/sys/vm/block_dump')

sys.exit(0)

if name ==" main ":

main()

利用Pexpect实现自动非交互登陆linux

import pexpect

import sys

ssh = pexpect.spawn('ssh [email protected]')

fout = file('sshlog.log', 'w')

ssh.logfile = fout

ssh.expect("[email protected]'s password:")

ssh.sendline("密码")

ssh.expect('#')

ssh.sendline('ls /home')

ssh.expect('#')

利用psutil模块获取系统的各种统计信息

import sys

import psutil

import time

import os

time_str = time.strftime( "%Y-%m-%d", time.localtime( ) )

file_name = "./" + time_str + ".log"

if os.path.exists ( file_name ) == False :

os.mknod( file_name )

handle = open ( file_name , "w" )

else :

handle = open ( file_name , "a" )

if len( sys.argv ) == 1 :

print_type = 1

else :

print_type = 2

def isset ( list_arr , name ) :

if name in list_arr :

return True

else :

return False

print_str = ""

if ( print_type == 1 ) or isset( sys.argv,"mem" ) :

memory_convent = 1024 * 1024

mem = psutil.virtual_memory()

print_str += " 内存状态如下:\n"

print_str = print_str + " 系统的内存容量为: "+str( mem.total/( memory_convent ) ) + " MB\n"

print_str = print_str + " 系统的内存以使用容量为: "+str( mem.used/( memory_convent ) ) + " MB\n"

print_str = print_str + " 系统可用的内存容量为: "+str( mem.total/( memory_convent ) - mem.used/( 1024*1024 )) + "MB\n"

print_str = print_str + " 内存的buffer容量为: "+str( mem.buffers/( memory_convent ) ) + " MB\n"

print_str = print_str + " 内存的cache容量为:" +str( mem.cached/( memory_convent ) ) + " MB\n"

if ( print_type == 1 ) or isset( sys.argv,"cpu" ) :

print_str += " CPU状态如下:\n"

cpu_status = psutil.cpu_times()

print_str = print_str + " user = " + str( cpu_status.user ) + "\n"

print_str = print_str + " nice = " + str( cpu_status.nice ) + "\n"

print_str = print_str + " system = " + str( cpu_status.system ) + "\n"

print_str = print_str + " idle = " + str ( cpu_status.idle ) + "\n"

print_str = print_str + " iowait = " + str ( cpu_status.iowait ) + "\n"

print_str = print_str + " irq = " + str( cpu_status.irq ) + "\n"

print_str = print_str + " softirq = " + str ( cpu_status.softirq ) + "\n"

print_str = print_str + " steal = " + str ( cpu_status.steal ) + "\n"

print_str = print_str + " guest = " + str ( cpu_status.guest ) + "\n"

if ( print_type == 1 ) or isset ( sys.argv,"disk" ) :

print_str += " 硬盘信息如下:\n"

disk_status = psutil.disk_partitions()

for item in disk_status :

print_str = print_str + " "+ str( item ) + "\n"

if ( print_type == 1 ) or isset ( sys.argv,"user" ) :

print_str += " 登录用户信息如下:\n "

user_status = psutil.users()

for item in user_status :

print_str = print_str + " "+ str( item ) + "\n"

print_str += "---------------------------------------------------------------\n"

print ( print_str )

handle.write( print_str )

handle.close()

import psutil

mem = psutil.virtual_memory()

print mem.total,mem.used,mem

print psutil.swap_memory() # 输出获取SWAP分区信息

cpu = psutil.cpu_stats()

printcpu.interrupts,cpu.ctx_switches

psutil.cpu_times(percpu=True) # 输出每个核心的详细CPU信息

psutil.cpu_times().user # 获取CPU的单项数据 [用户态CPU的数据]

psutil.cpu_count() # 获取CPU逻辑核心数,默认logical=True

psutil.cpu_count(logical=False) # 获取CPU物理核心数

psutil.disk_partitions() # 列出全部的分区信息

psutil.disk_usage('/') # 显示出指定的挂载点情况【字节为单位】

psutil.disk_io_counters() # 磁盘总的IO个数

psutil.disk_io_counters(perdisk=True) # 获取单个分区IO个数

psutil.net_io_counter() 获取网络总的IO,默认参数pernic=False

psutil.net_io_counter(pernic=Ture)获取网络各个网卡的IO

psutil.pids() # 列出所有进程的pid号

p = psutil.Process(2047)

p.name() 列出进程名称

p.exe()列出进程bin路径

p.cwd()列出进程工作目录的绝对路径

p.status()进程当前状态[sleep等状态]

p.create_time() 进程创建的时间 [时间戳格式]

p.uids()

p.gids()

p.cputimes() 【进程的CPU时间,包括用户态、内核态】

p.cpu_affinity() # 显示CPU亲缘关系

p.memory_percent() 进程内存利用率

p.meminfo() 进程的RSS、VMS信息

p.io_counters() 进程IO信息,包括读写IO数及字节数

p.connections() 返回打开进程socket的namedutples列表

p.num_threads() 进程打开的线程数

import psutil

from subprocess import PIPE

p =psutil.Popen(["/usr/bin/python" ,"-c","print 'helloworld'"],stdout=PIPE)

p.name()

p.username()

p.communicate()

p.cpu_times()

psutil.users()# 显示当前登录的用户,和Linux的who命令差不多

psutil.boot_time() 结果是个UNIX时间戳,下面我们来转换它为标准时间格式,如下:

datetime.datetime.fromtimestamp(psutil.boot_time()) # 得出的结果不是str格式,继续进行转换 datetime.datetime.fromtimestamp(psutil.boot_time()).strftime('%Y-%m-%d%H:%M:%S')

Python生成一个随机密码

import random, string

def GenPassword(length):

if name == ' main ':

print (GenPassword(6))

基于Python本身的优点:简单,易学,速度快,免费、开源,高层语言,可移植性,解释性,可扩展性,可嵌入性,丰富的库,独特的语法。Python已经成为现在编程的必备语言。作为“胶水语言”它能够把其他语言制作的各种模块轻松联结在一起。

比起C和Java,Python的魅力更为突显,因为完成同一项任务,C语言需要1000行代码,Java只需要100行代码,而Python可能只需要20行就轻松搞定。

相关推荐:《Python入门教程》

Python在系统运维上的优势在于其强大的开发多能力和完整的工业链,它的开发能力远强于各种Shell和Perl,的确通过Shell脚本来实现自动化运维!借助自动化运维来实现大规模集群维护的想法是对的,但由于Shell本身的可编程能力较弱,对很多日常维护中需要的特性支持不够,也没有现成的库可以借鉴,各种功能都需要从头写起,所以说Shell脚本力量不够。

而现Python是更好的选择,Python除了易读易写更兼具面向对象和函数式风格,已经成为IT运维、科学计算、数据处理等领域的主要编译语言。通过系统化的将各种管理工具结合,对各类工具进行二次开发,形成统一的服务器管理系统。

和Python类似的Ruby也很适合编写系统管理软件,但是在相关库和工具上比Python差远了。

让系统易运维管理是一个工程,Python在服务器管理工具上非常丰富:配置管理(Saltstack)、批量执行( Fabric, saltstack)、监控(Zenoss, nagios 插件)、虚拟化管理( Python-libvirt)、进程管理 (Supervisor)、云计算(Openstack)等,大部分系统C库都有Python绑定。

作为一门编程语言,Python几乎可以用在任何领域和场合,自身带有无限可能,担任任何角色。

从国内的豆瓣、搜狐、金山、腾讯、盛大、网易、百度、阿里、淘宝、热酷、土豆、新浪、到国外的谷歌、NASA、YouTube、Facebook等互联网巨头公司都用Python完成各项任务。

随着云计算技术的发展与成熟,低端运维人员的市场越来越小,甚至是没有市场,因为中小型公司不需要运维,而大公司的门槛高,低端运维没有核心竞争力,会工程开发能力的运维才是大企业喜闻乐见的。

掌握Linux技能是一个运维人员的基本,要胜任大公司以企业及的运维工作光会Linux还远远不够。Linux+Python是运维的最佳搭配。