python怎么处理二进制流

Python016

python怎么处理二进制流,第1张

可以的,二进制是计算机内的表示方法,处理二进制数据是最基本的能力。

如果是二进制字符串转十进制:

>>>

x

=

'10101010'

>>>

int(x,

2)

170

如果是从文件或网络中获取的数据,要知道某一位是0还是1的话,获取的数据可以按字符读取,由于一个字符由8位二进制表示,分别读取1到8位的二进制值就可以了:

>>>

get_char_bit

=

lambda

char,

n:

(char

>>

(8-n))

&

1

#

从高到低分别为第1~8位

>>>

data

=

b'ab'

#

在python3中字符串默认是unicode,所以加上b前缀兼容

>>>

#

在python3中按字符读取byte字符串是数字,而python2读出来的却是字符,但bytearray是一致的都是数字

>>>

data

=

bytearray(data)

>>>

result

=

[]

>>>

for

char

in

data:

for

i

in

range(1,

9):

result.append(get_char_bit(char,

i))

>>>

result

[0,

1,

1,

0,

0,

0,

0,

1,

0,

1,

1,

0,

0,

0,

1,

0]

有的时候需要用python处理二进制数据,比如,存取文件,socket操作时.这时候,可以使用python的struct模块来完成.可以用 struct来处理c语言中的结构体.

struct模块中最重要的三个函数是pack(), unpack(), calcsize()

8

# 按照给定的格式(fmt),把数据封装成字符串(实际上是类似于c结构体的字节流)pack(fmt, v1, v2, ...) # 按照给定的格式(fmt)解析字节流string,返回解析出来的tupleunpack(fmt, string) # 计算给定的格式(fmt)占用多少字节的内存calcsize(fmt)

上述fmt中,支持的格式为:

FORMAT

C TYPE

PYTHON TYPE

STANDARD SIZE

NOTES

xpad byteno value

ccharstring of length 11

bsigned charinteger1(3)

Bunsigned charinteger1(3)

?_Boolbool1(1)

hshortinteger2(3)

Hunsigned shortinteger2(3)

iintinteger4(3)

Iunsigned intinteger4(3)

llonginteger4(3)

Lunsigned longinteger4(3)

qlong longinteger8(2), (3)

Qunsigned long longinteger8(2), (3)

ffloatfloat4(4)

ddoublefloat8(4)

schar[]string

pchar[]string

Pvoid *integer (5), (3)

注1.q和Q只在机器支持64位操作时有意思

注2.每个格式前可以有一个数字,表示个数

注3.s格式表示一定长度的字符串,4s表示长度为4的字符串,但是p表示的是pascal字符串

注4.P用来转换一个指针,其长度和机器字长相关

注5.最后一个可以用来表示指针类型的,占4个字节

为了同c中的结构体交换数据,还要考虑有的c或c++编译器使用了字节对齐,通常是以4个字节为单位的32位系统,故而struct根据本地机器字节顺序转换.可以用格式中的第一个字符来改变对齐方式.定义如下:

CHARACTER

BYTE ORDER

SIZE

ALIGNMENT

@nativenativenative

=nativestandardnone

< little-endianstandardnone

> big-endianstandardnone

!network (= big-endian)standardnone

使用方法是放在fmt的第一个位置,就像’@5s6sif’

例子1:

结构体如下:

structHeader{unsigned shortid char[4] tag unsigned intversion unsigned intcount}

通过socket.recv接收到了一个上面的结构体数据,存在字符串s中,现在需要把它解析出来,可以使用unpack()函数:

importstructid, tag, version, count =struct.unpack("!H4s2I", s)

上面的格式字符串中,!表示我们要使用网络字节顺序解析,因为我们的数据是从网络中接收到的,在网络上传送的时候它是网络字节顺序的.后面的H表示 一个unsigned short的id,4s表示4字节长的字符串,2I表示有两个unsigned int类型的数据.

就通过一个unpack,现在id, tag, version, count里已经保存好我们的信息了.

同样,也可以很方便的把本地数据再pack成struct格式:

ss =struct.pack("!H4s2I", id, tag, version, count)

pack函数就把id, tag, version, count按照指定的格式转换成了结构体Header,ss现在是一个字符串(实际上是类似于c结构体的字节流),可以通过 socket.send(ss)把这个字符串发送出去。

例子2:

importstruct a=12.34 # 将a变为二进制bytes=struct.pack('i',a)

此时bytes就是一个string字符串,字符串按字节同a的二进制存储内容相同。

再进行反操作,现有二进制数据bytes,(其实就是字符串),将它反过来转换成python的数据类型:

# 注意,unpack返回的是tuple !!a,=struct.unpack('i',bytes)

如果是由多个数据构成的,可以这样:

a='hello'b='world!'c=2d=45.123 bytes=struct.pack('5s6sif',a,b,c,d)

此时的bytes就是二进制形式的数据了,可以直接写入文件比如 binfile.write(bytes)

然后,当我们需要时可以再读出来,bytes=binfile.read()

再通过struct.unpack()解码成python变量:

a,b,c,d=struct.unpack('5s6sif',bytes)

’5s6sif’这个叫做fmt,就是格式化字符串,由数字加字符构成,5s表示占5个字符的字符串,2i,表示2个整数等等,下面是可用的字符及类型,ctype表示可以与python中的类型一一对应。

注意:二进制文件处理时会碰到的问题

我们使用处理二进制文件时,需要用如下方法:

binfile=open(filepath,'rb') #读二进制文件 binfile=open(filepath,'wb')#写二进制文件

那么和binfile=open(filepath,’r')的结果到底有何不同呢?

不同之处有两个地方:

第一,使用’r'的时候如果碰到’0x1A’,就会视为文件结束,这就是EOF。使用’rb’则不存在这个问题。即,如果你用二进制写入再用文本读出的话,如果其中存在’0X1A’,就只会读出文件的一部分。使用’rb’的时候会一直读到文件末尾。

第二,对于字符串x=’abc\ndef’,我们可用len(x)得到它的长度为7,\n我们称之为换行符,实际上是’0X0A’。当我们用’w'即文本方式写的时候,在windows平台上会自动将’0X0A’变成两个字符’0X0D’,’0X0A’,即文件长度实际上变成8.。当用’r'文本方式读取时,又自动的转换成原来的换行符。如果换成’wb’二进制方式来写的话,则会保持一个字符不变,读取时也是原样读取。所以如果用文本方式写入,用二进制方式读取的话,就要考虑这多出的一个字节了。’0X0D’又称回车符。linux下不会变。因为linux只使用’0X0A’来表示换行。

python下编译py成pyc和pyo

其实很简单,

python -m py_compile file.py

python -m py_compile /root/src/{file1,file2}.py

编译成pyc文件。

也可以写份脚本来做这事:

Code:

import py_compile

py_compile.compile('path') //path是包括.py文件名的路径

python -O -m py_compile file.py

编译成pyo文件。

1.其中的 -m 相当于脚本中的import,这里的-m py_compile 相当于上面的 import py_compile

2.-O 如果改成 -OO 则是删除相应的 pyo文件,具体帮助可以在控制台输入 python -h 查看

========================

from:http://blogold.chinaunix.net/u3/93255/showart_1944929.html

什么是pyc文件

pyc是一种二进制文件,是由py文件经过编译后,生成的文件,是一种byte code,py文件变成pyc文件后,加载的速度有所提高,而且pyc是一种跨平台的字节码,是由python的虚拟机来执行的,这个是类似于JAVA或者.NET的虚拟机的概念。pyc的内容,是跟python的版本相关的,不同版本编译后的pyc文件是不同的,2.5编译的pyc文件,2.4版本的 python是无法执行的。

什么是pyo文件

pyo是优化编译后的程序 python -O 源文件即可将源程序编译为pyo文件

什么是pyd文件

pyd是python的动态链接库。

为什么需要pyc文件

这个需求太明显了,因为py文件是可以直接看到源码的,如果你是开发商业软件的话,不可能把源码也泄漏出去吧?所以就需要编译为pyc后,再发布出去。当然,pyc文件也是可以反编译的,不同版本编译后的pyc文件是不同的,根据python源码中提供的opcode,可以根据pyc文件反编译出 py文件源码,网上可以找到一个反编译python2.3版本的pyc文件的工具,不过该工具从python2.4开始就要收费了,如果需要反编译出新版本的pyc文件的话,就需要自己动手了(俺暂时还没这能力^--^),不过你可以自己修改python的源代码中的opcode文件,重新编译 python,从而防止不法分子的破解。

生成单个pyc文件

python就是个好东西,它提供了内置的类库来实现把py文件编译为pyc文件,这个模块就是 py_compile 模块。

使用方法非常简单,如下所示,直接在idle中,就可以把一个py文件编译为pyc文件了。(假设在windows环境下)

import py_compile

py_compile.compile(r'H:\game\test.py')

compile函数原型:

compile(file[, cfile[, dfile[, doraise]]])

file 表示需要编译的py文件的路径

cfile 表示编译后的pyc文件名称和路径,默认为直接在file文件名后加c 或者 o,o表示优化的字节码

from:http://www.cnblogs.com/dkblog/archive/2009/04/16/1980757.html