Python 读写文件的编码与解码问题

2023-02-25 20:40:02Python031

Python 读写文件的编码与解码问题,第1张

演示文件为docx文档，内容如下：

源码

运行源码查看报错信息

UnicodeDecodeError: 'gbk' codec can't decode byte 0xab in position 15: illegal multibyte sequence

上述错误是一种很常见的解码错误，下面介绍该错误的解决方法

把utf-8，gbk等各种编码方式都试了一遍，还是没有解决问题然后仔细看报错信息，根据UnicodeDecodeError: 'utf-8' codec can't decode byte 0xfb in position 14: invalid start byte，猜测文件中某个字节不能解码，打开文件一看，并没有看出什么问题来

open() 函数的第三个参数不是用来接收编码方式的，而是传入一个buffering的值，此处传入了'gbk'字符串，所以系统提示传一个整型

通过调用office的API进行操作，因为在office上能完成的操作，都能通过win32完成，所以我们选择使用win32

（Python3.5 需要安装 win32compat，里面含了 win32 的很多包）

在python3中系统默认编码是unicode,读取文件经常会编码错误导致报错。

首先先确认要读取文件的编码，可这样操作：

记事本打开文本文件，点击“文件”-“另存为”查看编码:

如图显示编码就是当前的文件编码，这里是“utf-8”。

2. 要想用指定编码打开，使用codecs模块

安装模块pip命令:

pip install codecs

3. 使用codecs模块，例如读取test文件内容并打印：

import codecs

f=codecs.open(r"test.txt","r","gbk")

print(f.read())

f.close()

（示例的文件是ANSI所以使用GBK读取）

以上就可以正确读取想要的文件了

代码如下:

import os

import codecs

filenames=os.listdir(os.getcwd())

out=file("name.txt","w")

for filename in filenames:

out.write(filename.decode("gb2312").encode("utf-8"))

out.close()

将执行文件的当前目录及文件名写入到name.txt文件中，以utf-8格式保存

如果采用ANSI编码保存，用如下代码写入即可：

复制代码代码如下:

out.write(filename)

打开文件并写入

引用codecs模块，对该模块目前不了解。在此记录下方法，有空掌握该模块功能及用法。

复制代码代码如下:

import codecs

file=codecs.open("lol.txt","w","utf-8")

file.write(u"我")

file.close()

读取ANSI编码的文本文件和utf-8编码的文件

读取ANSI编码文件

建立一个文件test.txt，文件格式用ANSI，内容为:

复制代码代码如下:

abc中文

用python来读取

复制代码代码如下:

# coding=gbk

print open("Test.txt").read()

结果：abc中文

读取utf-8编码文件（无BOM）

把文件格式改成UTF-8：

复制代码代码如下:

结果：abc涓枃

显然，这里需要解码：

复制代码代码如下:

# -*- coding: utf-8 -*-

import codecs

print open("Test.txt").read().decode("utf-8")

结果：abc中文

读取utf-8编码文件（有BOM）

某些软件在保存一个以UTF-8编码的文件时，默认会在文件开始的地方插入三个不可见的字符（0xEF 0xBB 0xBF，即BOM）。在有些软件可以控制是否插入BOM。如果在有BOM的情况下，在读取时需要自己去掉这些字符，python中的codecs module定义了这个常量：

复制代码代码如下:

# -*- coding: utf-8 -*-

import codecs

data = open("Test.txt").read()

if data[:3] == codecs.BOM_UTF8:

data = data[3:]

print data.decode("utf-8")

结果：abc中文

在看下面的例子：

复制代码代码如下:

# -*- coding: utf-8 -*-

data = open("name_utf8.txt").read()

u=data.decode("utf-8")

print u[1:]

打开utf-8格式的文件并读取utf-8字符串后，解码变成unicode对象。但是会把附加的三个字符同样进行转换，变成一个unicode字符。该字符不能被打印。所以为了正常显示，采用u[1:]的方式，过滤到第一个字符。

注意：在处理unicode中文字符串的时候，必须首先对它调用encode函数，转换成其它编码输出。

设置python默认编码

复制代码代码如下:

import sys

reload(sys)

sys.setdefaultencoding("utf-8")

print sys.getdefaultencoding()

今天碰到了 python 编码问题, 报错信息如下

复制代码代码如下:

Traceback (most recent call last):

File "ntpath.pyc", line 108, in join

UnicodeDecodeError: 'ascii' codec can't decode byte 0xa1 in position 36: ordinal not in range(128)

显然是当前的编码为ascii, 无法解析0xa1(十进制为161, 超过上限128). 进入python console后, 发现默认编码确实是 ascii, 验证过程为:

在python2.6中无法调用sys.setdefaultencoding()函数来修改默认编码，因为python在启动的时候会调用site.py文件，在这个文件中设置完默认编码后会删除sys的setdefaultencoding方法。不能再被调用了. 在确定sys已经导入的情况下, 可以reload sys这个模块之后, 再 sys.setdefaultencoding('utf8')

复制代码代码如下:

import sys

reload(sys)

sys.setdefaultencoding("utf-8")

print sys.getdefaultencoding()

确实有效, 根据 limodou 讲解, site.py 是 python 解释器启动后, 默认加载的一个脚本. 如果使用 python -S 启动的话, 将不会自动加载 site.py.

上面写的挺啰嗦的.

==================================

如何永久地将默认编码设置为utf-8呢? 有2种方法:

==================================

第一个方法<不推荐>: 编辑site.py, 修改setencoding()函数, 强制设置为 utf-8

第二个方法<推荐>: 增加一个名为 sitecustomize.py, 推荐存放的路径为 site-packages 目录下