怎么在Python里使用UTF-8编码

Python015

怎么在Python里使用UTF-8编码,第1张

概述

在python代码即.py文件的头部声明即可

解析

py文件中的编码

Python 默认脚本文件都是 ANSCII 编码的，当文件 中有非 ANSCII 编码范围内的字符的时候就要使用"编码指示"来修正一个 module 的定义中，如果.py文件中包含中文字符（严格的说是含有非anscii字符），则需要在第一行或第二行指定编码声明：

# -*- coding=utf-8 -*-

#coding=utf-8

# 以上两种选其一即可

其他的编码如：gbk、gb2312也可以；否则会出现:

SyntaxError: Non-ASCII character '\xe4' in file test.py on line 3, but no encoding declaredsee http://www.python.org/peps/pep-0263.html for details

python中的编码与解码

先说一下python中的字符串类型，在python中有两种字符串类型，分别是 str 和 unicode，他们都是basestring的派生类；

str类型是一个包含Characters represent (at least) 8-bit bytes的序列；

unicode 的每个 unit 是一个 unicode obj

在str的文档中有这样的一句话：

The string data type is also used to represent arrays of bytes, e.g., to hold data read from a file.

也就是说在读取一个文件的内容，或者从网络上读取到内容时，保持的对象为str类型；如果想把一个str转换成特定编码类型，需要把str转为Unicode,然后从unicode转为特定的编码类型如：utf-8、gb2312等。

拓展内容

utf-8编码

UTF-8（8-bit Unicode Transformation Format）是一种针对Unicode的可变长度字符编码，也是一种前缀码。它可以用来表示Unicode标准中的任何字符，且其编码中的第一个字节仍与ASCII兼容，这使得原来处理ASCII字符的软件无须或只须做少部分修改，即可继续使用。因此，它逐渐成为电子邮件、网页及其他存储或发送文字的应用中，优先采用的编码。

UTF-8使用一至六个字节为每个字符编码（尽管如此，2003年11月UTF-8被RFC 3629重新规范，只能使用原来Unicode定义的区域，U+0000到U+10FFFF，也就是说最多四个字节）：

1、128个US-ASCII字符只需一个字节编码（Unicode范围由U+0000至U+007F）。

2、带有附加符号的拉丁文、希腊文、西里尔字母、亚美尼亚语、希伯来文、阿拉伯文、叙利亚文及它拿字母则需要两个字节编码（Unicode范围由U+0080至U+07FF）。

3、其他基本多文种平面（BMP）中的字符（这包含了大部分常用字，如大部分的汉字）使用三个字节编码（Unicode范围由U+0800至U+FFFF）。

4、其他极少使用的Unicode 辅助平面的字符使用四至六字节编码（Unicode范围由U+10000至U+1FFFFF使用四字节，Unicode范围由U+200000至U+3FFFFFF使用五字节，Unicode范围由U+4000000至U+7FFFFFFF使用六字节）。

对上述提及的第四种字符而言，UTF-8使用四至六个字节来编码似乎太耗费资源了。但UTF-8对所有常用的字符都可以用三个字节表示，而且它的另一种选择，UTF-16编码，对前述的第四种字符同样需要四个字节来编码，所以要决定UTF-8或UTF-16哪种编码比较有效率，还要视所使用的字符的分布范围而定。不过，如果使用一些传统的压缩系统，比如DEFLATE，则这些不同编码系统间的的差异就变得微不足道了。若顾及传统压缩算法在压缩较短文字上的效果不大，可以考虑使用Unicode标准压缩格式（SCSU）。

互联网工程工作小组（IETF）要求所有互联网协议都必须支持UTF-8编码。互联网邮件联盟（IMC）建议所有电子邮件软件都支持UTF-8编码。

python编辑软件sublime不支持非utf-8格式的中文，有时会显示乱码

编辑的文件头一行，通常先先手动设置一下编码格式#encoding：utf-8

然后再编辑文件，通常能解决一些乱码问题

def 是python的关键字，表达的意思是定义函数，后面跟的就是函数名，括号内为函数变量，也可以为空

文字比较抽象，等用到例子以后可以再具体分析

在命令行终端上工作时，经常会碰到一个头疼的问题就是中文乱码。下面我们就来看一下解决python在终端输出乱码的解决方法。

牵涉编码的地方一共有五处：

Python代码文件前两行声明的编码

Python代码文件实际存储所使用的编码

Vim的显示编码

Linux系统的文件编码

SecureCRT等终端设置的显示编码

严格来讲，五码一致的时候，如果文件没有损坏，应该是能够正常显示了。

Python编码声明：

如果python代码文件中包含中文，就一定要在代码文件的前两行（注意：一定要是前两行）做出编码声明，否则python代码默认采用ASCII保存，这样遇到中文字符就会报错。在代码头部声明编码的方式有三种：

# coding=<encoding name>

# -*- coding: <encoding name>-*-

# vim: set fileencoding=<encoding name>

Vim中有关编码的选项：

在 Vim 中，有四个与编码有关的选项，它们是：fileencodings、fileencoding、encoding 和 termencoding。

Linux系统的编码设置：

Linux的系统编码设置可以通过设置locale来完成，直接在命令行敲locale，然后回车，即可查看当前系统的编码设置，与保存文件相关的设置是LC_CTYPE。

如LC_CTYPE=zh_CN.gb18030，即把系统的编码设置成为了gb18030。

更多Python知识请关注Python自学网