JS - 字符编码 (ASCII,Unicode,UTF-8)

JavaScript020

JS - 字符编码 (ASCII,Unicode,UTF-8),第1张

ASCII 只有127个字符,表示英文字母的大小写、数字和一些符号,但由于其他语言用ASCII 编码表示字节不够,例如:常用中文需要两个字节,且不能和ASCII冲突,中国定制了GB2312编码格式,相同的,其他国家的语言也有属于自己的编码格式。

由于每个国家的语言都有属于自己的编码格式,在多语言编辑文本中会出现乱码,这样Unicode应运而生,Unicode就是将这些语言统一到一套编码格式中,通常两个字节表示一个字符,而ASCII是一个字节表示一个字符,这样如果你编译的文本是全英文的,用Unicode编码比ASCII编码需要多一倍的存储空间,在存储和传输上就十分不划算。

为了解决上述问题,又出现了把Unicode编码转化为“可变长编码”UTF-8编码,UTF-8编码将Unicode字符按数字大我码为1-6个字节,英文字母被编码成一个字节,常用汉字被编码成三个字节,如果你编译的文本是纯英文的,那么用UTF-8就会非常节省空间,并且ASCII码也是UTF-8的一部分。

搞清楚了ASCII、Unicode和UTF-8的关系,我们就可以总结一下现在计算机系统通用的字符编码工作方式:(1) 在计算机内存中,统一使用Unicode编码,当需要保存到硬盘或者需要传输的时候,就转换为UTF-8编码。(2)用记事本编辑的时候,从文件读取的UTF-8字符被转换为Unicode字符到内存里,编辑完成后,保存的时候再把Unicode转换为UTF-8保存到文件。如下图:

浏览网页的时候,服务器会把动态生成的Unicode内容转换为UTF-8再传输到浏览器:

现在编码方式主要有两种,一个是utf-8,一个GB2312,如果编码方式不同,会导致页面出现乱码。想修改编码方式一般可以用charset指定,也可以再工具中设置:

1.可以在使用script标签时指定。

如: <script type="text/javascript" src="myscripts.js" charset="UTF-8"></script>

2.以DW为例,工具栏里点击编辑,找到‘首选参数’点击,找到‘新建文档’点击进去就可以看到修改编码格式了。

nodejs编码只支持utf8的编码方式,无论是打开某个文件或者写.js脚本都得以utf8的编码方式保存,不然程序无法运行,读出来的文件是乱码。如果是在前台,读取文件是通过FileReader或者FileReaderSync这两个webAPI和input[type='file']标签来配合来完成,但是这个两个API已经包涵了判断文件的编码方式的功能,无论是GBK还是utf8编码的文件都能正确打开不出现乱码,但是nodejs就会出现这样的问题,读取gbk和unicode编码的文件出现奇怪的乱码,有一个模块iconv-lite可以解决编码问题,但是前提是你得知道这个文件的编码方式,举个例子:有一个gkb的文件叫gbk.txt正确查看它的方式如下:var icon=require('iconv-lite')var fs=require('fs')fs.readFile('gbk.txt',function(err,buffer){var str=iconv.decode(buffer,'gbk')console.log(str)//得到无乱码的内容})但是如果不知道文件的编码方式,那有该怎么办呢?那就来聊一聊编码方式,首先UNICODE编码,UNICODE编码的文件无论内容是什么,前两个字节要不是FF FE 或者 FE FF,utf-8头两个字节是EF BB,至于gbk吧,目前我没找到判断方法,只能粗略的判断如果不是unicode和utf8就认为是GBK,代码如下:var fs=require('fs')fs.readFile('code.txt',function(err,buffer){if(buffer[0]==0xff&&buffer[1]==0xfe){console.log('unicode')}else if(buffer[0]==0xfe&&buffer[1]==0xff){console.log('unicode')}else if(buffer[0]==0xef&&buffer[1]==0xbb){console.log('utf8')}else{console.log('else')}})