Java编码问题详解

王丰wf 贡献于2013-12-11

作者 微软用户  创建于2012-11-07 01:16:00   修改者微软用户  修改于2012-11-07 01:17:00字数6585

文档摘要:1>汉字编码的相关说明汉字是双字节的,要占用两个BYTE的位置(即16位),分别称为高位和低位。中国规定的汉字编码为GB2312,这是强制性的,目前几乎所有的能处理中文的应用程序都支持GB2312。GB2312包括了一二级汉字和9区符号,高位从0xa1到0xfe,低位也是从0xa1到0xfe,其中,汉字的编码范围为0xb0a1到0xf7fe。
关键词:

1>汉字编码的相关说明 汉字是双字节的,要占用两个BYTE的位置(即16位),分别称为高位和低位。 中国规定的汉字编码为GB2312,这是强制性的,目前几乎所有的能处理中文的应用程序都支持GB2312。GB2312包括了一二级汉字和9区符号,高位从0xa1到0xfe,低位也是从0xa1到0xfe,其中,汉字的编码范围为0xb0a1到0xf7fe。 另外有一种编码,叫做GBK,但这是一份规范,不是强制的。GBK提供了20902个汉字,它兼容GB2312,编码范围为0x8140到0xfefe。GBK中的所有字符都可以一一映射到Unicode 2.0。 中国还颁布了另一种标准:GB18030-2000(GBK2K)。它收录了藏、蒙等少数民族的字型,从根本上解决了字位不足的问题。注意:它不再是定长的。其二字节部份与GBK兼容,四字节部分是扩充的字符、字形。它的首字节和第三字节从0x81到0xfe,二字节和第四字节从0x30到0x39。 2>不同语言直接的转换 异种语言之间的转换是通过Unicode来完成的。假设有两种不同的语言A和B,转换的步骤为:先把A转化为Unicode,再把Unicode转化为B。 举例说明。有GB2312中有一个汉字“李”,其编码为“C0EE”,欲转化为ISO8859-1编码。步骤为:先把“李”字转化为Unicode,得到“674E”,再把“674E”转化为ISO8859-1字符。当然,这个映射不会成功,因为ISO8859-1中根本就没有与“674E”对应的字符。当映射不成功时,问题就发生了!当从某语言向Unicode转化时,如果在某语言中没有该字符,得到的将是Unicode的代码“/uffffd”(“/u”表示是Unicode编码,)。而从Unicode向某语言转化时,如果某语言没有对应的字符,则得到的是“0x3f”(“?”)。这就是“?”的由来。例如:把字符流buf =“0x80 0x40 0xb0 0xa1”进行new String(buf, "gb2312")操作,得到的结果是“/ufffd/u554a”,再println出来,得到的结果将是“?啊”,因为“0x80 0x40”是GBK中的字符,在GB2312中没有。再如,把字符串String="/u00d6/u00ec/u00e9/u0046/u00bb/u00f9"进行new String (buf.getBytes("GBK"))操作,得到的结果是“3fa8aca8a6463fa8b4”,其中,“/u00d6”在“GBK”中没有对应的字符,得到“3f”,“/u00ec”对应着“a8ac”,“/u00e9”对应着“a8a6”,“0046”对应着“46”(因为这是ASCII字符),“/u00bb”没找到,得到“3f”,最后,“/u00f9”对应着“a8b4”。把这个字符串println一下,得到的结果是“?ìéF?ù”。看到没?这里并不全是问号,因为GBK与Unicode映射的内容中除了汉字外还有字符,本例就是最好的明证。 3>Unicode格式 Unicode默认为UTF-16格式。 UTF-8是Unicode压缩版本,对于大多数常用字符集(ASCII中0~127字符)它只使用单字节,而对其它常用字符(特别是朝鲜和汉语会意文字),它使用3字节。如果写的主要是英语,那么UTF-8可减少文件大小一半左右。 UTF-8就是以8位为单元对UCS进行编码,以字节为编码单元,没有字节序的问题。UTF-16以两个字节为编码单元,在解释一个UTF-16文本前,首先要弄清楚每个编码单元的字节序。例如"奎"的Unicode编码是594E,"乙"的Unicode编码是4E59。如果我们收到UTF-16字节流"594E",那么这是“奎”还是"乙"?Unicode规范中推荐的标记字节顺序的方法是BOM(即Byte Order Mark)。如果接收者收到FEFF,就表明这个字节流是Big-Endian的;如果收到FFFE,就表明这个字节流是Little-Endian的。 3>UTF格式 UTF,是Unicode Text Format的缩写,意为Unicode文本格式。对于UTF,是这样定义的: ● 如果Unicode的16位字符的头9位是0,则用一个字节表示,这个字节的首位是“0”,剩下的7位与原字符中的后7位相同,如“/u0034”(0000 0000 0011 0100),用“34” (0011 0100)表示;(与源Unicode字符是相同的); >7位的Unicode: 0 _ _ _ _ _ _ _ ● 如果Unicode的16位字符的头5位是0,则用2个字节表示,首字节是“110”开头,后面的5位与源字符中除去头5个零后的最高5位相同;第二个字节以“10”开头,后面的6位与源字符中的低6位相同。如“/u025d”(0000 0010 0101 1101),转化后为“c99d”(1100 1001 1001 1101); >11位的Unicode: 1 1 0 _ _ _ _ _ 1 0 _ _ _ _ _ _ ● 如果不符合上述两个规则,则用三个字节表示。第一个字节以“1110”开头,后四位为源字符的高四位;第二个字节以“10”开头,后六位为源字符中间的六位;第三个字节以“10”开头,后六位为源字符的低六位;如“/u9da7”(1001 1101 1010 0111),转化为“e9b6a7”(1110 1001 1011 0110 1010 0111); >16位的Unicode: 1 1 1 0 _ _ _ _ 1 0 _ _ _ _ _ _ 1 0 _ _ _ _ _ _ >21位的Unicode: 1 1 1 1 0 _ _ _ 1 0 _ _ _ _ _ _ 1 0 _ _ _ _ _ _ 1 0 _ _ _ _ _ _ 可以这么描述JAVA程序中Unicode与UTF的关系,虽然不绝对:字符串在内存中运行时,表现为Unicode代码,而当要保存到文件或其它介质中去时,用的是UTF。这个转化过程是由writeUTF和readUTF来完成的。 4>Java程序中的编码格式内幕 input(charsetA)->process(Unicode)->output(charsetB) 即输入、处理和输出要经过“从charsetA到unicode再到charsetB”的转化。 SourceFile(jsp,java)->class->output 输入的是jsp和java源文件,在处理过程中,以Class文件为载体,然后输出。  ● JSP从源文件到Class的过程。 在本节中,将阐述JSP文件的解释和编译过程,并跟踪其中的中文变化。   1、JSP/Servlet引擎提供的JSP转换工具(jspc)搜索JSP文件中用<%@ page contentType ="text/html; charset=<Jsp-charset>"%>中指定的charset。如果在JSP文件中未指定<Jsp-charset>,则取JVM中的默认设置file.encoding,一般情况下,这个值是ISO8859-1;   2、jspc用相当于“javac –encoding <Jsp-charset>”的命令解释JSP文件中出现的所有字符,包括中文字符和ASCII字符,然后把这些字符转换成Unicode字符,再转化成UTF格式,存为JAVA文件。ASCII码字符转化为Unicode字符时只是简单地在前面加“00”,如“A”,转化为“/u0041”(不需要理由,Unicode的码表就是这么编的)。然后,经过到UTF的转换,又变回“41”了!这也就是可以使用普通文本编辑器查看由JSP生成的JAVA文件的原因;   3、引擎用相当于“javac –encoding UNICODE”的命令,把JAVA文件编译成CLASS文件;   先看一下这些过程中中文字符的转换情况。有如下源代码: <%@ page contentType="text/html; charset=gb2312"%> <html><body> <%  String a="中文";  out.println(a); %> </body></html> 两个字的GB2312编码为“D6 D0 CE C4”。经查表,“中文”两字的Unicode编码为“/u4E2D/u6587”,用 UTF表示就是“E4 B8 AD E6 96 87”。此JSP文件生成的JAVA文件中的“中文”两个字被“E4 B8 AD E6 96 87”替代了,再查看由JAVA文件编译生成的CLASS文件,发现结果与JAVA文件中的完全一样。 再看JSP中指定的CharSet为ISO-8859-1的情况。 <%@ page contentType="text/html; charset=ISO-8859-1"%> <html><body> <%  String a="中文";  out.println(a); %> </body></html> 先推测一下生成的JAVA文件和CLASS文件的过程:jspc用ISO-8859-1来解释“中文”,并把它映射到Unicode。由于ISO-8859-1是8位的,其映射规则就是在每个字节前加“00”,所以,映射后的Unicode编码应为“/u00D6/u00D0/u00CE/u00C4”,转化成UTF后应该是“C3 96 C3 90 C3 8E C3 84”。最后,打开文件看一下,JAVA文件和CLASS文件中,“中文”果然都表示为“C3 96 C3 90 C3 8E C3 84”。 如果上述代码中不指定<Jsp-charset>,即把第一行写成“<%@ page contentType="text/html" %>”,JSPC会使用file.encoding的设置来解释JSP文件。在RedHat 6.2上,其处理结果与指定为ISO-8859-1是完全相同的。 到现在为止,已经解释了从JSP文件到CLASS文件的转变过程中中文字符的映射过程。一句话:从“JspCharSet到Unicode再到UTF”。 ● Servlet从源文件到Class的过程 本节将讨论Servlet的编译过程并跟踪其中的中文变化。 用“javac”编译Servlet源文件。javac可以带“-encoding <Compile-charset>”参数,意思是“用< Compile-charset >中指定的编码来解释Serlvet源文件”。 源文件在编译时,用<Compile-charset>来解释所有字符,包括中文字符和ASCII字符。然后把字符常量转变成Unicode字符,最后,把Unicode转变成UTF。 在Servlet中,还有一个地方设置输出流的CharSet。通常在输出结果前,调用HttpServletResponse的setContentType方法来达到与在JSP中设置<Jsp-charset>一样的效果,称之为<Servlet-charset>。 注意,文中一共提到了三个变量:<Jsp-charset>、<Compile-charset>和<Servlet-charset>。其中,JSP文件只与<Jsp-charset>有关,而<Compile-charset>和< Servlet-charset>只与Servlet有关。 import javax.servlet.*; import javax.servlet.http.*; class testServlet extends HttpServlet {  public void doGet(HttpServletRequest req,HttpServletResponse res)  throws ServletException,java.io.IOException  {   res.setContentType("text/html; charset=GB2312");   java.io.PrintWriter out=res.getWriter();   out.println("<html>");   out.println("#中文#");   out.println("</html>");  } } 开始编译。下表是<Compile-charset>不同时,CLASS文件中“中文”两字的十六进制码。在编译过程中,<Servlet-charset>不起任何作用。<Servlet-charset>只对CLASS文件的输出产生影响,实际上是<Servlet-charset>和<Compile-charset>一起,达到与JSP文件中的<Jsp-charset>相同的效果,因为<Jsp-charset>对编译和CLASS文件的输出都会产生影响。“中文”两个字的GB2312编码为“D6 D0 CE C4” Compile-charset Class文件中 等效的Unicode码 GB2312 E4 B8 AD E6 96 87(UTF) /u4E2D/u6587 (在Unicode中=“中文”) ISO-8859-1 C3 96 C3 90 C3 8E C3 84 (UTF) /u00D6 /u00D0 /u00CE /u00C4 (在D6 D0 CE C4前面各加了一个00) (默认) 同ISO-8859-1 同ISO-8859-1 普通Java程序的编译过程与Servlet完全一样。 接下来看看CLASS又是怎样输出中文的呢? 上文说过,字符串在内存中表现为Unicode编码。至于这种Unicode编码表示了什么,那要看它是从哪种字符集映射过来的,也就是说要看它的祖先。看看上面的例子,如果给一串Unicode编码“00D6 00D0 00CE 00C4”,如果不作转换,直接用Unicode码表来对照它时,是四个字符(而且是特殊字符);假如把它与“ISO8859-1”进行映射,则直接去掉前面的“00”即可得到“D6 D0 CE C4”,这是ASCII码表中的四个字符;而假如把它当作GB2312来进行映射,得到的结果很可能是一大堆乱码,因为在GB2312中有可能没有(也有可能有)字符与00D6等字符对应(如果对应不上,将得到0x3f,也就是问号,如果对应上了,由于00D6等字符太靠前,估计也是一些特殊符号,真正的汉字在Unicode中的编码从4E00开始)。 可以,同样的Unicode字符,可以解释成不同的样子。当然,这其中有一种是我们期望的结果。 以上例而论,“D6 D0 CE C4”应该是我们所想要的,当把“D6 D0 CE C4”输出到IE 中时,用“简体中文”方式查看,就能看到清楚的“中文”两个字了。 Servlet中,当Compile-charset=Servlet-charset时,显示结果肯定正常。 ● 最终结论: 在Class输出字符串前,会将Unicode的字符串按照某一种内码重新生成字节流,然后把字节流输入,相当于进行了一步“String.getBytes(???)”操作。???代表某一种字符集。 如果是Servlet,那么,这种内码就是在HttpServletResponse.setContentType()方法中指定的内码,也就是上文定义的<Servlet-charset>。 如果是JSP,那么,这种内码就是在<%@ page contentType=""%>中指定的内码,也就是上文定义的<Jsp-charset>。 如果是Java程序,那么,这种内码就是file.encoding中指定的内码,默认为ISO8859-1。 5>结论 在Jsp文件中,要指定contentType,其中,charset的值要与客户端浏览器所用的字符集一样;对于其中的字符串常量,不需做任何内码转换;对于字符串变量,要求能根据ContentType中指定的字符集还原成客户端能识别的字节流,简单地说,就是“字符串变量是基于<Jsp-charset>字符集的”; 在Servlet中,必须用HttpServletResponse.setContentType()设置charset,且设置成与客户端内码一致;对于其中的字符串常量,需要在Javac编译时指定encoding,这个encoding必须与编写源文件的平台的字符集一样,一般说来都是GB2312或GBK;对于字符串变量,与JSP一样,必须“是基于<Servlet-charset>字符集的”。 引用:http://blog.csdn.net/Mr_IT/article/details/1339656

下载文档到电脑,查找使用更方便

文档的实际排版效果,会与网站的显示效果略有不同!!

需要 3 金币 [ 分享文档获得金币 ] 0 人已下载

下载文档