字符编码
计算机里只有数字,计算机软件里的一切都是用数字来表示的,屏幕上显示的是一个个字符也不例外。
最初每一个字符都用一个数字来表示,一个字节所能表示的数字范围有256个,足以容纳所有的字符
字符a对应数字97,字符b对应数字98等,这种字符与数字对应的编码规则也被称为ASCII(American Standard Code for Information Interchange美国标准信息交换码)。ASCII的最高bit位都为0,也就是说这些数字都在0到127之间。256=2^8+(2^7+……2^1)+1
中国大陆将每一个中文字符都用两个字节的数字来表示,中文字符的每个字节的最高位bit都为1,中国大陆为每个中文字符指定的编码规则称为GB2312(国标码)
在GB2312的基础上,对更多的中文字符(包括繁体)进行了编码,新的编码规则称为GBK(可见国标2312是GBK的子集)
在中国大陆使用的计算机系统上,GBK和GB2312就被称为该系统的本地字符集
“中国”的“中”字,在中国大陆的编码是十六进制的D6D0,而在中国台湾是十六进制的A4A4,台湾地区对中文字符集的编码规则称为BIG5(大五码)。同一个字符,在不同的地区的本地字符集中对应的数字是不同的。
在一个国家的本地化系统中出现的一个字符,通过电子邮件传送到另一个国家的本地化系统中,看到的就不是那个原始字符了,而是另外那个国家的一个字符或者乱码。所以就需要一个国际通用的字符编码来拯救世界。所以Unicode编码诞生了
Unicode(Universal Character Set)编码就是一种全球通用的字符编码
ISO(国际标准化组织)将全世界所有的符号进行了统一编码,称之为Unicode编码
字符不在区分国家和地区
“中”这个符号,在全世界的任何角落始终对应的都是一个十六进制的数字4e2d
如果所有的计算机系统都是用Unicode编码,在中国大陆的本地化系统中显示的“中”这个符号,发送到伊拉克的本地化系统中,显示的仍然是“中”这个符号
Unicode编码的字符都占用两个字节的大小,对于ASCII码所表示的字符,只是简单地在ASCII码原来占用的一个字节前面,增加一个所有bits为0的字节。
Unicode只占用两个字节,在全世界范围内所表示的字符个数不会超过2^16(65536),实际上,Unicode编码中还保留了两千多个数值没有用于字符编码。所以中国的藏文,满文等少数民族的文字和古字等没有Unicode编码。
为了兼容以前的文档,本地化字符编码(如GB2312)将与Unicode编码共存。
java中的字符使用的都是Unicode编码,但是java在通过Unicode保证跨平台特性的前提下,也支持本地平台字符集。
在java语言乃至其他的编程语言特别是XML程序的开发中还会涉及到UTF-8,UTF-16等编码,尤其是UTF-8编码的应用更是广泛。
UTF是(Unicode Text Format)(UCS / Unicode Transformation Format)(不知道哪个是对的-_-!)通用字符编码的缩写。
UTF-8是将不同范围内的字符用不同个数的字节来表示的编码方式,原来ASCII码字符保持原样,仍然占用一个字节,对于其他国家的字符,UTF-8使用两个或三个字节来表示。使用UTF-8编码的文件,通常要用EF BB BF作为文件开通的三个字节数据
字符UTF-8编码与Unicode编码之间的转换关系对应一下规则:
Unicode编码在 /u0001-/u007f之间的字符,UTF-8编码为:(byte)c只占用一个字节
Unicode编码在 /u0000和范围在/u0080-/u07ff之间的字符,UTF-8编码占用两个字节。编码为:(byte)(0xc0|(0x1f&(c>>6))) , (byte)(0x80|(0x3f&c))
Unicode编码在/u0800和/uffff之间的字符,UTF-8编码为:(byte)(0xe0|(0x0f&(c>>12))) , (byte)(0x80|(0x3f&(c>>6))) , (byte)(0x80|(0x3f&c))
UTF-8的优点:
Unicode编码中对于ASCII码范围内的字符都要增加一个内容为0x00的字节,而0x00这个字节的
数据在C语言等编程语言中有特殊的作用,Unicode编码在这些应用中会产生许多冲突和麻烦。
不出现内容为0x00的字节
便于应用程序检查数据在传输过程中是否发生了错误。
直接处理使用ASCII码的英文文档。
UTF-8的缺点:
有些字符需要三个字节。
EF BB BF只是标记,表示文本使用UTF-8编码
UTF-16
UTF-16编码在Unicode基础上进行了一些细节上的扩充,增加了对Unicode编码没有包括的那些字符的表示方式。
UTF-16对Unicode的扩充并没有影响Unicode编码所包括的那些字符,只是增加了Unicode编码没有包括的那些字符的表示方式,一个使用Unicode编码的字符就是UTF-16格式的。
Unicode编码将0xD800-0xDFFF区间的数值保留出来,UTF-16扩充的字符,占用四个字节,前面两个字节的数值为0xDC00-0xDFFF之间,后面两个字节的数值为0xDC00-0xDFFF之间。
位运算还是搞不清楚!
在不同体系结构的计算机系统中UTF-16编码的Unicode字符在内存中的字节存储顺序是不同的。
对于0x1234这样一个双字节数据,使用Little-Endian和Big-Endian两种方式在内存中存储的
如果文件以0xFE 0xFF这两个字节开头,则表明文本的其余部分是Big-Endian的UTF-16编码;如果文件以0xFF 0xFE这两个字节开头,则表明文本的其余部分是Little-Endian的UTF-16编码。
分享到:
相关推荐
字符编码检测和转换 附件中:FileEncodeDetector.java 此文件可以检测指定文件的编码格式 public static String getFileEncode(File file) {...} 附件中:FileCharsetConverter.java 此文件可以实现两个编码的相互...
java_字符编码.txt Javajava_字符编码问题
通用的文件字符编码集判断需要借助第三方包cpdetector.jar 使用Cpdetector jar包检测文件编码需要依赖antlr-2.7.7.jar、chardet-1.0.jar、jargs-1.0.jar三个jar包 本下载资源一站式全包含,并附带亲测有效的片段...
深度剖析Java的字符编码.深度剖析Java的字符编码.
JAVA中文字符编码问题详解.doc JAVA中文字符编码问题详解.doc
Java中的字符集编码入门(五)Java代码中的字符编码转换Part1.pdf
一个详细的讲解JAVA_字符编码的例子 希望可以帮助到你。
Java字符集和编码 ,Java字符集和编码Java字符集和编码
java字符串的各种编码转换. java字符串的各种编码转换
java字符编码监听器
java字符串编码转换和web中的字符串转换
字符编码工具类CharacterEncodingFilter.java 字符编码工具类CharacterEncodingFilter.java 字符编码工具类CharacterEncodingFilter.java
不需要关心接受的字符串编码是UTF_8还是GBK,还是ios-8859-1,自动转换为utf-8编码格式,无需判断字符串原有编码,用法://处理编码String newStr = GetEncode.transcode(oldStr);
Java中文字符编码探究
Java文本字符编码解码操作类 Escape.java源代码 说明:本方法保证 不论参数s是否经过escape()编码,均能得到正确的“解码”结果。
NULL 博文链接:https://joard.iteye.com/blog/403031
通过解析字符串获取字符串编码类型的java代码
JAVA字符串操作类CTool.java字符转换类,此类中收集Java编程中WEB开发常用到的一些工具。为避免生成此类的实例,构造方法被申明为private类型的。封装的功能:字符串从GBK编码转换为Unicode编码、对字符串进行md5...
java字符集编码乱码详解
java 写的字符编码转换工具(附带源码) java 写的字符编码转换工具(附带源码) java 写的字符编码转换工具(附带源码)