字符集

世界上有很多文字，比如中文，英文，韩文，，阿拉伯文等。每种语言的字符形状各异，中文有自己的字符集合，英文有自己的字符集合。而Unicode字符集，则包含了绝大多数字符集，是一种通用字符集（Universal Character Set, UCS）。

在表示一个Unicode的字符时，通常会用“U+”然后紧接着一组十六进制的数字来表示这一个字符。例如“U+0041”代表字符“A”

Unicode字符集包含了两个方面的内容：字符的编码和编码的实现方式。

字符编码

通俗点说，就是给每个字符分配一个编号，比如前面提到的字母“A”，它的编号就是41，即U+0041,而汉字“朱”的编号就是6731，即U+6731

Unicode的编码空间从U+0000到U+10FFFF，共有1,112,064个码位（code point）可用来映射字符. Unicode的编码空间可以划分为17个平面（plane），每个平面包含65,536个码位。17个平面的码位可表示为从U+xx0000到U+xxFFFF，其中xx表示十六进制值从00到10，共计17个平面。第一个平面称为基本多语言平面（Basic Multilingual Plane, BMP），或称第零平面（Plane 0）。其他平面称为辅助平面（Supplementary Planes）。

基本多语言平面内，从U+D800到U+DFFF之间的码位区块是永久保留不映射到Unicode字符。

UTF-16就利用保留下来的0xD800-0xDFFF区段的码位来对辅助平面的字符的码位进行编码。也就是说，在你的程序里只要判断一个字符是否属于这个范围内，就可以知道这个字符是应该被当做一个独立的Unicode基本字符处理，还是当做半个扩展Unicode字符。比如\uD83D\uDE18，这就是一个emoji表情，是一个字符，虽然有两个\u

编码的具体实现方式

Unicode只是字符集合，虽然为每个字符分配了一个唯一的编号（一个整数值），在传输和存储的时候，却有很多方式去表示这个整数值。

Unicode字符集规定的标准编码方案是UCS-2（UTF-16），用两个字节表示一个Unicode字符（UTF-16中两个字节的为基本多语言平面字符，4个字节的为辅助平面字符）。而UCS-4(UTF-32）用4个字节表示一个Unicode字符。另外一个常用的Unicode编码方案–UTF-8用1到4个变长字节来表示一个Unicode字符，并可以从一个简单的转换算法从UTF-16直接得到。所以在使用Unicode字符集时有多种编码方案，分别用于合适的场景。

JVM规范中明确说明了java的char类型使用的编码方案是UTF-16。

比如，汉字"严"的unicode代码是U+4E25，转换成二进制数是100111000100101，有15位，需要2个字节去表示。对于基本平面中的字符，unicode代码和UTF-16编码是一样的，都是用两个字节来表示，因此汉子“严”的UTF-16编码可以表示为\u4e25

Java中一个字符到底占几个字节

这是一个容易让人迷惑的问题，举个例子

        String str = "严";
        System.out.println("str="+str);
        System.out.println("str len=" + str.length());
        System.out.println("str getBytes=" + str.getBytes().length+"  HEX="+bytes2HexString(str.getBytes()));
        System.out.println("str getBytes UTF-8=" + str.getBytes("UTF-8").length+"  HEX="+bytes2HexString(str.getBytes("UTF-8")));
        System.out.println("str getBytes UTF-16=" + str.getBytes("UTF-16").length+"  HEX="+bytes2HexString(str.getBytes("UTF-16")));
        System.out.println("str getBytes UTF-16BE=" + str.getBytes("UTF-16BE").length+"  HEX="+bytes2HexString(str.getBytes("UTF-16BE")));
        System.out.println("str getBytes UTF-16LE=" + str.getBytes("UTF-16LE").length+"  HEX="+bytes2HexString(str.getBytes("UTF-16LE")));
        System.out.println("str getBytes Unicode=" + str.getBytes("Unicode").length+"  HEX="+bytes2HexString(str.getBytes("Unicode")));

运行结果：

str=严
str len=1
str getBytes=3  HEX=E4 B8 A5
str getBytes UTF-8=3  HEX=E4 B8 A5
str getBytes UTF-16=4  HEX=FE FF 4E 25
str getBytes UTF-16BE=2  HEX=4E 25
str getBytes UTF-16LE=2  HEX=25 4E
str getBytes Unicode=4  HEX=FE FF 4E 25

可以看出，“严”这个字符串的长度是1，如果是UTF-8编码，需要3个字节来表示，getBytes()方法默认返回了UTF-8编码的字节。

如果是UTF-16编码，居然需要4个字节，前两个字节时FEFF，后两位才是4E25,这是因为UTF-16以两个字节为编码单元，要考虑字节序，所以使用BOM(Byte Order Mark)来标志字节序: FEFF or FFFE.

FEFF: Big Endian

FFEF: Little Endian

而我们直接指定了字节序后，就只需要2个字节了

把str字符串设置为“A”,再次运行程序，得到结果如下

str=A
str len=1
str getBytes=1  HEX=41
str getBytes UTF-8=1  HEX=41
str getBytes UTF-16=4  HEX=FE FF 00 41
str getBytes UTF-16BE=2  HEX=00 41
str getBytes UTF-16LE=2  HEX=41 00
str getBytes Unicode=4  HEX=FE FF 00 41

可以看出，如果都用UTF-16编码，是比较浪费字节的，如果不指定字节序，需要4个字节，指定了字节序也需要2个字节。而用变长的UTF-8来表示，则只需要一个字节。

再举个例子，将str字符串设置为“你s👦”,其中“你”是中文，“s”是英文，“👦”是个emoji表情，它的Unicode编码是U+1F466，转换成UTF-16表示是“\ud83d\udc66”，因此这个字符串也等价于“你s\ud83d\udc66”

str=你s👦
str len=4
str getBytes=8  HEX=E4 BD A0 73 F0 9F 91 A6
str getBytes UTF-8=8  HEX=E4 BD A0 73 F0 9F 91 A6
str getBytes UTF-16=10  HEX=FE FF 4F 60 00 73 D8 3D DC 66
str getBytes UTF-16BE=8  HEX=4F 60 00 73 D8 3D DC 66
str getBytes UTF-16LE=8  HEX=60 4F 73 00 3D D8 66 DC
str getBytes Unicode=10  HEX=FE FF 4F 60 00 73 D8 3D DC 66

这个字符串只有3个unicode字符（java里也叫3个代码点 code point），但是字符串长度是4（java里也叫有4个代码单元，1个代码单元其实就是2个字节，一般一个代码点可由一个代码单元表示，特殊字符比如emoji需要两个代码单元）

至于怎么把一个代码点U+1F466转换成UTF-16的编码方式\ud83d\udc66，可以参考wiki文档