中文unicode编码（什么是Unicode码它由几个字节组成）

本文目录

• 什么是Unicode码它由几个字节组成
• Unicode中文编码问题
• 怎么把汉字转换成unicode编码
• unicode编码是什么意思
• Unicode中文，日文，韩文，西欧语言等的编码区间是什么

什么是Unicode码它由几个字节组成

Unicode（统一码、万国码、单一码）是一种在计算机上使用的字符编码。它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。1990年开始研发，1994年正式公布。随着计算机工作能力的增强，Unicode也在面世以来的十多年里得到普及。2006年6月的最新版本的 Unicode 是 2005年3月31日推出的Unicode 4.1.0 。另外，5.0 Beta已于2005年12月12日推出，以供各会员评价。Unicode 的编码和实现大概来说，Unicode 编码系统可分为编码方式和实现方式两个层次。1.编码方式Unicode 的编码方式与 ISO 10646 的通用字元集(亦称)（Universal Character Set，UCS）概念相对应，目前的用于实用的 Unicode 版本对应于 UCS-2，使用16位的编码空间。也就是每个字符占用2个字节。这样理论上一共最多可以表示 216 个字符。基本满足各种语言的使用。实际上目前版本的 Unicode 尚未填充满这16位编码，保留了大量空间作为特殊使用或将来扩展。上述16位 Unicode 字符构成基本多文种平面（Basic Multilingual Plane, 简称 BMP）。最新（但未实际广泛使用）的 Unicode 版本定义了16个辅助平面，两者合起来至少需要占据21位的编码空间，比3字节略少。但事实上辅助平面字符仍然占用4字节编码空间，与 UCS-4 保持一致。未来版本会扩充到 ISO 10646-1 实现级别3，即涵盖 UCS-4 的所有字符。UCS-4 是一个更大的尚未填充完全的31位字符集，加上恒为0的首位，共需占据32位，即4字节。理论上最多能表示 231 个字符，完全可以涵盖一切语言所用的符号。BMP 字符的 Unicode 编码表示为 U+hhhh，其中每个 h 代表一个十六进制数位。与 UCS-2 编码完全相同。对应的4字节 UCS-4 编码后两个字节一致，前两个字节的所有位均为0。2.实现方式Unicode 的实现方式不同于编码方式。一个字符的 Unicode 编码是确定的。但是在实际传输过程中，由于不同系统平台的设计不一定一致，以及出于节省空间的目的，对 Unicode 编码的实现方式有所不同。Unicode 的实现方式称为Unicode转换格式（Unicode Translation Format，简称为 UTF）。例如，如果一个仅包含基本7位ASCII字符的 Unicode 文件，如果每个字符都使用2字节的原 Unicode 编码传输，其第一字节的8位始终为0。这就造成了比较大的浪费。对于这种情况，可以使用 UTF-8 编码，这是一种变长编码，它将基本7位ASCII字符仍用7位编码表示，占用一个字节（首位补0）。而遇到与其他 Unicode 字符混合的情况，将按一定算法转换，每个字符使用1-3个字节编码，并利用首位为0或1进行识别。这样对以7位ASCII字符为主的西文文档就大大节省了编码长度（具体方案参见UTF-8）。类似的，对未来会出现的需要4个字节的辅助平面字符和其他 UCS-4 扩充字符，2字节编码的 UTF-16 也需要通过一定的算法进行转换。再如，如果直接使用与 Unicode 编码一致（仅限于 BMP 字符）的 UTF-16 编码，由于每个址 加昧肆礁鲎纸冢赣acintosh机和PC机上对字节顺序的理解是不一致的。这时同一字节流可能会被解释为不同内容，如编码为 U+594E 的字符“奎”同编码为 U+4E59 的“乙”就可能发生混淆。于是在 UTF-16 编码实现方式中使用了大尾序（big-endian）、小尾序（little-endian）的概念，以及BOM（Byte Order Mark）解决方案。（具体方案参见UTF-16）此外 Unicode 的实现方式还包括 UTF-7、Punycode、CESU-8、SCSU、UTF-32等，这些实现方式有些仅在一定的国家和地区使用，有些则属于未来的规划方式。目前通用的实现方式是 UTF-16小尾序（BOM）、UTF-16大尾序（BOM）和 UTF-8。在微软公司Windows XP操作系统附带的记事本中，“另存为”对话框可以选择的四种编码方式除去非 Unicode 编码的 ANSI 外，其余三种“Unicode”、“Unicode big endian”和“UTF-8”即分别对应这三种实现方式。目前辅助平面的工作主要集中在第二和第三平面的中日韩统一表意文字中，因此包括GBK、GB18030、Big5等简体中文、正体中文、日文、韩语以及越南字喃的各种编码与 Unicode 的协调性被重点关注。考虑到 Unicode 最终要涵盖所有的字符，从某种意义而言，这些编码方式也可视作 Unicode 的出现于其之前的既成事实的实现方式，如同ASCII及其扩展Latin-1一样，后两者的字符在16位 Unicode 编码空间中的编码第一字节各位全为0，第二字节编码与原编码完全一致。但上述东亚语言编码与 Unicode 编码的对应关系要复杂得多。非 Unicode 环境在非 Unicode 环境下，由于不同国家和地区采用的字符集不一致，很可能出现无法正常显示所有字符的情况。微软公司使用了代码页（Codepage）转换表的技术来过渡性的部分解决这一问题，即通过指定的转换表将非 Unicode 的字符编码转换为同一字符对应的系统内部使用的 Unicode 编码。可以在“语言与区域设置”中选择一个代码页作为非 Unicode 编码所采用的默认编码方式，如936为简体中文GBK，950为正体中文Big5（皆指PC上使用的）。在这种情况下，一些非英语的欧洲语言编写的软件和文档很可能出现乱码。而将代码页设置为相应语言中文处理又会出现问题，这一情况无法避免。从根本上说，完全采用统一编码才是解决之道，但目前上无法做到这一点。代码页技术现在广泛为各种平台所采用。UTF-7 的代码页是65000，UTF-8 的代码页是65001。XML 和 UnicodeXML及其子集HTML采用UTF-8作为标准字集，理论上我们可以在各种支持XML标准的浏览器上显示任何地区文字的网页，只要电脑本身安装有合适的字体即可。可以利用&#nnn;的格式显示特定的字符。nnn代表该字符的十进制 Unicode 代码。如果采用十六进制代码，在编码之前加上x字符即可。但部分旧版本的浏览器可能无法识别十六进制代码。然而部分由于 Unicode 版本发展原因，很多浏览器只能显示 UCS-2 完整字符集也即现在使用的 Unicode 版本中的一个小子集。下表可以检验您的浏览器怎样显示各种各样的 Unicode 代码：代码 字符标准名称 (英语) 在浏览器上的显示A 大写拉丁字母“A“ Aß 小写拉丁字母“Sharp S“ ßþ 小写拉丁字母“Thorn“ þΔ 大写希腊字母“Delta“ ΔЙ 大写斯拉夫字母“Short I“ Йק 希伯来字母“Qof“ ק م 阿拉伯字母 “Meem“ م๗ 泰文数字 7 ๗ቐ 埃塞俄比亚音节文字“Qha“ ቐあ 日语平假名 “A“ あア 日语片假名 “A“ ア叶 简体汉字 “叶“ 叶叶 繁体汉字 “叶“ 叶엽 韩国音节文字 “ Yeob“ 엽输入Unicode除了输入法外，操作系统会提供几种方法输入Unicode。像是Windows 2000之后的Windows系统就提供一个可点击的表。例如在Microsoft Word之下，按下 Alt 键不放，输入 0 和某个字符的 Unicode 编码（十进制），再松开 Alt 键即可得到该字符，如Alt + 033865会得到Unicode字符叶。另外按Alt + X 组合键，MS Word 也会将光标前面的字符同其十六进制的四位 Unicode 编码进行互相转换。Unicode 编码表0000-0FFF 8000-8FFF 10000-10FFF 20000-20FFF 28000-28FFF1000-1FFF 9000-9FFF 21000-21FFF 29000-29FFF2000-2FFF A000-AFFF 22000-22FFF 2A000-2AFFF3000-3FFF B000-BFFF 23000-23FFF 4000-4FFF C000-CFFF 1D000-1DFFF 24000-24FFF 2F000-2FFFF5000-5FFF D000-DFFF 25000-25FFF 6000-6FFF E000-EFFF 26000-26FFF 7000-7FFF F000-FFFF 27000-27FFF E0000-E0FFFUnicode 目前已经有5.0版本。世界上有一大批计算机、语言学等科学家专门研究Unicode，到了现在Unicode标准已经不单是一个编码标准，还是记录人类语言文字资料的一个巨大的数据库，同时从事人类文化遗产的发掘和保护工作。对于中文而言，Unicode 16编码里面已经包含了GB18030里面的所有汉字（27484个字），目前Unicode标准准备把康熙字典的所有汉字放入到Unicode 32bit编码中。简单地说，Unicode扩展自ASCII字元集。在严格的ASCII中，每个字元用7位元表示，或者电脑上普遍使用的每字元有8位元宽；而 Unicode使用全16位元字元集。这使得Unicode能够表示世界上所有的书写语言中可能用於电脑通讯的字元、象形文字和其他符号。Unicode 最初打算作为ASCII的补充，可能的话，最终将代替它。考虑到ASCII是电脑中最具支配地位的标准，所以这的确是一个很高的目标。Unicode影响到了电脑工业的每个部分，但也许会对作业系统和程式设计语言的影响最大。从这方面来看，我们已经上路了。Windows NT从底层支援Unicode（不幸的是，Windows 98只是小部分支援Unicode）。先天即被ANSI束缚的C程式设计语言通过对宽字元集的支援来支援Unicode。自然，作为程式写作者，我们通常会面对许多繁重的工作。我已试图透过使本书中的所有程式「Unicode化」来减轻负担。其含义会随著本章对Unicode的讨论而清晰起来。

Unicode中文编码问题

注：中文范围 4E00-9FBF：CJK 统一表意符号 (CJK Unified Ideographs) 0000-007F：C0控制符及基本拉丁文 (C0 Control and Basic Latin) 0080-00FF：C1控制符及拉丁文补充-1 (C1 Control and Latin 1 Supplement) 0100-017F：拉丁文扩展-A (Latin Extended-A) 0180-024F：拉丁文扩展-B (Latin Extended-B) 0250-02AF：国际音标扩展 (IPA Extensions) 02B0-02FF：空白修饰字母 (Spacing Modifiers) 0300-036F：结合用读音符号 (Combining Diacritics Marks) 0370-03FF：希腊文及科普特文 (Greek and Coptic) 0400-04FF：西里尔字母 (Cyrillic) 0500-052F：西里尔字母补充 (Cyrillic Supplement) 0530-058F：亚美尼亚语 (Armenian) 0590-05FF：希伯来文 (Hebrew) 0600-06FF：阿拉伯文 (Arabic) 0700-074F：叙利亚文 (Syriac) 0750-077F：阿拉伯文补充 (Arabic Supplement) 0780-07BF：马尔代夫语 (Thaana) 07C0-077F：西非书面语言 (N’Ko) 0800-085F：阿维斯塔语及巴列维语 (Avestan and Pahlavi) 0860-087F：Mandaic 0880-08AF：撒马利亚语 (Samaritan) 0900-097F：天城文书 (Devanagari) 0980-09FF：孟加拉语 (Bengali) 0A00-0A7F：锡克教文 (Gurmukhi) 0A80-0AFF：古吉拉特文 (Gujarati) 0B00-0B7F：奥里亚文 (Oriya) 0B80-0BFF：泰米尔文 (Tamil) 0C00-0C7F：泰卢固文 (Telugu) 0C80-0CFF：卡纳达文 (Kannada) 0D00-0D7F：德拉维族语 (Malayalam) 0D80-0DFF：僧伽罗语 (Sinhala) 0E00-0E7F：泰文 (Thai) 0E80-0EFF：老挝文 (Lao) 0F00-0FFF：藏文 (Tibetan) 1000-109F：缅甸语 (Myanmar) 10A0-10FF：格鲁吉亚语 (Georgian) 1100-11FF：朝鲜文 (Hangul Jamo) 1200-137F：埃塞俄比亚语 (Ethiopic) 1380-139F：埃塞俄比亚语补充 (Ethiopic Supplement) 13A0-13FF：切罗基语 (Cherokee) 1400-167F：统一加拿大土著语音节 (Unified Canadian Aboriginal Syllabics) 1680-169F：欧甘字母 (Ogham) 16A0-16FF：如尼文 (Runic) 1700-171F：塔加拉语 (Tagalog) 1720-173F：Hanunóo 1740-175F：Buhid 1760-177F：Tagbanwa 1780-17FF：高棉语 (Khmer) 1800-18AF：蒙古文 (Mongolian) 18B0-18FF：Cham 1900-194F：Limbu 1950-197F：德宏泰语 (Tai Le) 1980-19DF：新傣仂语 (New Tai Lue) 19E0-19FF：高棉语记号 (Kmer Symbols) 1A00-1A1F：Buginese 1A20-1A5F：Batak 1A80-1AEF：Lanna 1B00-1B7F：巴厘语 (Balinese) 1B80-1BB0：巽他语 (Sundanese) 1BC0-1BFF：Pahawh Hmong 1C00-1C4F：雷布查语(Lepcha) 1C50-1C7F：Ol Chiki 1C80-1CDF：曼尼普尔语 (Meithei/Manipuri) 1D00-1D7F：语音学扩展 (Phonetic Extensions) 1D80-1DBF：语音学扩展补充 (Phonetic Extensions Supplement) 1DC0-1DFF：结合用读音符号补充 (Combining Diacritics Marks Supplement) 1E00-1EFF：拉丁文扩充附加 (Latin Extended Additional) 1F00-1FFF：希腊语扩充 (Greek Extended) 2000-206F：常用标点 (General Punctuation) 2070-209F：上标及下标 (Superscripts and Subscripts) 20A0-20CF：货币符号 (Currency Symbols) 20D0-20FF：组合用记号 (Combining Diacritics Marks for Symbols) 2100-214F：字母式符号 (Letterlike Symbols) 2150-218F：数字形式 (Number Form) 2190-21FF：箭头 (Arrows) 2200-22FF：数学运算符 (Mathematical Operator) 2300-23FF：杂项工业符号 (Miscellaneous Technical) 2400-243F：控制图片 (Control Pictures) 2440-245F：光学识别符 (Optical Character Recognition) 2460-24FF：封闭式字母数字 (Enclosed Alphanumerics) 2500-257F：制表符 (Box Drawing) 2580-259F：方块元素 (Block Element) 25A0-25FF：几何图形 (Geometric Shapes) 2600-26FF：杂项符号 (Miscellaneous Symbols) 2700-27BF：印刷符号 (Dingbats) 27C0-27EF：杂项数学符号-A (Miscellaneous Mathematical Symbols-A) 27F0-27FF：追加箭头-A (Supplemental Arrows-A) 2800-28FF：盲文点字模型 (Braille Patterns) 2900-297F：追加箭头-B (Supplemental Arrows-B) 2980-29FF：杂项数学符号-B (Miscellaneous Mathematical Symbols-B) 2A00-2AFF：追加数学运算符 (Supplemental Mathematical Operator) 2B00-2BFF：杂项符号和箭头 (Miscellaneous Symbols and Arrows) 2C00-2C5F：格拉哥里字母 (Glagolitic) 2C60-2C7F：拉丁文扩展-C (Latin Extended-C) 2C80-2CFF：古埃及语 (Coptic) 2D00-2D2F：格鲁吉亚语补充 (Georgian Supplement) 2D30-2D7F：提非纳文 (Tifinagh) 2D80-2DDF：埃塞俄比亚语扩展 (Ethiopic Extended) 2E00-2E7F：追加标点 (Supplemental Punctuation) 2E80-2EFF：CJK 部首补充 (CJK Radicals Supplement) 2F00-2FDF：康熙字典部首 (Kangxi Radicals) 2FF0-2FFF：表意文字描述符 (Ideographic Description Characters) 3000-303F：CJK 符号和标点 (CJK Symbols and Punctuation) 3040-309F：日文平假名 (Hiragana) 30A0-30FF：日文片假名 (Katakana) 3100-312F：注音字母 (Bopomofo) 3130-318F：朝鲜文兼容字母 (Hangul Compatibility Jamo) 3190-319F：象形字注释标志 (Kanbun) 31A0-31BF：注音字母扩展 (Bopomofo Extended) 31C0-31EF：CJK 笔画 (CJK Strokes) 31F0-31FF：日文片假名语音扩展 (Katakana Phonetic Extensions) 3200-32FF：封闭式 CJK 文字和月份 (Enclosed CJK Letters and Months) 3300-33FF：CJK 兼容 (CJK Compatibility) 3400-4DBF：CJK 统一表意符号扩展 A (CJK Unified Ideographs Extension A) 4DC0-4DFF：易经六十四卦符号 (Yijing Hexagrams Symbols) 4E00-9FBF：CJK 统一表意符号 (CJK Unified Ideographs) A000-A48F：彝文音节 (Yi Syllables) A490-A4CF：彝文字根 (Yi Radicals) A500-A61F：Vai A660-A6FF：统一加拿大土著语音节补充 (Unified Canadian Aboriginal Syllabics Supplement) A700-A71F：声调修饰字母 (Modifier Tone Letters) A720-A7FF：拉丁文扩展-D (Latin Extended-D) A800-A82F：Syloti Nagri A840-A87F：八思巴字 (Phags-pa) A880-A8DF：Saurashtra A900-A97F：爪哇语 (Javanese) A980-A9DF：Chakma AA00-AA3F：Varang Kshiti AA40-AA6F：Sorang Sompeng AA80-AADF：Newari AB00-AB5F：越南傣语 (Vi?t Thái) AB80-ABA0：Kayah Li AC00-D7AF：朝鲜文音节 (Hangul Syllables) D800-DBFF：High-half zone of UTF-16 DC00-DFFF：Low-half zone of UTF-16 E000-F8FF：自行使用区域 (Private Use Zone) F900-FAFF：CJK 兼容象形文字 (CJK Compatibility Ideographs) FB00-FB4F：字母表达形式 (Alphabetic Presentation Form) FB50-FDFF：阿拉伯表达形式A (Arabic Presentation Form-A) FE00-FE0F：变量选择符 (Variation Selector) FE10-FE1F：竖排形式 (Vertical Forms) FE20-FE2F：组合用半符号 (Combining Half Marks) FE30-FE4F：CJK 兼容形式 (CJK Compatibility Forms) FE50-FE6F：小型变体形式 (Small Form Variants) FE70-FEFF：阿拉伯表达形式B (Arabic Presentation Form-B) FF00-FFEF：半型及全型形式 (Halfwidth and Fullwidth Form) FFF0-FFFF：特殊 (Specials)

怎么把汉字转换成unicode编码

unicode编码不需要转换成汉字，因为unicode就是和字符关联的终极编码。windows中只有unicode码可以和字符直接关联，也就是使用国际标准的unicode字符集。中文windowsXp默认的内码是gbk(装过gb18030补丁的话也就变成gb18030)，日文系统就是JIS，不同语言版本的windows都有不同的默认内码，这是每个国家的标准化管理局规定的。然后就是页码表的概念，所谓页码表就是把一个用系统默认编码（比如gbk，gb2312）表示的字符映射到对应unicode编码，而每个unicode编码对应着唯一确定的字符。这样就完成了地域性编码到国际标准码再到字符的对应关系。在控制面板-》区域和语言选择-》高级，里面可以看到window提供的所有页码表。

unicode编码是什么意思

在ASCII中：英文字符占一个编码位置（单字节），而中文就要占两个位置（双字节）了 在Unicode中：英文中文都是占两个编码位置（双字节），现在的操作系统用的都是Unicode编码，所以这时中文就不用进行转换为单字节进行运行了，效率就提高了；最重要的一点是Unicode几乎支持所有的语言编码，所以。。。

Unicode中文，日文，韩文，西欧语言等的编码区间是什么

Unicode中文，日文，韩文，西欧语言等的编码区间是

4E00-9FBF：CJK 统一表意符号 (CJK Unified Ideographs)   

0000-007F：C0控制符及基本拉丁文 (C0 Control and Basic Latin)  

0080-00FF：C1控制符及拉丁文补充-1 (C1 Control and Latin 1 Supplement)  

0100-017F：拉丁文扩展-A (Latin Extended-A)   

0180-024F：拉丁文扩展-B (Latin Extended-B)   

0250-02AF：国际音标扩展 (IPA Extensions)  

02B0-02FF：空白修饰字母 (Spacing Modifiers)   

0300-036F：结合用读音符号 (Combining Diacritics Marks)   

0370-03FF：希腊文及科普特文 (Greek and Coptic)  Microsoft Word。

代码单元： 在每种编码形式中，代码点被映射到一个或多个代码单元。“代码单元”是各个编码方式中的单个单元。代码单元的大小等效于特定编码方式的位数。

UTF-8 ：UTF-8 中的代码单元由 8 位组成，在 UTF-8 中，因为代码单元较小的缘故，每个代码点常常被映射到多个代码单元。代码点将被映射到一个、两个、三个或四个代码单元。

UTF-16 ：UTF-16 中的代码单元由 16 位组成，UTF-16 的代码单元大小是 8 位代码单元的两倍。所以，标量值小于 U+10000 的代码点被编码到单个代码单元中。

UTF-32：UTF-32  中的代码单元由 32 位组成， UTF-32 中使用的 32 位代码单元足够大，每个代码点都可编码为单个代码单元。

GB18030：GB18030  中的代码单元由 8 位组成。

在 GB18030 中，因为代码单元较小的缘故，每个代码点常常被映射到多个代码单元。代码点将被映射到一个、两个或四个代码单元。