utf8转unicode

最新推荐文章于 2024-12-25 08:01:34 发布

转载最新推荐文章于 2024-12-25 08:01:34 发布 · 160 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

原文链接：http://www.cnblogs.com/codingz/archive/2010/03/03/1676932.html

本文提供了一段用于将UTF8编码转换为Unicode编码的C/C++实现代码，并通过示例展示了如何读取文件中的UTF8编码字符串并将其转换为Unicode编码。

utf8转unicode

关于utf8和unicode的编码原理可以参考这篇文章：

http://hi.baidu.com/dustin_xiao/blog/item/2ab75b24c27ca32ed507426f.html

下面是实现代码，只实现了中文和英文字符的转换部分：

1 int GetUtf8ByteNumForWord( char firstCh)
2 {
3      int nRet = 0 ;
4     __asm
5     {
6         movzx ecx, byte ptr[firstCh]
7         and ecx, 0xE0
8         jz  done
9         test ecx, 0x80
10         jnz lbm
11         mov nRet, 1
12         jmp done
13 lbm:
14         cmp cl, 0xE0
15         jz  lb3
16         cmp cl, 0x0C
17         jz  lb2
18         jmp done
19 lb3:
20         mov nRet, 3
21         jmp done
22 lb2:
23         mov nRet, 2
24 done:
25     }
26      return nRet;
27 }
28 void Utf8ToUnicode( const char * utf8, int len, wchar_t * unicode)
29 {
30      int i = 0 ;
31      int j = 0 ;
32      char * temp = ( char * )unicode;
33      // 循环解析
34      while (i < len)
35     {
36          int nByteNum = GetUtf8ByteNumForWord(utf8[i]);
37          if (nByteNum == 0 )
38         {
39              return ;
40         }
41          switch (nByteNum)
42         {
43          case 1 :
44             temp[j] = utf8[i];
45             temp[j + 1 ] = 0 ;
46              break ;
47          case 2 :
48             temp[j] = utf8[i];
49             temp[j + 1 ] = utf8[i + 1 ];
50              break ;
51          case 3 :
52              // 这里就开始进行UTF8->Unicode
53             temp[j + 1 ] = ((utf8[i] & 0x0F ) << 4 ) | ((utf8[i + 1 ] >> 2 ) & 0x0F );
54             temp[j] = ((utf8[i + 1 ] & 0x03 ) << 6 ) + (utf8[i + 2 ] & 0x3F );
55              break ;
56          default :
57              break ;
58         }
59         j += 2 ;
60         i += nByteNum;
61     }
62     temp[j] = 0 ;
63     temp[j + 1 ] = 0 ;
64 }
65

测试代码如下：

1 std::ifstream fin( " debug\\Test.txt " );
2 const unsigned int L_MAX_LINE = 1024 ;
3 char utf8[L_MAX_LINE];
4 wchar_t unicode[L_MAX_LINE];
5 while (fin.getline(utf8,L_MAX_LINE))
6 {
7 Utf8ToUnicode(utf8,strlen(utf8),unicode);
8 MessageBoxW( 0 ,unicode, 0 , 0 );
9 }
10 fin.close();

用一篇文章进行测试，结果如下：