阅读量

原创教程,严禁转载。引用本文,请署名 Python中文网, http://www.zglg.work


Unicode文本标准化

最近遇到unicodedata模块,才知道它的一个应用。某些字符能够用多个合法的编码表示,这就会导致一些问题。

如一个字符ñ既可以使用\u00f1,也可以使用n\u0303表示,如下所示:

In [2]: '\u00f1'                
Out[2]: 'ñ'

In [3]: 'n\u0303' # 注意前面有个字符n                  
Out[3]: 'ñ'

原因是第一种表示\u00f1为整体表示法,第二种n\u0303为组合表示法,是n和字符~的组合字符。

很显然,在需要比较字符串的程序中,使用像上面字符的多种表示法会产生问题,如下所示:

In [4]: s1='\u00f1'                                                            

In [5]: s2='n\u0303'                                                            

In [6]: s1==s2                                                                 
Out[6]: False

我们期望上面的字符ñ在两种表示下是相等的,这就需要使用unicodedata模块,将这些字符标准化:

s1='\u00f1' 
s2='n\u0303'
t1 = unicodedata.normalize('NFC', s1)
t2 = unicodedata.normalize('NFC', s2)
In [25]: t1==t2                                                                
Out[25]: True

normalize() 第一个参数指定字符串标准化的方式。 NFC表示字符应该是整体组成,还有其他标准化方法如NFD,上面的字符n\u0303 的组合n\u0303,就是NFD表示法。

埃格斯特朗符号 Å,在NFC中总是被代换成在视觉上相同的U+00C5(Å –在上方带环的A)。在NFD中,则会换成由U+0041(A) 和U+030A(°)这两个字符所组成的序列。

标准化对于任何需要以一致的方式处理Unicode文本的程序,正规化是很重要,因为它影响了比较、搜索和排序的意义。


Python 20个专题完整目录:

Python前言

Google Python代码风格指南

Python数字

Python正则之提取正整数和大于0浮点数

Python字符串

CSV读写乱码问题

Unicode标准化

Unicode, UTF-8, ASCII

Python动态生成变量

Python字符串对齐

Python小项目1:文本句子关键词的KWIC显示

Python列表

Python流程控制

Python编程习惯专题

Python函数专题

Python面向对象编程-上篇

Python面向对象编程-下篇

Python十大数据结构使用专题

Python包和模块使用注意事项专题

Python正则使用专题

Python时间专题

Python装饰器专题

Python迭代器使用专题

Python生成器使用专题

Python 绘图入门专题

Matplotlib绘图基础专题

Matplotlib绘图进阶专题

Matplotlib绘图案例

NumPy图解入门