用Python文本处理 第二章 -- 基本的字符串运用.docVIP

用Python作文本处理/第章 目录 1?第一节 -- 常用的操作 2?主题 -- 快速排序 3?主题 -- 排版 4?主题 -- 处理字段 5?主题 -- 字词数统计 6?主题 -- 以二进制数据传送ASCII码信息 7?主题 -- 词频统计 第一节 -- 常用的操作 主题 -- 快速排序 排序是文字处理中大多数任务的关键所在。幸运的是，在Python里，使用`[].sort`的效率还不错。此外，在列表的任何不同对象都可以排序而不需要像C语言那样需要统一的元素（对于混合复数和Unicode字符串的列表排序在最近的几个Python版本里会触发TypeError异常）。 参考：?[complex] +++ 列表排序的顺序有一种自然顺序，特别是不同类型混合的排序顺序都是Python的默认顺序。很多时候，你需要特定的顺序。特别是对于文本里的行做排序往往需要的不是简单的字母顺序。通常一行里有用的信息起始位置并不是第一个字符：人名里的姓往往是第二个单词；服务器日志里IP地址可能固定在某个字段；金额合计可能在每一行的第70列等等。只使用默认排序这些内容只会毫无意义。 列表排序`[].sort()`支持自定义比较函数参数。这个比较函数的功能是返回-1则表示前者排在后者之前，返回0则表示二者顺序相同，返回1则表示后者排在前者之前。内置函数`cmp()`就是`[].sort()`的默认比较函数（在速度上lst.sort()远远超过lst.sort(cmp)）。对于不太长的列表使用自定义比较函数可以快速的解决问题。在很多情况下，甚至可以直接使用一个lambda表达式来完成任务。 说到速度，使用自定义比较函数效率会很低。部分原因是Python的函数调用开销，函数本身也会增加花费的时间。不过有一种技术“Schwartzian转换”可以加速这种自定义排序。Schwartzian转换是兰德尔施瓦兹在Perl中最先开始使用的，但其中的技巧同样适用于Python。 使用Schwartzian转换主要包括三个步骤，（准确的来说这是Guttman-Rosler转换(GRT)，同样基于Schwartzian转换）： 1. 将列表转换为可以用默认排序的列表。 2. 使用`[].sort()`排序。 3. 转回原先的格式。 这项技术的主要作用是花费仅仅O(2N)转换就可以使用默认的O(N log N)排序。如果任务里排序时间是主要因素的话，使用这项技术将大大提高效率（唯一的限制就是转换花费的时间不会很多）。 下面是一个简单的例子。排序比较方式是比较每一行的第四个单词。有的行单词数少于4个。测试文件约20,000行（1兆左右）使用Schwartzian转换排序花费不到2秒，而使用自定义比较函数则花费12秒以上（排序结果一样）。确切时间不会很准确，但很明显效率提高了6倍。 #---------- schwartzian_sort.py ----------# #- 测试按第四个单词排序的速度 #- 如果两行都有4个以上单词，则按照第4个第5个。。来排序 #- 没有4个单词的行排在有4个单词的行后面 #- 没有4个单词的行之间按照默认顺序排列 import sys, string, time wrerr = sys.stderr.write #- 自定义比较函数 def fourth_word(ln1,ln2): lst1 = string.split(ln1) lst2 = string.split(ln2) #-- 比较4个单词以上的行 if len(lst1) = 4 and len(lst2) = 4: return cmp(lst1[3:],lst2[3:]) #-- 少于4个单词的行排在后面 elif len(lst1) = 4 and len(lst2) 4: return -1 #-- 少于4个单词的行排在后面 elif len(lst1) 4 and len(lst2) = 4: return 1 else: # 默认顺序 return cmp(ln1,ln2) #- 不计算读取时间 lines = open(sys.argv[1]).readlines() #- 计时使用自定义比较函数排序 start =