一种基于Token匹配的中文数据清洗方法-计算机应用与软件.PDF

第２６卷第１１期　　　 计算机应用与软件 Ｖｏｌ２６Ｎｏ．１１ ０９ ２００９年１１月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｎｏｖ．２０ 一种基于Ｔｏｋｅｎ匹配的中文数据清洗方法 刘　嘉　张　瞡　李军怀 （西安理工大学计算机科学与工程学院　陕西西安７１００４８） 摘　要　　拼写错误和缩写问题是中文数据清洗的核心问题，目前相关研究还很欠缺。提出了一种基于Ｔｏｋｅｎ匹配的中文数据清 洗方法，将中文字符串转换成拼音字符串，采用Ｔｏｋｅｎ匹配算法检测处理中文数据中的“脏数据”。实验表明，提出的方法能够有效 地提高数据的准确度，大大减少了人工工作量。 关键词　　中文数据清洗　Ｔｏｋｅｎ　拼写错误　缩写 ＡＮＡＰＰＲＯＡＣＨＦＯＲＣＨＩＮＥＳＥＤＡＴＡＣＬＥＡＮＩＮＧＢＡＳＥＤＯＮＴＯＫＥＮ ＬｉｕＪｉａ　ＺｈａｎｇＪｉｎｇ　ＬｉＪｕｎｈｕａｉ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，Ｘｉ’ａｎＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｘｉ’ａｎ７１００４８，Ｓｈａａｎｘｉ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　ＳｐｅｌｌｉｎｇｅｒｒｏｒｓａｎｄａｂｂｒｅｖｉａｔｉｏｎｓａｒｅｔｈｅｃｏｒｅｉｓｓｕｅｓｉｎＣｈｉｎｅｓｅｄａｔａｃｌｅａｎｉｎｇ，ｂｕｔａｔｐｒｅｓｅｎｔｔｈｅｒｅｌａｔｅｄｒｅｓｅａｒｃｈｉｓｓｔｉｌｌｍｕｃｈｔｏ ｂｅｄｅｓｉｒｅｄ．ＴｈｉｓｐａｐｅｒｐｒｅｓｅｎｔｓａｎａｐｐｒｏａｃｈｆｏｒＣｈｉｎｅｓｅｄａｔａｃｌｅａｎｉｎｇｂａｓｅｄｏｎＴｏｋｅｎｍａｔｃｈ．ＦｉｒｓｔｌｙｉｔｃｏｎｖｅｒｔｓｔｈｅＣｈｉｎｅｓｅｃｈａｒａｃｔｅｒｓｔｒｉｎｇｓ ｉｎｔｏｔｈｅＣｈｉｎｅｓｅＰｉｎｙｉｎｃｈａｒａｃｔｅｒｓｔｒｉｎｇｓ，ａｎｄｔｈｅｎｄｅｔｅｃｔｓａｎｄｄｅａｌｓｗｉｔｈｔｈｅ“ｄｉｒｔｙｏｎｅｓ”ｉｎＣｈｉｎｅｓｅｄａｔａｗｉｔｈＴｏｋｅｎｍａｔｃｈａｌｇｏｒｉｔｈｍ．Ｔｈｅｅｘ ｐｅｒｉｍｅｎｔｒｅｓｕｌｔｓｉｎｄｉｃａｔｅｔｈａｔｔｈｅｍｅｔｈｏｄｃａｎｉｍｐｒｏｖｅｔｈｅａｃｃｕｒａｃｙｏｆｔｈｅｄａｔａｅｆｆｅｃｔｉｖｅｌｙ，ａｎｄｒｅｄｕｃｅｍａｎｕａｌｗｏｒｋｌｏａｄａｇｒｅａｔｄｅａｌ． Ｋｅｙｗｏｒｄｓ　　Ｃｈｉｎｅｓｅｄａｔａｃｌｅａｎ　Ｔｏｋｅｎ　Ｓｐｅｌｌｉｎｇｅｒｒｏｒｓ　Ａｂｂｒｅｖｉａｔｉｏｎ ０　引　言 １　Ｔｏｋｅｎ匹配算法 随着信息化的不断发展和互联网的广泛应用，政府和企业 文献［５］中介绍了Ｔｏｋｅｎ匹配算法，在一个字符串中，可以 产生的大量数据需要进行有效管理，另一方面，大量的历史数据 包含多种定界符，如空格、逗号、＠等，不同的定界符具有不同的 和新产生的数据中存在很多“脏数据”。如果不能对这些“脏数 优先级。首先按照优先级最高的定界符划分字符串，形成最上 据”进行有效处理，可能造成决策失误、工作效率的降低及其他 层的子串；然后对于划分出的子串，采用优先级次之的定界符来 一些问题。 划分。重复上述过程，直到子字符串无法再划分为止。字符串 目前国外公司开发出一些数据清洗的工具，数据清洗的重 以这种方式划分形成一组子字符串，称这些子字符串为标记 点则是异常数据检测，主要有下列方法［１］：（１）采用统计学的方 （ｔｏｋｅｎ）。 法来检测数值型属性，计算属性值的均值和标准差，考虑每一个 １．１　基本概念 属性的置信区间来识别异常属性和记录；（２）采用基于距离的 下面给出算法中用到的定义。 聚类的方法来识别异常记