大规模文本文件处理.docx

2 大规模文本文件处理 摘要 大规模文本文件处理在当前数据爆炸增长的时代具有非常广泛的应用和非常重要的研究意义。大容量存储硬盘 技术、计算能力和多核处理器的发展也为我们处理大规模数据成为了可能。 本文中，我们研究对大规模文本文件进行排序、去重、筛选和统计等不同方式的处理。排序是大规模文本文件 处理当中必不可少的功能，实现将无序的数据集合按照特定关键字重新排列成一个有序的序列。去重则可以通过消 除冗余的数据来优化冗余的数据集。筛选则可以按照筛选条件例如字符串长度、所包含字符类型和字符类型数筛选 出符合条件的数据集合。统计功能则可以统计数据集当中长度和字符类型数两个维度的数据分布。筛选和统计功能