Linux终端的乐趣之把玩字词计数.docVIP

Linux 命令行有很多的乐趣，我们可以很容易并且完善地执行很多繁琐的任务。比如，我们计算一个文本文件中字和字符的出现频率，这就是我们打算在这篇文章中讲到的。 立刻来到我们脑海的命令，计算字和字符在一个文本文件中出现频率的 Linux 命令是 wc 命令。 在使用的脚本来分析文本文件之前，我们必须有一个文本文件。为了保持一致性，我们将创建一个文本文件，man命令的输出如下所述。 $ man man man.txt 以上命令是将man命令的使用方式导入到man.txt文件里。 我们希望能得到最平常的单词，对之前我们新建的文件执行如下脚本。 $ cat man.txt | tr \012| tr [:upper:][:lower:]| tr -d [:punct:]| grep -v [^a-z]| sort | uniq -c | sort -rn | head Sample Output 7557 262 the 163 to 112is 112 a 78 of 78 manual 76and 64if 63 be 上面的脚本，输出了最常使用的十个单词。 如何看单个的字母呢？那就用如下的命令。 $ echo tecmint team| fold -w1 t e c m i n t t e a m 注: -w1只是设定了长度 现在我们将从那个文本文件中掰下来的每一个字母，对结果进行排序，得到所需的输出频率的十个最常见的字符。 $ fold -w1 man.txt | sort | uniq -c | sort -rn | head 8579 2413 e 1987 a 1875 t 1644 i 1553 n 1522 o 1514 s 1224 r 1021 l 如何区分大小写呢？之前我们都是忽略大小写的。所以，用如下命令。 $ fold -w1 man.txt | sort | tr [:lower:][:upper:]| uniq -c | sort -rn | head -20 11636 2504 E 2079 A 2005 T 1729 I 1645 N 1632 S 1580 o 1269 R 1055 L 836 H 791 P 766 D 753 C 725 M 690 U 605 F 504 G 352 Y 344. 请检查上面的输出，标点符号居然包括在内。让我们干掉他，用tr 命令。GO: $ fold -w1 man.txt | tr [:lower:][:upper:]| sort | tr -d [:punct:]| uniq -c | sort -rn | head -20 Sample Output 11636 2504 E 2079 A 2005 T 1729 I 1645 N 1632 S 1580 O 1550 1269 R 1055 L 836 H 791 P 766 D 753 C 725 M 690 U 605 F 504 G 352 Y 现在，我们有了三个文本，那就让我们用如下命令查看结果吧。 $ cat *.txt | fold -w1 | tr [:lower:][:upper:]| sort | tr -d [:punct:]| uniq -c | sort -rn | head -8 Sample Output 11636 2504 E 2079 A 2005 T 1729 I 1645 N 1632 S 1580 O 下一步我们将会生成那些罕见的至少十个字母长的单词。以下是简单的脚本： $ cat man.txt | tr \012| tr [:upper:][:lower:]| tr -d [:punct:]| tr -d [0-9]| sort | uniq -c | sort -n | grep -E ..................| head 1────────────────────────────────────────── 1 a all 1 abc any or all arguments within are optional 1 able see setlocale for precise details 1 ab options delimited by cannot be used together 1 achieved byusing the less environment variable 1 a child process returned a nonzero exit status 1 act a