7科学信息的词频分布规律.pptVIP

词频（nr ）：自然语言中某一个单词在文献中或讲话中出现的次数（频次）。不同的词汇在同一篇文献中出现频次的分布是不均匀的。 词汇数（N）：文献中出现的不同词的数量。即：文献中作者使用了多少个不同的词。 词次数（N’）：文献的长度，总词量，包括同一词重复出现的次数。 北京语言学院语言教学研究所采用人工与计算机相结合的办法，对近200万字的汉语语料进行词频统计，编制了《现代汉语频率词典》，收词31159条，这是中国正式出版的第一部汉语频率词典。 * 信息计量学 主讲老师：王倩飞 济宁医学院 信息工程学院 第七章 科学信息的词频分布规律 信息计量学 第一节 齐普夫定律的形成背景 第二节 齐普夫定律的基本表达 第三节 齐普夫定律的修正与发展 第四节 齐普夫定律的应用领域 几个基本概念 科学 信息 是 由 符号 尤其 是 文字 有 规则 排列 而 形成 的，这种 规则 来自 思维 逻辑 与 语言 逻辑 两 方面。 信息计量学 第一节 齐普夫定律的形成背景 一、词频统计的产生和发展 1898年，德国学者凯丁编写了世界上第一部频率词典---《德语频率词典》。 美国教育学家桑代克编写了《教师两万词词书》(1921)和《教师三万词词书》(1944)。对英语词汇做了大量的频率统计工作。 我国近代教育家陈鹤琴(1892～1982)主持编辑了第一部汉语频率字典《语体文应用字汇》(1928) ，从554478个汉字中析出4261个单字。 第七章 科学信息的词频分布规律 频率词典（frequency dictionaries）——按词出现频率的高低而编排的词典。 第一节 齐普夫定律的形成背景 一、词频统计的产生和发展 第七章 科学信息的词频分布规律 信息计量学 二、语言学研究及启示 1916年，法国速记专家艾思杜在其从事的速记文字体系的改善研究工作中，观察到如下事实： 假定有一个包括N个词汇的文献集(N充分大)。按照这些词汇在文献集中出现的频次高低递减地加以排列，以频次最高的词，其顺序定为自然数1，频次第二的词，其顺序定为2，依次类推，频次最低的词为 。这样就得到一个词频表： nl … … nr … n2 n1 词频 r … 2 1 词的顺序 艾思杜发现词频与词序之积大致为一常数k，即nr * r = k。 第一节 齐普夫定律的形成背景 第七章 科学信息的词频分布规律 信息计量学 1928年，美国贝尔电话公司的物理学家贡东发现如下公式：他根据前人关于词频的统计资料，以横坐标表示词的序号的对数lgr，纵坐标表示词的绝对频率的对数lgn，描绘了下图。贡东发现，lgr和lgn的分布关系接近于一条直线AB。 C是否为一个常数？ 直线AB与横坐标的夹角为α，经多次试验α=45度。 二、语言学研究及启示 第一节 齐普夫定律的形成背景 第七章 科学信息的词频分布规律 信息计量学 三、词频分布的机制 验证了贡东公式的正确性 C的取值 《人类行为与最省力法则---人类生态学引论》 第一节 齐普夫定律的形成背景 第七章 科学信息的词频分布规律 信息计量学 每一个人的运动，不管属于哪种类型，都是在一定道路上进行的，而且都将受一个简单的基本法则的制约，千方百计地选择一条最省力的途径。在各种运动中，人们也都有意无意地按照这个法则行事。齐普夫把这样一个他认为普遍存在的法则称为“最省力法则”(the Principle of least effort)。 三、词频分布的机制 第一节 齐普夫定律的形成背景 第七章 科学信息的词频分布规律 最省力法则 信息计量学 在语言词汇的选取上，表现为选择他最熟悉最能表达意思的词汇。齐普夫把词汇的选择过程，归结为“力”的作用结果，即选择词汇时，由于“单一化的力”的作用，使我们总希望用熟悉的词汇去表达所有的概念，但是事物概念的多样性，产生“多样化的力”，总要求词义的专指性。“单一化的力”使词频增加，“多样化的力”使词种增加，这两种力的平衡，使词频等级呈双曲线关系。 三、词频分布的机制 第一节 齐普夫定律的形成背景 第七章 科学信息的词频分布规律 最省力法则 信息计量学 任何一种语言，词汇出现的频率是有规律的。其总词汇量可能很大，但通常使用的词汇却占其中较少一部分，即“常用词”。这些词出现频繁，表意能力强。相应的，一些很少被利用的词成为“冷僻词”。齐普夫定律就是研究文献词频规律的最重要的成果。 三、词频分布的机制 第一节 齐普夫定律的形成背景 第七章 科学信息的词频分布规律 最省力法则 信息计量学 一、齐普夫定律的早期研究成果 第二节 齐普夫定律的基本表达 第七章 科学信息的