语言文字学对数学的应用.pptVIP

语言文字学对数学的应用 文学院 王 宁 前言 中国传统的汉字学称作“小学”，是为了解读古代经典服务的应用性比较强的一门学科。书法兴起后，人们开始关注书写问题，只是用文学的词语来描写字体与书体的风格，鉴赏书家的艺术。信息时代汉字成为传播信息的最重要的工具，汉字学必须成为一门科学。汉字科学需要数学的思维，或者换句话说，没有数学，汉字学不可能成为科学。语言和文字都是符号系统，但是语言文字不是纯数理性的符号，语音不是只有物理性，它是诉诸人的感觉的心理反映；汉字也不是几何图形，它携带意义，而意义不但来自人的心理认知，还具有社会性。人文科学是科学，但是与自然科学还是有区别的。在这种情况下，语言文字学如何运用数学走向真正的科学？能够这样做吗？怎么做才能不损伤它的人文性？ 已经做了和还没有做的事情 其实，很多事已经做了。比如：汉字进入计算机，要解决输入和输出的问题。周有光先生牵头研制的拼音方案，解决了用音码输入的问题。但是，音码的最大问题是重码，选择适用字的几率太高，影响速度，浪费眼神。词输录也解决不了这个问题。Renshi这两个音节就有14个词和固定短语。研制形码，减少重码，关键是计算。又比如：汉语是词根语，字与词没有形式上的差别，自然语言进入计算机以后，句子消歧的任务很大，解决的关键也是计算。 简繁字转换中的问题 齣--出，“齣”是不组词的自由语素。齣，专用做量词。前面有数词和指代词，但“出来”的“出”前面也有有量词“一”和极个别其他量词的时候： 一出去就不回来 太阳一出来天就亮了 六出祁山 “齣”仅用做“戏”的量词，但“戏”字经常不出，或与“齣”的距离不定： 演了一齣好戏 这是一齣人人都喜欢看的戏 看了一齣又一齣……车夫在外面等散戏。 一齣是一齣 三勝問李會民：“您這給我唱的是哪一齣？” 要计算它的鉴别字有哪些——也就是之出现在“齣”字句不出现在“出”字句的字是否有？有多少？是什么？例如“唱”“戏剧”等。 这些字离“齣”有多远？ 如果鉴别字不足够或距离太远，就不能用语境鉴别法。 周有光：覆盖率递减律 字种数 增加字数 合计字数 覆盖率 1000 1000 90.000% 1000 1400 2400 99.000% 2400 1400 3800 99.900% 3800 1400 5200 99.990% 5200 1400 6600 99.999% 语委平衡语料库覆盖率动态数据图(王晓明制作) 国家语委平衡语料库覆盖率统计 增加字数 参入字数 覆盖语料比例 247 60 120 387 70 210 597 80 438 1035 901788 2823 991822 4645 991629 6274 991560 7834 99 语料库不重复总字数8288 国家语委现代汉语平衡语料库:不重复用字8288个,达到临界点后的字量为2879-2975个 北京语言大学动态流通语料库:不重复用字7697字,达到临界点的字量为2522-2614个 科学普及综合语料库:不重复用字量5992字,达到极值点的字量为2818-2890个 由此可以看出,在不同数量的语料库里,大约有将近3000字是常用的。 不同语料库所用的字有所不同，将三个语料库在临界点范围内的字合并，去除重合字，得到并集，共计3169个汉字。这个数据说明，常用字的实际字量，应当在3200左右。 《规范汉字表》一级字确定的基本方法 将三个基础语料