语言语言学及其功用——宏观鸟瞰.PDF

词汇相似度与汉语方言距离计算 Søren Wichmann 冉启斌 ranqibin@126.com 1 • 北京语言资源高精尖创新中心项目子课题，“语言识别理论及语言数 量统计的方法论研究”（ KYR17018 ）之“基于词汇距离计算的语 言分类研究” • 感谢中国社会科学院民族学与人类学研究所江荻研究员对本项目的大 力支持！感谢南开大学汉语言文化学院硕士生梁煜珠、孙越，本科生 许可等在数据提供与收集方面所做的工作。 2 • 语言词汇距离的计算： • ASJP （相似性自动判断程序）数据库：Søren Wichmann等 • / • 每种语言收录斯瓦迪士核心词表最稳定的40个词的语音形式 • 7655种语档（doculects） 的材料，按ISO639-3有5067 种不同的语言 • 示例：dataset.xls； • listss18.txt 3 • 距离计算： • Levenshtein编辑距离（LD。1965）：删除，插入，替换 • rapt → rap → jap → jaip 删除 替换 插入 • 3步 → LD = 3 4 • LDN距离（LD Normalized。归一化莱文斯坦距离） • LDND距离（LDN Divided。 • 归一化莱文斯坦距离商） • 1-LDND：相似度 • 世界语言分类树图 • WorldLanguageTree-004 （2013） 12 • 语言年代学（chronology） 10 8 • 语言的迁移速率（~1/3 km/year during 6000-2000 BP） 6 4 • 寻找语言分化的发源地点（homeland） 2 0 6000 5000 4000 3000 2000 1000 0 • 史前语言研究（linguistic