- 1、本文档共5页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
汉语分词技术综述
维普资讯
第19卷 第3期 北 京 机 械 工 业 学 院 学 报 Vo1.19No.3
2004年9月 JournalofBeijingInstituteofMachinery. Sep.2004
文章编 号:1008—1658(2004)03—0052—04
汉语分词技术综述
龚汉明,周长胜
(北京机械工业学院 计算机及 自动化系,北京 100085)
摘 要:分词是中文信息处理的基础,在汉语文本分类、文献标引、智能检
索、自然语言理解与处理等应用中,首先都要对中文文本进行分词处理。从分词的基
本理论出发,对近年来的汉语分词的研究方法与成果进行了综合论述,分析了现有分
词方法的特点,提出了把神经网络和专家系统结合起来建立集成式汉语 自动分词系
统的构想。
关 键 词:分词;文本分类;神经网络;专家系统
中图分类号:TP311 文献标识码:A
Chinesewordsegmentationsystem research
GONGHart—ming,ZHOUChang—sheng
(DepartmentofComputerScience&Automation,BeijingInstituteofMachinery,Beijing100085,China)
Abstract:WordsegmentationisthebasisofChineselanguageprocessing,whichiswidelyappliedin
textclassification,literatureindex,intelligentretrievalandnaturallanugageprocessing.Basedon
htehteoryoftheChinesewordsemg enattion,anoverviewofhteChinesewordsemg enattiontechnol—
ogyispresented,hteexistentChineseWordSemg enattionSystem isanalyzednadna automaticword
semg entationalgorihtm derivedfrom artificialneuralnetworkandexpe~system isputforward.
Keywords:wordsemg enattion;textclassification;artificialneuralnewtork;expe~system
现代信息技术的发展要求用户有选择地阅读和处理海量文本,因此其预备工作——分词
系统的研究是很有意义的。分词系统是中文信息处理中的一个主要组成部分,是中文自然语
言理解、文献检索、搜索引擎以及文本挖掘系统中最基本的一部分。为了进行中文信息小型
化,需要提取关键知识,也就是说首先要分隔出单个的中文词语,然后才能进行词频统计、文本
分类以及知识发现等工作,从而得到目标文献中用户需要的信息。该文主要对汉语分词技术
进行了概述,并在考察分词精度和分词知识的基础上,探讨了一种基于神经网络专家系统的
自动分词算法,旨在通过新的分词方法提供更加准确的分词率,同时提高系统实现效率。
1 分词的必要性
汉语的中文信息处理就是要 “用计算机对汉语的音、形、义进行处理。”L2我们还知道,
“词是最小的能够独立活动的有意义的语言成分。”L3计算机的所有语言知识都来自机器词典
收稿日期:2004—06—18
作者简介:龚汉明(1978一),男,江西进贤人,北京机械工业学院计算机与自动化系硕士研究生,主要从事数据挖掘、中文分
词方面的研究。
维普资讯
第3期 龚汉明等:汉语分词技术综述 53
(给出词的各项信息)、句法规则(以词类的各种组合方式来描述词的聚合现象)以及有关词和
句子的语义、语境、语用知识库。然而,汉语文本中词与词之间却没有明确的分隔标记,而是连
续的汉字串。切词体现了汉
您可能关注的文档
- C-A客户情况介绍-移动.ppt
- 教育技术学导论第三章.ppt
- 思科——NGN及相关网络通信技术的发展趋向.pdf
- 00传热学典型问题.ppt
- 人教版高中数学第一章练习题.doc
- 2012年1月中国可再生能源最新数据.ppt
- 巴黎春天开业庆典策划方案.pdf
- 电阻器的详细介绍.ppt
- 学科竞赛管理系统.doc
- 公共基础知识:马哲原理(难点辨析).doc
- 构造全等三角形的六种常用方法公开课获奖课件省赛课一等奖课件.pptx
- 2024-2025学年江苏省睢宁县姚集中学数学四上期末监测试题含解析.doc
- 2024-2025学年江苏省宿迁市数学六上期末经典试题含解析.doc
- 2024-2025学年江苏省东海县晶都双语学校数学六上期末联考模拟试题含解析.doc
- 2024-2025学年湖北省孝感市汉川市分水镇新农小学六年级数学第一学期期末复习检测模拟试题含解析.doc
- 2024-2025学年湖北省宜昌市夷陵区六年级数学第一学期期末学业水平测试模拟试题含解析.doc
- 2024-2025学年湖北省宜昌市伍家岗区数学六年级第一学期期末达标测试试题含解析.doc
- 2024-2025学年湖南省长沙市宁乡市四上数学期末复习检测模拟试题含解析.doc
- 2024-2025学年郏县四年级数学第一学期期末学业质量监测模拟试题含解析.doc
- 2024-2025学年江门市鹤山市数学四上期末监测试题含解析.doc
最近下载
- 北京市海淀区2022-2023学年七年级上学期期中考试语文试卷(含答案).docx VIP
- 数据科学与工程专业建设的成果与经验.pptx VIP
- 26个英语字母教学(教学设计)-2023-2024学年人教PEP版英语三年级上册.docx
- 2023年国家新版GSP实施细则.doc
- 教科版科学五年级上册全册单元测试卷(含答案).docx VIP
- 商业秘密管理程序.doc
- GB T 22090-2008_冷热饮水机_高清版_可检索.pdf
- 22G101 三维彩色立体图集.docx
- 2023-2024学年广东省深圳市深圳中学高二上学期期中考试数学试卷含详解.docx VIP
- 给排水及采暖工程安全技术操作管理规程.doc VIP
文档评论(0)