网易视频云：漫谈中文分词.docxVIP

网易视频云专家分享：漫话中文分词网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术，为客户提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PASS服务。在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在线音视频平台。现在，网易视频云与大家分享一下中文分词。一、背景美国小伙Tom在中国已经半年了，自认为中文已经不错，就想测试一下自己的水平到底有多高。于是，他收到了下面这样一份试题，请说出以下题目中两句话的区别在哪里：1、冬天：能穿多少穿多少；夏天：能穿多少穿多少。2、剩女的原因主要有两个，一个是谁都看不上，另外一个是谁都看不上。3、单身人的来由：原来是喜欢一个人，现在是喜欢一个人。4、地铁里一个女孩给男友打电话，”我已经到西直门了，你也出发吧。如果你到了，我还没到，你就等着吧。如果我到了，你还没到，你就等着吧。”考完试后，老外的眼角是含着泪的，不知道是不是因为他爱这片土地爱得深沉。看吧，这就是自然语言处理的魅力所在。完整的中文自然语言处理过程一般包括以下五种中文处理核心技术：分词、词性标注、命名实体识别、依存句法分析、语义分析。其中，分词是中文自然语言处理的基础，搜素引擎、文本挖掘、机器翻译、关键词提取、自动摘要生成等等技术都会用到中文分词，可以说分词是自然语言大厦的地基，下面就让我们从它开始谈起。