生活中的数学创新项目市公开课金奖市赛课一等奖课件.pptVIP

生活中数学创新项目;第2页;;第4页;创新?;互联网文本数据挖掘;问题:用尽也许简朴知识和方法来分析挖掘文本，进而找出有用信息关联;已结婚和尚未结婚青年都要实行计划生育;现在诸多语言模型已经能比较美丽地处理这一问题了。但在中文分词领域里，尚有一个比分词歧义更令人头疼东西——未登录词。中文没有首字母大写，专名号也被取消了，这叫计算机如何辨认人名地名之类东西?更惨则是机构名、品牌名、专业名词、缩略语、网络新词等等，它们产生机制似乎完全无规律可寻。最近十年来，中文分词领域都在集中攻克这一难关。自动发觉新词成为了关键环节。;挖掘新词老式办法是，先对文本进行分词，然后猜想未能成功匹配剩余片段就是新词。这似乎陷入了一个怪圈：分词准确性本身就依赖于词库完整性，假如词库中主线没有新词，我们又怎么能信任分词结果呢?;如何算一个词?;原则?

文本片段出现次数是否足够多。;原则1

词内部凝固程度。;原则1

词内部凝固程度。;作为一个无知识库抽词程序，我们并不知道电影院”是电影”加院”得来，也并不知道电影”是”加上电影”得来。错误切分办法会过高地预计该片段凝合程度。假如我们把电影院”看作是电”加影院”所得，由此得到凝合程度会更高一些。因此，为了算出一个文本片段凝合程度，我们需要枚举它凝合方式——这个文本片段是由哪两部分组合而来。;令p(x)为文本片段x在整个语料