短文本理解及其应用.PDFVIP

‖第 章 1 短文本理解及其应用 1.1 短文本理解 , 、 短文本广泛地存在于互联网的各个角落 如搜索查询 广告关键 、 、 、 、 、 , 。 字 锚文本 标签 网页标题 在线问题 微博等 都属于短文本 一 , , , 般而言 短文本字数少 没有足够的信息量来进行统计推断 因此机器 。 , 很难在有限的语境中进行准确的语义理解 此外 由于短文本常常不遵 , , 循语法 自然语言处理技术如词性标注和句法解析等 难以直接应用于 。 , 短文本分析 正是由于这些特性 使得让机器正确理解短文本十分困 。 , 难 然而 短文本理解又是一项对于机器最终实现人工智能至关重要的 , , 、 、 任务 其在知识挖掘领域有很多潜在应用 如网页搜索 在线广告 智 。 , ? 能问答等 那么 如何才能够破解其中的挑战呢 , 。 我们不妨首先跳出机器的范畴 看看人类是如何理解短文本的 对 , 。 于人类而言 理解这些短文本是十分简单的 即使是一个 岁左右的 10 , ( ) , 儿童 当他们看到短文本 如搜索查询 时 都可以正确地理解这些短文 。 , “ ”, 本的含义 究其原因 是由于人类具有 思维 能够积累知识并做出推 。 , “ ” “ ”, 断 例如 给出两个查询语句 bandforweddin 和 weddin band 人 g g “ ”, “ 类可以清楚地判断前者指的是一项 婚礼乐队服务 而后者是 结婚戒 2 ‖短文本数据理解 ”。 , 。 指 而这种知识的积累 是人们通过不断学习而获得的