大规模知识图谱表示学习趋势及挑战新.pdfVIP

第三届全国中文知识图谱研讨会 大规模知识图谱的表示学习 趋势与挑战 清华大学自然语言处理实验室 刘知远 liuzy@ 1 机器学习 = 数据表示 + 学习目标 + 优化方法 Yoshua Bengio. Deep Learning of Representations. AAAI 2013 Tutorial . 2 表示学习的意义 知识 挑战：缺乏对各语言单位统一 语义分析 的语义表示与分析手段 句子 句法分析 短语 词汇 词法分析 3 表示学习的意义 • 缓解数据稀疏，建立统一空间，实现知识迁移 知识 表示学习建立统一的 语义表示空间 语义分析 句子 句法分析 短语 词汇 词法分析 低维、稠密的向量空间 分布式表示（distributed representation）/ 嵌入（embeddings） 4 知识图谱中的实体与关系 • 知识图谱包括实体与关系 – 节点代表实体 – 连边代表关系 • 事实可以用三元组表示 – （head, relation, tail ） • 代表知识库 – WordNet: 语言知识 – Freebase: 世界知识 5 大规模知识图谱的表示学习问题 • 大规模知识图谱特点 – 高维、稀疏、噪音、不完整 • 大规模知识图谱传统表示方法 – 稀疏矩阵三元组，RDF ，符号化表示每个实体/关系 – 无法有效度量和利用实体间语义关联 • 研究思路：将知识图谱嵌入到低维向量空间 – 实体和关系都表示为低维向量 – 有效表示和度量实体、关系间的语义关联 • 应用场景：知识获取，知识推理，知识融合 6 知识表示代表模型：TransE • 对每个事实 (head, relation, tail) ，将relation看做 从head到tail的翻译操作 • 优化目标：h + r = t 7 知识表示代表模型：TransE • 对每个事实 (head, relation, tail) ，将