learningentityandrelationembeddingsforknowledgegraph讲义教材.pptx

20Learning Entity and Relation Embeddings for Knowledge Graph Completion Xiaojie Zhoumailto:szxjzhou@163.comszxjzhou@163.com2016.7.18Outline AbstractIntroductionRelated ModelsTransE and TransHOther ModelsOur MethodTransRCluster-based TransR (CTransR)Training Method and Implementation DetailsIntroduction将关系表示出来可以进行关联规则的预测和知识图的填充这里面需要解决的问题在于实体和联系均包含不同类型和属性，因此传统上将实体看成一个点忽略特征的方法并不能很好的处理问题，而向量方法中保持了一定的实体特征，从而达到更优秀的效果以TransE提出了h+r≈t的理论，而TransH是对其的改进。但这两个方法都将实体映射到同一空间上进行考虑。但事实上实体会有很多个方面。与此同时关系也可能涉及实体的不同方面在本文提出了TransR的方法对该问题进行考虑，也就是根据不同的关系将实体映射到不同的空间上，再考虑关系的向量表示（注：同一关系还是在同一空间上进行比较）Introduction纵使如此，映射到同一空间上的实体也不能直接通过单一向量进行表示比如说地点的包含关系就有可能是国家包含城市、城市包含乡镇，这两者应该是不同的。因此不直接对整个具有此关系的实体集合进行关联规则的向量化。而是先进行聚类后，对于每个类分别进行训练。Outline AbstractIntroductionRelated ModelsTransE and TransHOther ModelsOur MethodTransRCluster-based TransR (CTransR)Training Method and Implementation DetailsRelated ModelsTransE和TransH在TransE中用r+h和t进行衡量，在反自反关系和一对一的关系取得了不错的效果，但对于自反关系、一对多、多对一、多对多等样本特征效果不佳在自反关系中可能就会简单的认为是h=t，在一对多或者多对一中可能会认为所有的h和所有的t是相同的在TransH中将从多平面上进行考虑，对于不同的关系将实体投影在不同的平面上Related Models其他模型Unstructed：TransE的特例，直接通过近邻关系进行衡量，只能处理单关系SE：将联系转换为两个矩阵L1、L2，使得当三元组成立时L1h和L2t之间的距离尽量小，反之尽量大。复杂性高，不好进行优化，能表达更多的情况，但对于h与t之间的联系表述不明确（用了两个矩阵）SLM、SME、NTN：利用神经网络的实现进行参数的学习Outline AbstractIntroductionRelated ModelsTransE and TransHOther ModelsOur MethodTransRCluster-based TransR (CTransR)Training Method and Implementation DetailsTransRTransR的做法在于根据不同的关系将实体映射到不同的空间上，再考虑关系的向量表示因此对于每个关系r需要设计一个投影矩阵M，将实体空间下的实体投影到该关系的关系空间中，再通过类似于TransE的方式进行关系的向量化Cluster-based TransR (CTransR)TransR不直接对整个具有此关系的实体集合进行关联规则的向量化，而是先进行聚类后，对于每个类分别进行训练在此之前先学习得到每个关系对应的r值，再通过这个r值作为参考对于每个类进行学习对于聚类得到的某一组h,t采用同样的方法进行学习，得到这一类对应的新的r值其中后半项为了避免出现新的r值过分偏离原r值的情况，通过参数α进行程度控制总体学习方法与TransE类似，用同样的方法进行反例的构造和优化