语义分析的一些方法一光环大数据培训.pdfVIP

光环大数据--大数据培训人工智能培训 语义分析的一些方法(一)_光环大数据培训 语义分析，本文指运用各种机器学习方法，挖掘与学习文本、图片 等的深层次概念。wikipedia 上的解释：In machine learning, semantic analysis of a corpus is the task of building structures that approximate concepts from a large set of documents(or images)。 工作这几年，陆陆续续实践过一些项目，有搜索广告，社交广告，微博广告， 品牌广告，内容广告等。要使我们广告平台效益最大化，首先需要理解用户， Context(将展示广告的上下文)和广告，才能将最合适的广告展示给用户。而这 其中，就离不开对用户，对上下文，对广告的语义分析，由此催生了一些子项目， 例如文本语义分析，图片语义理解，语义索引，短串语义关联，用户广告语义匹 配等。 接下来我将写一写我所认识的语义分析的一些方法，虽说我们在做的时候， 效果导向居多，方法理论理解也许并不深入，不过权当个人知识点总结，有任何 不当之处请指正，谢谢。 本文主要由以下四部分组成：文本基本处理，文本语义分析，图片语义分析， 语义分析小结。先讲述文本处理的基本方法，这构成了语义分析的基础。接着分 文本和图片两节讲述各自语义分析的一些方法，值得注意的是，虽说分为两节， 但文本和图片在语义分析方法上有很多共通与关联。最后我们简单介绍下语义分 析在广点通“用户广告匹配”上的应用，并展望一下未来的语义分析方法。 1 文本基本处理 在讲文本语义分析之前，我们先说下文本基本处理，因为它构成了语义分析 的基础。而文本处理有很多方面，考虑到本文主题，这里只介绍中文分词以及 光环大数据 光环大数据--大数据培训人工智能培训 Term Weighting。 1.1 中文分词 拿到一段文本后，通常情况下，首先要做分词。分词的方法一般有如下几种： 基于字符串匹配的分词方法。此方法按照不同的扫描方式，逐个查找词 库进行分词。根据扫描方式可细分为：正向最大匹配，反向最大匹配，双向最大 匹配，最小切分(即最短路径)；总之就是各种不同的启发规则。 全切分方法。它首先切分出与词库匹配的所有可能的词，再运用统计语 言模型决定最优的切分结果。它的优点在于可以解决分词中的歧义问题。下图是 一个示例，对于文本串“南京市长江大桥”，首先进行词条检索(一般用Trie 存 储)，找到匹配的所有词条（南京，市，长江，大桥，南京市，长江大桥，市长， 江大桥，江大，桥），以词网格(word lattices)形式表示，接着做路径搜索， 基于统计语言模型(例如 n-gram)[18]找到最优路径，最后可能还需要命名实体 识别。下图中“南京市 长江 大桥”的语言模型得分，即 P(南京市，长江，大 桥)最高，则为最优切分。 图1. “南京市长江大桥”语言模型得分 由字构词的分词方法。可以理解为字的分类问题，也就是自然语言处理 中的sequence labeling 问题，通常做法里利用HMM，MAXENT，MEMM，CRF 等预 测文本串每个字的tag[62]，譬如B，E，I，S，这四个tag 分别表示：beginning, inside, ending, single，也就是一个词的开始，中间，结束，以及单个字的词。 例如“南京市长江大桥”的标注结果可能为：“南(B)京(I)市(E)长(B)江(E)大 (B)桥(E)”。由于CRF 既可以像最大熵模型一样加各种领域feature，又避免了 HMM 的齐次马尔科夫假设，所以基于CRF 的分词目前是效果最好的，具体请参考 文献[61,62,63]。除了HMM，CRF 等模型，分词也可以基于深度学习方法来做， 如文献[9][10]所介绍，也取得了state-of-the-art 的结果。 光环大数据