项目5 文本分类.pptxVIP

自然语言处理项目5文本分类

MOBILEPHONECONFERENCE品牌介绍MOBILEPHONECONFERENCE产品介绍MOBILEPHONECONFERENCE产品设计目文本向量化表示

什么是文本向量化计算机拥有强大的信息处理能力，但是也有一个限制，就是只能处理用二进制数表示的数字信息。因此，当我们需要计算机处理声音信息、图像信息、文字信息时，第一步要做的就是信息的数字化。一旦将文本句子向量化，就可以让句子参与数学运算了。比如我们想知道两句话的相似度，只要计算一下这两句话的向量距离即可，距离短的自然相似度高，距离长的当然相似度低。

文本离散表示词袋模型（BOW）是文本离散表示的另外一种方法，BOW用一个向量表示一句话，也可以表示一篇文章，同样是把文档看作是独立词的集合，不考虑词的关联和顺序，但是在BOW中加入了词频信息文本向量化分为离散表示和分布式表示两种，离散表示基于规则和词频，常用方法有词集模型和词袋模型（BOW）。词集模型先创建一个词典，词典中是所有要用到的词，然后每一个词用一个长向量表示，向量的长度就是词典的长度，每个词对应的向量中只有一个维度的数值为1，这个维度位置就是词在词典中的位置，其它维度的数值全部为0。这种向量表示称为独热表示（one-hotrepresentation）

Word2Vec与Doc2Vec模型2013年