（共34页PPT）NLP中的文本表示相关技术.pptxVIP

某著名企业文本表示JoeJULYEDBUSINESS2022

CONTENTS010203从one-hot到word2vectf-idf与textrank词向量实战-寻找相似词julyedu

从one-hot到word2vec01

4自然语言处理简介定义：自然语言处理是一门融语言学、计算机科学、人工智能于一体的科学，解决的是“让机器可以理解自然语言”NLP=NLU+NLG要让机器理解文本，第一步是把文本转换成机器能看懂的内容文本?

5文本表示树/tree人类是用一种符号来表示语言，每个符号通常都是唯一的

6自然语言处理简介在计算机中，我们也希望采用唯一的一个符号来表示文本1、设置一个词典2、词典中没有重复的词

70我1喜欢2吃3苹果4他5也6发布7了8新9手机10西瓜one-hot苹果=[00010000000]西瓜=[00000000001]我喜欢吃苹果=[11110000000]

8bagofwords我喜欢吃苹果他也喜欢吃苹果one-hot=[11111100000]苹果出现了两次，但是文本表示方法和一次是一样的bagofwords=[12221100000]0我1喜欢2吃3苹果4他5也6发布7了8新9手机10西瓜

9one-h