新闻学院python自然语言处理.pptx

自然语言处理介绍 自然语言处理 人工智能的一个分支 让计算机“理解”人类的语言，并辅助人类做一些事情 应用到了我们生活中的方方面面 对话系统 问答系统 新闻撰写 文本摘要 新闻自然语言处理 奇点临近？ 自然语言处理 输入 一段影评 一篇新闻 维基百科 一份报纸 一本小说 输出 标签（评价是积极的还是消极的） 推荐类似的新闻，简短的摘要 实体间的关系 舆论走向 模仿人类进行创作 自然语言处理中几个重要的知识点 Zipfs law Distributional hypothesis 词向量 文本向量 Tf-idf Zipfs law 词频和单词排序（按照词频）的关系（frequency - rank） freq乘以rank是一个定值 Distributional hypothesis 相似的单词有相似的上下文 上下文一般指周围的单词 给出单词的上下文可以猜出中心词 词向量文本向量 在词典中，用常用词去解释一个单词 在自然语言处理中，用向量去表示各种语言元素 相似的单词有相似的向量（向量距离近） 相似的文本有相似的向量 用于分类，推荐，推理等等 Tf-idf 找到一段话中真正重要的单词 一篇文章中一个单词总是出现，那么这个单词很重要 有的单词在所有文章中都出现 我们可以把重要的单词找出来概括文章的内容 自然语言处理的应用：单词推理 几个推理的例子 水 - 牛奶；水 - 喝；南极 - 企鹅 中国，北京，美国，？；国王，王后，孙子，？ 导游，旅行社，行程；教师，学校，？ 搜索引擎 对话系统 推荐系统 自然语言处理的应用：文本分类 给文本打上标签 给文本打上主题标签 识别反动言论 自然语言处理的应用：推荐 新闻推荐 根据用户浏览新闻的历史，给用户推荐相关新闻 商品推荐 广告推送（搜索公司主要赚钱方式） 自然语言处理的应用：新闻撰写 Dreamwriter /a019573.htm Github / 很多超棒的开源项目 通过课程以及github中各种开源的项目，我们可以做出很酷的东西 赶快注册一个github账号吧！我也会在github上面给大家分享有关作业的资源 Thank you！