深度学习在自然语言处理的应用预案.ppt

* 探讨与思考 与CRF的比较及区别与联系 CRF:线性 VS DL:非线性 CRF:高维离散特征 VS: DL:低维连续特征 结论：非线性模型对于低维连续特征有效，对高维离散特征无效 DL在推荐系统方面应用方法的思考 不成熟的初步思路 我个人看好DL在NLP方面的作用 与传统方法比有明显优点 发展初期：机会多、挑战大 NLP方向博士生的黄金时代 非常容易想到很多New Idea 一把新的锤子，很多钉子可以去敲 * 广告时间 * Thanks! * 不同粒度语言单元的表示-短语/句子/文档 方法一：单词词向量取和（Summrization） 很多情况都做此种简化处理 过于简单,但是仔细思考有一定道理 方法二：单词词向量加权求和 Huang’s Work 权重：类似于IDF 方法三：RNN * 不同粒度语言单元的表示-短语/句子/文档 方法四：Matrix-Vector NN * 不同粒度语言单元的表示-短语/句子/文档 方法五：卷积神经网络 * 大纲 深度学习简介 基础问题：语言表示问题 Word Embedding 不同粒度语言单元的表示 字符/单字/单词/短语/句子/文档 值得重点关注的模型 RAE/Tensor Network/卷积网络 NLP的应用 语言模型 中文分词 知识挖掘 情感计算 机器翻译 Paraphrase IR 探讨与思考 * RAE(Rec