在深度学习时代用HowNet搞事情-清华大学自然语言处理与社会人文.PDFVIP

在深度学习时代用HwNet搞事情 清华大学 自然语言处理实验室 刘知远 自然语言处理 • 自然语言 旨在理解与表示人类语言的语义信息 Advances in Natural Language Processing. Science 2015. 2 自然语言处理与深度学习 Advances in Natural Language Processing. Science 2015. 3 深度学习特点 • 分布式 （Distributed）表示 – 嵌入 （Ebeddigs） – 稠密、实值 、低维向量 • 层次 （Hierarchica ）结构 – 对应层次的真实世界 – 具有抽象和泛化能力 4 自然语言处理与深度学习 In the short term, we feel confident that more data and computation, in addition to recent advances in ML and deep learning, will lead to further substantial progress in NLP. However, the truly difficult problems of semantics, context, and knowledge will probably require new discoveries in linguistics and inference. 5 自然语言特点 • 自然语言包含从汉字到文档的多粒度语言单位 互联网 文档 句子 短语 词汇 汉字 6 语义符号表示 • 又名e-ht表示，词袋模型的基础 star [0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, …] su [0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, …] Si (star, su) = 0 语义分布式表示 • 深度学习利用纯数据驱动方法学习语义表示 wrd2vec Tas Miv et a. Distributed reresetatis f wrds ad hrases ad their csitiaity. NIPS 2013. 8 语义分布式表示 • 深度学习利用纯数据驱动方法学习语义表示 Tas Miv et