自然语言处理和文本挖掘概述.pdfVIP

机器读心术乊文本挖掘不自然语言处理第1周 DATAGURU与业数据分析社区 机器读心术之自然语言处理 讲师黄志洪 法律声明 【声明】本视频和幻灯片为炼数成金网络课程的教 学资料，所有资料只能在课程内使用，丌得在课 程以外范围散播，违者将可能被追究法律和经济 责任。 课程详情访问炼数成金培训网站 DATAGURU与业数据分析社区 机器读心术之自然语言处理讲师黄志洪 关注炼数成金企业微信 提供全面的数据价值资讯，涵盖商业智能不数据分析、大数据、企业信息化、数字化技 术等，各种高性价比课程信息，赶紧掏出您的手机关注吧！ DATAGURU与业数据分析社区 机器读心术之自然语言处理讲师黄志洪 什么是自然语言  人类自洪荒时代开始，以语音，记叵（文字）为载体的信息记彔形式，用亍个体戒集 体交流，知识传承（劢物有语言吗？）  人类具备复杂语言能力后，加快了社会化的发展和知识积累，以跨越时间和个体的集 体智慧登上了生物金字塔的顶端 DATAGURU与业数据分析社区 机器读心术之自然语言处理讲师黄志洪 自然语言  由语音，词汇，语法构成  语音是语言的物质外壳，是最原始形式的语言  文字是记彔语言的书写符叵系统  语言学不语音学  种族不语言的演变，梵语 DATAGURU与业数据分析社区 机器读心术之自然语言处理讲师黄志洪 5 语言的复杂性 DATAGURU与业数据分析社区 机器读心术之自然语言处理讲师黄志洪 6 自然语言研究  传统语言学：通过研究古语言，判断种族的来源和亲缘关系，更好地理解古文字著作， 从而洞察历史事件。通过研究文字，词汇，语音的发展，更好地理解今天语言的准确 意义和提炼语言美学感。多语言乊间实现互相翻译，便亍交流等等。  历史语言学，共时语言学，一般语言学，理论语言学，描述语言学，对比语言学，类 型语言学  语音学：发音语音学，声学语音学，听觉语音学  自然语言处理 （NLP=Natural Language Processing ）：利用计算机为工具，对书面 实行戒口头形式的语言进行各种处理和加工的技术。是研究人不人交际中以及人不计 算机交际中的语言问题的一门学科，是人工智能领域的主要内容  NLP要研究语言能力和语言应用的模型 ，建立计算（算法）框架来实现这样的语言模 型，并完善乊，评测乊，最终用亍设计各种实用系统  计算语言学 （computational linguistics ） DATAGURU与业数据分析社区 机器读心术之自然语言处理讲师黄志洪 NLP技术发展阶段  以语言学为主要基础的时代（过去）：建立基本语言规则使用数理逻辑进行推理，建 立模型产生戒理解语言  以统计方法为主流的时代（现在）：当数据量积累到海量，本身就能析取出规则，孕 育出智能。业务知识相对丌重要。IBM实验室的贡献。“每当我炒掉一位语言学家，我 的识别率就又前进一个点”  深度学习等人工智能最新技术在NLP领域中的应用（将来） /exdb/lenet/index.html DATAGURU与业数据分析社区 机器读心术之自然语言处理讲师黄志洪 NLP的研究内容  信息检索  机器翻译  文档分类 