人工智能应用基础 课件 第4章 自然语言处理与舆情处理.ppt

获取数据 使用爬虫技术将6月至7月的评论区文字内容及评论日期进行抓取，并存放至Excel文件中。 项目实践 * * 人工智能应用第四章 自然语言处理与舆情管理 聊天机器人 自然语言处理的应用场景 项目实践 自然语言处理简介 近年来，聊天机器人受到了学术界和工业界的广泛关注。一方面，聊天机器人是图灵测试的一种实现方式，而图灵测试是人工智能领域王冠上的明珠；另一方面，微软推出了基于情感计算的聊天机器人小冰，百度推出了用于交互式搜索的聊天机器人小度，进而推动了聊天机器人产品化的发展。聊天机器人系统可以看作是机器人产业与“互联网+”的结合，符合国家的科研及产业化发展方向。 ◆聊天机器人 聊天机器人 聊天机器人的种类 在线客服聊天机器人系统的主要功能是同用户进行基本沟通并自动回复用户有关产品或服务的问题，以实现降低企业客服运营成本、提升用户体验的目的。其应用场景通常为网站首页和手机终端。代表性的商用系统有小I机器人、京东的JIMI客服机器人等。 娱乐场景下聊天机器人系统的主要功能是同用户进行开放主题的对话，从而实现对用户的精神陪伴、情感慰藉和心理疏导等作用。其应用场景通常为社交媒体、儿童玩具等。 应用于教育场景下的聊天机器人系统根据教育的内容不同包括构建交互式的语言使用环境，帮助用户学习某种语言；在学习某项专业技能中，指导用户逐步深入地学习并掌握该技能；在用户的特定年龄阶段，帮助用户进行某种知识的辅助学习等。其应用场景通常为具备人机交互功能的学习、培训类软件以及智能玩具等。 个人助理类应用主要通过语音或文字与聊天机器人系统进行交互，实现个人事务的查询及代办功能，如天气查询、空气质量查询、定位、短信收发、日程提醒、智能搜索等，从而更便捷地辅助用户的日常事务处理。 智能问答类的聊天机器人主要功能包括回答用户以自然语言形式提出的事实型问题和需要计算和逻辑推理型的问题，以达到直接满足用户的信息需求及辅助用户进行决策的目的。其应用场景通常作为问答服务整合到聊天机器人系统中。 聊天机器人 自然语言处理的概念 自然语言处理（Natural Language Processing，NLP）是计算机科学领域与人工智能领域中的一个重要方向，它是以语言为对象，利用计算机技术来分析、理解和处理自然语言的一门学科，即把计算机作为语言研究的强大工具，在计算机的支持下对语言信息进行定量化的研究，并提供可供人与计算机之间能共同使用的语言描写。自然语言处理包括自然语言理解（Natural Language Understanding，NLU）和自然语言生成（Natural Language Generation, NLG）两部分。它是典型边缘交叉学科，涉及到语言科学、计算机科学、数学、认知学、逻辑学等，关注计算机和人类(自然)语言之间的相互作用的领域。 自然语言处理简介 自然语言处理的层次 1.语音分析 语音分析是指通过语音识别等核心技术将非结构化的语音信息转换为结构化的索引，实现对海量录音文件、音频文件的知识挖掘和快速检索。在有声语言中最小的独立声音单位是音位。语音分析师根据音位规则从语音流中区分出一个个独立音位，再根据音位形态规则找出音节及其对应的词素或词。语音分析常被用于语音编码压缩，形成各种中速、低速编码的新方案。例如子带编码、交换编码、自适应预测编码、多脉冲激励线性预测编码、码激励线性预测编码等。人们日常生活中常用的语音识别也是基于语音分析的结果，进行参数的分类与识别，运用不同的参数，可以得到不同的识别结果。利用语音分析技术还可以设计制造用于发音的各种矫正仪器，可供发音器官疾病的治疗或聋哑人发音训练等使用。 自然语言处理简介 自然语言处理简介 自然语言处理的层次 2.词法分析 词法分析的主要任务是找出词汇的各个词素，从中获取语言信息。在英语等语言中，由于词与词之间是用空格分隔的，所以找出句子中的词汇非常容易。但若要找出各个词素较为复杂，如单词importable，它可以是im-port-able，也可以是import-able。这是由于im、port、import都是词素。而在汉语中找出词素较为容易，因为汉语中每个字都是一个词素，与英语相反，在汉语中切分各个词汇较为困难。例如“我们研究所有计算机”，在切分词 汇时可以是“我们-研究所-有-计算机”，也可以是“我们-研究-所有-计算机”。 通过词法分析可以从词素中获得很多语言学信息。例如，英语中词尾的词素“s”通常表示名词复数或动词第三人称单数；“ed”通常是动词的过去时或过去分词；“ly”是副词的后缀等。与此同时，一个词还可以变化出许多别的词，如work，可以变化出works、worked、working、worker等。这些信息对于词法分析