第9章-自然语言处理.pptxVIP

第9章自然语言处理杨缨

目录页百度AI自然语言处理接口简介项目-商品评价分析自然语言处理简介

过渡页百度AI自然语言处理接口简介项目-商品评价分析自然语言处理简介

自然语言处理的研究方向信息抽取文本生成问答系统对话系统文本挖掘信息过滤舆情分析信息检索机器翻译

自然语言处理的发展历史基于规则的阶段20世纪50~70年代，主要采用基于规则的方法，利用人类的知识不依赖数据，能快速起步；缺点：①规则不可能覆盖所有语句；②研究人员既要熟悉计算机，还要熟悉语言学基于统计的阶段20世纪70年代，基于隐马尔可夫模型的统计方法在语音识别领域获得成功；到80年代初，话语分析也取得了重大进展基于深度学习的阶段从2008年到现在，用深度学习的方法对其进行研究，在机器翻译、阅读理解、问答系统等领域取得了一定成功

过渡页自然语言处理简介项目-商品评价分析百度AI自然语言处理接口简介

百度AI的自然语言处理接口简介文本纠错：识别文本中有错误的片段，进行错误提示并给出正确的建议文本内容情感倾向分析：对文本进行情感倾向性判断，判断情感极性类别和置信度评论观点抽取：自动分析评论观点，输出评论观点标签及观点极性对话情绪识别：自动检测用户日常对话文本中的情绪特征文章标签：对文章进行分析，输出文章的关键信息文章分类：对文章按照内容类型进行自动分类新闻摘要：对新闻内容进行全面的语义理解与分析，自动抽取新闻文本中的关键信息并生成新闻摘要

过渡页自然语言处理简介百度AI自然语言处理接口简介项目-商品评价分析

实现目标及解决方案实现目标：本项目以京东网某款笔记本电脑评价分析为例，介绍人工智能的数据挖掘方法，帮助用户在网上购买商品时辅助决策

解决方案采集商品评价信息并导出成Excel文件连接百度AI自然语言处理服务，调用百度AI情感倾向分析和观点抽取接口?解析百度AI接口返回值并进行统计分析读取Excel文件百度AI开放平台输出分析结果

实施前的准备环节在百度AI开放平台中创建“自然语言处理”应用

任务1-收集用户评价数据任务目标用八爪鱼采集器作为数据采集工具采集网页数据完成任务下载并安装八爪鱼采集器注册用户采集商品评价数据

任务2-单条用户评价情感倾向分析任务目标对采集的第一条商品评价进行情感倾向分析，输出分析结果完成任务新建工程建立存放数据的文件夹并复制Excel文件安装百度AI的PythonSDK安装openpyxl模块建立任务2程序，编写程序代码pipinstallbaidu-aip==2.2.18.0pipinstallopenpyxl

task9-1.py

任务3-多条用户评价情感倾向分析任务目标完善任务2程序，对采集的全部商品评价进行情感倾向分析，输出综合分析结果完成任务建立任务3程序复制任务2程序全部代码并粘贴到任务3程序中修改任务3程序

task9-2.py

任务4-单条用户评价的观点抽取任务目标对第一条商品评价进行观点抽取，输出抽取结果完成任务建立任务4程序编写程序代码

task9-3.py

任务5-多条用户评价的观点抽取任务目标完善任务4程序，对全部商品评价进行观点抽取，输出综合分析结果完成任务建立任务5程序复制任务4程序全部代码并粘贴到任务5程序中修改任务5程序

task9-4.py

task9-4.py

本章小结本章介绍了自然语言处理的研究方向和发展历史，讲解了百度AI的情感倾向分析接口和观点抽取接口的使用方法，通过实践项目展示了借助百度AI开放平台开发自然语言处理程序的方法及步骤，为读者今后解决自然语言处理问题打下了基础

谢谢聆听