R语言学习系列12-文本分词.docx

12. 文本分词文本分词，就是对文本进行合理的分割，从而可以比较快捷地获取关键信息。例如，电商平台要想了解更多消费者的心声，就需要对消费者的文本评论数据进行内在信息的数据挖掘分析，而文本分词是文本挖掘的重要步骤。R语言中，对中文分词支持较好的包有RWordseg包和jiebaR包。一、配置Java环境步骤1. 下载JDK安装包/technetwork/java/javase/downloads/index.html点Java Download图标进入下载界面（Java SE Development Kit）；点Accept License Agreement，接受许可协议，选择对应系统的版本下载，比如Windows x64步骤2. 安装JDK安装路径（可修改），比如D:\Program Files\Java\jdk1.8.0_101特别注意：第2次出现选择路径时，是选择jre的安装路径，一定不要和前面jdk同一个路径，建议也在放在Java目录下，单放在jre文件夹，比如D:\Program Files\Java\jre1.8.0_101否则将有问题。步骤3. 配置环境变量右键计算机-属性-高级系统设置-环境变量，在“环境变量”窗口“系统变量”区域操作：(1) 【新建…】，变量名输入：JAVA_HOME变量值输入JDK安装路径：D:\Program Files\Java\jdk1.8.0_101【确定】(2) 双击Path，在变量值框末尾加上;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin【确定】(3) 【新建…】，变量名输入：CLASSPATH 变量值输入：%JAVA_HOME%lib\dt.jar;%JAVA_HOME%\lib\tools.jar【确定】步骤4. 测试是否配置成功运行-cmd, 回车，输入 java –version回车，显示版本号等信息；输入javac–version 回车，也显示版本号，如下图所示，则表示配置成功二、RWordseg包1. 先安装rJava包（正常命令安装即可）2. 安装Rwordseg包命令安装：install.packages(Rwordseg,repos=http://R-Forge.R-)注意：该网址很可能不能正常打开。建议采用本地安装：下载Rwordseg.zip包，R操作界面，程序包-Install Package(s) from local files…, 找到Rwordseg.zip文件，确定安装即可，测试下图则表示安装成功：3. Rwordseg包常用函数insertWords(x, save=TRUE)向词库导入新词汇x，save=TRUE保存新词汇，下次启动仍可用；deleteWords(x)——从词库中删除词汇xgetOption(isNameRecognition)查看人名识别功能的状态，结果为TRUE表明能够识别；segment.options(isNameRecognition=TRUE)设置人名识别功能的状态；installDict(dictpath=词典路径, dictname=自定义词典名称, dicttype=c(text,scel), load=TRUE)添加用户自定义的词典；dicttype指定安装词典的类型，text为普通文本格式，scel为搜狗细胞词库；load设置安装后是否自动加载到内存，默认为TRUE；listDict()——查看已安装词典；uninstallDict(removedict=listDict()$Name, remove=TRUE)卸载用户自定义的词典，removedict指定要卸载的词典名称；remove指定是否立即清除词典中的词语；segmentCN(x, nature=TRUE, nosymbol=TRUE)实现中文分词，nature设置是否输出词性，默认不输出；nosymbol默认为TURE，表示不输出标点，只有汉字、英文、数字。注意：目前的词性识别和标点识别容易出错，只作为参考。4. 实例 library(rJava) library(Rwordseg) segmentCN(雷克萨斯品牌) #导入词汇前的分词[1] 雷 克 萨 斯 品牌 insertWords(c(雷克萨斯)) #导入词汇 segmentCN(雷克萨斯品牌) #导入词汇后的分词[1] 雷克萨斯 品牌 deleteWords(c(雷克萨斯)) #删除词汇 installDict(dictpath = E:/办公资料/R语言/文本分词包/汽车词汇大全.scel,dictname = qiche) #安装自定义的词典2388 words were loaded! ... New dictionary q