2017-09-17爬虫俱乐部Stata.PDF

2017-09-17 爬虫俱乐部 1 将一个汉字序列切分成一个一个单独的词 This is a cat. → [This, is, a, cat, .] 这是一只猫。→ [(这, pronoun), (是, verb), (一, numeral), (只, classifier), (猫, noun), (。, punctuation mark)] 2017-09-17 爬虫俱乐部 2 词是最小的能够独立运用的语言单位。 国际上常用的NLP 算法，深层次的语法语义分析通常都是以词作为基本单位 中文文本是由连续的字序列构成，词与词之间是没有天然的分隔符 武汉市长江大桥 → 武汉市 长江 大桥 武汉 市长 江大桥 2017-09-17 爬虫俱乐部 3 字符匹配法 分 理解法 词 统计法 2017-09-17 爬虫俱乐部 4 ustrwordcount()与ustrword() ICTCLAS/NLPIR jieba BosonNLP 2017-09-17 爬虫俱乐部 5 2017-09-17 爬虫俱乐部 6 Python命令 Stata 与 Python 交互 用file命令编辑python脚本 2017-09-17 爬虫俱乐部 7 pynlpir: 提供了NLPIR/ICTCLAS 汉语分词的Python接口。 jieba: 结巴(jieba) 是国人出的一个精品插件，可以对一段中文 进行分词，有三种分词模式，可以目前已有Python 、JAVA 、 C++和Nodejs版本。适应不同需求。 2017-09-17 爬虫俱乐部 8 curl是利用URL语法在命令行方式下工作的开源文件传输工 具。部分功能包括： • -H ：自定义头信息传递给服务器 • -d ：HTTP POST 方式传送数据 • -G ：以get 的方式