word2vec训练中文语料.pdfVIP

by @寒小阳 1.准备数据与预处理 首先需要一份比较大的中文语料数据，可以考虑中文的维基百科 （也可以试试搜狗的新闻语料 库）。中文维基百科的打包文件地址为 /zhwiki/latest/zhwiki-latests-articles.xml.bz2 中文维基百科的数据不是太大，xml的压缩文件大约1G左右。首先用 process_wiki_data.py处理这个 XML压缩文件，执行 python process_wiki_data.py zhwiki‐latest‐pages‐ articles.xml.bz2 wiki.zh.text 1.  #!/usr/bin/env python 2.  # ‐*‐ coding: utf‐8 ‐*‐ 3.  # process_wiki_data.py 用于解析XML，将XML的wiki数据转换为text格式 4.  5.  import logging 6.  import os.path 7.  import sys 8.  9.  from gensim.corpora import WikiCorpus 10.  11.  if __name__ == __main__: 12.      pro