第一章 NLPJob.pdfVIP

15-1-31 NLPJob Python 网页爬虫 文本处理 科学计算 机器学习 数据挖掘兵器谱 2015-01-31 52nlp NLPJob 曾经因为NLTK的缘故开始学习Python，之后渐渐成为我工作中的第一辅助脚本语言，虽然开发 语言是C/C++，但平时的很多文本数据处理任务都交给了Python。离开腾讯创业后，第一个作 品课程图谱也是选择了Python系的Flask框架，渐渐的将 自己的绝大部分工作交给了Python。 这些年来，接触和使用了很多Python工具包，特别是在文本处理，科学计算，机器学习和数据 挖掘领域，有很多很多优秀的Python工具包可供使用，所以作为Pythoner，也是相当幸福的。 其实如果仔细留意微博，你会发现很多这方面的分享，自己也Google了一下，发现也有同学总 结了 “Python机器学习库”，不过总感觉缺少点什么。最近流行一个词，全栈工程师 （full stack engineer），作为一个苦逼的创业者，天然的要把自己打造成一个full stack engineer，而这个过程中，这些Python工具包给自己提供了足够的火力，所以想起了这个系 列。当然，这也仅仅是抛砖引玉，希望大家能提供更多的线索，来汇总整理一套Python网页爬 虫，文本处理，科学计算，机器学习和数据挖掘的兵器谱。 一、Python网页爬虫工具集 一个真实的项 目，一定是从获取数据开始的。无论文本处理，机器学习和数据挖掘，都需要数 据，除了通过一些渠道购买或者下载的专业数据外，常常需要大家自己动手爬数据，这个时 候，爬虫就显得格外重要了，幸好，Python提供了一批很不错的网页爬虫工具框架，既能爬取 数据，也能获取和清洗数据，我们也就从这里开始了： 1. Scrapy /s?__biz MjM5ODkzMzMwMQ mid 202985544idx 1sn 9b621112a183911ec1e29c41048f2e483rd MzA3MDU4NTYzMw … 1/11 15-1-31 NLPJob Scrapy, a fast high-level screen scraping and web crawling framework for Python. 鼎鼎大名的Scrapy，相信不少同学都有耳闻，课程图谱中的很多课程都是依靠Scrapy抓去的， 这方面的介绍文章有很多，推荐大牛pluskid早年的一篇文章： 《Scrapy 轻松定制网络爬 虫》，历久弥新。 官方主页：/ Github代码页: /scrapy/scrapy 2. Beautiful Soup You didnt write that awful page. Youre just trying to get some data out of it. Beautiful Soup is here to help. Since 2004, its been saving programmers hours or days of work on quick-turnaround screen scraping projects. 读书的时候通过 《集体智慧编程》这本书知道Beautiful Soup的，后来也偶尔会用用，非常棒 的一套工具。客观的说，Beautifu Soup不完全是一套爬虫工具，需要配合urllib使用，而是 一套HTML/XML数据分析，清洗和获取工具。 官方主页：/software/BeautifulSoup/ 3. Python-Goose Html Content / Article Extractor, web scrapping lib in Python Goose最早是用Java写得，后来用Scala重写，是一个Scala项 目。Python-Goose用Python重 写，依赖了Beautiful Soup。前段时间用过，感觉很不错，给定一个文章的URL, 获取文章的 标题和内容很方便。 Github主页：/grangier/python-goose 二、Python文本处理工具集 从网页上获取文本数据之后，依据任务的不同，就需要进行基本的文本处理了，譬如对于英文 来说，需要基本的t