python爬虫总结.docx

Python总结前言知乎：路人甲微博：玩数据的路人甲微信公众号：一个程序员的日常在知乎分享已经有一年多了，之前一直有朋友说我的回答能整理成书籍了，一直偷懒没做，最近有空仔细整理了知乎上的回答和文章另外也添加了一些新的内容，完成了几本小小的电子书，这一本是有关于Python方面的。还有另外几本包括我的一些数据分析方面的读书笔记、增长黑客的读书笔记、机器学习十大算法等等内容。将会在我的微信公众号：一个程序员的日常进行更新，同时也可以关注我的知乎账号：路人甲及时关注我的最新分享用数据讲故事。（一）如何学习Python学习Python大致可以分为以下几个阶段：1.刚上手的时候肯定是先过一遍Python最基本的知识，比如说：变量、数据结构、语法等，基础过的很快，基本上1~2周时间就能过完了，我当时是在这儿看的基础：Python 简介 | 菜鸟教程2.看完基础后，就是做一些小项目巩固基础，比方说：做一个终端计算器，如果实在找不到什么练手项目，可以在 Codecademy - learn to code, interactively, for free 上面进行练习。3. 如果时间充裕的话可以买一本讲Python基础的书籍比如《Python编程》，阅读这些书籍，在巩固一遍基础的同时你会发现自己诸多没有学习到的边边角角，这一步是对自己基础知识的补充。4.Python库是Python的精华所在，可以说Python库组成并且造就了Python，Python库是Python开发者的利器，所以学习Python库就显得尤为重要：The Python Standard Library ，Python库很多，如果你没有时间全部看完，不妨学习一遍常用的Python库：Python常用库整理 - 知乎专栏5.Python库是开发者利器，用这些库你可以做很多很多东西，最常见的网络爬虫、自然语言处理、图像识别等等，这些领域都有很强大的Python库做支持，所以当你学了Python库之后，一定要第一时间进行练习。如何寻找自己需要的Python库呢？推荐我之前的一个回答：如何找到适合需求的 Python 库?6.学习使用了这些Python库，此时的你应该是对Python十分满意，也十分激动能遇到这样的语言，就是这个时候不妨开始学习Python数据结构与算法，Python设计模式，这是你进一步学习的一个重要步骤：faif/python-patterns7.当度过艰难的第六步，此时选择你要研究的方向，如果你想做后端开发，不妨研究研究Django，再往后，就是你自己自由发挥了。（二）一些Python免费课程推荐以下课程都为免费课程1.python零基础相关适用人群：Python零基础的初学者、Web开发程序员、运维人员、有志于从事互联网行业以及各领域应用Python的人群疯狂的Python：快速入门精讲零基础入门学习Python玩转Python语言Python语言程序设计程序设计入门可汗学院公开课：计算机科学python 入门到精通Python交互式编程入门的课程主页Python交互编程入门（第2部分）的课程主页2.python web方向Python Django 快速Web应用开发入门3.python爬虫Python实战：一周学会爬取网页4.python数据分析方向数据分析实战基础课程（三）Python爬虫需要哪些知识？要学会使用Python爬取网页信息无外乎以下几点内容：1、要会Python2、知道网页信息如何呈现3、了解网页信息如何产生4、学会如何提取网页信息第一步Python是工具，所以你必须熟练掌握它，要掌握到什么程度呢？如果你只想写一写简单的爬虫，不要炫技不考虑爬虫效率，你只需要掌握：数据类型和变量字符串和编码使用list和tuple条件判断、循环使用dict和set你甚至不需要掌握函数、异步、多线程、多进程，当然如果想要提高自己小爬虫的爬虫效率，提高数据的精确性，那么记住最好的方式是去系统的学习一遍Python，去哪儿学习？Python教程假设已经熟悉了最基础的Python知识，那么进入第二步：知道网页信息如何呈现？你首先要知道所需要抓取的数据是怎样的呈现的，就像是你要学做一幅画，在开始之前你要知道这幅画是用什么画出来的，铅笔还是水彩笔...可能种类是多样的，但是放到网页信息来说这儿只有两种呈现方式：1、HTML （HTML 简介）2、JSON （JSON 简介）HTML是用来描述网页的一种语言JSON是一种轻量级的数据交换格式假设你现在知道了数据是由HTML和JSON呈现出来的，那么我们紧接着第三步：数据怎么来？数据当然是从服务器反馈给你的，为什么要反馈给你？因为你发出了请求。“Hi~ ，服务器我要这个资源”“正在传输中...”“已经收到HTML或者JSO