大数据爬虫技术第9章 存储爬虫数据.pptVIP

爬虫的数据存储可分为如下两种方式： 文件存储 数据库存储 对于抓取的数据种类丰富、数量庞大的大规模爬虫来说，我们可以将这些爬虫结果存入数据库中，不仅方便存储，也方便进一步整理。 对于这种中小规模的爬虫而言，可以将爬虫结果汇合到一个文件进行持久化存储。 Python中常用的数据库系统主要包括如下两种： MySQL MongoDB 一个基于分布式文件存储的数据库，是当前NoSQL（非关系型的数据库）数据库中比较热门的一种。它面向集合存储，易存储对象类型的数据，具有高性能、易部署、易使用等特点。 一种开源的关系型数据库，使用最常用的数据库管理语言（结构化查询语言SQL）进行数据库管理。它会将数据保存到不同的表中，不仅速度快，而且灵活性高。 在实际使用中，上述两种数据库各有利弊，都能够用做数据存储，大家可以根据自己的需求进行相应的选择。 01 数据存储简介 02 MongoDB数据库简介 03 使用PyMongo库存储到数据库 MongoDB是一款基于分布式文件存储的NoSQL数据库，具有免费、操作简单、面向文档存储等强大特点，旨在为Web应用提供可扩展的高性能数据存储解决方案。 功能 特性 模式自由 面向集合存储 自动分片 完整索引支持 丰富的查询 复制与高可用性 快速更新 高效传统存储方式 （1）打开MongoDB下载网站，单击【Community Server】选项查看当前可用于下载的数据库版本。 到目前为止，支持的最新最稳定的版本是3.6.3。 （2）单击【DOWNLOAD (msi)】按钮，下载msi文件。当下载完成以后，双击刚刚下载的文件。 （3）单击【Next】按钮，开始安装程序，之后直接按照提示安装即可。 （4）取消对【Install MongoDB Compass】的勾选，即不安装MongoDB Compass。 （5）创建两个目录“C:\MongoDBData\db”和“C:\MongoDBData\log”，分别作为数据和日志文件夹。 （6）打开控制台，将当前路径切换到MongoDB的安装目录下，在该路径下输入如下命令： mongod.exe --dbpath c:\MongoDBData\db （7）在实际使用中，使用Windows服务的方式打开比较方便。打开控制台，切换到MongoDB的安装目录，之后输入如下命令： mongod.exe --logpath C:\MongoDBData\log\ mongodb.log --logappend --dbpath c:\MongoDBData\db --serviceName MongoDB --install （8）输入如下命令，启动MongoDB服务器。 net start MongoDB （9）启动以后，可以看到如下所示的信息，表示成功启动了MongoDB服务。 （10）如果要关闭MongoDB服务，可以输入如下命令： net stop MongoDB 当下次打开电脑时，无需再次输入配置和启动命令，可以直接进入MongoDB安装目录下的bin目录下，双击“mongo.exe”打开数据库的交互窗口（mongo shell）即可。 01 单击此处添加标题，文字是您思想的提炼 02 单击此处添加标题，文字是您思想的提炼 CONTENTS Windows平台安装MongoDB数据库 MongoDB是一种非关系型数据库，它没有表的概念，其数据库的基本组成单元是集合。 SQL术语/概念 MongoDB术语/概念 解释/说明 database database 数据库 table collection 数据库表/集合 row document 数据记录行/文档 column field 数据字段/域 index index 索引 table joins 表连接/MongoDB不支持 primary key primary key 主键，MongoDB自动将_id字段设置为主键 在MongoDB中最基本的概念就是数据库、集合和文档，它们是MongoDB的三个组成元素。 数据库 集合 文档 show dbs admin 0.000GB local 0.000GB test 0.000GB 一个MongoDB中可以建立多个数据库，默认的数据库为“db”，它存储在data目录中。 数据库（DataBase）: 表示一个集合的物理容器。 01 单击此处添加标题，文字是您思想的提炼 02 单击此处添加标题，文字是您思想的提炼 CONTENTS 比较MongoDB和MySQL的术语 文档（Document）: 一组由键/值对组成的对象，对应着关系型数据库的行。 {name: Jane, age: 3