FreeRCH大数据一体化平台开发框架.doc

FreeRCH大数据一体化平台开发框架 PAGE PAGE 103 FreeRCH大数据一体化平台 开 发 框 架 FreeRCH大数据一体化平台开发框架 PAGE PAGE 103 目 录 第一章 大快大数据一体化开发框架概述 4 1.1什么是大数据 4 1.2开发大数据需要什么技术 5 1.3 Hadoop的由来 5 1.4什么是大数据一体化开发框架 6 1.5框架的构成模块 6 1.6大快大数据平台 7 1.7大数据相对于传统数据处理方式的优势与不同 11 1.8大数据相对传统关系型数据库的不足 11 1.9组件集成情况列表 12 第二章 数据源与SQL引擎 16 2.1关系型数据库（SQL数据库）与大数据平台之间的数据导入导出 16 2.2本地文件与大数据平台之间导入导出 19 2.3 SQL引擎 22 第三章 数据采集 27 3.1创建用户 27 3.2修改用户密码 28 3.3获得用户ID（corID） 28 3,4创建任务 29 3.5获得任务ID（taskID） 31 3.6启动任务 32 3.7停止任务 33 3.8删除任务 33 3.9获得某任务采集数量 34 FreeRCH大数据一体化平台开发框架 PAGE PAGE 103 3.10获得爬虫采集数据（json格式） 34 3.11获得爬虫采集元素数据（json格式） 35