集团大数据平台项目建设实施方案.docx

集团大数据平台项目建设实施方案.docx

  1. 1、本文档共223页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
集团大数据平台项目建设实施方案目录1综述41.1项目背景41.2建设目标41.3需求分析41.3.1基础平台51.3.2企业画像应用62总体建设方案72.1平台框架设计理念72.2功能架构82.3技术架构92.4产品覆盖综述102.5数据分布架构112.6关键技术说明112.6.1云服务平台112.6.2Hadoop平台232.6.3元数据管理242.6.4数据治理312.6.5爬虫引擎362.6.6数据探索402.6.7自助分析412.6.8企业画像423项目实施方案453.1实施方案453.1.1实施规范453.1.2项目实施453.1.3项目实施监控与跟踪1533.2培训1593.2.1培训总体介绍1593.2.2培训方案内容1613.2.3培训组织实施1643.3测试和验收1653.3.1验收测试条件1653.3.2验收测试的范围1653.3.3验收测试的责任1653.3.4验收测试地点1663.3.5验收测试的规范1663.3.6系统初验功能测试1663.3.7系统巡检及试运行1663.3.8系统终验功能测试1663.3.9操作维护手册整理及移交1673.3.10软件安装调试总结1673.3.11项目文档要求1673.4知识转移1673.4.1技术转移范围1673.4.2技术转移计划1683.5咨询服务1693.6售后服务方案1703.6.1包修期1703.6.2故障响应1703.6.3保修条款1713.6.4应急预案1723.6.5技术支持中心组织结构1723.6.6公司的服务特点1733.6.7热线服务1743.6.8远程支持1753.6.9工程巡检1753.6.10后续支持1754承建优势1764.1承建优势分析1764.1.1公司介绍1764.1.2组织架构1764.1.3大数据研发优势1774.1.4本地服务能力1784.1.5产品成熟可靠1784.2大数据产品测评报告1794.2.1hadoop平台性能测试报告1794.2.2大数据平台功能性测试报告1964.3丰富的数据交易运营经验2134.3.1大数据资源目录2144.3.2运营商数据资源2154.3.3传统行业数据资源2164.3.4互联网数据资源219综述项目背景互联网、云计算、物联网、及时通讯工具和社交网络的兴起和普及,特别是大数据技术的应用,正深刻改变着当前市场格局。达沃斯世界经济论坛发布的《大数据,大影响:国际发展的新可能》的报告宜称,大数据已成为与货币和黄金一样的一种新的经济资产类别。,美国总统办事室(EOP)公布了《大数据研究和发展规划》,把大数据研发应用从商业行为提升到国家战略层面。在这种新形式下,大数据项目将会作为整个集团的跨公司、跨部门、跨内外的数据综合服务平台,承载着互联网+业务的核心枢纽。该平台的主要建设目标是为集团及其全部相关机构提供全栈大数据服务,包括技术平台、数据应用及产品、数据服务。该平台的建设目标并不仅仅局限于使用大数据技术构建数据分析系统,而是基于云计算、云服务的理念,打造集团“数据即服务”的平台理念。通过整合集团、子公司、互联网+平台、第三方等数据,通过授权机制为集团本部、各子公司、合作伙伴、投资方等提供经营、决策等所需的相关大数据能力和数据服务。建设目标本期项目建设目标:为集团及其全部相关机构提供全栈式大数据服务,包括技术平台、数据应用及产品、数据服务;基于云计算、云服务的理念,打造集团“能力、数据即服务”的平台理念;为集团本部、各子公司、合作伙伴、投资方等提供经营、决策等所需的相关大数据基础能力和数据服务。需求分析本期大数据云服务平台项目包括大数据基础平台建设、企业画像应用两部分。其中数据云平台接入中信云平台,统一进行运营和对外提供服务。基础平台基础平台提供一站式大数据解决能力和一站式数据分析能力。平台系统支持PaaS层能力,承载用户创建、修改、删除计算与存储资源,创建、发布、与回收业务应用等平台管理功能以及元数据管理、数据质量等数据管控功能;平台系统支持DaaS层能力,即支持数据采集、存储(数据湖)、计算以及展现四大部分能力;平台系统支持SaaS层能力,支持数据的分发、共享、探索、以及协作等功能。采集部分支持通过探针、爬虫、ETL手段从数据源将数据录入该平台,从数据类型上看,采集部分支持结构化数据采集与非结构化数据采集;从实效性上看,平台支持实时数据采集、初始化数据采集以及增量数据采集;从业务层面看平台支持业务数据采集与第三方数据采集多个维度。存储部分负责将采集端收集的数据,以及平台内部处理后生成的数据永久性存放。从数据类型上看,平台支持结构化存储、半结构化存储以及非结构化存储;从使用方式上看可以平台支持归档数据存储、批处理数据存储以及在线热数据存储;从业务层面来看平台支持外部数据、子公司业务主数据以及互联网

文档评论(0)

智慧IT + 关注
实名认证
内容提供者

微软售前技术专家持证人

生命在于奋斗,技术在于分享!

领域认证该用户于2023年09月10日上传了微软售前技术专家

1亿VIP精品文档

相关文档