集团大数据平台整体方案建议书-最终版.docxVIP

集团大数据平台整体方案建议书-最终版.docx

  1. 1、本文档共534页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
集团大数据平台整体方案建议书目录1项目概述141.1建设背景141.1.1集团已有基础141.1.2痛点及需提升的能力141.1.3大数据趋势151.2建设目标151.2.1总体目标151.2.2分阶段建设目标161.3与相关系统的关系161.3.1数据分析综合服务平台161.3.2量收系统171.3.3金融大数据平台181.3.4各生产系统181.3.5CRM181.4公司介绍和优势特点181.4.1IDEADATA181.4.2TRANSWARP201.4.3我们的优势212业务需求分析242.1总体需求242.2数据管理252.2.1数据采集252.2.2数据交换262.2.3数据存储与管理262.2.4数据加工清洗272.2.5数据查询计算272.3数据管控282.4数据分析与挖掘282.5数据展现292.6量收系统功能迁移303系统架构设计313.1总体设计目标313.2总体设计原则313.3案例分析建议323.3.1中国联通大数据平台323.3.2恒丰银行大数据平台403.3.3华通CDN运营商海量日志采集分析系统513.3.4案例总结563.4系统总体架构设计573.4.1总体技术框架573.4.2系统总体逻辑结构613.4.3平台组件关系633.4.4系统接口设计683.4.5系统网络结构724系统功能设计744.1概述744.2平台管理功能744.2.1多应用管理744.2.2多租户管理784.2.3统一运维监控794.2.4作业调度管理984.3数据管理1004.3.1数据管理框架1004.3.2数据采集1024.3.3数据交换1054.3.4数据存储与管理1064.3.5数据加工清洗1244.3.6数据计算1254.3.7数据查询1404.4数据管控1594.4.1主数据管理1594.4.2元数据管理技术1614.4.3数据质量1644.5数据ETL1714.6数据分析与挖掘1734.6.1数据分析流程1754.6.2R语言开发环境与接口1764.6.3并行化R算法支持1774.6.4可视化R软件包1804.6.5编程语言支持1824.6.6自然语言处理和文本挖掘1824.6.7实时分析1834.6.8分析管理1834.6.9分析支持1874.6.10指标维护1874.6.11分析流程固化1884.6.12分析结果发布1884.6.13环境支持1884.7数据展现1894.7.1交互式报表1914.7.2仪表盘1964.7.3即席查询1974.7.4内存分析1984.7.5移动分析1994.7.6电子地图支持1995技术要求实现2015.1产品架构2015.1.1基础构建平台2045.1.2大数据平台组件功能介绍2055.1.3系统分布式架构2435.2运行环境支持2455.2.1系统操作支持以及环境配置2455.2.2与第三方软件平台的兼容说明2465.3客户端支持2475.3.1客户端支持2475.3.2移动端支持2475.4数据支持2475.5集成实现2495.6运维实现2515.6.1运维目标2515.6.2运维服务内容2525.6.3运维服务流程2545.6.4运维服务制度规范2565.6.5应急服务响应措施2575.6.6平台监控兼容2575.6.7资源管理2585.6.8系统升级2605.6.9系统监控平台功能2615.7平台性能2695.7.1集群切换2695.7.2节点切换2715.7.3性能调优2725.7.4并行化高性能计算2775.7.5计算性能线性扩展2805.8平台扩展性2815.9可靠性和可用性2835.9.1单点故障消除2835.9.2容灾备份优化2855.9.3系统容错性2895.10开放性和兼容性2915.10.1高度支持开源2945.10.2操作系统支持以及软件环境配置3065.10.3兼容性与集成能力3075.11安全性3085.11.1身份鉴别3095.11.2访问控制3095.11.3安全通讯3155.12核心产品优势3155.12.1高速运算、统计分析和精确查询3155.12.2有效的资源利用3175.12.3高并发、低延迟性能优化3185.12.4计算资源有效管控3195.12.5API设计和开发工具支持3205.12.6友好的运维监控界面3225.12.7扩容、备份、恢复机制3265.12.8集群自动负载均衡3285.12.9计算能力扩展3285.13自主研发技术优势3285.13.1高稳定、高效的计算引擎Inceptor3285.13.2完整的SQL编译引擎3305.13.3高性能的SQL分析引擎3305.13.4SQL统计分析能力3315.13.5完整的CURD功能3325.13.6Hyperbase高效的检索能力3335.13.7基于Hyperbas

文档评论(0)

***** + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档