idcmarketscape中国大数据管理平台厂商2017.pdf

IDC MarketScape IDC MarketScape:中国大数据管理平台厂商评估，2017 Yanxia Lu Zhuo Zhang IDC MARKETSCAPE 图 图1 中国大数据管理平台厂商评估，2017 来源: IDC, 2017 请参照附录的详细研究方法，市场定义和评分标准。 IDC 观点 中国大数据软件市场规模2016 年为8.1 亿美金，预计2017 年将达到9.1 亿美金，实现 13.9%的增 长。在政策驱动、资本支持、技术创新、厂商推广的驱动力下，市场在最近 3 年内仍将保持高速增 长。本次大数据管理平台评估聚焦于以新型 Hadoop 平台为核心的大数据管理解决方案，包括 Hadoop 核心平台，也包括数据集成、数据清洗工具，以及平台运维管理、自动化安装部署工具。我 们也考察了大数据平台对于数据分析应用、可视化以及人工智能技术支持的程度。研究发现： July 2017, IDC #Enter your document number ▪ 数据资源迅猛增长，呈现明显的非结构化、多来源特征。现阶段以金融业为例，四大行每 日能新增上百TB 的数据量，总存储量能达到 PB 级别的总存储量。这一数据体量同样适用 于公共安全、交通行业以及运营商行业。终端设备物联网的推广也使得来自机器的数据快速 增长，未来数据增长的驱动力将更多来源于包括机器日志文件、物联网在内的生产力端。 IDC 预计从2015 到2020 年，全球新增数据量将实现 10 倍增长。 ▪ 组织需采用新型数据管理架构来应对多来源、多结构类型数据融合的挑战。调研发现，有 66%的企业在最近2 年内至少新增了1 个数据来源。组织需要融合内外部软件系统的数据， 还需要融合来自物联网端的数据，而传统的 IT 架构资源共享困难，水平扩展能力不足。新 型分布式大数据平台能够帮助组织应对数据增长、来源多样、结构复杂的挑战，能够支撑上 层的全景业务应用。根据IDC 全球的一项调研，在最近2 年内，60% 以上的组织对数据管理 及分析架构做出了重要改变，48% 的组织使用了新的数据分析技术。 ▪ 大数据基础平台开始向机器学习、数据分析等上层应用延伸。在本次调研中，80% 以上的 技术供应商已经在解决方案中嵌入机器学习模型。领先的企业还将 GPU 技术应用到基础架 构中以加速数据处理能力。对于一些数据量非常大、分析预测需求迫切的业务场景，组织可 以考虑利用开源的机器学习工具做创新探索或者引入商业化的认知工具。 ▪ 金融业、零售业对于大数据技术采用成熟度遥遥领先，其次是医疗、制造、政府。本报告 中提到的成熟度，包括了组织中大数据平台的建设进展，大数据人才的配置，员工对于大数 据的理解，组织将大数据应用于决策的程度。领先的金融机构、零售企业已经成功建立大数 据基础平台，并且将高级分析预测、人工智能技术应用在众多业务场景中。医疗、政府、制 造业也在大数据浪潮中提高了信息化程度，为大数据应用奠定基础。 ▪ 在大数据项目建设中，组织关注整体解决方案带来的价值，但仍有一些组件的特性被强调。 例如，SQL 兼容性以及数据迁移效率；数据监控粒度如可视化统计报表、监控到表、列的 数据等；各组件在线升级的能力等。由于大数据整体解决方案包含对几十个组件的封装，原 厂的本地化支持比以往传统数仓时代也更加重要。 IDC MARKETSCAPE 厂商入选标准 本次研究评选的对象为活跃在中国大数据管理平台市场的厂商，在中国市场年度收入超过1000 万， 有 10 个以上商用案例。我们评估大数据管理平台中涉及到的核心组件以及平台安装部署、运维管理 等支持性功能组件，也评估平台对于分析预测、认知工具的支持能力。具体评选标准见附录。 给技术买家的建议 尽早采用新型数据管理架构。越早采用新的技术架构，越有机会全面深入挖掘数据价值，强化竞争 优势。采用新架构的业务，其预测模型的宽度、广度以及预测的准确度都将不断提升。 评估非结构化数据管理、流数据处理能力。文本、图片、音频、视频等非结构化数据在组织中的占 比越来越高，这些非结构化数据中蕴含大量的知识模型，组织需要考虑供应商能否提供非结构化数 据管理方案。另外，对于一些涉及物联网数据传输以及需要实时分析的业务场景，组织需要考虑供 应商是否能提供流数据处