大数据知识图谱实战经验总结.pdfVIP

大数据知识图谱实战经验总结

作为数据科学家，我想把行业新的知识图谱总结并分享给技术专家们，让大数据

知识真正转化为互联网生产力!大数据与人工智能、云计算、物联网、区块链等

技术日益融合，成为全球最热的战略性技术，给大数据从业者带来了前所未有的

发展机遇，同时也对大数据工程师提出了高标准的技能要求。大数据具有海量性、

多样性、高速性和易变性等特点，映射到大数据平台建设要求，不仅要具备海量

数据采集、并行存储、灵活转发、高效调用和智能分析的通用Paas服务能力，

而且能快速孵化出各种新型的Saas应用的能力。

要实现这个目标，架构设计至少要满足三个总体技术要求：

1.一是把分布式大数据平台的基础数据服务能力建设摆在首位。规划出支撑

PB级规模数据运营能力的云平台架构，运用经典设计原则和设计模式的

架构之美，吸纳业内主流分布式技术的思想精髓，深耕主流平台服务模式

到现代微架构的演变内涵;

2.二是用系统架构设计和微服务建设思想武装团队，持续撰写多维度的架构

蓝图，推动团队协同作战;

3.三是围绕大数据全栈技术体系解决项目实战中的各类难题，制定主流技术

规范和设计标准，通过平台核心组件方式快速迭代出新型业务。从设计要

求来讲，大数据平台服务的整体设计要具备全面、全局、权衡的关键技术

要求，不仅能全面提炼国内外优秀架构和解决方案的精华，而且要理解分

布式技术的底层设计思想;不仅能全局了解上下游技术生态和业务结合的

设计过程，而且要游刃有余的处理系统功能和性能问题;不仅能权衡新技

术引入和改造旧系统的成本估算，而且要推动作战团队轻松驾驭新技术。

•第一个总体技术要求：把分布式大数据平台的基础数据服务能力建设摆在

首位。规划出支撑PB级规模数据运营能力的创新云平台架构，运用经典

设计原则和设计模式的架构之美，吸纳业内主流分布式技术的思想精髓，

深耕主流平台服务模式到现代微架构的演变内涵。

•第二个总体技术要求：用系统架构设计和微服务建设思想武装团队，持续

撰写多维度的架构蓝图，推动团队协同作战。架构师不仅要具备大型云平

台架构的实战经验之外，更要有大智慧和战略思维，通过蓝图来推动和管

理好每一个产品的全生命周期。

•第三个总体技术要求：围绕大数据全栈技术体系解决项目实战中的各类难

题，制定主流技术规范和设计标准，通过平台核心组件方式快速迭代出新

型业务。针对设计规范的重要性，我们不妨用《孙子兵法》的大智慧来分

析一下。

从系统整体技术能力出发，提出物联网大数据平台的八个通用微服务的技术要

求，包括大数据的高并发采集服务、灵活分发服务、高可扩展海量存储服务、高

并发展海量存储服务、高可靠海量存储服务、自定义迁移服务、基于机器学习的

智能分析服务和基于Spark生态的实时计算服务，具体如下：

高并发采集服务：

•支持多种移动终端和物联网数据的可扩展接入，并具备大规模接入并发处

理能力。能够兼容主流行业通用的可扩展协议和规范，并采用高可靠的集

群或者负载均衡技术框架来解决。如引入Mina或者Netty技术框架后适

配各种多种移动终端接入。标准化接入要求常用的字节流、文件、Json

等数据格式符合主流标准格式。

灵活分发服务：

•按照分析应用需求，转发不同的数据类型和数据格式，交互方式之一是主

流的消息中间件MQ或者Kafka，保证高效的转发并转换数据给数据服务

运营方。交互的方式之二是Restful方式，保证数据可以按照协议规范进

行安全可靠的数据转发和传输。

高可扩展海量存储服务：

•支持数据类型和数据表可扩展，对物联网大数据进行海量存储和计算，尤

其适用于初创公司研发百万级用户之内的大数据平台。

高可并发海量存储服务：

•支持数据类型和数据量的高速增长，对物联网大数据进行批处理，适合构

建PB级数据量和千万级用户量的云平台。

高可靠海量存储服务：

•支持物联网多源异构数据的统一高效和海量存储，并提供易于扩展的行业

数据的离线计算和批