企业级大数据平台产品解决方案（30页 PPT）.pptx

;

大数据解决方案概述;;

产品定位

随着大数据时代的不断发展，各大企业、政府纷纷建立大数据中心，数据分析、应用的脚步越来越快，在此过程中，异

构数据源的使用、关联分析的需求越发旺盛，如何快速、便捷地采集异构数据至大数据平台，成为数据采集汇聚的关键。

我司提供的数据汇聚产品主要功能是将各种存储方式的数据源接入到大数据平台或者其他数据仓库。通过提供可视化界面，帮助用户轻松完成采集任务创建、运行，并实时提供任务监控，使用户随时了解自己的采集任务状态。

采用主流的流式计算引擎作为产品的主要采集框架，提供离线采集、实时采集两种方式，满足用户不同的采集需求。

产品特色;;;

数据采集产品——配置化采集;;

复杂任务简单化

产品具有多任务关联功能，对于复杂任务，可拆分多个子任务后关联，用户管理子任务，大大降低复杂度。更可建立公共子任务，减少重复工作量，提高效率

任务定时

对于业务算法要求每天定时执行，或者在每天晚上凌晨空闲时执行，产品提供各类型定时功能，更可用户自定义，满足多种业务场景

个性化任务告警

产品提供多渠道通知功能，包括邮件，短信等。用户自定义告警规则，任务执行失败时，及时通知相关人员处理;;

智能调度;;

l实现异构数据交换的快速通道

l组件式拖拽实现数据ETL

l便于用户查询及关联分析不同数据源的数据

l实现数据迁移（同种数据库、异构数据库）;

提供可视化数据建模挖掘工作台，依托大数据集群强大的计算能力，进一步提升租户对于海量数据的建模挖掘能力，提高开发效率。;;

“傻瓜化”建模

将复杂建模过程，“傻瓜化”、流程化、插件化，在建模过程，只要拖拽插件，

就能构建模型。

降低技术门槛，使得非技术人员，也能操作建模

开发源组件、预处理组件、特征工程组件、算法组件和模型评估组件

模型可复用

将算法模型插件化，序列化和持久化，创建共享机制，用户可以调用已有的模型，避免重复建设。

将昂贵的生产资源，转化成公共基础设施

数据预处理、特征工程等工作复用

开源算法补充

集成多种开源算法

Tenserflow、MXNet、Pytorch、Caffe2、Sklearn、Numpy/Scipy;

人工智能服务能力介绍;

人工智能平台：

①数据资产管理能力：数据、模型、样本、特征全生命周期管理

②多算法库兼容能力：主流算法库支持，多开发语言支持，模型构建与算法集成。

③完整的AI算法开发能力：提供多框架支持，提供从模型开发、训练、部署一整套服务。

④AI应用构建能力：视频、NLP、语言三大领域成熟应用以及基于业务的AI应用

⑤平台能力开放：支持平台服务、应用、模型开放，与三方平台灵活对接

⑥开发管控能力：实现模型开放全流程管控、日志审计;

u提供标准化的流程引导，把高大上的算法生产变成流程化操作

u提供算法开发插件，提供面向不同业务场景的建模开发工具，快速构建模型;

知识图谱构建：

将通过互联网爬取的不同类型、不同结构的信息进行，基于不同行业的元数据（Metadata），基于基于深度学习构建领域知识图谱和通用知识图谱，有效提升多源数据整合之上的对象刻画能力，深入揭示对象之间的关系。;;

构建企业级数据目录

整合IT支撑所有模型，建立了企业级的完整数据目录，极大地提升了数据模型获取和使用便捷度

血缘分析

通过数据血统追踪，可以解决数据的可信度、质量、版本信息等，获得结果数据的来源信息，及数据在数据流中的演化过程。;

数据标准监控：

稽核规则录入：系统将标准规范提供给数据标准接口，同时对标准稽核规则进行配置，放入稽核规则库中。

前向稽核校验：对接口数据进行记录条数和长度等的前向规则稽核效验，并对稽核效验结果通过错误文件记录的方式反馈给数据开发者。

后向稽核校验：通过规则库的后向质量稽核规则去发现数据标准规范中字段质量的相关问题，同时进行数据标准质量的稽核告警。

稽核反馈：根据稽核结果，当有稽核错误发生时系统提供告警功能，向数据开发者发出警示。通过稽核后则数据进行存储，供共享使用;

数据质量评估分析

支持总量评估功能

支持源系统数据质量问题评估功能

支持专项数据质量问题评估功能

业务规则检查

支持业务规则设定，能够随着业务的发展进行扩展；

支持按照业务规则对数据进行检查，并能够生成检查报告；

数据阀值监控

支持数