Ficus一站式数据管理和应用平台产品说明书.pdfVIP

Ficus 一站式数据管理和应用平台 产品说明书 2018. 08 成都索贝数码科技股份有限公司 目录 1. 简介 - 1 - 2. 平台架构 - 2 - 3. 平台功能 - 3 - 3.1 数据集成 - 3 - 3.1.1 爬虫管理 - 3 - 3.1.2 汇聚接口 - 4 - 3.1.3 数据源 - 5 - 3.2 主数据管理 - 7 - 3.3 作业计划 - 8 - 3.3.1 计划列表 - 8 - 3.3.2 计划编排 - 8 - 3.4 接口管理 - 10 - 3.5 BI 应用 - 11 - 3.5.1 数据大屏 - 11 - 3.5.2 仪表盘 - 13 - 3.5.3 工作表 - 14 - 3.5.4 数据源 - 15 - 3.6 监控运维 - 16 - 3.6.1 计划网络 - 16 - 3.6.2 集群监控 - 17 - 3.6.3 爬虫监控 - 18 - 4. 平台优势 - 18 - 4.1 核心优势 - 18 - 4.2 技术亮点 - 19 - 4.2.1 支持多个数据源 - 19 - 4.2.2 灵活的BI 工具 - 19 - 4.2.3 融合数据库 - 19 - 4.2.4 DevOps 开发协作 - 19 - 4.2.5 并行计算思想 - 20 - 5. 应用案例 - 20 - 5.1 足球大数据平台 - 20 - 5.2 某检察院公益诉讼采集研判平台 - 22 - 5.3 广电行业电视剧和广告大数据分析 - 23 - 6. 关于索贝 - 24 - 1. 简介 时代发展中，越来越多的行业开始由“业务驱动”转型升级为“数据驱动”， 用户深刻理解到数据对业务辅助决策的价值不可估量。我们所面对的数据，如系 统抽取出的日志数据、互联网爬取的舆情数据、人工智能处理后的结构化数据等 大数据具有以下三类特征： 多源异构。业务数据来源渠道复杂，其中包含有大量半结构化和非结构化数 据，对这些数据的采集和存储，需要专业的融合数据采集模块来处理； 海量分布。各类系统打破SOA 壁垒后，生产流程操作数据、机器日志数据、 前端用户行为数据、资料库历史数据通过整合，极大扩充了业务数据量级，直逼 PB 级的数据体量； 高效交互。数据达到一定量级后，便涉及到数据存储和检索的效率问题，磁 盘I/O 会成为海量数据的性能瓶颈，分布式存储、索引优化等手段能一定程度上 缓解数据交互问题。 Ficus 是由索贝自主研发的一站式数据管理和应用平台，致力于解决大数据治 理过程中面临的各类问题，如异构数据的采集和存储、主数据管理、计划编排自 定义、接口管理、BI 工具灵活性提升、运维设备监控等问题。平台基于先进的 KAPPA 架构，将批计算与流式计算完美融合，后台功能模块采用微服务的部署方 式，方便版本迭代时功能的可扩展性，平台接入了并行计算处理能力，能高效并 行处理海量数据，灵活的 BI 工具决定了 Ficus 适用于多行业多用户的数据应用， 底层采用自主研发的融合数据库Vernox ，不仅高效支持中文检索，完全自主研发 的特性更是保证了底层数据的安全和稳定性。 - 1 - 2. 平台架构 整个平台基于B/S 架构，支持全流程的数据治理和数据挖掘，其中包括数据 采集、数据预处理、数据存储、数据管理和数据应用等五大的功能模块，平台不 仅提供BI 工具供运营分析人员的数据分析，也提供标准接口方便开发人员接入数 据二次利用。 Ficus一站式大数据管理和应用平台 BI工具 API调用 Crab