人工智能多源异构大数据处理实践.pdf

人工智能多源异构大数据处理实践经验分享 刘岩 泰康保险集团股份有限公司 报告主题 云计算 大数据 人工智能 融合应用 1. 科技浪潮是普惠的商机 2. 智慧城市大数据人工智能处理 3. 金融保险大数据人工智能处理 科技浪潮是普惠的商机 Open your eyes on science 近年科技浪潮主题的演变 云计算 移动互联网 大数据 人工智能 2010年 2012年 2013年 2015年 曾经备受争议的“炒作”，已经变成了普惠的科技与商机！ 科技生产力普及！= 炒作 激活投资 优化产业 资金向社 行业界限 会主驱动 创新政策 逐渐消退 普惠大众 力流动 服务导向 政策开放 性行业增 享受科技 灵活度提 加 改变生活 升 的成果 大数据不同行业需求的差异 政府 痛点在多源，数据缺标准，大 1 大数据 数据交换与融合平台建设优先 痛点在异构，种类繁多，非 保险 结构化大数据处理需求优先 大数据 2 智慧城市大数据AI处理 Open your eyes on city 智慧城市大数据运营中心建设的外在形式 三个中心：云计算&数据中心、城市运营&管理中心、体验&展示中心 三个平台：数据共享交换平台、大数据挖掘与分析平台、数据网格可视化平台 四个数据库：公共基础数据库、公共服务数据库、公共业务数据库、特需情报数据库 云计算&数据中心 城市运营&管理中心 体验&展示中心 智慧城市大数据运营中心建设的内在需求 面向城市运营的数据集市、 政府行政部门 数据报表、数据共享查询 面向刑侦、技侦的知识推 政府安全部门 荐、数据关联检索 智慧城市大数据运营中心建设一般框架 多源大数据的抽取问题 拥抱HADOOP生态 及各类开放式工具 优先解决数据收集与共享 问题 非结构化视频数据在HADOOP中的处理问题 1、实时视频流截取：帧累加 & 分镜 2、离线视频文件切分：帧累加 & 分镜 & 关键目标 大规模小图像文件的存储问题 1、常规