2019年工业大数据平台的概括、应用和课题研究.pptVIP

工业大数据平台 主要内容 1、工业大数据 2、工业大数据实践 3、课题进展 同时GE公司的报告还揭示了工业大数据所蕴含的巨大价值。 工业大数据领域2/8法则 数据价值密度 20%的SQL小数据具有80%的价值密度 例如：产品图纸、试验分析、加工工艺等 80%的工业大数据密度只有20%，需要分析挖掘 例如：工况数据、图片数据、文本数据等 数据的依赖关系 20%的SQL小数据将引爆80%工业大数据价值 不举小数据之“纲”，难张大数据之“目” 工业大数据演进过程案例 在企业内部切换数据库的难度 如果将数据比作血液，数据库相当于心脏 替换数据库相当于心脏移植 静脉血管，数据写入 动脉血管，数据查询 整个过程生命不能停顿，系统不能中断运行 意外发生可以恢复，切换途中可以回退 工业大数据的切换过程 无耗损数据修补技术 传统方案，造成三类数据损耗 切换时刻不明导致误差损耗 切换过程中发生的停机损耗 切换试验造成的脏数据损耗 利用双系统切换实现无损修补 先进行双向删除，然后再进行修补 双系统并行，非中断切换 单系统停机切换存在的问题 应用停机 查询和写入接口同时修改，导致上层应用长时间不能工作 以服务部门为例：停产一天，将导致百万元的损失 数据丢失 原始数据库停机后，实时数据丢失，无法找回 微创式应用一直方案 通过专用代理服务将大数据系统透明接入关系型数据库 以最小代价实现关系数据库与大数据系统的优势整合 使得遗留应用程序平稳过渡到大数据平台上 应用一直复用SQL知识 主要内容 1、工业大数据 2、工业大数据实践 3、课题进展 工业大数据应用系统开发 面向领域的大数据应用系统开发与运行平台 构建大数据应用系统的开发与运行平台 创新大数据系统开发的软件工程方法 为计算机辅助开发提供工具和平台支撑 如何实现大数据系统的“计算机辅助开发”？ “CAD”for Big Data Systems? CAD = Computer Aided Development 如何“绘制”用户需求图纸？ 业务需求如何描述？ 如何根据需求图纸“装配”标准组件？ 如何根据用户需求选择、配置、部署大数据构件？ 如何“检查”标准组件是否满足图纸设定？ 如何根据大数据构件的运行时数据优化系统配置？ 开发与运行的生命周期 集成设计开发环境——自动部署 集成设计开发环境——需求建模 大数据构件资源库——逆向工程 大数据构件资源库——系统建模 线程配置对副本一致性的影响 运行时分析工具 课题立项半年来的部分学术成果 正式发表A类论文5篇 Shaoxu Song, Lei Chen, and Hong Cheng,’’On Concise Set of Relative Candidate Keys.” VLDB 2014 Shaoxu Song, et al. “Repairing Vertex Labels under Neighborhood Constrainst .” VLDB 2014 Shaoxu Song, Han Zhu, and Lei Chen. ”Probabilistic correlation-based similarity measure on text records.” Information Sciences 2014 Shaoxu Song, Lei Chen, and Hong Cheng . “Efficient Determination of Distance Thresholds for Differential Dependencies .” TKDE 2014 Mingsheng Long ,Jianmin Wang ,Jiaguang Sun ,Philip S .Yu . “Domain Invariant Transfer Kernel Learning .” TKDE 2014 Mingsheng Long . Jianmin Wang . Guiguang Ding et al .”Transfer Learning with Graph Co-Regularization .” TDKE 2014 申请国家发明专利2项 分布式计算机数据存储系统中多副本一致性的控制方法，王建民，黄向东，201410165580.x 数据搜索方法及系统，丁贵广 林梓佳 陈文烁，201410364896.1