制造物联海量实时数据处理方法地研究.pdf

Study on Approaches to Processing Massive Real-time Data in the Internet of Manufacturing Elements A Thesis Submitted to Chongqing University in Partial Fulfillment of the Requirement for the Doctor ’s Degree of Engineering By Yang Zhengyi Supervised by Prof. Wang Shilong Specialty：Mechatronics Engineering College of Mechanical Engineering of Chongqing University, Chongqing, China October 20 12 中文摘要 摘 要 制造技术与迅猛发展的互联网、云计算、物联网等新一代信息技术相融合， 不断形成制造业信息化新的核心技术，推动着制造业的进步和发展，也为我国制 造业的跨越式发展提供了难得的历史机遇。应用物联网技术提升传统制造业，形 成推动制造业信息化发展的制造物联技术，是先进制造技术、信息技术和智能技 术的集成和深度融合，体现了制造技术从机械化、自动化、数字化走向智能化的 发展趋势。大力推进制造物联技术与生产过程的融合，促进制造过程的智能化提 升和改造，催生高端制造先进的生产模式，形成我国制造业的“智慧制造”，是当 前制造行业研究的一个重点领域。在制造物联关键技术中，研究制造过程产生的 海量数据的实时感知、实时传输与分发、实时处理与融合等，对制造过程的实时 决策及实时控制，确保企业生产安全有序进行、及时决策、提高效率、减少损失 非常重要，也为我国制造业改变当前过于依赖国外实时数据处理产品打下基础。 本文对现有信息技术、制造业信息化及物联网等相关领域研究进展进行分析， 研究制造物联海量实时感知数据的建模及处理方法，针对制造系统的特性、制造 物联关键技术及制造环节实时监控需求等方面的特点，深入分析所涉及到的若干 关键问题，研究新的或改进的方法，并将这些方法应用到具体的制造环境中。论 文主要研究工作及成果如下： ① 提出了制造物联实时数据的定义，对实时数据进行基础理论建模。对实时 数据的采集过程进行了研究，分析探讨了实时数据获取和存储的关键技术，提出 了制造物联实时数据的获取模型。分析了实时数据传输和分发中的挑战，提出了 海量实时数据连续查询模型，并通过优化访问方法，给出了自适应分布式制造物 联实时数据的访问模型，以解决突发数据和非匀速实时数据的传输访问问题。 ② 基于内存的实时数据库的存储机制研究。分析了内存数据库的特点、相关 概念及技术，针对内存数据库的数据组织、查询技术与优化、并发控制和恢复机 制等方面进行研究，采用基于CSB+树的索引方法，以快速定位索引实时数据；提 出了一种新型的基于虚拟单元可智能增长的内存池技术，满足内存数据库系统对 空间利用率和系统健壮性要求；基于智能算法，提出了海量连续实时数据的查询 技术与优化算法；为解决实时事务在并发执行过程中所发生的各种冲突，采用了 并行实时事务标记排序法，并利用定义优先级算法对排序算法进行优化，解决排 序算法中的优先级颠倒的问题。论文提出了一种基于元数据层次化结构的实时系 统数据模型，以便更快捷地访问实时数据对象。该模型对制造物联实时感知数据 进行层次划分，通过元数据映射，完成实时数据的有效组织，有效实现实时数据 I 重庆大学博士学位论文 检索，提高效率。基于元数据的层次结构，制定了实时感知数据与超过时限的历 史数据之间互相迁移的策略，并对该策略进行性能评估。各种仿真及测试运行结