实时非结构化数据存储.docx

MACROBUTTON NoMacro 公开 MACROBUTTON NoMacro 公开 密　　　　级：_____________ 论文题目:实时非结构化数据存储 段政均 学　 　号：_________________________ 段政均 工业工程 作　 　者：_________________________ 工业工程 专 业 名 称：_________________________ 2015 目录 TOC \o 1-3 \h \z \u 致 谢 - 3 - 摘要 - 4 - Abstract - 5 - 1. 绪论 - 8 - 1.1研究背景及意义 - 8 - 1.2国内外研究现状 - 10 - 1.3 研究内容及技术路线 - 13 - 1.4论文组织结构 - 14 - 2. TG宽厚板MES物流管理现状分析 - 16 - 2.1宽厚板MES物流管理流程分析 - 16 - 2.2宽厚板MES物流管理的特点分析 - 22 - 3. 宽厚板MES物流管理需求分析 - 30 - 3.1宽厚板MES物流管理协同性分析 - 30 - 3.2宽厚板MES物流管理需求分析 - 33 - 3.3 宽厚板MES物流信息化管理 - 37 - 4 宽厚板MES物流管理的关键技术分析 - 39 - 4.1 宽厚板库房管理关键技术分析 - 39 - 4.2宽厚板MES行车无线数传的关键技术分析 - 45 - 4.3宽厚板动态入库管理的关键技术分析 - 50 - 4.4宽厚板生产中的最优垛位分析 - 54 - 5 总结及展望 - 56 - 5.1 总结 - 56 - 5.2 展望 - 57 - 参考文献【 - 58 - 作者简历及在学研究成果 - 60 - 独创性说明 1 关于论文使用授权的说明 1 学位论文数据集 2 1 绪论 1.1 研究背景及意义 本世纪以来．伴随现代服务业的迅猛发展．电子商务在世界各国受到了前所未有的重视。当前电子商务发展正面临着一系列新的问题：一方面，电子商务参与者对精确营销、比较购物、动态供应链和实时优化配送等方面服务的要求日益提高；另一方面新兴电子商务的移动性、虚拟性、个性化、社会化和极端数据等新特征使服务提供的技术难度不断加大。 由此导致的科学与技术难题主要有：由移动性和虚拟性所带来的非结构化数据有效采集和知识表达与集成问题；极端数据所带来的知识发现效率问题；个性化带来的情境相关的知识支持与自然语言表达问题；针对虚拟性与社会性的知识挖掘与表示方法；与新兴电子商务智能有关的知识支持方法及商务智能模型与算法等。而这些新特性的交叉和演化，则可能带来更为复杂的科学与技术难题。创造性地解决这些瓶颈性难题，不仅是发展新兴电子商务的关键所在，而且也是提高我国服务业技术含量和国际化水平的迫切需要。 1.2国内外研究现状 当今信息化时代充斥着大量的数据。海量数据存储是一个必然的趋势。然而数据如何的存储和查询，尤其是当今非结构化数据的快速增长，对其数据的存储，处理，查询。使得如今的 关系数据库存储带来了巨大的挑战。分布存储技巧是云计算的根基,主要研究如何存储、组织和管理数据中心上的大规模海量数据.由于面临的数据规模和用户规模更加庞大,在可扩展性、容错性以及成本控制方面面临着更加严峻的挑战文献【1】。 ? ? ? ? 对于大量的半结构化数据（semi-structure data）和非结构化数据，，对其存储和并发计算以及扩展能力而设计出了NoSQL，像有google的Bigtable，Amaze 的Dynamo，以及Apache的Hbase。NoSQL支持强大的水平扩展能力和高性能，与关系数据库不同的是，NoSQL可以采用松弛一致性(relax consistant)，但是供给最终一致性保证数据的读的不一致。像在Dynamo中为了供给高的写的能力（购物时不会因为并发而不会添加购物车不能成功，而影响用户体验），不得不采取最终一致性。根据CAP原理，一致性、高可用性、分区容忍性(Partition-tolerance)三者中最多择其二，舍其一。在Dynamo牺牲了一致性，但是供给高的可用性文献【6】。另外Dynamo采用非集中化管理，使得每个节点都是同等地位，充分利用分布式哈希表（DHT）的一种实现即一致性哈希，使得Dynamo供给强大的可扩展性。Hbase可以说供给强的一致性，但是牺牲掉了一定的高可用性，比如存在单点故障，在当一个Regionserver出问题或失去联系时，需要master来重新部署原Regions