大数据分布统一处理架构总体技术方案合集.pdf

睢宁智慧监控云平台 （2）总体技术方案 （包括项目所依据的技术原理、主要技术与性能指标、项目拟执行的质 量标准类型、质量标准名称） 1. 大数据分布统一处理模型及编程方法架构 ､ 1.1主要设计思想和设计目标 设计原则 设计思想:将海量数据分解到由大量ARM 或X86架构计算机构成的低成本计算平台上进行 实时处理,依靠分布式云计算软件进行容错,从而提升移动网络海量信令数据分析的实时性 和性价比｡ 设计目标:利用ARM或X86架构计算机,建立云计算平台,能够对流量超过48000Mbps的数 据监测流进行实时处理,提供多种业务支持｡系统具有可动态可伸缩性､高度容错性和响应实 时性,达到较之传统方案一个数据量级的性能价格比提升｡ 设计原则: 睢宁智慧监控云平台 (1)前瞻性技术与实际应用环境相结合 本设计是既是先进技术应用示范,又是工程实施型设计｡把握技术正确性和先进性是前提, 但是前瞻性技术实施必须在资源池的实际应用环境和实际监测流量的基础上进行,必须结合 资源池平台的实际情况进行研究和开发,只有与实际应用环境相结合才有实际应用价值｡ (2)学习借鉴国外先进技术与自主创新相结合 在基于资源池的云计算平台用于超大规模数据处理方面,国内外几乎是在一个起跑线上; 但在关键技术研究及既往的技术积累方面,国外一些大公司有着明显的优势｡我们将积极学 习借鉴国外先进的云计算技术,同时与自主创新相结合,形成功能强大､性能卓越的能够满足 实际应用环境需求的云计算信令处理和分析平台｡ 2. 主要技术与性能指标 2.1、分布式数据索引管理技术； 随着移动互联网、物联网、云计算技术的蓬勃发展，非结构化、半结构化、结构化数据 均成倍增长，非结构化数据的超大规模和增长，总数据量已经达到80~90%，比结构化数据 增长快 倍到 倍。因此，如何高效的进行分布式数据管理就成为了一个重中之重。 10 50 下表列出了分布式数据存储系统的技术挑战和应对措施。 技术挑战 应对措施 数据完整性 CRC 校验和保证数据完整性，客户端写一个块之前会计算其对应 的校验和。 校验和文件和数据块存储在datanode 的相同目录下。 客 户端读取数据块并读取其校验和文件，进行校验。校验失败则尝试其 他副本。 数据块副本之间的 简单一致性模型即一个文件一旦创建、写入、关闭之后就不需要 一致性 修改了 体系架构 采用主从结构的体系，一个集群是由一个名字节点管理元数据的 命名空间，和多个数据节点来管理数据块的存储。 数据块存储 将一个文件分割成一个或多个的数据块，这些数据块存储在一组 数据节点中。元数据节点操作文件命名空间的文件或目录操作，如打 开，关闭，重命名，等等。它同时确定块与数据节点的映射。数据节 点来负责来自文件系统客户的读写请求。 睢宁智慧监控云平台 数据副本放置位置 在数据块复制数为3 的情况下，放置方式是将第一个放在本地数 据节点，将第二个复制放到本地机架上的另外一个数据节点而将第三 个复制放到不同机架上的数据节点。这种方式减少了机架内的写流量， 提高了写的性能。机架失效的机会远小于机器实效的。这种方式没有 影响数据的可靠性和可用性的保证。但是它减少了读操作的网络聚合 带宽。 读操作时的副本选 对一个读操作来说应该读取离它最近的数