IBMInfoSphereStreams.PDFVIP

InfoSphere Streams：实现大数据的实时分析处理 1 IBM InfoSphere Streams 重新定义实时分析处理 Roger Rea IBM Software Group InfoSphere Streams：实现大数据的实时分析处理 2 目录 1. 简介 2. 流计算 3. 精选用例 4. 架构性概述 5. Streams 2.0 中的新特性 6. 结束语 执行摘要 摩尔定律描述了计算能力每两年增加一倍的长期趋势，该定律推动了两个独立 的技术浪潮。在服务器上使用的多核芯片，继续提高服务器的性能。传感器设 备、智能手机和平板电脑中的嵌入式芯片使数据量每两年就增加一倍。这两项 技术趋势使开发人员更难以交付业务解决方案。他们无法跟上数据量的增长。 他们不能轻易地通过多线程使用多个核（即所谓的多核挑战）。然而，全球性 的竞争推动组织在运营和决策中寻求更大的敏捷性。面对着数据量的爆炸和决 策窗口不断缩小，这些组织都在努力制定“真正的”实时决策，并获得竞争优 势。协助业务线决策的现有工具和技术，首先要求数据被记录到存储设备上， 并在事后运行分析查询，以发现可操作的洞察力。精明的企业正迅速认识到， 在这个过程中浪费时间会导致错失一些机会，而这些机会有可能正是成功与失 败之间的区别。 InfoSphere Streams 提供的开发人员工具和执行平台可以在数据被保存到数 据库之前就从实时数据流检测到洞察力，从而有效地解决了这个差距。 InfoSphere Streams：实现大数据的实时分析处理 3 简介 IBM InfoSphere Streams 的目标是提供突破性的功能，实现对来自相关数据的信息和知识的积极分析和管理，而 这些相关数据是从海量且多样的有可能不重要的数据中提取出来的。具体来说，InfoSphere Streams 通过同时解 决几个技术挑战，大幅地提高了信息处理中的先进性： ? 实时响应事件和不断变化的需求 ? 以比现有系统更高数倍的速度连续分析数据 ? 迅速适应不断变化的数据形式和类型 ? 管理新的流模式的高可用性、异质性和分布 ? 提供共享信息的安全性和信息保密性 虽然某些研究、开源和商业举措试图单独解决这些技术挑战，但除了 InfoSphere Streams 之外，尚未有程序尝试同 时解决所有这些挑战。InfoSphere Streams 突破了一些基本障碍，以应付这些挑战。该项目始于 2003 年，是作为 美国政府和 IBM 之间的合作项目，目前已被许多组织所实现，用在政府、电信、金融市场、能源、电子科学和医疗 保健等行业中构建各种应用程序。 流计算 流计算是一个新的模式。在“传统”的处理中，可以认为是对历史数据运行分析查询：例如，根据订阅者在步行时 传输的全球定位系统 (GPS) 位置数据的数据集来计算上个月的步行距离。利用流计算，可以执行类似“连续查询” 的进程，该进程随着从 GPS 数据获得的位置信息不断刷新，保持运行总计。在第一种情况下，向历史数据提出问 题，在第二种情况下，静态问题不断评估数据。InfoSphere Streams 的发展又更进了一步，允许随着时间的推移 对连续分析进行修改。 这种区别的简单视图如下： 分析查询 数据 结果 数据 分析 结果 a) 历史数据 b) 流传输数据 图 1：历史数据与流传输数据的对比：概念性概述。 InfoSphere Streams：实现大数据的实时分析处理 4 虽然有其他系统接受流计算模式，但 InfoSphere Streams 采用一种完全不同的方法进行连续处理，并使其与连续 分析应用程序开发的分布式运行时平台、编程模型和工具与众不同。InfoSphere Streams 使用的数据流可以来自 传感器、相机、新闻提要、股票行情或各种其他来源，包括传统的数据库。 精选用例 在过去的几年中，面向 InfoSphere Streams 开发的应用程序已有数百个。下面简介了一些应用程序，突出 InfoSphere Streams 所支持的使用类型。 电信：弥合技术和业务的差距，这个挑战对于亚洲的移