集成数据生命周期解决方案.docxVIP

?

?

集成数据生命周期解决方案

?

?

傅一平

如今，数据成为了一种“新石油”，但是如何挖掘其价值？在数据的生命周期中有很多阶段，这就是企业需要采用一些方法和措施处理从数据收集到获得见解的整个生命周期的原因。几乎每个经历了数字化转型的企业都在努力利用收集到的大量数据，实际上，对于大多数企业来说，85%～95%的数据从未得到充分利用，因此造成浪费。

数据的生命周期有许多阶段，其中包括数据获取、创建数据工程/数据集以赋予原始数据意义、大容量存储数据以供进一步使用和分析、创建数据库以探索数据，最后，还可以使用高级分析或机器学习从数据中提取见解，同时保持数据安全和完全的合规性。许多企业面临的挑战是如何更好地组合这样的系统，同时保持合理的成本并最大程度地減少部署和运营的时间，以及如何以更具意义的方式呈现数据，以便人们能够从中获得见解。

企业需要的是处理从数据的采集到分析整个数据生命周期的方法，同时还要保持开源的优势以及利用内部部署或混合云计算的能力。数据仓库可以处理存储和交付，但他们不能提供完整的解决方案。许多组织已经实现了数据云，无论是通过纯粹的开源产品（如ApacheHadoop）还是商业产品（如Talend，Informatica，AmazonRedshift，IBM，SAP，Oracle等），但这并不能解决整个数据生命周期方面的挑战，通常会迫使企业使用许多可能难以集成的附加异构产品。

尽管开源软件/系统似乎非常有吸引力，尤其是从成本角度来看，但“自行开发”实施功能解决方案的方法通常充满挑战，而其“免费”并不是真正的“免费”。通过选择一个完整的解决方案，可以显著减少全面运营的时间，同时也降低了持续运营和支持的复杂性。从长远来看，这种方法可以为企业部署节省大量的投资。根据调查，复杂性和集成挑战会导致多达50%～65%的企业系统达不到预期或全部失败。此外，非优化系统的持续维护成本会对运营预算造成重大影响，估计这些成本可能是完全集成的解决方案成本的2～5倍。

除了增加以及对多种技术和可用资源有更多的需求之外，还有一个问题是，导致洞察延迟，并且可能永远无法实现。而采用基于开源的解决方案要有效得多，它已经创建了所有必要的集成，以构建可以轻松快速实施并最终得到有效支持的完整系统。

作为更完整数据生命周期解决方案的一个例子，Cloudera公司创建了一个与其Cloudera数据平台（CDP）集成的方法，不仅包括数据采集和存储，还支持机器学习和缩短洞察时间，同时还包括一个配置文件驱动的分层数据安全方法。它将数据采集、数据流、数据工程、数据仓库、数据库和机器学习（ML）集成在一个可扩展的框架内，并允许根据需要从不断扩大的合作伙伴生态系统中集成其他功能。它可以在内部部署、混合云或公共云上工作，当部署为云计算实现时，它实际上可以消除与单个组件部署相关的延迟，从而可能节省获得数据洞察的时间。

这一点至关重要，因为这种延迟可能会面临高昂的成本或重大损失。例如，欺诈检测延迟几分钟或几小时可能会导致巨大损失。根据美国银行家协会发布的2019年存款账户欺诈调查报告，美国银行领域在2018年阻止了针对存款账户高达223亿美元的欺诈攻击。虽然金融欺诈分析通常被认为是此类数据分析系统的主要应用，但这只是冰山一角。

对健康数据或趋势的延迟分析可能会造成病毒在未被发现的情况下传播，同时也会因为缺乏适当的诊断和后续治疗措施而带来挑战。随着医疗机构越来越多地使用远程医疗会话程序，并越来越依赖遥感器监测和动态的健康分析，准确地收集数据至关重要，因为任何由于错误数据而导致的误诊都会给患者和医疗系统带来重大损失。

研究表明，误诊损失的费用占到医疗总费用的30%。美国2018年在医疗保健方面的支出约为3.6万亿美元，平均每人约支出11000美元。为了使远程医疗系统发挥更广泛的作用，就必须拥有更强大的数据生命周期解决方案，从而消除或至少在很大程度上减少误诊及其相关问题。此外，采用在不同组织间共享个人数据的方法，以便更好地评估趋势并提供更精确的分析，这是加强数据生命周期管理过程至关重要的另一个原因，它可以保护机密性并满足所有相关的法规遵从性问题。零售业、制造业、制药业和运输业等行业领域都将从这种数据生命周期管理方法中受益。

当人们进入一个数据驱动和数字化转型的世界时，必须具有一个更具包容性的数据生命周期管理平台。在许多企业中，缺乏及时的洞察力会造成重大的财务或物理损失。企业应该采用一种平台的方法来管理数据生命周期，这种方法不需要广泛的内部集成，也不需要延长部署周期，无论是对于大型跨企业项目，还是对于快速启动的单个或小型团队项目。为了实现这一目标，采用集成的数据生命周期平台解决方案至关重要。

?

-全文完-