用Kafka实现数字孪生的物联网架构.docxVIP

用Kafka实现数字孪生的物联网架构 2021-05-25 数字孪生(Digital Twin)可以被理解为现实中某些事物(也包括过程或服务)在数字虚拟环境中的表现。在本文中，你将了解到数字孪生在各个行业中所处的优势，以及Apache Kafka、物联网架构和机器学习之间的关系。在实际应用中，Kafka通常被用作中心大事流平台，以那些实时流传感器的数据，构建牢靠、且可扩展的数字孪生和数字线程。 我们将从如下三个方面来争辩如何构建开放、且可扩展的数字孪生基础架构： 数字孪生与数字线程。 大事流、数字孪生与AI(机器学习)之间的关系。 使用Apache Kafka和其他物联网平台的数字孪生物联网架构。 建立数字孪生的关键要点 我们首先来了解四个基础性的要点： 大事流是物联网平台和其他后端应用程序/数据库的补充。 大多数数字孪生架构都使用机器学习(ML)和统计模型来进行仿真、猜测和推举。 “数字孪生”一词通常是指单个资产的副本。在现实世界中，各种数字孪生比比皆是。 “数字线程”一词涵盖了一到多个数字孪生的整个生命周期(如下图所示)。 数字孪生可以被运用到很多行业和领域，其中包括： 削减宕机时间 库存管理 车队管理 假设(what-if)模仿 运营方案 服务化 产品开发 卫生保健 客户体验 实际上，数字孪生不只为各个行业带来了自动化，而且添加了不同业务的价值和创新。 大事流、数字孪生与AI(机器学习)之间的关系 开发者需要通过机器学习，并运用数字孪生，来进行精确?????的猜测。这两者存在着互补的关系。下图呈现了不同的数字孪生如何利用统计方法和分析的模型： 该示例包括了基于物理模型来模仿的各种假设情景，以及基于数据模型来估量剩余使用寿命(Remaining Useful Life，RUL)。可见，数字孪生和机器学习有着以下共同点： 能够持续学习、监控与举动。 良好的数据源是成功的关键。 数据集越多越好。 实时性、可扩展性和牢靠性是关键的需求。 使用Apache Kafka来实现数字孪生，机器学习和大事流 Apache Kafka开源生态系统为机器学习供应了基础架构。下图呈现了Kafka针对机器学习的架构。该架构为模型的训练、部署、评分和监视，供应了开放、可扩展、以及牢靠性的实时处理。 以下是数字孪生在实际应用过程中的五大常见特征： 连接性 各类实物资产、企业软件与客户。 通过双向通信，以猎取命令和把握。 同态化(Homogenization) 解耦和标准化。 信息虚拟化。 能与多个代理共享，且不受物理位置或时间的限制。 成本更低，且能够轻松地开展测试、开发和猜测。 可重新编程与智能化 通过调整和改善特征，以开发出产品的新版本。 数字跟踪 能够实现时间倒流(回溯)，并通过分析历史大事，以诊断问题。 模块化 能够对产品和生产模块进行设计和定制。 调整不同的模型和机器模块。 为了实现上述特征，我们可以选用不同的物联网平台。依据物联网分析争辩(IoT Analytics Research)的统计：截止到2021年，市场上存在着600多个物联网平台(请参见：/iot-platform-companies-landscape-2021/)。与此同时，它们中的很多工具和处理方案都能够结合在一起，共同发挥作用。 下面，我们来争辩几种典型的物联网平台： 以Siemens S7和Modbus为首的工业物联网(IIoT)相关协议，以及与诸如OPC-UA之类标准的深度集成：它们往往并非某个单一的产品(通常是各种OEM的不同代码库)。虽然价格不菲，但是它们开放特定的接口，而且其可扩展性也格外有限。此类平台的典型代表包括：西门子MindSphere、思科Kinetic、GE Digital和Predix。 云供应商的物联网产品：它们供应了完备的物联网管理工具，能够与其他云服务(如：存储、分析等)实现良好的集成。不过，它们往往被云供应商的平台所绑定，且无法支持混合与边缘计算。另外，它们不但扩展性有限，而且售价也不菲。此类平台的典型代表包括：AWS、GCP、Azure和Alibaba等。 基于开放标准(如：MQTT)、且开源的物联网平台：它们能够开放核心的业务模型，且与基础架构无关。不过，它们在针对旧协议和专有协议的连接方面，可能不太成熟。此类平台的典型代表包括：Eclipse IoT、Apache PLC4X、Node-RED等开源框架、以及符合MQTT等标准的HiveMQ相关产品。 使用Apache Kafka和其他物联网平台的数字孪生架构 下面，我们依据数字孪生的上述五大特征，来争辩Kafka针对实时消息传递、集成与处理关键任务大事流等方面的作用： 连接性：Kafka Connect可以针对IoT接口、大数据处理方案、以及云服务，供应免费且实时的