人工智能需要的hpc云计算技术easycloud-森林分析规划管理-云.pdf

南 京 加 林 系 统 工 程 技 术 有 限 公 司 Nanjing Jialin System Engineering Ltd. 人工智能需要的 HPC 云计算技术 EasyCloud 南京加林系统工程技术有限公司 南京市江宁科学园 321 人才创业大厦 (天元东路 1009 号) 电话：025 传真：025 网站：, 信箱：guoliangliu@ 1 分布式计算的概念 阿尔法围棋表面上是人工智能战胜了人，这背后的 HPC 云计算技术是极其重要的。人 工智能迭代计算需要很多机器实时互动，这是技术的关键。阿尔法围棋使用了这样的技术， 让1000 多个CPU 实时互动。 为了让多台机器能进行人工智能迭代计算，我们开发了 HPC 高性能分布式计算技术 EasyCloud。无论何时何地需要多强的超级计算机，不需要多大代价，EasyCloud 能快速地让 云端大量电脑形成集群，起到超级计算机的作用。 一般来说，不管是阿里云还是其它云包括Google 的和微软的云，想实现人工智能算法 需要的各个电脑实时交互都很难做到。当然特别有能力的软件工程师使用 MapReduce 和 Spark ，也可能实现，但工作难度很大，还要用Hadoop Lib，有一定的局限性,无论扩展性、 稳定性、管理性等方面都需要进一步增强.雅虎最近的 CafeOnSpark 可以解决一些人工智能 计算的问题，但也是在 Hadoop 和 Spark 上的扩展， EasyCloud 框架完全是我们自主开发 （包括网络通信协议）的，该框架装在现有云上就可以提供人工智能需要的实时交互的高性 能HPC 计算能力。我们已经比较了局域网，阿里云和加拿大云的计算能力。 2 EasyCloud 是什么？ EasyCloud 是一种高性能分布式云计算技术，它的设计目标就是用来简化分布式系统的 开发难度。使用EasyCloud 开发分布式计算程序，开发人员不需要任何分布式系统开发经验、 也不需要掌握网络通信知识，更不需要专门的培训，简单查看一下框架自带的示例代码，就 可以像编写传统串行计算程序代码一样，编写出一个支持分布式的计算程序，所开发的程序 更可以同时在几台或几千台计算机上高效运行。 谷歌的MapReduce 和 Spark 应当是目前最流行的分布式计算框架，EasyCloud 同样也是 用于实现分布式计算，两者之间的最大不同在于：MapReduce 和 Spark 都是使用 Hadoop 南 京 加 林 系 统 工 程 技 术 有 限 公 司 Nanjing Jialin System Engineering Ltd. Lib, MapReduce 和Spark 侧重于大规模数据的并行处理，而EasyCloud 侧重的是高性能并行 计算。使用EasyCloud 开发分布式程序，相较于MapReduce 和 Spark ，开发人员拥有更多的 自主权，可以主动申请指定数量的节点服务器，自由指定各节点在同一时间运行相同的或不 同的任务，并随时了解各节点的实时进度，这些都是MapReduce 和 Spark 所不具备的。 EasyCloud 既可以在云端运行，根据计算规模的不同，动态申请不同数量的计算节点。 同时也可以运行在局域网环境中，任意几台普通的计算机，都可以构建一个计算集群。 3 EasyCloud 框架组成 EasyCloud 由中心服务器和节点服务器两部分组成，中心服务器负责整个计算集群的状 态维护、任务接受和任务分配等工作，节点服务器负责执行中心服务器所分配的任务，节点 服务器的数量可以是几台与可以是几千台。