Hadoop平台语言模型训练基础.ppt

Hadoop平台语言模型训练基础;;参考定义：云计算（Cloud Computing）是一种商业模型，它将计算任务分布在大量计算机构成的资源池上，使用户能够按需获取计算力、存储空间和信息服务。特点：1）超大规模2）虚拟化3）高可靠性（多副本容错?）4）通用性5）高可扩展性6）按需服务7）廉价按照服务类型分类：SaaS:应用软件封装成服务Salesforce公司的在线客户关系管理CRM(Client Relationship Management)服务PaaS：操作系统Windows Azure、HadoopIaaS：裸机、磁盘亚马逊AWS(Amazon Web Services) 通俗分法：公有云，私有云，混合云。 ;典型云计算平台的实现机制：用户交互接口向应用提供访问接口，获取用户需求。服务目录是用户可以访问的服务清单。系统管理模块负责管理和分配所有可用的资源，其核心是负载均衡。配置工具负责在分配的节点上准备运行环境。监视统计模块负责监视节点的运行状态，并完成用户使用节点情况的统计。用户通过用户交互接口允许用户从目录中选取并调用一个服务，该请求传递给系统管理模块后，他将为用户分配恰当的资源，然后调用配置工具为用户准备运行环境。;The Apache Hadoop project develops open-source soft