1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 人力资源/企业管理
  5. 管理学资料

企业管理- MapReduce 的工作流程.doc

企业管理- MapReduce 的工作流程.doc

    1. 1、本文档共4页，其中可免费阅读2页，需付费500金币后方可阅读剩余内容。
    2. 2、本文档内容版权归属内容提供方，所产生的收益全部归内容提供方所有。如果您对本文有版权争议，可选择认领，认领后既往收益都归您。
    3. 3、本文档由用户上传，本站不保证质量和数量令人满意，可能有诸多瑕疵，付费之前，请仔细先通过免费阅读内容等途径辨别内容交易风险。如存在严重挂羊头卖狗肉之情形，可联系本站下载客服投诉处理。
    4. 4、文档侵权举报电话：400-050-0827(电话支持时间：9:00-18:30)。
    查看更多

    企业管理-MapReduce的工作流程

    一、数据输入与分片

    （一）数据存储与读取

    MapReduce处理的数据通常存储在分布式文件系统（如Hadoop分布式文件系统HDFS）中。任务启动时，主节点（JobTracker，在Hadoop1.x版本中，Hadoop2.x版本为ResourceManager）会从文件系统读取数据文件。例如，在处理大规模日志文件时，文件会被存储在HDFS的多个数据节点上。

    （二）数据分片（Split）

    主节点将输入数据划分为多个数据分片（Split），每个分片大小通常与HDFS的块大小一致（默认为128MB）。数据分片是逻辑概念，不

    您可能关注的文档

    最近下载

    文档评论（0）

    会计实操文库 + 关注
    实名认证
    服务提供商

    ERP应用资格证持证人

    从事会计行业10多年，从建账、记账、报税、成本核算控制、经营报表管理分析、公司注册变更注销等有着丰富的实战经验，欢迎志同道合的朋友相互交流学习，共同探讨，共同进步。

    咨询作者（91人已咨询） 已休息
    领域认证该用户于2022年11月12日上传了ERP应用资格证

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >