Hadoop在百度的应用11课件讲解.pptVIP

Hadoop在百度的应用

2学习任务Hadoop在百度的应用Hadoop在百度的改进和调整

3知识目标Hadoop在百度的应用Hadoop在百度的改进和调整01能力目标了解Hadoop在百度的应用了解Hadoop在百度改进的方面02学习目标

4目录01Hadoop在百度的应用方面02Hadoop在百度的改进和调整

5Hadoop在百度的应用方面百度作为全球最大的中文搜索引擎公司，提供基于搜索引擎的各种产品，包括以网络搜索为主的功能性搜索；以贴吧为主的社区搜索；针对区域、行业的垂直搜索、MP3音乐搜索，以及百科等，几乎覆盖了中文网络世界中所有的搜索需求。百度对海量数据处理的要求是比较高的，要在线下对数据进行分析，还要在规定的时间内处理完并反馈到平台上。百度在互联网领域的平台需求如下图所示，这里就需要通过性能较好的云平台进行处理了，Hadoop就是很好的选择。

6Hadoop在百度的应用方面

7Hadoop在百度的应用方面日志的存储和统计；网页数据的分析和挖掘；商业分析，如用户的行为和广告关注度等；在线数据的反馈，及时得到在线广告的点击情况；用户网页的聚类，分析用户的推荐度及用户之间的关联度。在百度，Hadoop主要应用于以下几个方面：

8Hadoop在百度的应用方面调整MapReduce策略限制作业处于运行状态的任务数；调整预测执行策略，控制预测执行量，一些任务不需要预测执行；