林子雨-大数据技术原理与应用第2版教材--Hadoop架构再探讨.pptVIP

  • 63
  • 0
  • 约1.3万字
  • 约 44页
  • 2019-06-17 发布于天津
  • 举报

林子雨-大数据技术原理与应用第2版教材--Hadoop架构再探讨.ppt

下面是一个采用语言编写的应用程序实例实现对用户访问网页情况的统计分析得到的表的结构得到的连接结果表的结构得到的表的结构得到的连接结果表的结构图从脚本转化得到的作业是通过编译为在集群上执行的统计用户访问量程序被编译成时会产生如图所示的和的应用场景数据查询只面向相关技术人员即时性的数据处理需求这样可以通过很快写一个脚本开始运行处理而不需要创建表等相关的事先准备工作主要用户以上的作业是生成的以上的作业是生成的大部分的作业是生成的其他主要用户是开源的支持作业的计算框架它直接源于框架核心思想是将和两个操作

8.4.1Pig 下面是一个采用Pig Latin语言编写的应用程序实例,实现对用户访问网页情况的统计分析: visits = load ‘/data/visits’ as (user, url, time); gVisits = group visits by url; visitCounts = foreach gVisits generate url, count(visits); //得到的表的结构visitCounts(url,visits) urlInfo = load ‘/data/urlInfo’ as (url, category, pRank); visitCounts = join visitCounts by url, urlInfo by url; //得到的连接结果表的结构visitCounts(url,visits,category,pRank) gCategories = group visitCounts by category; topUrls = foreach gCategories generate top(visitCounts,10); store topUrls into ‘/data/topUrls’; 1 visits = load ‘

文档评论(0)

1亿VIP精品文档

相关文档