smartbi在hadoop大数据分析中的应用.docx

Smartbi在Hadoop大数据分析中的应用大数据是目前最热门的话题，虽然不少厂商宣称推出了大数据的产品，但在实际应用中，Hadoop已经成为大数据处理的事实标准，Facebook、百度、阿里等互联网企业无一不采用Hadoop。即便是商业数据库公司，如IBM、Oracle、SAP、Teradata、甚至Microsoft等都采用了Hadoop。国产数据库厂商的人大金仓在大数据方解决案中也整合了Hadoop产品。Hadoop之所以这么受欢迎，源于其良好的系统架构，使其能够以很低的成本、高效率、可靠的存储和处理千兆字节（PB）数据。Hive 是构建在Hadoop 的数据仓库平台，用于存储和处理海量结构化数据。它把海量数据存储于 Hadoop 文件系统，而不是数据库，但提供了一套类数据库的数据存储和处理机制，并采用 HQL （类 SQL ）语言对这些数据进行自动化管理和处理。我们可以把 Hive中海量结构化数据看成一个个的表，而实际上这些数据是分布式存储在 HDFS 中的。Hive 经过对语句进行解析和转换，最终生成一系列基于Hadoop的map/reduce 任务，通过执行这些任务完成数据处理。传统上商业智能BI平台或报表平台是基于关系数据库搭建的，即便数据仓库使用了Hadoop，也是将Hadoop作为计算工具，将计算结果写入Oracle、DB2等数据库中，供BI软件查询。事实上，随着Hadoop/Hive产业链的成熟，BI工具可以通过JDBC等方式，直接连接Hive查询数据。这样，除了专业的IT工程师，众多普通用户也能体验到Hadoop的魅力。Smartbi作为国内领先的BI平台，能够很好的支持Hadoop/Hive产品。Smartbi结合Hadoop/Hive在电信行业中已经取得了成功的应用案例。下面介绍如何使用Smartbi连接Hadoop/Hive查询数据。1.首先安装好系统环境，示例为Ubuntu 12.04/JDK7/Hadoop-1.2.1/Hive-0.11.0，并装载数据。然后启动Hive服务。2.将下列Hive JDBC驱动等文件拷贝到Smartbi的Lib目录下（.\smartbi\WEB-INF\lib）。3.启动Smartbi，在系统管理中建立Hadopp的JDBC连接，驱动程序类为：org.apache.hadoop.hive.jdbc.HiveDriver，连接串为jdbc:hive://ip:port/default。测试连接通过后保存。4.在Smartbi数据集定义功能中编写Hive SQL语句。5.点击“预览”按钮，查看查询结果。6.在Smartbi中展现Hive的报表。下面是“十个小故事大道理”不需要的朋友可以下载后编辑删除！！！谢谢！！！小故事1、《扁鹊的医术》　魏文王问名医扁鹊说：“你们家兄弟三人，都精于医术，到底哪一位最好呢?　扁鹊答：“长兄最好，中兄次之，我最差。　文王再问：“那么为什么你最出名呢?　扁鹊答：“长兄治病，是治病于病情发作之前。由于一般人不知道他事先能铲除病因，所以他的名气无法传出去;中兄治病，是治病于病情初起时。一般人以为他只 能治轻微的小病，所以他的名气只及本乡里。而我是治病于病情严重之时。一般人都看到我在经脉上穿针管放血、在皮肤上敷药等大手术，所以以为我的医术高明， 名气因此响遍全国。　大道理：事后控制不如事中控制，事中控制不如事前控制。　小故事2、危险的森林里　一个人在森林中漫游时，突然遇见了一只饥饿的老虎，老虎大吼一声就扑了上来。他立刻用最快的速度逃开，但是老虎紧追不舍，他一直跑一直跑，最后被老虎逼到了断崖边。　站在悬崖边上，他想：“与其被老虎捉到，活活被咬死，还不如跳入悬崖，说不定还有一线生机。”　他纵身跳入悬崖，非常幸运地卡在一棵树上。那是长在断崖边的梅树，树上结满了梅子。　正在庆幸之时，他听到断崖深处传来巨大的吼声，往崖底望去，原来有一只凶猛的狮子正抬头看着他，狮子的声音使他心颤，但转念一想：“狮子与老虎是相同的猛兽，被什么吃掉，都是一样的。”　刚一放下心，又听见了一阵声音，仔细一看，两只老鼠正用力地咬着梅树的树干。他先是一阵惊慌，立刻又放心了，他想：“被老鼠咬断树干跌死，总比被狮子咬死好。”　情绪平复下来后，他看到梅子长得正好，就采了一些吃起来。他觉得一辈子从没吃过那么好吃的梅子，他找到一个三角形的枝丫休息，心想：“既然迟早都要死，不如在死前好好睡上一觉吧!”于是靠在树上沉沉地睡去了。　睡醒之后，他发现黑白老鼠不见了，老虎和狮子也不见了。他顺着树枝，小心翼翼地攀上悬崖，终于脱离了险境。原来就在他睡着的时候，饥饿的老虎按捺不住，终于大吼一声，跳下了悬崖。　黑白老鼠听到老虎的吼声，惊慌地逃走了。跳下悬崖的老虎与崖下的狮子展开激烈的打斗，双双负伤逃走了。　励