Live技术介绍.docxVIP

Live技术介绍1、简介Hive是facebook数据团队基于hadoop开发的数据仓库封装。Hive将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能。 以数据库的方式去管理HDFS。Hive把sql语句解析为MapReduce任务进行运行。和传统数据库比较：侧重于分析，而非实时在线交易；无事务机制；不像关系数据库那样可以随机进行 insert或update；通过Hadoop的map/reduce进行分布式处理，传统数据库则没有；hive扩展性好。与MapReduce比较：优点：学习成本低，拥有传统的关系型数据库知识即可以用类SQL语句快速实现简单的MapReduce计算。不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。缺点：执行效率不如MapReducehive架构图各组件的基本功能用户接口CLI，JDBC/ODBC和 WebUICLI即Shell命令行；JDBC/ODBC 是 Hive 的JAVA，与使用传统数据库JDBC的方式类似；WebGUI是通过浏览器访问 Hive。MetastoreMetastore是保存Hive中所存储的表的元数据（metadata）信息，Hive 将元数据存储在数据库中，目前只支持 mysql、derby，下一版本会支持更多的数据库。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。每个分区（partition）都有自己的列（columns），SerDe和存储空间（storage）。这一特征将被用来支持Hive中的模式演变（schema evolution）编译器、优化器、执行引擎完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中，并在随后有 MapReduce 调用执行Hive 的数据存储在 HDFS 中，大部分的查询由 MapReduce 完成（包含 * 的查询，比如 select * from table 不会生成 MapRedcue 任务）2、环境搭建1、下载版本：/releases.html/releases.html#Download，拷贝文件到安装目录，解压。2、安装JDK。3、设置环境变量，export HIVE_HOME=/home/penggw/java/hive-0.12.0-binexport PATH=$HIVE_HOME/bin:$PATH4、安装mysql，把mysql的驱动放置到$ HIVE_HOME/lib下，创建数据库hive，创建用户hive。5、进入$HIVE_HOME /conf目录，复制hive-default.xml.template为hive-default.xml和hive-site.xml，改名为hive-site.xml文件，删除hive-site.xml中的所有properties结点，增加如下内容：property namejavax.jdo.option.ConnectionURL/name valuejdbc:mysql://m129:3306/hive?characterEncoding=UTF-8/value descriptionJDBC connect string for a JDBC metastore/description/propertyproperty namejavax.jdo.option.ConnectionDriverName/name valuecom.mysql.jdbc.Driver/value descriptionDriver class name for a JDBC metastore/description/propertyproperty namejavax.jdo.option.ConnectionUserName/name valuehive/value descriptionusername to use against metastore database/description/propertyproperty namejavax.jdo.option.ConnectionPassword/name valuehive/value descriptionpassword to use against metastore database/description/propertypropertynamehive.hwi.war.file/namevalue/lib/hive-hwi-0.12.0.war/valuedescriptionThis sets the path to the HWI war file, relative to