云计算分布式大数据Hdoop深入浅出案例驱动实战外训讲义.ppt

Struts2 + Jsp + bootstrap环境 用户管理功能 创建了用户管理相关的表 创建新用户 验证用户名和密码 关注功能 发布微博功能 界面部分（JSP+Struts2 Actions） 用户注册，登陆和注销 发布微博，查看微博 服务端部分 表结构的设计 Hbase接口的实现 JSP和Action的实现 4、tab_follow 6、tab_post 话单入库 多线程入库 使用Protocol Buffer 话单查询 Ajax技术 话单统计 在Hbase中使用MapReduce HStore是怎样工作的? HStore MemStore StoreFile StoreFile StoreFile 向表中写入数据的过程： 首先写入MemStore，同时写入HLog 但MemStore到达一定大小的时候，MemStore会flush成一个StoreFile（HFile文件） 但StoreFile的数量达到一定阀值，会触发compact， 将多个StoreFile合并成1个StoreFile 当单个StoreFile达到一定大小的时候，会触发split， 将当前的Region拆分成2个Region，并且分发到 不同的Region Server上 HStore是怎样工作的? HFile的存储格式 Data Block是HBase I/O的基本单元，每个Data块除了开头的Magic以外就是一个个KeyValue对拼接而成 KeyValue的存储格式 开始是两个固定长度的数值，分别表示Key的长度和Value的长度。紧接着是Key，开始是固定长度的数值，表示RowKey的长度，紧接着是 RowKey，然后是固定长度的数值，表示Family的长度，然后是Family，接着是Qualifier，然后是两个固定长度的数值，表示Time Stamp和Key Type（Put/Delete）。Value部分没有这么复杂的结构，就是纯粹的二进制数据了。 对于任意一个cell，都需要存储rowkey, column family, column qualifier Hbase系统实战 Hbase安装部署 《细细品味Hadoop_Hadoop集群（第11期）_HBase简介及安装.pdf》 《Ubuntu伪分布式安装Hbase-0.94.4.docx》 Hbase Shell 《Hbase shell常用命令.docx》 微博介绍 Hbase实现微博 接下来将要实现的功能 用户管理 1、tab_global ：用户唯一id表 row param:userid row_userid 0 用户管理 2、tab_user2id：用户与id对应表 row info:id (username) (id) 3、tab_id2user：id与用户信息对应表 row info:username info:password (id) (username) (password) Reducer 对map阶段的结果进行汇总 Reducer的数目由mapred-site.xml配置文件里的项目mapred.reduce.tasks决定。缺省值为1，用户可以覆盖之 Shuffler 在mapper和reducer中间的一个步骤（可以没有） 可以把mapper的输出按照某种key值重新切分和组合成n份，把key值符合某种范围的输出送到特定的reducer那里去处理 可以简化reducer过程 命令操作 hadoop jar /usr/local/hadoop/hadoop-examples-1.0.4.jar wordcount /app/hadoop/tmp/test.txt /app/hadoop/tmp/output WordCount的运算过程 假设输入文件的内容如下： How are you Hello word, are you ok This is a test 文件被分成3个split Split1 How are you Split2 Hello word, are you ok Split3 This is a test Map的过程 Split1 How are you （How, 1) (are, 1)(you, 1) Split2 Hello word, are you ok (Hello, 1)(word,, 1)(are, 1)(you, 1)(ok, 1) Split3 This is a test (This, 1)(is, 1)(a, 1)(test, 1) Reduce的过程 (How, 1) (are, 1)(you, 1) (He