Hadoop与谷歌的渊源.docVIP

Hadoop 数据分析平台 Pig: 一种轻量级的分级工具，有独立的pig语言 Hbase： 运行在hadoop，或者不在hadoop上的分布式数据库，hadoop下的独立的子项目 Hive: sql语言到mappreduce的映射器。 ESXI： vmvare提供的虚拟软件，免费，每台机1G以上的内存即可 Esxi的安装光盘，安装了esxi后服务器只能运行esxi虚拟软件 Hadoop0.20.2: 入门使用低版本。Hadoop版本之间差异比较大。 淘宝的去ieo之路： i:e:o IBM、Oracle、EMC，更确切地说是IBM小型机、Oracle数据库与EMC存储设备的组合 谷歌的pc服务器 没有硬盘，全部存在硬盘中。谷歌采取了冗余的方式保证数据。 搜索算法：关系型数据库，like不能利用索引，会导致全表扫描。 谷歌的搜索速度，0.000几秒 Rank ：计算网页的价值。Page：网页，rank：得分 rank的原理，下面会讲到。 Google如何快速搜索网页 没有使用全表扫描，而是使用了倒排索引的技术 对全文进行索引，但是索引的关键值（keyword）不是文章的全体，而是首先把文章分词。 例子：我爱北京天安门，我 爱 北京 天安门 倒排索引： 单词id 单词 倒排索引 1 我 (1;1) 单词出现在标识号为1的网页中，偏移量是第一个位置 2 爱 3 北京 4 天安门 在单词列上建立索引（如b+树索引） 中文分词 难点是分词，对于英文来说，有空格、句号、感叹号等天然的分割，通过这些符号可以将一篇文章分成若干单词的组合，但是对于中文、日文来说，对于分词的难度就比较高，一种方式是使用字典 扫描字典 “我”，在字典中找到，”我”就是一个词 “我爱”，在字典中没有找到，”我爱”就不是一个词 于是就把我切出来，成为第一个切出来的词 爱 是一个词 扩展 爱北 不是一个词 从新开始 北 是一个词 扩展 北京 是一个词 扩展 北京天 不是一个词 从新开始 天 是一个词 扩展 Pagerank是google的核心算法，从未对外界公布 Google使用pagerank算法在一大堆爬虫爬回来的网页中找到用户需要的信息。 如何判断页面的价值 网页字数：不科学 点击数 ：爬虫无法获取 判断网页质量的指标 pagerank的值 一个网页被其他网页指向的数量。 1、2、3都指向4，说明4的价值高 1没有被2、3、4中的任何网页指向，说明价值低 指向网页的pagerank值 计算pagerank的值 谷歌矩阵 Pagerank的值 找到一个q，是G乘以q以后还是等于q 矩阵乘法的算法 4x4的矩阵 x 4x1 的向量 最后会得到1个 4x1的向量 4x1的向量 第一个元素 0xa +0xb+0xc+0xd 第二个元素 1/3xa +0xb+0xc+1xd 第三个元素 1/3xa +1/2xb+0xc+0xd 第四个元素 1/3xa +1/2xb+1xc+0xd 乘后不变，在数学上称特征向量， 这个特征向量就是我们要求的pagerank的值 1号元素是1号网页的pagerank的值 2号元素是1号网页的pagerank的值 求网页的特征值的问题，转变成求一个很庞大的矩阵值的问题。 特征值使用迭代的方法来算  详细看pdf Bigtable 所有的数据不再分表，而是放在一张大表中 Hive：支持到sql92 Hbase：列式数据库，非关系型数据库，优点：响应速度，减少io量 。 Zookeeper：节点之间通讯协调工具 Chukwa：数据集成工具，数据源来自生产线上的各个服务器，数据源定时抓取到hadoop里面 第二周