第4章大数据时代-120645.pptVIP

每个片服务器负责一定量的片，处理对其片的读写请求，以及片的分裂或合并。片服务器可以根据负载随时添加和删除。这里片服务器并不真实存储数据，而相当于一个连接Bigtable和GFS的代理，客户端的一些数据操作都通过片服务器代理间接访问GFS。 主服务器负责将片分配给片服务器，监控片服务器的添加和删除，平衡片服务器的负载，处理表和列族的创建等。注意，主服务器不存储任何片，不提供任何数据服务，也不提供片的定位信息。 Bigtable使用一个类似B+树的数据结构存储片的位置信息。 首先是第一层，Chubby file。它保存着root tablet的位置。 第二层是root tablet。root tablet其实是元数据表（METADATA table）的第一个分片，它保存着元数据表其它片的位置。root tablet很特别，为了保证树的深度不变，root tablet从不分裂。 第三层是其它的元数据片，它们和root tablet一起组成完整的元数据表。每个元数据片都包含了许多用户片的位置信息。 可以看出整个定位系统其实只是两部分，一个Chubby文件，一个元数据表。 * Cassandra最初由Facebook开发，后转变成了开源项目。它是一个网络社交云计算方面理想的数据库。 * * * /view/0f6431d649649b6648d747ed.html * 驾驭大数据能够改变什么？——传感器、智慧地球 2011年3月11日日本大地震发生后仅9分钟，美国国家海洋和大气管理局(NOAA)就发布了详细的海啸预警。NOAA通过对海洋传感器获 得的实时数据进行计算机模拟，制作的海啸影响模型出现在各大网站。 1962年，经过“圣灰星期三”风暴后，美国陆军工程部和美国国家海洋与大气管理局共同建设了一个传感器监测系统，对兴风作浪的海洋进行监测。2005年，浮标上安装了更高端的传感器，用来监测海浪方向。2009年，系统再次升级，开始着手建立一个覆盖全美海岸线的精确海浪监测网络。这些传感器以分秒为单位，将数据源源不断实时传回。还记得《后天》里面那个场景？ 驾驭大数据能够改变什么？——情感分析、舆情分析 通过对BBS、博客、微博中内容的分析，政府、企业和个人可以了解当前舆论情况，公众对待某一事物的看法。目前围绕这个产业，催生了一大拨的创新公司。 通过分析15万条关于刘翔的微博，分词并析取出其中使用的字词。在分析中，我们发现，为刘翔呐喊助威的声音占了统治地位，然而也有微博用户激烈地批评刘翔。这是我们第一次能对如此数量的中国用户进行数据可视化和情感分析 在所有关于刘翔的微博中出现的最显著的名词和形容词。结点越大表明越多人使用过这个词。两个结点离得越近表明它们一起出现在同一用户微博中的频率越高。我们在构造出的这个图中，可以非常明显地发现刘翔支持者所用的词语（右下）以及批评者所有的词语（左上）的巨大区别。 驾驭大数据能够改变什么？——语言、文字分析 奥巴马和罗姆尼辩论情况分析。 驾驭大数据能够改变什么？——社会化网络分析 分析在社交网络上谈论的情况以及分享的购物情况，来发现失业率变化情况和经济发展状况。 驾驭大数据能够改变什么？——社交网络分析、微博营销 电信行业、传媒业借助社交网络分析，对客户的通话数据、微博连接进行分析，能够识别出这部分“影响者”。社交分析并不是分析单一用户的通话记录和微博信息，而是分析各用户所处的社交网络。 圈子识别 关键成员识别 传播影响分析 重入网用户识别 双机双卡用户识别 六度空间理论 关系强度分析 驾驭大数据能够改变什么？——客户特征与交叉销售以及更多 今年年初，美国一名男子闯入了他家附近的 Target 店铺（Target 是一家美国零售连锁超市）。“你们怎么能这样！”男人向店铺经理大吼到，“你们竟然给我 17 岁的女儿发婴儿尿片和童车的优惠券，她才 17 岁啊！”店铺经理不知道发生了什么，立刻向来者道歉，表明那肯定是个误会。然而，经理没有意识到，公司正在运行一套大数据系统。一个月后，这个愤怒的父亲打来电话道歉，因为 Target 发来的婴儿用品促销广告并不是误发，他的女儿的确怀孕了。 ——《纽约时报》报道 更多：反恐（万维信息触角计划与建言计划），库存管理（沃尔玛的Retail Link）、卖数据！ 大数据驱动市场营销、驱动成本控制、驱动产品和服务创新、驱动管理和决策的创新、驱动商业模式的创新。 驾驭大数据能够改变什么？——算法交易、欺诈检测 欺诈检测：监控信用卡使用,当检测的信用卡在很短的时间内并且相距甚远的位置已连续被使用，检测到欺诈行为,拒绝卡的使用 算法交易：及时发现存在的交易机会，每次一小笔，毫秒级交易，每天进行数量众多的交易。已经成为趋势 金融交易是最能体现大数据的Velocity特性的，机会稍纵即逝，甚至