云跟踪：基于云平台的大规模Internet内容分发.pptVIP

云跟踪：基于云平台的大规模Internet内容分发 博士（二年级末）：李振华 学号个人主页：/~lzh 导师：代亚非 教授 大家是否常常头痛于IE、FireFox下载之“龟速”？ 是否每每惊叹于迅雷下载之“神速”？ 背景1：龟速和神速 大家是否感觉到搜狗浏览器的下载速度最近明显提升？那么原因是什么呢？ 具体原因，360安全浏览器也很想知道 * 数据包分析显示，搜狗浏览器（可能）在后台“悄悄”实现了迅雷相似的技术 背景2：浏览器大混战 隐藏在迅雷、QQ旋风、搜狗浏览器、360安全浏览器背后的神秘技术——云跟踪 引发迅雷和QQ旋风的战斗 引发浏览器大混战 隐藏在背后的“神秘技术” 什么是Internet内容分发？ * Internet内容分发可以简单理解为从Internet下载文件 核心问题：如何下载得更快？ * 难以改变的：骨干网带宽、用户接入带宽、TCP/UDP协议性能 * 可以改变的：数据源的多少和调度方法！ * = 多源并行下载 Internet内容分发 一个自然的问题：BT是典型的多源并行下载，BT不是已经解决问题了吗？ 实际情况是：常常找不到“好”的BT种子，而且此时好不代表一直好，P2P的下载性能不稳定。 问题：怎么才能让P2P用户下载高速且稳定？ 思路：从Internet“云”中寻找稳定的数据源！ BitTorrent不可以吗？ 基于云平台的大规模Internet内容分发 云跟踪 P2P： 高扩展 低成本 高动态 高异构 云计算： 低扩展 高成本 高可靠 易管理 其跟踪的云平台全部来自第三方服务器，所以搭建云跟踪系统十分轻量级！几十台服务器即可。 云跟踪的特点 云跟踪 P2P用户集群 下载Photoshop 涉及到搜索引擎、数据库、资源调度、P2P等技术 云跟踪系统简化原理图 云跟踪当前面临的挑战？ 目前做的最好的资源爬虫是狗狗 但狗狗检索到的资源其实并不多 * 还有很多有用的数据源没有被发现 狗狗检索到的资源也有不少失效的 1、资源爬虫的性能 迅雷要上市，担心狗狗不合法，被迅雷以1万元的“白菜价”卖给“无关联第三方” 狗狗的价值，你懂的…… 非技术问题，但非常重要 2、资源爬虫的合法性 清仓大甩卖！ ICP：Internet Content Provider（内容提供商） 云跟踪给用户带来了下载的神速，但跳过了ICP的页面和广告，可能有损ICP的商业利益 ICP和迅雷之间的利益博弈/纠纷此起彼伏 3、云跟踪和ICP的关系 云跟踪 P2P用户集群 网页 资源 巨量的服务器和用户、极高的动态性与异构性 * 服务器集合S = {S1, S2, ..., Sn}，n一直变化 * 用户集群集合P= {P1, P2, ..., Pm}，m一直变化 * 对每个Pi，其成员构成Pi ={Ui1, Ui2, ..., Uiq}，q一直变化 网络资源调度通常假设服务器是稳定的； P2P资源调度常常局限于一个用户集群内部； 然而云跟踪监控着上百万台服务器，服务器本身的动态性成为无法忽视的问题 * 调度周期、调度参数的设置更为精细和复杂 资源调度算法 QA