对互联网统计中幂律分布分析.docVIP

对互联网统计中幂律分布分析 　　在中关村3w咖啡与王煜全、KESO等聊《爆发》，其中一个主题谈的就是幂律。我总的感觉在巴拉巴西建立的SCale尺度(degree-rank function)之外，还需要一个以Scope为尺度的计量标准，在因大而美之外，把握因小而美的世界。这样的幂律分布，才会让世界更美好。 　　幂律分布(Power law distribution)是一种常见的统计现象。具有幂律分布的数据，表现为一条斜率为幂指数的负数的线。在这里，幂的含义是指乘方，例如x的n次方，其中n就为幂的指数。具体到幂律分布，出现连接数为k的概率p(k)，反比于k的n次方。其中，n称为幂数。 　　对互联网来说，幂律分布具有特殊的意义。因为互联网中一些核心的现象，都与它有关。幂律分布不仅在技术现象中体现出来，而且在经济现象中体现出来。因此理解幂律分布，对于深入把握互联网特征，具有技术与经济、理论和实践双重意义。 　　幂律分布在互联网技术和经济现象上的表现 　　1、幂律分布揭示了互联网典型的技术结构特征。 　　无尺度网络(scale-free networks)理论首先对此进行了深入研究。无尺度网络理论是复杂网络权威巴拉巴西对互联网研究做出的一个重要贡献。幂律分布是无尺度网络最核心的现象。幂律分布告诉人们，网络兼具“大世界”与“小世界”两种属性。后来的六度空间理论，就是在小世界网络理论基础上发展起来的。这和人们在SNS实践中的发现十分吻合。象《六度分隔》作者瓦茨就说，“不是由人群中的个人直接相互选择，面是他们简单地选择加入数个群组”。现在，这种小世界网络思想，已成为SNS、微信等算法的重要基础。 　　在发现幂律分布之前，人们对互联网有一种典型的误解，认为网络是扁平化的，把扁平化与无结构等同起来。随着实践和理论的发展，人们认识到这是一种错误的看法，网络相当于是介于扁平化(如市场组织)与结构化(如分层组织)之间的一种结构，兼具二者特征，但又不同于二者。 　　这种不以金字塔方式进行组织的结构，到底是以什么结构来运作的呢?与工业组织结构存在于管理幅度与管理层级的关系中不同，互联网的结构存在于联结与节点的关系之中，其中映射着图论中顶点与边的关系???隐含范式。幂律分布归纳的正是顶点与边的关系。 　　无尺度网络的典型特征是，在网络中的大部分节点只和很少节点连接，而有极少的节点与非常多的节点连接。在统计上，这种技术现象特征就表现为幂律分布。 　　幂律分布在互联网结构认识上的意义在于，人们终于找到了机械组织与生态组织的区别所在。互联网是有结构的，只不过这种结构不是工业组织那种机械结构，而是生态结构。生态结构具有自组织、自协调的性质。节点与节点虽然只是随机链接，表面上是无组织的，但放在大世界尺度看，却呈现出幂律分布特征。有人提出，“凡有生命的地方，有进化、有竞争的地方都会出现不同程度的无标度现象”。抓住了背后的规律，人类对可进化的结构才开始入门。人们在哲学上常说的涌现和生成，终于落到了地面上，从空想变为现实。 　　2、幂律分布揭示了互联网典型的经济结构特征。 　　令人称奇的是，幂律分布在互联网经济现象中同样呈现出来。著名的长尾理论，就建立在幂律分布的统计发现的基础之上。长尾曲线就是幂律分布的另一种说法。 　　此前，帕累托在19世纪已经发现，美国财富的分布服从幂律分布，这被称为帕累托分布。随后的数据表明，欧洲各国的财富分布同样服从幂律分布。而且诺贝尔奖获得者西蒙提出的齐普夫(Zipf)法则已相当接近巴拉巴西的发现。钱德勒则从规模(SCALE)与范围(SCOPE)的对比中，首先从商业上捕捉到幂律的实质性的经济含义。 　　在整个工业化时代，幂律分布与信息革命深层次的联系，并没有被发现。到了互联网时代，情况终于产生转机，以太网的发明人梅特卡夫开始产生了幂律的感觉。他提出网络价值等于节点平方的法则(Metcalfe’sLaw)。第一次用乘方来表示网络的经济性。幂的本质就是乘方，这里的平方就是幂的指数，而指数是直线的斜率。安德森《长尾理论》则直接发现了幂律分布的商业模式含义。 　　长尾理论揭示的幂律分布是，少数大热门产品构成短头，而大量小批量产品构成长尾，互联网将推动经济重心从前者转向后者。安德森实际上把幂律分布解释为托夫勒所说的从单一品种大规模生产转向小批量多品种的生产方式转变。这比巴拉巴西的发现要深刻了许多。 　　幂律分布的技术经济本质及观测尺度 　　1、幂律分布还可以从更深层次理解，首先要看它把握的对象到底是什么。 　　无尺度这个词比较特别。它的原文是scale free。Scale固然有度和尺度的意思，但应该译为度的是degrees，比如六度空间中的六度(Six Degrees)。我个人认为Scale还是应译为它的本义“规模”。scale free实际是“规