大数据和小数据的应用区别.pdfVIP

______________________________________________________________________________________________________________ 大数据和小数据的应用区别 《大数据时代》一书的核心观点是说： “在大数据时代，我们正 经历着一场生活、工作与思维的大变革。 大数据技术的出现带给人们的思维方式、 行为方式、 媒体传播方 式及社会治理方式等都诸多方面带来了革命性的变革。 我们没必要非得知道现象背后的原因， 而是要让数据自己发声。 ” 在大数据时代， 相关关系能够帮助我们更好地了解这个世界， 建立在 相关关系分析法上面的预测是大数据的核心，通过找到“关联物”并 监控它，我们就能够预测未来。 作者还提出了“大数据三原则”：要全体不要抽样，要效率不要 精确，要相关不要因果。虽说该书作者提出的“要相关不要因果”的 观点还值得商榷，但“相关性”观点还是从某个层面上说出了大数据 时代的核心特征。 大数据是往往是商业自动化产生的数据， 又具有实 时在线的特征。 与大数据概念相对应的，在这之前的数据似乎就是所谓小数据， 如果有所谓的小数据概念的话， 应该特指采用调查方法获得的抽样数 据，或者是结构化的海量数据。 对于小数据的分析通常采用的是传统 的统计分析方法， 是一种自上而下的实证研究方法论。 小数据往往依 托数理统计的大数定律， 描述了抽样理论下样本最终服从中心极限定 理的正态分布理论，强调描述性统计学和推断统计学。 大数据重预测，小数据重解释 大数据的开放性、 公开性和易获得性， 社交网络每天产生的大数 精品资料 ______________________________________________________________________________________________________________ 据可以在一定规则开放性下，通过应用程序接口（ API ）和爬虫技术 采集，一些商业机构和政府组织也向社会研究机构提供各种海量数据 源，特别是政府开始提供权威开放数据源。 大数据往往带有时间标签， 更具预测性。 国内外众多机构开始采集海量 Twitter 和微博上的传播 信息和个人属性特征和标签， 期望预测社会舆情和社会情感、 预测电 影票房、预测商业机会，进而期望预测人们的态度和行为。开放、公 开易获得数据源是大数据时代的基本特征和产生社会影响本质。 大数据重发现，而小数据重实证 传统的小数据重实证研究， 强调在理论的前提下建立假设， 收集 数据，证伪理论的适用性，采用随机抽样的定量调查问卷获取数据， 验证假设。 这是一种自上而下的决策和思维过程。 而大数据重发现知 识，预知未来， 为探索未知的社会现象和发展规律带来机遇。这种预 见性是一种自下而上的知识发现过程， 是在没有理论假设的前提下去 预知社会和洞察社会现象、趋势和规律。 大数据重相关，小数据重因果 大数据重关系，而不关心因果，关注是什么而不关心为什么，尽 管大数据依然可以回答因果问题，但因果关系并非来自统计或数据， 而是来自研究者的理论和假设。 大数据分析更关注数据的相关性测量 和商业应用价值。 大数据挖掘往往是发现那些不能靠直觉发现的信息 和知识，甚至是违背直觉的， 有时候越是出乎意料可能