大数据挖掘方法势科学研究.docVIP

大数据挖掘方法势科学研究 　　[摘 要]大数据已经是包罗万象，渗透到社会发展的很多领域，并且还在不断扩大中。大数据研究的难点在于提取数据，数据提取的核心在于网络中的相关关系，而势科学理论中的信息作用机制的“差别与联系”也体现了相关关系。通过计算与比较各种数据维度的信息势，就能有效认识大数据中各数据维度的相关关系，从而提高知识的提取能力。 　　[关键词]大数据；数据挖掘；势科学 　　doi：10.3969/j.issn.1673 - 0194.2017.24.088 　　[中图分类号]TP311.13 [文献标识码]A [文章编号]1673-0194（2017）24-0-02 　　1 大数据概述 　　大数据泛指巨量的数据集，记录了众多信息主体的状态、特征、行为、偏好和思想等方面，因可从中挖掘出有价值的信息而受到全世界关注。国外对大数据的权威定义为：由科学仪器、传感器、互联网电子商务、电子邮件、音视频软件和网络点击流等众多数据源生成的大规模、多元化、复杂、长期的分布式数据集。IBM将大数据特性归纳为4V：大量化（Volume），多样化（Variety），快速化（Velocity）和真实性（Veracity）。 　　大数据的主要用途为进行分析预测和辅助决策，在政府管理、公共服务、金融投资、商业分析和企业管理等领域都已经有广泛应用。 　　大数据目前应用的主要场景有：驱动企业营销创新，效率提升和策略优化，改善客户体验和实现实时化，个性化产品与服务创新以及进行风险监控；帮助政府对重点管理领域进行实时跟踪和分析，提高监管和服务效率；对环境灾害和传染性疾病进行提前监测，做好灾害预警防备和疾病防治。 　　人们平常说的大数据实际上只是简称，更准确的叫法应为大数据挖掘，不挖掘出大数据的价值大数据也就没有用处、没有意义。麦肯锡（McKinsey）指出大数据挖掘是继云计算、物联网之后IT产业又一次颠覆性的技术变革，大数据将是提高创新、竞争、生产力的下一个前沿阵地。 　　现阶段，大数据研究与应用正从起步阶段开始进入深化发展阶段，但还有很多技术难题有待解决，支撑的理论和方法也不够，研究远远落后于应用的需求。大数据挖掘需要处理的数据不仅庞大而且多源异构，有结构化数据、半结构化数据和非结构化数据，在类型上又分为数字、文字、图片、文档、网页和视频等不同种类，并以数据流的形式快速、动态地产生，导致大数据各数据维度之间的差异悬殊，并缺乏条理性，同时也难以清洗冗余?稻荩?给大数据研究带来了很大困难。如何从海量、碎片化的大数据中提取出知识点进行有效融合计算，并解决科研问题，是目前亟待解决的问题，也是当前的研究热点和难点。 　　2 势科学概述 　　势科学是李德昌教授自创的科学理论，是以信息为基本元的科学理论，信息是研究一切自然和社会现象及原理的基本元素，势科学总结信息的有序是知识，知识的有序是方法，方法的有序是智慧；知识不是简单的数据累计，而是有序的可以指导实践的信息。势科学理论指出只有既有差别又有联系的信息，才是有序的信息，才能从中提取出知识，再将知识融会贯通发现出规律从而解决复杂问题。 　　势科学理论根植于我国传统文化，也与西方自然科学理论的研究一脉相承，找到自然科学研究与社会科学研究的相同之处，在原理上也具有一致性，因此高度概括出核心概念“势”。势=差别×联系=差别÷距离，势即梯度、导数和斜率，势科学的基本作用机制是势增原理“联系扩大差别，差别促进联系”，差别最大即相反，联系最大即相同，即相反又相同，则为对称。对称是自然界最普适、最高级的状态，归于对称性原理的势科学为研究人类社会发展，提供了具有普适性的动力学原理。势科学理论在中国管理实践、区域发展、企业治理和高等教育上已经取得了丰硕研究成果。 　　3 势科学在大数据中的应用 　　3.1 势科学视角看大数据 　　从势科学视角看大数据近几年的高速发展来源于：差别促进联系，联系扩大差别，“势趋”不变，推动着大数据研究加速扩张和加速发展。另外，因为传统基于小样本数据挖掘出新的价值越来越难，在追逐创新的驱动下，针对大数据的挖掘顺势而来。在势科学理论中，有序的消息称为信息，信息量或信息势代表着有序信息的数量，并定义“创新”是系统过程在信息势作用下超过某个临界值，发生非平衡相变和非线性分叉所产生。正是大数据挖掘出的价值具有的信息势够大，超过了某个临界值，所以大数据挖掘被视为是重要创新并获得广泛追捧。因此在大数据研究中，首先要找到信息量大的数据维度并根据研究的问题提取出知识，再通过进一步分析挖掘出重要的信息，从而获得更大的信息势，产生出创新和带来更大价值。 　　3.2 大数据重点研究相关关系 　　在小样本数据挖掘中，必须有明确的因果关系作支撑，才能保证从小样本数据中得到的规律和价值信息是正确的