大数据挖掘方法的势科学研究.docVIP

大数据挖掘方法的势科学研究 厉蕊 陈素梅 陈豪 黄河科技学院 郑州日产汽车有限公司 上海汇金有限公司 X 关注成功！ 加关注后您将方便地在 我的关注中得到本文献的被引频次变化的通知！ 新浪微博 腾讯微博 人人网 开心网 豆瓣网 网易微博 摘????要： 大数据已经是包罗万象, 渗透到社会发展的很多领域, 并且还在不断扩大中。大数据研究的难点在于提取数据, 数据提取的核心在于网络中的相关关系, 而势科学理论中的信息作用机制的“差别与联系”也体现了相关关系。通过计算与比较各种数据维度的信息势, 就能有效认识大数据中各数据维度的相关关系, 从而提高知识的提取能力。 关键词： 大数据; 数据挖掘; 势科学; 收稿日期：2017-11-20 Received： 2017-11-20 1 大数据概述 大数据泛指巨量的数据集, 记录了众多信息主体的状态、特征、行为、偏好和思想等方面, 因可从中挖掘出有价值的信息而受到全世界关注。国外对大数据的权威定义为:由科学仪器、传感器、互联网电子商务、电子邮件、音视频软件和网络点击流等众多数据源生成的大规模、多元化、复杂、长期的分布式数据集。IBM将大数据特性归纳为4V:大量化 (Volume) , 多样化 (Variety) , 快速化 (Velocity) 和真实性 (Veracity) 。 大数据的主要用途为进行分析预测和辅助决策, 在政府管理、公共服务、金融投资、商业分析和企业管理等领域都已经有广泛应用。 大数据目前应用的主要场景有:驱动企业营销创新, 效率提升和策略优化, 改善客户体验和实现实时化, 个性化产品与服务创新以及进行风险监控;帮助政府对重点管理领域进行实时跟踪和分析, 提高监管和服务效率;对环境灾害和传染性疾病进行提前监测, 做好灾害预警防备和疾病防治。 人们平常说的大数据实际上只是简称, 更准确的叫法应为大数据挖掘, 不挖掘出大数据的价值大数据也就没有用处、没有意义。麦肯锡 (Mc Kinsey) 指出大数据挖掘是继云计算、物联网之后IT产业又一次颠覆性的技术变革, 大数据将是提高创新、竞争、生产力的下一个前沿阵地。 现阶段, 大数据研究与应用正从起步阶段开始进入深化发展阶段, 但还有很多技术难题有待解决, 支撑的理论和方法也不够, 研究远远落后于应用的需求。大数据挖掘需要处理的数据不仅庞大而且多源异构, 有结构化数据、半结构化数据和非结构化数据, 在类型上又分为数字、文字、图片、文档、网页和视频等不同种类, 并以数据流的形式快速、动态地产生, 导致大数据各数据维度之间的差异悬殊, 并缺乏条理性, 同时也难以清洗冗余数据, 给大数据研究带来了很大困难。如何从海量、碎片化的大数据中提取出知识点进行有效融合计算, 并解决科研问题, 是目前亟待解决的问题, 也是当前的研究热点和难点。 2 势科学概述 势科学是李德昌教授自创的科学理论, 是以信息为基本元的科学理论, 信息是研究一切自然和社会现象及原理的基本元素, 势科学总结信息的有序是知识, 知识的有序是方法, 方法的有序是智慧;知识不是简单的数据累计, 而是有序的可以指导实践的信息。势科学理论指出只有既有差别又有联系的信息, 才是有序的信息, 才能从中提取出知识, 再将知识融会贯通发现出规律从而解决复杂问题。 势科学理论根植于我国传统文化, 也与西方自然科学理论的研究一脉相承, 找到自然科学研究与社会科学研究的相同之处, 在原理上也具有一致性, 因此高度概括出核心概念“势”。势=差别×联系=差别÷距离, 势即梯度、导数和斜率, 势科学的基本作用机制是势增原理“联系扩大差别, 差别促进联系”, 差别最大即相反, 联系最大即相同, 即相反又相同, 则为对称。对称是自然界最普适、最高级的状态, 归于对称性原理的势科学为研究人类社会发展, 提供了具有普适性的动力学原理。势科学理论在中国管理实践、区域发展、企业治理和高等教育上已经取得了丰硕研究成果。 3 势科学在大数据中的应用 3.1 势科学视角看大数据 从势科学视角看大数据近几年的高速发展来源于:差别促进联系, 联系扩大差别, “势趋”不变, 推动着大数据研究加速扩张和加速发展。另外, 因为传统基于小样本数据挖掘出新的价值越来越难, 在追逐创新的驱动下, 针对大数据的挖掘顺势而来。在势科学理论中, 有序的消息称为信息, 信息量或信息势代表着有序信息的数量, 并定义“创新”是系统过程在信息势作用下超过某个临界值, 发生非平衡相变和非线性分叉所产生。正是大数据挖掘出的价值具有的信息势够大, 超过了某个临界值, 所以大数据挖掘被视为是重要创新并获得广泛追捧。因此在大数据研究中, 首先要找到信息量大的数据维度并根据研究的问题提取出知识, 再通过进一步分析挖掘出重要的信息,