大数据技术及应用研究.docxVIP

大数据技术及应用研究 　　摘要：针对广大群众对大数据只停留在字面意义上，不能对大数据有深刻的认识和理解的现象，该文主要向读者介绍了大数据的概念、产生途径、大数据处理方法以及大数据技术的应用领域等几个方面，让读者真正领悟到大数据的内涵，从而改变之前的思维观念，跟上时代的步伐，一起走进大数据时代。 　　关键词：大数据时代;处理方法;思维观念 　　中图分类号：tp311文献标识码：a 　　文章编号：1009-3044（2020）10-0262-02 　　随着智能手机的普及，每位网民使用各种应用软件参与互联网的程度加深，用户坐标位置、行为举止、包括身体某个部位的一点点变化，都将成为可被挖掘和分析的数据，据此推理，日常社会每时每刻都会增加数据量。统计数据源于idc研究机构，在2006年，全球所拥有的数据量约为180eb;该数字在2011年达到1.8zb。通过该机构估测，到2020年，全球数据总量将会增长44倍，达到35.2zb。其中容量单位由低到高为gb、tr、pb、eb、zb，每一个单位相差2110byte。如：1tb=210gb，依次类推。可见全球数据大得惊人。 　　1体验大数据时代 　　大家都有一种体会，你曾在天猫手机客户端浏览过某件商品，当你再次打开天猫客户端时，你会发现曾经浏览过的商品会出现在你的面前，而且优惠力度比之前大得多，这样就会激发你的购买欲望。这种现象就是商家平台根据客户浏览商品停留的时长、关注的品牌等数据的分析来锁定潜在客户，并向该客户将商品进行精准推送，而且不同客户的界面推送的商品各有不同，从而达到营销效果，这就是大数据的简单应用。 　　那么，什么是大数据呢？目前大数据没有一个固定的定义。一般认为大数据（bigdata）或称海量资料，指的是难以利用普通方法来挖掘、分析、处理和利用的数据，需要另辟蹊径，通过非常规的处理方法，拥有数据挖掘和分析的能力进行处理。大数据是一种具有量大、多样化和增长速度快的可用资产。 　　正是由于大数据是一种可用资产，我们需要采用合理的方法来处理这些数据，通过数据挖掘、分析，得到有效的数据，转化为市场价值，如图1所示。因此，数据挖掘技术是商业决策的好帮手。 　　2大数据的产生途径 　　大数据产生途径非常多，种类繁杂。智能手机、pc机、平板电脑、移动互联网、云计算、物联网、车联网以及分布在全球各个角落的摄像头和传感器，都是数据来源或者承载的方式。所以通俗地讲，大数据就是通过各种渠道收集到的大量数据，聚集起来可供需求者从中进行挖掘、分析的数据集合，例如智能手机所看到的视频文件、听到的音频文件以及浏览过的界面信息;购物时留下的信息等。 　　大数据已经被称为“未来社会的新石油”，可见它的重要性无以言表，而且还是清洁资源，可以被多次加工、挖掘出更大的社会价值。 　　3大数据处理方法 　　3.1数据挖掘法 　　收集大数据的方法主要采用数据挖掘，它是目前数据库领域和人工智能研究的热点问题。数据挖掘通俗上讲是海量数据有用价值的发现，它是指将隐藏的、先前未知的有潜在价值信息从众多数据中挖掘出来的一种曲折的过程。数据挖掘利用多种技术融合而成，主要基于机器学习、人工智能、模式识别、统计学、数据库技术等，在众多数据中去除干扰的数据项后进行分类分析、推理和归纳总结，从中获取潜在的可用价值的数据，进而帮助领导决策层调整市场运作风险，精准制定策略，获取更大的利益。其任务是将数据进行分类，然后通过数据分析对未来进行预判。分类法在图像模式识别、医疗诊断等领域有着广泛的应用。分类的方法有：机器学习法;统计法;神经网络法;还有粗糙集法等。数据挖掘及分类基本识别流程如2图所示。 　　3.2用户画像体系法 　　用户画像体系也是一个有效处理大数据的方法。该方法是企业利用大数据技术的基本方式，每个企业根据需求要对用户进行画像，用户画像的提出，根本上是源于企业对用户认知的需求：产品设计经理，需要了解用户的特征，来完善产品的功能;营销精英们，需要筛选目标用户，对产品进行精准投放。 　　什么是用户画像呢？简单地说，将不同的用户信息分别进行标签化，生产者通过数据挖掘、处理分析消费者的消费观念、日常生活起居习惯和社会交往关系等特征数据之后，完美地勾勒出一个用户的立体全貌。企業通过用户画像获取足够的信息基础，能够快速找到精准用户群体以及用户需求等更为广泛的反馈信息。“标签化”是用户画像的工作焦点，而一个标签的选取通常是通过人为制定的标准提取出来的特征标识，比如性别、年龄、地域、生活习惯、消费行为等，然后将用户的所有标签综合来看，最后经过数据分析，便可以勾勒出该用户的立体“画像”。如图3所示。