关于“大数据”的产生、应用与问题的研究.docVIP

关于“大数据”的产生、应用与问题的研究 　　摘 要 最近，在传媒与广告营销领域， “大数据”俨然成为最时髦的词汇。本文就“大数据”的产生、应用与问题进行了探讨。 　　关键词 大数据 营销 终端 新媒体 　　1互联网产生大数据 　　现在互联网上每天每时每刻都在产生大量的数据。一方面是提供人们进行浏览、搜索、社交、交易的信息服务类业务越来越丰富，另一方面各种类型的智能终端日渐普及，使得人们更便捷地使用各种类型的信息。于是在人们的信息接触和消费过程中，人与信息互动的过程中，各种信息在应用中由于分发用于不同的业务和满足不同的需求也形成新的数据组合，这些都生成了几何级增长的海量数据，生成了大数据。根据科技研究公司IDC做出的估测，数据一直都在以每年50%的速度增长，换而言之，也就是每两年就增长一倍。庞大的数据量也使数据管理费用激增，根据AiteGroup的预计，2012年全球数据管理费用预估将达15.4亿美元，并且到2014年或将增加至17.1亿美元，上述费用包括硬件费用、软件费用和服务费用。 　　2互联网公司的大数据应用 　　2.1 Facebook：大数据为用户画像 　　目前，Facebook在全球有9亿用户，其中日常活跃用户达5.26亿。该网站每天新增25亿条分享内容，新增评论32亿条，新增“赞”的数量27亿，新增照片3亿张。每一天、每一个小时，越来越多的用户加入到Facebook，预计很快用户数将达10亿，现在，Facebook每天会采集到500+TB的数据，如果没有数据分析，Facebook在全球大数据的产业链中，充其量就是一个底层数据采集环。只有有了关键的一步――数据分析之后，它才真正实现了向数据加工者的角色转型，将采集到的数据，加以分类、提炼，发挥数据真正的价值。 　　要处理这些数据信息，Facebook要过的第一关是归类。将用户发表的评论、上传的图片、音乐、视频这些碎片化、非结构化的数据进行瀑布式的分析，使其集结、归类成结构化的数据信息。形成身份类数据、需求类数据、关系类数据等多个数据模块。 　　数据分析的第二关会更难，就是要将这些结构化的数据进行解读，深入到数据背后的潜在意义。每当用户登录Facebook，Cookie会一直驻留在用户的浏览器中，从此它的浏览行为、浏览页面的关键字会被记录，通过对关键字和上传信息的持续分析，Facebook很容易得出用户的长期爱好和近期需求。再加上对用户的朋友圈的分析，可以获得用户的教育、工作、收入、地理位置等等诸多方面，这种挖掘和解读往往比个人主动填写的信息还要全面、真实。 　　2.2亚马逊/淘宝：电商领域大数据 　　如今的亚马逊是一个融电子商务、IT服务提供、硬件制造、图书出版以及物流于一身的庞然大物。数据化运营是亚马逊每项业务开展的基础，每个业务部门都非常注重数据，公司不但根据各类数据分析为客户提供服务，同时也将数据分析作为发展的决策依据。在其成长与发展的十几年中，始终不变的是其对于数据的终极追求，是一切从数据出发的运作理念。 　　淘宝网作为国内电商行业的领军平台，在大数据方面的表现也十分优秀。通过对用户网上消费行为的全流程追踪，便可以看出淘宝数据的各种产生来源与过程。这些数据的产生从大范围上可以划分为三种。第一种是来自淘宝网外部的数据，主要包括相关的广告点击、搜索引擎的搜索数据、SNS上的推荐与链接、关联软件的操作与推荐；第二种是直接访问带来的相关数据，包括浏览器访问、软件访问等；第三种是最大的数据来源，即淘宝网站内部的数据产生，这些数据的产生与买卖双方的交易密不可分，同时也围绕着这种交易产生了相关的信息与数据，包括内部搜索、站内SNS社区、页面浏览与点击、会员及用户相关页面、购买与交易数据、后台管理数据以及即时通讯数据信息等。通过对这些数据的存储、运算、管理以及分析，除了用以优化自身的界面、服务、管理和产品之外，淘宝还可以对外提供至少三类具备极大商业价值的数据与信息。第一类是针对消费者，方便其购物与消费的数据信息，包括各类商品及店铺信息、促销信息等；第二类是针对店铺以及卖方，可有效提升其店铺管理及商品销售效果的数据信息，包括消费者的消费行为、网络使用行为、媒体接触及使用行为，市场发展及行业竞争数据与信息等；第三类是可以提供给社会及第三方机构帮助其了解电商企业以及淘宝相关的数据集信息，包括销售数据、购买数据、交易数据、消费者行为数据等。 　　3大数据面临的问题 　　首先，数据来源的真实性、有效性有待考验。国内已有各种数据库的基础比较薄弱，由于数据作假、数据泡沫等现象，很多数据的真实性、有效性有待考验。其次，数据量的积累不够。数据挖掘的前提除了真实性要素之外，还需要长时间的数据积累、收集和维护。数据一定要在长期的记录和积累之后才具备挖掘的价值，才