大数据处理对电子商务的影响研究.docVIP

电信科学 2013年第 3期 大数据处理对电子商务的影响研究 * 陈云海 1 , 黄兰秋 2 (1. 中国电信股份有限公司广东研究院 广州 510630; 2. 华南师范大学经济与管理学院 广州 510006 摘 要 :鉴于传统的 IT 基础设施难以对电子商务系统中日益增长的数据进行有效管理及利用 , 本文在云计算的 时代背景下 , 对大数据处理技术进行分析阐述 , 并在此基础上 , 探讨了大数据处理对电子商务发展的影响 。 关键词 :大数据 ; 电子商务 ; 云计算 doi:10.3969/j.issn.1000-0801.2013.03.004 *中国民航信息技术科研基地开放课题基金资助项目 (No.CAAC -ITRB -201206 1引言 随着 “ 巨无霸电子商务 (以下简称电商 ” 的出现 , 并发 访问量级大大增加 , 数据呈爆炸性增长 , 数据类型多样化 , 淘宝和天猫在 2012年 11月 11日 “ 双十一 ” 的总交易额高 达 191亿元 , 共吸引了 2.13亿名独立用户访问 。 春运时 期 , 铁道部售票网站日点击量在 5亿次以上 , 伴随着业务 量的剧增 , 电商平台每秒钟都在生成海量的非结构化 、 半 结 构 化 数 据 (如 文 本 、 应 用 、 位 置 信 息 、 图 片 、 音 乐 、 视 频 等 。 高并发和大数据量访问成为当前电商系统发展的瓶 颈 , 根据调查 , 46%的人认为处理大量数据是其最大的挑 战 [1]。 这些大数据量往往以 PB (1000TB 、 EB (106TB 或 ZB (109TB 为计量单位 , 称为大数据 。 传统的分布式计算 、 并行计算和数据库集群等技术由于技术上的局限性 , 长期 存在扩展性低 、 成本高 、 硬件复杂等问题 , 电商的大数据处 理客观上要求引入具备高容错性 、 高扩展性 、 低成本 、 易使 用性的新的架构和大数据处理技术 。 2大数据时代电商 IT 基础设施的变革 后互联网时 代 , PC 服 务 器 成 为 电 商 企 业 最 广 泛 使 用 的 IT 基础设施 , 随着业务量的发展 , 电商企业大量使用了 PC 服务器集群技术和小型机技术 , 用于满足日益增长的 在线业务交易量 。 同时 , 企业必须投入大量人 /财 /物等资源 对 IT 基础设施进行常规性的维护 、 升级 、 扩容 、 更新 。 2.1电子商务中数据仓库系统的发展 当前 , 电子商务的数据大规模存在且持续增长 , 表现 Study on the Impact of Big Data Processing in Electronic Commerce Chen Yunhai 1, Huang Lanqiu 2 (1.Guangdong Research Institute of China Telecom Co., Ltd., Guangzhou 510630, China; 2. School of Economic and Management, South China Normal University, Guangzhou 510006, China Abstract:It is difficult for traditional IT infrastructure to manage and use the growing massive data in electronic commerce effectively. In view of it, the impact of big data processing on the development of electronic commerce was discussed based on discussing the big data . Key words: big data, electronic commerce, cloud computing 专题 :大数据技术与应用 17 专题 : 大数据技术与应用 为大规模 、 分布式 、 异构性 , 使得电商数据仓库系统发生了 显著变化 :数据量由 TB 级升至 PB 级 , 并仍在持续爆炸式 增长 。 有关调查显示 , 2015年最大数据仓库中的数据量将 逼近 100PB , 其增长速度远超摩尔定律 ; 分析需求由常规 分析转向深度分析 ; 硬件平台由高端服务器转向由中低端 硬件构成的大规模集群平台 , 并行数据库的规模增大 , 成 本急剧上升 [2]。 电商数据分析的两大趋势和挑战是 :数据量 的膨胀 ; 数据深度分析需求的增长 [3]。 目前仅具备传统数据处理技术和信息分 析 能 力 的 数 据仓库和 BI 工具难以完成 PB 级大数