基于数据挖掘技术的肥仔水市场潜力分析.docx

?

?

基于数据挖掘技术的“肥仔水”市场潜力分析

?

?

摘要：在大数据时代，数据挖掘技术和工具已取得瞩目的成就。该文基于八爪鱼采集器在“肥仔水”项目中的具体应用，介绍了八爪鱼的原理、特点以及使用方法，以及它在提升企业信息数据挖掘方面的优势。

关键词：数据挖掘;八爪鱼;肥仔水;市场潜力

：TP391：A

：1009-3044（2019）34-0017-03

1概述

大数据和云计算的诞生改变了人类信息技术的面貌[1]。数据已经成为企业的核心资产。[2]大数据时代，如何迅速挖掘和分析数据，对于企业的决策有着重要的意义。近年来涌现出大量的数据挖掘软件，如集搜客、八爪鱼、狂人、Octoparse等，并且应用于商业、科技、政府等不同的领域。随着“互联网+”和电商的兴起，大数据对商业经济的影响越来越大，如何从海量的数据中寻找出有价值的信息变得迫在眉睫。[3]本文将利用八爪鱼采集器在淘宝网和京东网上采集英国吴德物次肠痛水（简称肥仔水）以及其竞争对手的电商销售数据，并根据采集结果进行进一步分析，判断肥仔水是否能够进入中国大陆市场并对其市场前景做以预估。

2八爪鱼采集器简介

八爪鱼采集器是由深圳视界信息技术有限公司自主研发，整合了网页数据采集、移动互联网数据及API接口服务（包括数据爬虫、数据优化、数据挖掘、数据存储、数据备份）等服务为一体的数据服务平台。适合产品、运营、销售、数据分析、政府机关、电商从业者、学术研究等多种身份职业的多种业务场景。可以提供舆情监控、市场分析、产品研发、风险预测等业务模块。[4]

八爪鱼客户端使用的开发语言是C#，运行在Windows系统中，客户端主程序负责任务配置及管理、任务的云采集控制以及云集成数据的管理。八爪鱼采集器的核心原理是基于Firefox内核浏览器，通过模拟人浏览网页的行为（如打开网页、点击网页的某个按钮等操作）和设计工作流程，对网页内容进行全自动提取。它有四种采集模式：简易采集、智能采集、向导模式、自定义模式。价格也分为五个不同的等级。采集结果可手动或自动导出到数据库，存储为Excel、soL、TXT、MYsoL等格式。

3八爪鱼采集器的特点

八爪鱼采集器全网适用，眼见即可采集。还有智能防封功能，可以自动破解多种验证码，提供IP代理池，结合UA切换，可有效突破封锁，顺利采集数据。内置数百个网站数据源，全面覆盖多个行业，并提供海量模板。同时还有分布式云集群服务器和多用户协作管理平台的支撑，可灵活调度任务，顺利爬取数据。它可零门槛三步获取数据：（1）打开客户端，选择建议模式和相应的网站模板;（2）预览模板的采集字段、参数设置和示例数据;（3）设置对应的参数，保存运行完成数据采集并导出数据。

2019年4月25日八爪鱼版本更新后，收费方式也进行了调整，从原有的免费版和私有云收费版，升级为更加具体化的收费方案，如表1所示。对比各种收费版本提供的服务，旗舰版可作为个人的首选，而旗舰+版本的性价比最高。

3.1优势

八爪鱼的通用性强，适用于所有互联网公开数据，可应对各种网页的复杂结构（瀑布流等）和防采集措施，可实现百分之九十九的数据抓取。八爪鱼操作简单，无须技术背景，这一特点决定了八爪鱼对初学者或者是零编程基础的用户十分具有亲和力。它模拟人浏览网页的操作，通过输入文字、点击元素、选择操作项等一些简单的操作，即可完成规则配置，无须编写代码，十分方便。八爪鱼在真正意义上实现了操作流程可视化，用户可打开流程按钮，可以清晰地看见具体操作流程，并可对每一步骤，进行高级选项的设置（修改ajax/xpath等）。更新后的八爪鱼收费标准更加丰富，给用户提供更多的选择。免费版具备所有的功能，能够满足用户的基本采集需求，增值服务如云采集，有5000台云服务器，可以24*7高效稳定的采集数据，结合API可无缝对接内部系统，定期同步爬取数据，可满足高端付费企业用户的需求，而且采集速度更快。

3.2劣势

八爪鱼采集器目前还无法采集视频中的数据，同时，它只能采集和判断，并没有计算功能。虽然八爪鱼相较于神箭手、火车头、Octoparse、VisualWebRipper、ContentGrabber等不需要代码基础，更为平易近人，但是它却不像火车头采集器具有同义、近义词替换和参数替换的功能;和集搜客相比，八爪鱼无法抓取超链接里的数据。[5]

4“肥仔水”案例数据挖掘及分析过程

肥仔水，商品名为英国吴德物次肠痛水（WoodwardsGripe-Water），是一款非处方产品，化学名为GripeWater，1851年由英国药剂师WilliamWoodward发明。19世纪40年代，英格兰东部的婴儿患有“fenfever”（芬热）的疾病，Woodward从治疗芬热和疟疾中汲取灵感，指出gripewater司以缓解婴儿肠绞痛，