retail link 数据抽取和处理工具的设计与实现-design and implementation of retail link data extraction and processing tool.docx

24舌之道λ:辛$扣帽ni!k臼4楠.-命却.m-.;，自黑ly沃尔玛RetailLink数据插取和处理工具的设计与实现上海交通大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权上海交通大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制于段保存和汇编本学位论文。保密口，在一一一年解密后适用本授权书。本学位论文属于不保密[yo(请在以上方框内打H.j)学位论文作者签咐我吁指导教附:彤在日期:2..011年7月20日日期:Zv//年7月二/日干在于2并4..，..，..，，IA/~斗/-fRefailLink数摇摇取相处理工具的设计与实现上海交通大学学位论文原创性声明人郑重声明:所呈交的学位论文，是本人在导师的指导下，独立三千研究工作所取得的成果。除文中己经注明引用的内容外，本论文不主合任何其他个人或集体己经发表或撰写过的作品成果。对本文的研究-1重要贡献的个人和集体，均己在文中以明确方式标明。本人完全意J三到本声明的法律结果由本人承担。学…日期:乙U叫{(年g月l亏日上海交通大学学位论文原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日上海交通大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权上海交通大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在年解密后适用本授权书。本学位论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日RETAILLINK数据抽取和处理工具的设计与实现摘要沃尔玛是全球最大的连锁零售商，当前有很多供应商给沃尔玛提供商品，供应商亟需知道自己供应的商品在沃尔玛的每天、一周或几年间的销售信息。因此沃尔玛提供了RetailLink系统，供应商可以通过RetailLink系统下载自己商品在沃尔玛的各种信息（销售信息、库存信息、订单信息、促销信息等）。RetailLink系统是沃尔玛和供应商的交互平台，为供应商提供成熟的、多角度的商品分析方法和工具，使得沃尔玛的供应商们能够与公司的采购部门密切合作，根据需要管理各个分店中的销售预测、库存计划、生产和商品配送。目前RetailLink系统已经拥有超过100,000个注册用户，有超过40,000个公司正在使用这个系统，每周有超过350,000个数据查询。在中国，沃尔玛已有300多家战略合作型主要供应商，他们可以进入沃尔玛RetailLink系统，了解他们的商品在沃尔玛的销售情况。用户登入RetailLink网站后，首先需要等待配置的数据文件就绪后，手动下载数据文件，然后手动对下载的数据文件进行验证和加密，最后再把处理后的数据文件导入数据仓库用以产生各种功能的报表。如此多的手动操作，无疑使得供应商在获取信息时既浪费时间又效率低下，他们需要一个工具能够定时自动完成以上操作而无需实时监控和手动操作。本论文的主要工作就是利用沃尔玛RetailLink系统提供得数据抽取接口，设计和实现一个工具，它能够根据特定频率定时自动从RetailLink系统抽取数据进行验证和加密，把处理后的数据文件存放到指定目的地以供后继系统使用，并为用户提供整个处理过程中的概要信息。本论文完成的具体工作有：1)设计和实现一个数据抽取服务，通过数据抽取服务在RetailLink系统中抽取数据文件；2)利用开源框架Quartz，设计和实现一个作业调度服务，定时执行数据抽取操作；3)设计和实现一个数据处理服务，对抽取的数据文件进行验证和加密；4)使用JavaAWT、JavaSwing设计和实现一个界面让用户可以灵活配置数据文件信息、定时信息并实时显示后台处理的进度信息；5)通过JavaRMI实现工具前台（JavaSwing界面）和后台（定时抽取数据并进行验证和加密）之间的通讯。6)利用Log4j、JavaMail等第三方工具，设计和实现一个信息服务，为用户提供实时的数据文件处理进度信息。论文的最终结果是一个可执行的安装文件，目前此工具已被宝洁、联合利华、惠普、FoodLion、DeanFood等公司使用，并且取得良好的效果。关键词:数据抽取，数据验证和