原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
本科毕业论文（设计）-githubusercontent.com.PDF
分类号 密级
UDC
本 科 毕 业 论 文（设计）
分布式数据下载系统设计与实现
学生姓名 黄龑 学号 010022011021
指导教师 刘培顺
院、系、中心 信息科学与工程学院
专业年级 2011 级计算机科学与技术
论文答辩日期 年 月 日
中 国 海 洋 大 学
分布式数据下载系统设计与实现
题目
分布式数据下载系统设计与实现
完成日期：
指导教师签字：
答辩小组成员签字：
分布式数据下载系统设计与实现
分布式数据下载系统设计与实现
摘 要
本文设计了一个支持分布式运行的数据定时下载平台，能够将科研人员的所有
下载需求集中到一台或者几台配置高速带宽的数据服务器上面，从而实现集中化自
动化管理，减轻科研进程中这些繁琐准备工作所带来的负担。
该系统使用 Python 语言开发，数据库选用 SQLite，以web.py 作为前端框架，
后台支持使用标准库中的 urlretrive 函数以及著名的开源下载工具 aria2、wget 作
为下载核心；支持多用户环境，具备灵活的扩容机制以及丰富完善的定时策略，能
够最大化地满足多样的实际需求。
关键词：分布式，数据下载，PYTHON，WEB.PY
1
分布式数据下载系统设计与实现
Design and Implementation of Distributed Data
Downloading System
Abstract
This project is an implementation of a distributed data automatic downloading
platform, which could be running on data servers with high bandwidth, in order to achieve
centralized automated management, reducing the tedious process of data preparation in
scientific research.
The system is developed with the Python programming language, uses SQLite as back-
end database, selects web.py framework to construct front-end services, and supports to
use urlretrive—which is a standard library function, and the famous open-source download
tool aria2 and wget as background download core; also supports multi-user environment,
with flexible expansion and various timing rules to maximally meet the diverse a
文档评论（0）