原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
大数据分析系统需求
天津绍闻迪康科技咨询有限公司
2018/5/28
仅为需求基本框架，需要根据贵公司产品、技术路线具体面议。
目录
一、系统定位 .........................................................................................
2
二、功能模块 .........................................................................................
3
2.1
爬虫系统 ...........................................................................................
3
2.1.1
数据源 ......................................................................................
3
2.1.2
爬虫系统功能 ..........................................................................
3
2.2
数据处理、存储、计算系统
............................................................4
2.2.1
数据处理模块 ..........................................................................
4
2.2.2
数据存储模块 ..........................................................................
4
2.2.3
数据计算模块 ..........................................................................
5
2.3
数据分析、可视化系统 ....................................................................
9
2.4
对外接口 .........................................................................................
10
2.4.1
会员制体系 ............................................................................
10
2.4.2
其他 ........................................................................................
10
2.5
其他
.................................................................................................
11
2.5.1
数据痕迹 ................................................................................
11
2.5.2
信息安全 ................................................................................
11
2.5.3
注意事项 ................................................................................
11
1、系统定位
从数据接入到数据应用，我们需要【大数据分析系统】包括几大功能模块：
（1）爬虫系统
（2）数据处理、存储、计算系统
（3）数据人工智能分析、可视化系统
（4）外部接口
其中第（ 3）模块是核心，需要结合我们公司业务方向建设相关的数学模型，进行人工智能的自动分析。
爬虫系统可以从指定网站自动的进行信息的抓取， 对数据库中的已有词条进行更新或新建，或者从全站按照关键词抓取信
息，更新数据库中词条， 爬虫搜集到的数据也需要存储到系统中。
数据库系统可以将公司现有资料分库录入系统，生成词条，词条之间相互关联，可以实现跳转，可视化查看；存储爬虫得到的数据。数据库中的词条或者数据源大多是国外的，例如美国，日本等，
文档评论（0）