大数据开发项目实战-大数据项目概述.pptxVIP

大数据项目概述;;企业项目，如开发一款软件、一个信息管理系统、部署实施一套网络环境等，涉及多个方面的多个环节。 在互联网IT企业的偏软件交付类项目中，一般涉及两个公司：一个公司发布需求（甲方招标，即提出软件或系统或硬件的需求），而另一个公司满足需求（乙方投标，即完成需求的响应）。 一般情况下，偏软件交付类项目可以分为可行性分析、需求分析、软件设计（概要设计、详细设计）、编码（软件设计实现）、测试、运行维护等几个阶段。 有时，因为甲方会提前进行可行性分析，所以乙方的工作更加偏向后面几个阶段。;企业偏软件交付类项目包含的项目种类比较多，常见的项目如企业CRM（Customer Relationship Management，客户关系管理）系统、用户个性化推荐系统等。 基于数据处理类项目，企业项目数据处理流程如下图。;数据获取：数据获取可能是一个文本文件、一个数据库、一个网络端口、一个爬虫程序等，其主要功能是提供数据。 数据采集：数据采集即数据传输（狭义的概念），如通过文件传送协议（File Transfer Protocol，FTP）下载文件就是一种数据传输的过程。 数据存储：数据采集后，需要一个地方来存储这些数据，以供备份或数据分析、挖掘使用。;数据分析、挖掘：此层主要完成一些和业务相关的计算、分析、挖掘任务。 数据调用：数据调用是针对数据分析、挖掘的结果提供某种获取结果的接口，供第