项目6思考与习题答案.pdfVIP

项目6习题答案：

1.大数据分析的概念是什么？

答：大数据分析就是指对规模巨大的数据进行数据分析，大数据是指无法在一定时间范

围内用常规软件工具进行捕捉、管理和处理的数据集合，而数据分析是为了提取有用信息和

形成结论而对数据加以详细研究和概括总结的过程。

2.简述大数据分析的流程和技术。

答：分析流程包括①识别目标需求；②采集数据；③数据预处理；④数据挖掘

使用的技术：①MapReduce分布式计算框架；②Spark分布式内存计算系统；③Storm

分布式流计算系统；④对数据进行分析还涉及分布式挖掘、深度学习等

3.什么是结构化数据、半结构化数据？分别用什么技术和产品存储。

答：

（1）结构化数据：指关系模型数据，即以关系数据库表形式管理的数据，结合到典型

场景中更容易理解，比如企业ERP、OA、HR里的数据。

（2）非结构化数据：指数据结构不规则或不完整，没有预定义的数据模型，不方便用

数据库二维逻辑表来表现的数据。如word、pdf、ppt及各种格式的图片、视频等。其实

除了结构化数据和非结构化数据，还有一类是半结构化数据，那什么是半结构化数据？

（3）半结构化数据：指非关系模型的、有基本固定结构模式的数据，例如日志文件、

XML文档、JSON文档、E-mail等；

如何存储：

答：

结构化数据，主要关注在数据的ETL处理以及时效性上：①表结构不同，需要做到不

同类型的字段映射②假如要新增表字段的时候，需要新增列③若有表字段需要进行二次

处理规范，需要支持字段转换，比如公式或其他④新增表设计时，需要保证三大范式，这

里就不展开讲了，可参考：数据库三大范式⑤数据同步的时效性，例如实时同步、半小时

一次、或者一天一次、或者说是需要实时同步融合，这个要根据具体业务场景来确认。

针对半结构化、非结构化数据，因为数据分散，缺乏统一管理，需要借用专业工具。目

前有两种方式来处理半结构、非结构化数据：①提取半结构、非结构化数据中的关键信息

到结构化数据中进行二次利用，比较好处理的是半结构化（json、xml）、excel、csv，因为这

种数据的结构比较统一。②向word、PDF这种文件提取关键信息，假如是单个文本的话

市面上有些工具可能可以实现，但假如是大批量的话，可能就需要通过程序，去自定义一些

正则表达式，去进行关键信息的提取。这种一般来说，因为格式不一致，以及用途不一致

所以程序自定义的比较多。针对这种的话，会综合考虑数据价值和投入产出比，因为这部

分的数据处理较为复杂。若想提高投入产出比，可用例如FineDataLink这类专业工具，去

支持结构化/半结构化数据的融合集成，面向ETL数据处理场景，也可以让数据编排更简单

一些，提高数据的使用价值。另外，如若这部分历史文件需要做到备份的话，会通过FTP

或者SFTP将文件进行备份存储到文件服务器，进行文件业务分类、文件名、路径的统一管

理，提供统一入口，通过权限管理的方式给到大家下载使用