大数据课堂测验.docVIP

. . PAGE . .word. 中国医科大学2012 -2013学年第2学期期末考试 PAGE 1 第 页〔共×页〕 中国医科大学试卷纸 简述大数据的来源与数据类型 大数据的来源非常多，如信息管理系统、网络信息系统、物联网系统、科学实验系统等，其数据类型包括构造化数据、半构造化数据和非构造化数据。 2、大数据产生的三个阶段 〔1〕被动式生成数据 〔2〕主动式生成数据 感知式生成数据 3、大数据处理的根本流程 1．数据抽取与集成 2．数据分析 3．数据解释 4、大数据的特征 4V1O Volume，Variety，Value，Velocity，On-Line 5、适合大数据的四层堆栈式技术架构 6、大数据的整体技术和关键技术 大数据的整体技术一般包括：数据采集、数据存取、根底架构、数据处理、统计分析、数据挖掘、模型预测和结果呈现等。 大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用〔大数据检索、大数据可视化、大数据应用、大数据平安等〕。 7、新一代数据体系的分类 新一代数据体系中，将传统数据体系中没有考虑过的新数据源进展归纳与分类，可将其归纳到线上行为数据与容数据两大类别。 8、EDC系统的定义 临床试验电子数据采集〔Electric Data Capture，EDC〕系统，在临床试验中的应用可以有效解决纸质CRF存在的问题。EDC是通过互联网从试验中心〔Sites〕直接远程收集临床试验数据的一种数据采集系统。 9、EDC系统的根本功能 数据录入、数据导出、试验设计、编辑检查、操作痕迹、系统平安、在线交流、医学编码和支持多语言。 10、EDC系统的优点 〔1〕提高了临床研究的效率，缩短了临床研究周期 〔2〕通过逻辑检查提高了数据质量 〔3〕对研究质量的监测更加方便 11、大数据采集的数据来源 大数据的三大主要来源为商业数据、互联网数据与传感器数据。 12、网络数据采集和处理的四个主要模块 网络爬虫〔Spider〕、数据处理〔Data Process〕、URL队列〔URL Queue〕和数据〔Data〕。 13、大数据集成 在大数据领域中，数据集成技术也是实现大数据方案的关键组件。大数据中的集成是将大量不同类型的数据原封不动的保存在原地，而将处理过程适当的分配给这些数据。这是一个并行处理的过程，当在这些分布式数据上执行请求后，需要整合并返回结果。 14、数据集成时应解决的问题 数据集成时应解决的问题包括数据转换、数据的迁移、组织部的数据移动、从非构造化数据中抽取信息和将数据处理移动到数据端。 15、网络数据处理的四个模块及主要功能 分词〔Words Analyze〕、排重〔Content Deduplicate〕、整合〔Integrate〕和数据，如图2-17所示。 这四个模块的主要功能如下。 1〕分词：对抓取到的网页容进展切词处理。 2〕排重：对众多的网页容进展排重。 3〕整合：对不同来源的数据容进展格式上的整合。 4〕数据：包含两方面的数据，Spider Data和Dp Data。 16、大数据建模概念 大数据建模是为了理解事物而对事物做出的一种抽象，是对事物的一种无歧义的书面描述。 17、大数据分析模式分类 根据实时性，可分为在线分析和离线分析 根据数据规模，可分为存级、BI级和海量级 根据算法复杂度的分类 18、大数据建模流程 定义问题、数据理解、数据准备、模型建立、模型评估、模型更新与结果部署等。 19、大数据建模应遵循的规律 以业务目标作为实现目标 业务知识是每一步的核心 做好数据预处理 试验对寻找解决方案是必要的 数据中总含有模式 数据挖掘增大对业务的认知 预测提高了信息作用能力 大数据建模的价值不在于预测的准确率 模式因业务变化而变化 20、数据可视化的概念 数据可视化技术是指运用计算机图形学和图像处理技术，将数据转换为图形或图像，然后在屏幕上显示出来，利用数据分析和开发工具发现其中未知信息的交互处理的理论、方法和技术。 21、数据可视化流程 22、数据可视化工具的特性 1〕实时性2〕简单操作3〕更丰富的展现4〕多种数据集成支持方式 23、数据可视化在生物领域中的应用 测序数据可视化 分子构造数据可视化 关系网络可视化 临床数据可视化 24、Hadoop优点 1〕可扩展〔Scalable〕 2〕低本钱〔Economical〕 3〕高效率〔Ef