大数据技术 形考作业.docxVIP

1、 信息技术 为大数据时代提供的 技术支撑主要体现在哪些方面？ 存储设备容呈不断增加， CPU 处理能 力大幅提升， 网络带宽不断增加 2、 人类社会的数据产生方式大致经历了哪些阶段？ 运营式系统阶段，用户原创内容阶段 ， 感知式系统阶段 3、大数据的 4V 分别指代的是什么？ 规模性， 高速性，多样 性， 价值性 4、大数据技术是什么？ 大数据技术是指大数据的应用技术， 涵盖各类大数据平台、大数据指数体系等大数据应用技术。 5、从数据分析全流程的角度， 大数据技术主要包括那几个内容。 数据的采集与处理，数据的 存储 和管理，数据处理与分 析 ， 数据安全和隐私保护 6、大数据计算模式有哪些？ 批处理计算，流计算 图计算 ， 查询分析计笢 7、云计算的概念 云计算是分布式计算的一种，指的是通过网络云将巨大的 数据计算处理程序分解成无数个小程序然后通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用 户。 8、云计算的关键技术 云计算平台管理技术，分布式计算的编程模式分布式海呈数据存储，海虽数据管理 技术， 虚拟化技术 9、物联网的概念 物联网是指通过各种信息传感器 ，射频识 别技术，全球定位系统，红外感应器 ，激光扫描器等各种装罣与技术， 实时采集任何需要监控、连接、互动的物体或过程。 10、从技术架构上来看，物联网 可分为四层， 分别是（感知层，网络层，平台层 ，应用层）？ 11、物联网的关键技术有哪些？ RFID 技术 传感器技术无线网络技术人工智能技术，云计算技术 1 2、大数据与云计算、物联网的关系 云计算为大数据提供了技术基础，大数据为云计算提供用武之地 物联网是大数据的重要来源， 大数据技术为物联网数据分析提供支持 云计算为物联网提供了海呈 数据存储能力，物联网 为云技术提供了广阔的应用空间 13、Hadoop 是基于 (java) 语言开发的。 14、Hado op 的核心是 (HDFS) 15、Hadoop 的特性有哪些？ 1 高可靠性 采取冗余数据存储方式。即使一个副本发生故障，其他副本也可以保 证正常对外提供服务。 高效性 ．采取分布式存储和分布式处理两大核心技术。能够高效的处理PB级数据。 高可扩展性 高容错性． 自动保存数据的多个副本，自动将 失败的任务重新分配。 成本低 运行在Linux揉作系统上 支持多种编程语言 16、Hadoop 生态系统分别是 (HDFS,HADOOP YARN,Ambari,Hbase,Hive,Pig,Spark,Sqoop) 17、HDFS要实现的目标 是（兼容廉价的硬件设备，流数据 读写，简单的 文件模式） 18、HDFS的局限 性是（不适合低延迟数据访问， 无法高效存储大呈小文件，不支持多用户写入及任意修改文件） 19、HDFS 的数据存取 策略（冗余数据保存数据存取策略数据错误与恢复） 20、简述HDFS的数据读写过程。 client 发起文件上传讲求， 通过 RPC 与 NameNode 建立通讯， NameNode 检查目标 文件是否已存在， 父目 录是否存 在，返回是否可以上传 ， cl ien t 请求第 一个 block 该传输到哪些 DataNode 服务器上， Nam eN od e 根据配驾文件中指定 的备份数虽及副本放篮策略进行文件分配， 返回 可用的 DataNode 的地址， 如 ．A， B, C , c l ient 请 求3 台 DataNode 中的一台 A 上传数据（本质上是一个 RPC 调用，建立 pipel ine) , A 收到讲求会继续调用8, 然后B 调用C, 将整个 pipeline 建立完成，后逐级返 回 c l ient ; cl ien t 开 始往A 上传第一个 block （先从磁盘读取数据放到一个本地内存缓存），以 packet为单位（默认 64K) , A 收到一个 packet 就会传给 8, B 传给 C ; A 每传一个 packet 会放入一个应答队列等待应答。 数据被分割成一个个 packet 数据包在 pipeline 上依次传输，在 pipeline 反方向上， 逐个 发送 ack (ack 应答机制），最 终由pipeline 中第一个 DataNod e 节点A 将 pipeline ack 发送给client: 当一个 block 传输完成之后， client 再次请求 NameNode 上传第二个 block 到服务器。 21、HBase是针对谷歌BigTable 的开源实现，是一个 （ 高可靠、高性能、高向列、可伸缩） 的分布式数据库。 22、HBase的系统架构包括 ( Zookeeper 服务器、Master 主服务器、Reg ion