第三章 Hadoop的IO教学课件.pptx

Hadoop的IO思政目标：发展数字经济意义重大，是把握新一轮科技革命和产业变革新机遇的战略选择。一是数字经济健康发展，有利于推动构建新发展格局。构建新发展格局的重要任务是增强经济发展动能、畅通经济循环。数字技术、数字经济可以推动各类资源要素快捷流动、各类市场主体加速融合，帮助市场主体重构组织模式，实现跨界发展，打破时空限制，延伸产业链条，畅通国内外经济循环。二是数字经济健康发展，有利于推动建设现代化经济体系。数据作为新型生产要素，对传统生产方式变革具有重大影响。数字经济具有高创新性、强渗透性、广覆盖性，不仅是新的经济增长点，而且是改造提升传统产业的支点，可以成为构建现代化经济体系的重要引擎。三是数字经济健康发展，有利于推动构筑国家竞争新优势。当今时代，数字技术、数字经济是世界科技革命和产业变革的先机，是新一轮国际竞争重点领域，我们一定要抓住先机、抢占未来发展制高点。——2021年10月18日，习近平在十九届中央政治局第三十四次集体学习时的讲话

3.1序列化3.2压缩3.3数据完整性3.4基于文件的数据结构目录CONTENT

3.1序列化序列化结构化对象反序列化字节流

永久存储进程间通信序列化用于分布式数据处理的两大领域

3.1.1 Hadoop的序列化机制Hadoop序列化和反序列化的特点：由于带宽是Hadoop集群中最稀缺的资源，一个紧凑的序列化机制可以充分利用数据中心的带宽，也便于高效使用存储空间紧凑随着系统的发展，系统间通信的协议会升级，类的定义会发生变化，序列化机制需要支持这些升级和变化可扩展在进程间通信(包括MapReduce过程中涉及的数据交互)时会大量使用序列化机制，因此必须尽量减少序列化和反序列化的开销，可以使得读取或写入TB、PB级别数据开销变得级小。快速可以支持不同开发语言间的通信,如C++和Java间的通信，这样可以用不同的语言读取或写入持久化数据互操作特点

java序列化机制优点：实现简单，两步完成缺点：浪费空间，序列化后的文件不能切分。Hadoop可以采用Java序列化机制吗？

1、提供了一系列的接口Writable接口WritableComparable接口RawComparator接口2、提供了一些类的Writable类（1）实现了WritableComparable接口的类Java基本类型：BooleanWritable|ByteWritable|IntWritable|VIntWritable|FloatWritable|LongWritable|VLongWritable|DoubleWritable高级：NullWritable|Text|BytesWritable|MDSHash|ObjectWritable|GenericWritable（2）实现了Writable接口的类数组：ArrayWritable|TwoDArrayWritable映射：AbstractMapWritable|MapWritable|SortedMapWritableHadoop序列化机制：

3.1.2 Hadoop序列化相关接口?Writable接口?WritableComparable接口?RawComparator接口Hadoop序列化相关接口

1、Writable接口接口的定义：publicinterfaceWritable{voidwrite(DataOutputoutput)throwsIOException; voidreadFields(DataInputin)throwsIOException; }序列化Awrite方法用于将对象状态写入二进制的DataOutput流中readFields方法从DataInput流中读取二进制完成反序列化的过程反序列化B

案例3-1：请设计学生类：1、三个私有成员变量：学号、姓名、所属院系2、成员方法自定。3、生成一个学生对象，请分别使用Java序列化机制和Hadoop序列化机制实现该对象的序列化，比较序列化后的字节数。

publicclassStudentWritableimplementsWritable{privateintsno;//学号privateStringsname;//姓名privateintdeptId;//所属院系编号publicStudentWritable(){}publicStudentWritable(intsno,Stringsname,intdeptId){this.sno=sno;