堆直写技术初探--降低序列化开销.pptxVIP

堆直写技术初探--降低序列化开销/lynus朱凌宇/lynus/lynus序列化性能消耗3节点spark集群运行graphX某算法，Ser/Deser占整个的30%Ser-wire-Deser 时间分布硬件越快，Ser/Deser 低效越突出数据传输量不是主要优化目标Java6-Jikes RVM背景- RDMA（Remote DMA）零拷贝单边操作 –读写远程内存时，远程CPU无需参与高性能发送端需获得数据到达的目标内存地址背景-对象在堆中的存储形式对象在堆内的结构类型元数据基本思路把对象在内存中的映像通过RDMA直接写到远程进程的堆内Intruder-IRA结果74%85%序列化减少15%，减少的部分为反射操作、复制开销反序列较少26%，减少部分为new操作（GC，cache污染），复制开销需要解决的问题接收方识别对象的类别图结构的恢复重复节点（环形图）RDMA内存的管理ArootAQueueA, 0CB?BufferED?Step1.dequeueinspectA, 0Queue?B,C,??BufferA?Step2.BrootAQueue?B,C,?CB?ABufferED?inspectdequeueB,??C,Queue?D,E,????ABBuffer??FlushFlush申请新缓冲区，标记旧缓冲区缓冲区管理接收端实际情形想当然的情形软件读取速度追赶上硬件传输速度