asppb文件使用总结.docxVIP

Asp PB格式日志说明 在开发updater支持asp pb这个feature过程中，先后遇到了三种格式的asp pb格式日志。分别是b2log 头的pb日志，pbhead头的pb日志，以及sequencefile格式的pb日志。 其中日志格式，数据源，读写方式总结如下。 1.日志格式 分为两类，head+body类和sequencefile类 A．Head+Body B2log和pbhead格式均属于此类。即每一行日志由head和body组成。其中head定义了这个record的长度等信息，而body就是原始的pb格式的asp日志。每一份文件中由很多行这种结构的日志组成。且无截断（就是不会出现一行日志分割在两个文件的情况）。 两种格式的日志仅仅在head定义上有区别。Body都是原始的pb asp日志，完全一样。这里b2log的head除了定义的struct之外，还追加了一个time信息。此处合并称之为广义的head。 B2log的head格式 struct B2logHeader { uint32_t magic; uint32_t version; uint32_t uncompress_len; uint32_t compress_len; } Int64_t time Pbhead的head格式 Struct pbhead_t { Uint8_t reserved; Uint8_t log_type_id; Uint16_t pbdata_len; Uint32_t pbdata_len; } B．sequencefile Hadoop sequencefile是一个由二进制形式的key/value的字节流组成的存储文件，sequencefile可以压缩可以切分，非常适合hadoop文件的存储特性。 其文件结构由一个Header和多个record组成。这里需要注意的是，sequencefile一个文件里只有一个head。这是与上面head+body格式的日志最大的区别。 Header主要包含了Key classname，Value classname，存储压缩算法，用户自定义元数据等信息，此外，还包含了一些同步标识，用于快速定位到记录的边界。 每条Record以键值对的方式进行存储，用来表示它的字符数组可依次解析成：记录的长度、Key的长度、Key值和Value值，并且Value值的结构取决于该记录是否被压缩。 Sequencefile的文件格式是由hadoop确定的，非常统一。 2.数据源 A．b2log head的pb日志 来自as模块，可以找as同学找该种类日志（我找的韩聪）。 B．pbhead head的pb日志 来自于大禹的bunlder模块，自己搭建bunlder，tm从线上订阅得到。 C．sequencefile的pb日志 可从韩聪那里得到。 3.读写方式 A．head+body类 这部分日志的读取逻辑很简单。就是先读head确定body的长度，然后再read 相应长度的数据进来。 以b2log为例， 可以看到，先read head，然后read time，然后read body。最后body把body的内容输出字符串，在外部进行反序列化。B2log的pb日志在updater模块里仅仅是用来做diff测试和UT。所以读取逻辑设计简单，容错性考虑较少。 Pbhead的pb日志读取逻辑稍微复杂一点，因为它是updater worker实时的从bundler的输出进行解析。所以要根据chunkfile里的logtype先确定日志格式（pb，txt，bin），然后对应不同的读取和解析逻辑。里面还有容错性处理。 这两部分的代码可以参阅 B2log： App/ecom/sp/worker/updater/test/buildtestcase.cpp App/ecom/sp/worker/updater/test/test_pblog_parser.cpp Pbhead: App/ecom/sp/worker/updater/src/source_input.cpp App/ecom/sp/worker/updater/src/asp_logpb_parser.cpp B.sequencefile Sequencefile的读取逻辑是对于每个文件先读取head，checksequencefileversion, loadkeyvalueclassname, loadcompressinfo, loadmetadata, loadsync。 然后顺序读取record，读取的时候，首先loadrecordlen, 然后读取keylen，然后读取value。 这部分的逻辑在app/ecom/asp/as