C++ fcr函数预处理应用技巧的实例.doc

C++ fcr函数预处理应用技巧的实例 fcr预处理 文件：fcr_preproc.cpp 函数：preprocess() 作用：为后续选择广告和价格计算准备 处理流程如下： winfoid去重：当两台imbs分别重启追增量，可能会出现某个广告变化了planid，则该广告会从0库到1库，0库还没删除该广告时，1库已经添加了该广告，这样对应检索会导致，0库返回该广告，1库也返回了该广告。导致后续的很多“逻辑假设”不成立。因此此处必须要对广告进行dedup，去掉双库中重复的winfoid。 业务需求的黑名单过滤 计费名对应的特定 url 过滤：如58同城上不展现赶集网的广告 用计费名查词表（charge_name, domain）,若命中则过滤 外部流量黑名单过滤：若是外部流量且广告命中ursid黑名单，则过滤 客服电话类query过滤： 如query是‘服务淘宝热线’，则只能展现url 是‘’的广告。 如果query命中词表（query, urldomain），且该广告domain_sign != urldomain_sign 则过滤 标记蹊径广告：若命中线下词表（unitid），则is_mt_style标记为1，否则标记为0 计算 Click Quality： click_q代表广告的用户体验好坏，可理解成click_q=好的点击次数/总的点击次数。计算过程如下： 提取每条广告的26个特征并进行签名 从词表中获取26个特征的权重，并累加成total_weight click_q= 1.0 / (1 + exp(-1.0 * total_weight)) * Q_FACTOR 同样也会计算一个precise_click_q【线上暂时没有使用】，因为Click_quality模型训练时，分精确匹配（PRECISE_CLICK_Q模型）和非精确匹配模式（CLICK_Q模型）两种训练方式 CLICK_Q与PRECISE_CLICK_Q大部分特征一样，除了query, wmatch相关特征。 计算hc_val：用户为广告质量付出的代价。由click_q计算而得，与click_q成反比 hc_val,公式为 Hc_val= pow((1.0 - click_q * inv_factor), factor_t) 表示广告质量越差，即click_q越小，hc_val值会越大：客户因广告质量差付出的代价就越大。 hc_val过滤： 若bid<hc_val，则过滤该广告 注意：adserver不进行hc_val过滤 计算hc_bid ：hc_bid = bid - hc_val， Mec保留价策略准备: 计算保留价策略计费时要用的三个保留价pp_hc_bid_rp, ppim_hc_bid_rp, im_hc_bid_rp及三个value值：pp_hc_value_rp，ppim_hc_value_rp，im_hc_value_rp Value计算方法： pp_hc_value_rp = ave_bid * ratio 保留价计算方法：pp_hc_bid_rp = bid - pp_hc_value_rp 其中： ave_bid是历史的平均bid，Ratio是query级别的历史平均计费比（计费比指：price/bid）。两者都是查词表而得，词表文件路径：/data/auction/ad_rp【有pp，ppim，im三种类型各自对应的文件】 PP_bid.dat （winfoid, hour, ave_bid) pp_rpr.dat(query, hour, ratio) Q变形策略：q= (ori_q/10)^t 目的：因为 cpm=q*bid，通过调整t因子，控制q在cpm计算时所起权重大小。 方法：通过配置项控制变形参数T, Q=pow(原始Q/10, T)。 三类q分别有各自的T 变形后q和原始q用途区分： 变形后Q: 后面所有的排序, 计费 原始Q: ctr推左，cpm推左，作为key之一从线下词表获取ctr值用于cpm3计算 pp、ppim、im资质的黑白名单标注 目的：黑白名单标注manual_mark = (last_wht_mark << 8 ) | blk_mark; // 白名单在高位 blk_mark取值种类如下： PP_BLK_MARK = 0x0001, PPIM_BLK_MARK = 0x0002, LEFT_BLK_MARK = 0x0003, RIGHT_BLK_MARK = 0x0004, IM_BLK_MARK = 0x0007, （last_wht_mark << 8）取值种类如下： PP_WHT_MARK = 0