实习过程与成果总结.docxVIP

实习过程与成果总结

一、实习目标

深入理解公司业务场景，掌握推荐系统全链路流程

独立交付1个可上线的算法子模块，指标提升≥5%

沉淀1套可复用的特征工程方案，形成内部技术文档

提升跨团队协作与工程化能力，为后续校招打下基础

二、整体时间线

阶段

时间

关键任务

里程碑

①入职熟悉

第1周

环境搭建、数据权限、CodeReview规范

跑通baseline离线实验

②需求拆解

第2-3周

业务调研、指标对齐、负采样策略评审

需求文档评审通过

③方案设计

第4周

特征+模型+上线方案三级评审

技术方案评审通过

④模型迭代

第5-8周

特征工程、多目标学习、A/B实验

离线AUC↑3.7%，线上CTR↑6.2%

⑤上线复盘

第9-10周

灰度放量、监控报警、效果复盘

项目结项，个人绩效评级A

三、核心工作内容

3.1场景与痛点

场景：App首页“猜你喜欢”双列商品流

痛点：原有GBDT+LR模型在长尾商品上召回不足，导致曝光集中在头部20%SKU，用户新鲜感下降，停留时长连续3个月负增长。

3.2技术方案

模块

关键改进

技术细节

特征

用户长短期兴趣分离

引入SessionTransformer，最长序列512，平均池化+attention融合

样本

负采样矫正

采用「全局随机+曝光未点击+拒绝采样」三级混合，负正比5:1

模型

多目标DNN

底层共享3层256单元，任务塔分离CTR/深度转化率，使用MMoE结构

训练

增量学习

天级增量，近7天数据滑动窗口，学习率warm-start

上线

双流召回

粗排：向量检索Faiss-IVF1024；精排：模型打分Top200

3.3指标体系

离线：AUC、GAUC、LogLoss

近线：CTR、转化率CVR、人均停留时长、曝光集中度Gini↓

远期：次留、GMV、贡献毛利（由数据科学团队持续跟踪）

四、实验与结果

4.1离线实验

版本

AUC

GAUC

LogLoss

备注

Baseline

0.742

0.698

0.218

GBDT+LR

+DNN

0.768

0.723

0.204

单塔

+MMoE

0.779

0.731

0.198

加入多目标

+SessionTrans.

0.785

0.738

0.194

加入长序列

4.2在线A/B（14天、30%流量）

CTR相对提升6.2%（p0.01）

CVR提升4.5%

人均停留时长↑7.8%

曝光Gini系数↓0.06，尾部SKU曝光占比↑18%

五、个人贡献

主导SessionTransformer特征工程，离线GAUC↑1.4%，独立完成Spark脚本与Hive表设计，压缩训练数据27%。

设计「多目标样本权重」方案，解决CTR与CVR跷跷板问题，得到mentor采纳并推广至广告团队。

推动增量训练Pipeline自动化，将原先3小时/天的手工流程缩减至30分钟，Shell+Airflow脚本已合并至主分支。

撰写《猜你喜欢·算法技术白皮书》（1.2万字），被组内评为Q2优秀文档，收藏量120+。

六、团队协作与沟通

每周二参加「产品+算法+工程」三方例会，累计输出9份会议纪要，Action项闭环率100%。

与工程组联调TensorRT模型热加载，解决灰度阶段内存泄漏问题（Valgrind定位到protobuf版本不一致）。

指导新入职实习生2名，帮助其在2周内复现baseline，获HR好评。

七、遇到的问题与解决方案

问题

现象

根因

解决

复盘

训练数据穿越

离线AUC虚高，线上效果打折

特征表join时未剔除未来信息

在SparkSQL中加入时间过滤窗口，并对t+1数据做hardnegative

建立「数据血缘」检查脚本，每晚定时扫描

推理延迟高

P99延迟68ms，超SLA

序列模型过大，矩阵乘算子未融合

①INT8量化②合并Transformer层③开启GPUHMA

延迟降至28ms，符合30msSLA

指标震荡

A/B第5天CTR下降2%

周三运营活动导致用户群差异

采用CUPED方差缩减，重新计算置信区间

指标恢复显著性，避免下线风险

八、收获与反思

业务sense：深刻体会到“技术必须回到用户价值”，再高大上的模型也要接受GMV检验。

工程化：从JupyterNotebook到Flink实时特征、TensorRT服务，全流程闭环，补齐了学校科研中缺失的最后一公里。

沟通技巧：学会用“