互联网公司大数据实习生实习报告.docxVIP

互联网公司大数据实习生实习报告

一、摘要

2023年7月1日至2023年8月31日，我在某互联网公司担任大数据实习生。期间，负责搭建实时数据监控平台，通过Python和Spark处理日均10万条日志数据，优化查询效率提升30%，并输出可视化报表。参与用户行为分析项目，运用Hive统计QPS峰值达5000，定位系统瓶颈。掌握ETL流程自动化脚本编写，将数据清洗时间缩短至2小时。总结出分布式计算资源调度策略，适用于高并发场景。实践证明，结合SQL与Python的混合开发模式可显著提升数据加工效率。

二、实习内容及过程

2023年7月1日至8月31日，我在一家做电商推荐系统的公司实习。主要是搞数据分析和处理，给后台系统搭了个实时监控平台。每天得处理大概10万条用户行为日志，用Python写脚本跑Spark算数，之前跑完得花5小时，后来我调优了分区参数和内存分配，缩短到3小时出结果。最顺手的是做用户画像那个项目，用Hive把点击流数据按天分桶统计，高峰期QPS飙到5000，查表卡死的时候，我改用增量统计加缓存层，延迟从秒级降到百毫秒。

前期老卡壳的是ETL流程，数据清洗总卡在某个步骤，后来跟导师琢磨，发现是没用好Kafka的分区扩容，手动分治太慢，改用动态扩容策略，批量处理时间从8小时砍到2小时。团队那套半自动运维挺折腾，监控告警响应慢，有回溯链路不完善，我提了个用Prometheus+G