中等规模海量数据处理实例剖析.pptVIP

中等规模海量数据处理实例分析 王斌 BI组 2009-12-04 内容 口项目简介 口流程 口演化过程 口遇到的若干问题 口支撑技术 口总结 项目简介 口本项目通过分析用户访问标题的log日志文件 提取出用户的喜好,进而为广告投放提供精准 支持 口此项目属于web使用挖掘的一个应用 项目简介 口log数据 ■单日压缩文件约为10G,压缩比约为8 ■需要整合一个月的数据 ■总共约2T心3T数据 口用户数量 ■约15亿 口目前一个月活跃标题数量 ■约1400万,支持3000万标题数量 项目简介 口硬件环境 4 CPU ■4G内存 口编程环境 ■vm+ ctags+ CScope a+-+ ■gdb