大型Web应用与研发.pptxVIP

大型Web应用与研发Langwan 10.11.06有哪些技术要做数据分析系统构架程序构架底层研发服务集成日志监控论坛数据特点可以按照版块划分主题与帖子存在父子关系每个版块与主贴就是一个翻页集合搜索是必须有的数据五要素主键索引计数数据缓存论坛分析主题没有子贴多，子贴才是瓶颈所在依据时间段归档数据并不依赖版块被顶起来的帖子重新复制到第一块分区不依赖数据库进行翻页，依赖翻页索引依赖全文检索服务解决搜索问题博客数据特点是围绕个人的信息服务存在大量无需立即展示的信息图片是主要娱乐载体评论多互动少博客分析依据用户划分数据，无法依据时间划分使用队列服务异步处理信息发表、评论、访问量统计、脚印、私信需要专门的图片处理程序图片下载、压缩、多尺寸裁剪、存储空间主体静态化，含评论等少量互动元素支持用户迁移评论的增量静态化SNS数据特点存在大量的投递数据存在大量第三方系统对接存在大量过期信息，信息时效性强存在大量数据挖掘工作谁过生日、可能好友、同城、一起玩过存在各种维度的信息点评赞、评论、分享、转发SNS分析信息通过消息系统大量投递给最终用户人与时间两个维度对数据进行分块过期消息和已读消息会被智能清理通过各类数据挖掘提供新产品论坛 博客SNS维度时间 人 人+时间SNS只保存每人最新的数据系统构架总结利用多台设备进行负载均衡利用CDN网络加速文件访问利用队