《大型Web应用与研发-LAMP兄弟连专家讲座》.pdf

有哪些技术要做有哪些技术要做 • 数据分析数据分析 • 系统构架系统构架 • 程序构架 • 底层研发 • 服务集成服务集成 • 日志监控 论坛论坛 • 数据特点数据特点 – 可以按照版块划分可以按照版块划分 – 主题与帖子存在父子关系 – 每个版块与主贴就是一个翻页集合每个版块与主贴就是一个翻页集合 – 搜索是必须有的 数据五要素数据五要素 • 主键主键 • 索引索引 • 计数 • 数据 • 缓存缓存 论坛分析论坛分析 • 主题主题没有子贴多有子贴多，子贴才是瓶颈所在子贴才是瓶颈所在 • 依据时间段归档数据并不依赖版块依据时间段归档数据并不依赖版块 • 被顶起来的帖子重新复制到第一块分区 • 不依赖数据库进行翻页，依赖翻页索引 • 依赖全文检索服务解决搜索问题依赖全文检索服务解决搜索问题 博客博客 • 数据特点数据特点 – 是围绕个人的信息服务是围绕个人的信息服务 – 存在大量无需立即展示的信息 – 图片是主要娱乐载体图片是主要娱乐载体 – 评论多互动少 博客分析博客分析 • 依据用户划分数据依据用户划分数据，无法依据时间划分无法依据时间划分 • 使用队列服务异步处理信息 – 发表、评论、访问量统计、脚印、私信 •• 需要专门的图片处理程序需要专门的图片处理程序 – 图片下载、压缩、多尺寸裁剪、存储 • 空间主体静态化空间主体静态化，含评论等少量互动元素含评论等少量互动元素 • 支持用户迁移 • 评论的增量静态化 SNSSNS • 数据特点数据特点 – 存在大量的投递数据存在大量的投递数据 – 存在大量第三方系统对接 – 存在大量过期信息存在大量过期信息，信息时效性强信息时效性强 – 存在大量数据挖掘工作 • 谁过生日、可能好友、同城、一起玩过 – 存在各种维度的信息点评 • 赞、评论、分享、转发 SNSSNS分析分析 • 信息通过消息系统大量投递给最终用户信息通过消息系统大量投递给最终用户 • 人与时间两个维度对数据进行分块人与时间两个维度对数据进行分块 • 过期消息和已读消息会被智能清理 • 通过各类数据挖掘提供新产品 论坛 博客 SNS 维 时间 人 人+时间 度度 SNS只保存每人最新的数据 系统构架总结系统构架总结 • 利用多台设备进行负载均衡利用多台设备进行负载均衡 • 利用利用CDNCDN 网络加速文件访问网络加速文件访问 • 利用队列划分服务传递消息 • 没有任何数据可以完整储存 • 数据存在多个副本很难唯数据存在多个副本很难唯一 • 跨网络的延迟是必然存在的 常规系统构架设计常规系统构架设计 • 部署部署 • 管理管理 • 灾备 • 监控 • 扩展扩展 • 日志 • 路由 程序构架程序构架 • 代码代码规范规范 • 设备访问 – 数据库数据库、memcachhedd • 公共组件 • 配置配置 – 开发者配置、测试环境配置、线上环境 • 路由路由