- 1、本文档共35页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
从零到千亿级实时数据处理_徐振中.pdf
从零到千亿级实时数据处理
“流”化你的应用构架
链接
– https://netflix.github.io/
– /project/netflix
话题
•Netflix日处理千亿级数据平台
•大数据技术简短历史
•深潜流构架及技术基础
•为什么你的App也“流”的转 !
Before we start...
大家来回忆一下:
如何用最基础的数据结构实现hash table ?
Before we start...
大家来想一下:
为什么“有些人”总不让你用全局变量 ?
Netflix Keystone Pipeline
● 日处理七千亿条/1+ PB 数据
● 顶峰每秒处理1千万条 /20+ GB 信息
● 3000+ Kafka brokers ,12 clusters in 3 regions
● 10,000+ Docker容器部署
We help Produce,
Store,
Process,
Move
Events @ Cloud scale
Keystone构架
Control
Plane
EMR
y Samza
x Fronting
o Router
r
P Kafka Stream
S Consumers
K
Event
Consumer
Producer
Kafka
Netflix Keystone Pipeline
● 横向可扩展构架
● 完全构架在AWS云端基础设施上
● At-least-once 投递保证
● 容纳back pressure ,容纳云端不稳定基础服务
● Sink level isolation
● 同时支持数据中心内及跨洲际数据中心failover
● High availability, scalability durability
● Streaming Architecture
Big Data History
为什么要用Streaming Architecture ?
Big Data History
Big Data History
对流数据的现实需求
● 数据爆炸性增长
Big Data History
对流数据的现实需求
● 数据爆炸性增长
● 数据处理模式的需求变化
如何实现hash table ?
如何实现hash table ?
教科书说:
如何实现hash table ?
如何实现hash table ?
如何实现hash table ?
Commit log
Commit log 是很多分布式系统中的核心
● Database Replication
● Paxos Consensus
● Kafka
您可能关注的文档
- 人脸识别--公安交警行业.pdf
- 从业务到测试模型.pdf
- 从人际网络间在日本的大学产业合作组织联盟–:东京工业大学的案例.pdf
- 从函数发生器更多获益的 8 项提示应用指南 1497.pdf
- 从初级到中级,再到专家非常有用的60个Linux命令.pdf
- 人货梯基础及地下室顶板回撑方案.pdf
- 从化温泉储备地块土地开发项目区域环境影响报告书.pdf
- 从医疗纠纷角度看医院管理.pdf
- 从历代古文选本看欧阳修散文的经典化过程_夏汉宁.pdf
- 从古乐谱看乐调和曲辞的关系_葛晓音.pdf
- 四川省德阳市罗江中学2025届高三考前热身化学试卷含解析.doc
- 山东省枣庄现代实验学校2025届高三下学期第五次调研考试化学试题含解析.doc
- 吉林省长春市十一高中等九校教育联盟2025届高三一诊考试生物试卷含解析.doc
- 2025届江苏省盐城市伍佑中学高考仿真模拟化学试卷含解析.doc
- 2025届广西贺州中学高考冲刺押题(最后一卷)生物试卷含解析.doc
- 安徽省池州市贵池区2025届高三第一次模拟考试生物试卷含解析.doc
- 宁夏银川一中2025届高三(最后冲刺)化学试卷含解析.doc
- 广东省广州市增城区四校联考2025届高考压轴卷化学试卷含解析.doc
- 2025届邯郸市第一中学高考生物必刷试卷含解析.doc
- 2025届安徽省安庆市石化第一中学高考仿真卷化学试卷含解析.doc
最近下载
- 山东省泰安市泰山区2023-2024学年上学期期中考试七年级英语试题.docx VIP
- 财务管理实务 财务管理实务 实训指导书.doc
- 2024年新人教版九年级上册化学全册教案.docx
- 上海通用汽车GVDP整车开发流程.pdf VIP
- 苏教版四年级上册同步奥数培优 第十四讲 智巧问题.pdf VIP
- 2024年江苏省苏州高新区招聘“两新”组织党建专职党务工作者6人历年【综合基础知识500题】高频考点模拟试题及参考答案解析.docx VIP
- 2024年武汉市东湖生态旅游风景区管理委员会公开招聘机关派遣制工作人员9人笔试备考试题及答案解析.docx VIP
- 人教版普通高中地理选择性必修2区域发展.pdf
- 人体解剖学常考重要知识点.doc
- 2023年江苏苏州相城区招考聘用两新组织党建专职党务工作者23人笔试历年难易错点考题荟萃附带答案详解.docx VIP
文档评论(0)