原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
ApacheFlink
案例集
01
01
数据集成
02
数据分析
Xtransfer
Flink
MongoDBCDC
在
XTransfer
的生产实践
众安保险
Flink
在
众安保险金融业务的应用
奇安信
如何设计信息安全领域的实时安全基线引擎
工
商银
行
工商银行实时大数据平台建设历程及展望
中
信
建
设
Flink
的风控特征工程应用
小
红书
Native
Flink
onKubernetes
在小红书的实践
美团
Flink
的实时数仓平台建设
伴
鱼
伴鱼基于
Flink
构建数据集成平台的设计与实现
Bilibili
Flink
在
B
站的多元化探索与实践
钱
大
妈
基于阿里云
Flink
的实时风控实践
建
信
金科
Apache
Flink
在国有大型银行智能运营场景下的应用
移动云
Apache
Flink
的应用与实践
冀支付
基于
Flink
的实时计算平台实践
小
米
Flink
流批一体在小米的实践
蔚
来
汽车
Apache
Flink
在蔚来汽车的应用
37
手游
基于
FlinkCDC+Hudi
湖仓一体方案实践
快手
Flink
SQL
在快手的扩展和实践
网易互娱
基于
Flink
的支付环境全关联分析实践
汽车之
家
Flink
的实时计算平台
3.0
建设实践
03
73
81
89
105
29
11
97
19
35
23
43
51
59
03
机器学习
05
数字化转型
目录
BIGO
BIGO
使用
Flink
做
OLAP
分析及实时数仓的实践和优化
65
04
云原生
斗鱼
Apache
Flink
在斗鱼的应用与实践
1
21
米哈游
Flink
在米哈游的落地实践
1
27
京东
Flink
onK8s
在京东的持续优化实践
113
联通
Flink
的风控特征工程应用
1
33
1
41
1
49
1
55
1
59
1
65
ApacheFlink案例集
ApacheFlink案例集
ApacheFlink案例集
3
小米
Flink流批一体在小米的实践作者：金风
用户背景
4对于流批一体的平台化建设
4
对于流批一体的平台化建设
，
主要分为
4
个方面
，
分别是元数据管理
、
权限管理
、
作业调度以及
Flink
的生态
建设
。
1
、
元数据管理
小米基于
Metacat
做了统一的元数据管理
，
由
Metacat
统一对接下游不同的存储系统和上游的计算引擎
上图是小米当前的实时和离线框架
，
目前是多种框架并存的状态
。
业务开发人员无论是写
SQL
作业还是写
Jar
包作业
，
都至少要维护两套代码
。
公司内部的计算引擎
团队
也
需
要
花
两
拨
人
力
分别
去
维护不同的计算框架
，
同时平台
层
也
需
要对不同的计算引擎
去
做不同的
适配
。
基于上
述情况
，
小米开始
致力
于流批一体的改造
，
实
现
实时和离线维护同一套计算框架
，
为业务开发人员
、
平台提
供
方和计算引擎的
支持
方
最
大化节省人
力
资源
。
Apache
Flink
案
例集
基于
Metacat
，
内部的
所
有系统都
被
统一
划
分成
三
级
结
构
，
与
FlinkSQL
的
三
级
结
构
相
对应
。
第一级
Catalog
，
主要由
服
务
名
和集
群名拼
接
而
成
。
第二级
Database
，
它
与大部分系统的
Database
保持
一
致
。
没
有
Database
的系统
默认
使用
default
来代替
。
第三级
Table
，
也与系统的
Table
保持
一
致
，
比
如
消
息
队列
的
topic
名
，
Elasticsearch
的索引
名
。
在构建
好
统一的元数据管理之
后
，
只需
要写一
条
DML
语句即
可
完
成一个实时将
消
息
队列
数据入湖作业的开发
。
2
、
权限管理
平台建设
业务需求
小米的大数据发展演变史大概如下：
2019年之前，小米的实时计算主要以SparkStreaming为主，少部分Storm，离线计算以Spark为主；
2019年，开始接入Flink，并广泛应用于信息流搜索推荐、广告实时样本、实时ETL等场景，逐步替换了原来的SparkStreaming作业，得益于Flink框架的各种优秀特性，在作业的正确性，实时性，资源使用效率方面都有较大提升；
2020年，开始接入使用FlinkSQL，并广泛用于实时数仓的建设和实时ETL作业的开发。FlinkSQL的实时数仓将数据链路由T+1降低到了秒级；
2021年，开始接入
文档评论（0）