魅族大数据流平台实践.pptx

魅族大数据流平台实践 演讲人：通用名 大纲 ·流平台介绍 ·流平台设计 ．采集组件 ·流管理平台 ．数据中转 ·实时计算 QA ,. ＿.. 二 魅族技术学院出晶 πlEIZU 笛奸 计 线 离 刀口 介 A口 平 情 附 豆 集 理 储 力 采 处 存 能 据 据 据 算 嗷 嗷 嗷 卅 －、A川川 、L 一 ,. ＿.. 二 魅族技术学院出晶 πlEIZU 流平台架构图 - ＠ 圈圈 ............. 二 魅族技术学院出晶 町lEIZU 流平台架构图 （ cont. ) 回蝠 髓矗 幢幢泉 ． 百、、 、、 ， ， ·、 、 嚣ft尊臼 缸 ” ........ 二 魅族技术学院出晶 町lEIZU 一 流平台设计 －、 Message AS-Protocol Event Type：数据恪式 （ Json/Hive格式 ） Compress Data_timestamp Send_timestamp Unique Key Topic Data_Group Protobuf序列化 ,. ........ ’二 魅族技术学院出晶 πlEIZU 协议设计 恼蟠潭攘遭 幢攥攘攘 tr. 业＊盘掘 h明l 阻18 Jlodoop 各间站的J•前问 孚帆各A即埋点 事悦的特定日＃ 、、 、、 、 Message Event AS-Pr。t。cal .......,, AS-Pr。t。cal Message Streaming St e 一旦丽 魅族技术学院出晶 πlEIZU 数据分组设计 LO LO 。。 J J 肉n”’肉n”a ．m，－ms －pk ae唱 ea ’。’ e、e ea h h － －” － －· －· －－ － － － 肉 E 噜A ·噜A － 喃自鼻 －－ －”··－－·· －N －1 －N －－ － － － －．－， － ’ － P C P MM 咀 ·”们 MM 咀 叫 G－ FM－ T 20 t 电a t a” ‘a D D 幢赢噩撞骗 戴德骤篇 民reom l 可 T。pie ’ Data_Group Data_Gr。 u p Data_Group .,,, ＃ St 呻 魅族技术学院出晶 π1EIZU ． 一 采集组件A gent ． …、 Agent-Stub.jar 圃’ Agent- File.zip File- Parser Binlog-Parser 接入Agent-Stub ＿... 矶 魅族技术学院出晶 门 EIZU Agent-Stu b.j a r ·多线程 ，异步 ·内存小队列＋磁盘压缩队列 ．无损启停 • agent的版本号自动上报平台 ．自动识别接入源 ，智能归类 • agent的全面实时监控 （ 内存队列数、磁盘队列数、运行状态、出锚状态、q ps等 ） ·支持实时命令 （ 包括限流 ，恢复眼流、停止、调整心跳｛直等 ） ．兼窑Docker ,. .......... ’二 魅族技术学院出晶 一 mEIZU Agent- File.zip ·接入Agent-Stub ．兼容Docker ·支持重发历史数据 ．管理平台自助升级 ·文件名正则表达式匹配 ·源目录定时扫描 and Jnotify ．单文件读取 ·文件方式存储offset ，无损启停 ,. ’二 魅族技术学院出晶 lπ EIZU Agent示意图 业务 回国回-s end一」 二咐’ ＿＿＿.. 二〉气：d s@nd 时时 附属-s 阔步咂噩 3 wnte..＿ 毡踵 - 叩et 自nd ·国E国 - 11et、writ, - 11et ......... Flu町 e 管理平台 ZK 圆圆圆 魅族技术学院出晶 π1EIZU Agent 的坑 ．丢数据 ·版本管理 tailf -f的问题 ·网络原因导致zk删节点问题 ．乱码问题 ·日志问题 .＿＿， ’二 魅族技术学院出晶 πlEIZU 四、流管理平台 …l.l!!m!J.mllll 、“ 7 肉’吨’ ·夜’革” a民也‘民 气主兰c一 晌阳 回附 i回幽 回陆 四川 A唰 口问 a.., la 目问 团同 a,,, •tf..9 ””鹤”幡边’ :r ’响曲 一」l」旦”一」一些” 拿’ 销到陈 」l」旦回 凹’唰 萃’吧？剑”k ，电？创＊ 萃 曹创k ＂T,创＊ 舷辛苦？创＊ ＇＂每$甸＊ ‘’T饵”k ＂”＂ ？铜珉 IDD l 工盟 ”帽”一」L一 酣 一」 c:mc:mt::::lJ c:mc:mc:::J C;l!]CE!Jc:::::J Cl:mCE!Jc:::m Cl:mC!!!Ja::lJ c::!:mCCDa:II c::!:ma:Di=D c::.:c:Jcz.Jc::IJ c::.:c: