2014.03.基于安全的大数据资料分析.pptVIP

Cloudera其他组件介绍 全文索引——Cloudera Search 核心：Hadoop+Solr 可实现对HDFS中数据进行全文索引 查询时间1~2s/TB的索引/1台服务器（目前还在测试） 实时查询开源软件——Cloudera Impala Impala与其他组件关系 Impala(SQL on HDFS) VS Hive(SQL on MapReduce) 这些组件在后续的数据分析工作中很有用处 大数据分析应用 安全漏洞快速影响评估 安全事件综合分析，历史回溯 漏洞挖掘和0Day早期预警 Apache Struts 2 发现 select * from sjtu_in where url like %.action?% or url like %.do?% 查询性能分析 19个计算节点，未做分区列等优化 2 分42秒 查询完 56 亿条原始记录 PHP-DOS 发现 select * from sjtu_in where url like %host=% and url like %port=% 部分WebShell 发现 黑名单，特殊Path，特殊URL，特殊文件名，POST频率 验证确认漏洞 对大数据清洗去重，形成小数据集 Linux Shell ( grep / awk / sort / sed ) HIVE / Python 对小数据集进行主动批量验证 Zmap / Nmap ( with script ) Python / Go ( with POC ) Sqlmap 人工分析整理最终结果 预先全网深度扫描 Zmap 一级扫描 ( 3.3亿 – 1219万) udp-probes/ntp_123.pkt Nmap 二级扫描( 1219万– 181万 – 1.4万) script = ntp-info / ntp-monlist Go 语言编程 三级分析 NTP 反射型 DDOS 攻击分析 Zimbra Mail - 0day exploit This script exploits a Local File Inclusion in /res/I18nMsg,AjxMsg,ZMsg,ZmMsg,AjxKeys,ZmKeys,ZdMsg,Ajx%20TemplateMsg.js.zgz which allows us to see localconfig.xml that contains LDAP root credentials wich allow us to make requests in /service/admin/soap API with the stolen LDAP credentials to create user with administration privlegies and gain acces to the Administration Console. LFI is located at : /res/I18nMsg,AjxMsg,ZMsg,ZmMsg,AjxKeys,ZmKeys,ZdMsg,Ajx%20TemplateMsg.js.zgz?v=091214175450skin=../../../../../../../../../opt/zimbra/conf/localconfig.xml%00 Example : /res/I18nMsg,AjxMsg,ZMsg,ZmMsg,AjxKeys,ZmKeys,ZdMsg,Ajx%20TemplateMsg.js.zgz?v=091214175450skin=../../../../../../../../../opt/zimbra/conf/localconfig.xml%00 Zimbra 漏洞影响范围 12月6日，网站披露了攻击代码。根据国家互联网应急中心（CNCERT）和上海交通大学网络信息中心的监测情况，从12月6日下午开始，出现了大量利用该漏洞对境内政府和高校用户发起的攻击。 CNVD对互联网上使用Zimbra的邮件服务器进行了检测。截至12月13日9时，共检测发现互联网上有1814个IP主机为Zimbra邮件服务器，详细统计见下表所示。此外，根据抽样测试结果，约有50.0%的Zimbra邮件服务器存在所述高危漏洞。 HTTP 关联分析 Referer 分析 Referer 暴露搜索引擎关键词 /s?wd=%C9%CF%BA%A3%B9%FA%BC%CA%B8%BE%D3%A4%B1%A3%BD%A1%D4%BArsv_bp=0rsv_spt=3rsv_sug3=9rs