2014-03-基于安全的大数据分析.ppt

Cloudera其他组件介绍 全文索引——Cloudera Search 核心：Hadoop+Solr 可实现对HDFS中数据进行全文索引 查询时间1~2s/TB的索引/1台服务器（目前还在测试） 实时查询开源软件——Cloudera Impala Impala与其他组件关系 Impala(SQL on HDFS) VS Hive(SQL on MapReduce) 这些组件在后续的数据分析工作中很有用处 大数据分析应用 安全漏洞快速影响评估 安全事件综合分析，历史回溯 漏洞挖掘和0Day早期预警 Apache Struts 2 发现 select * from sjtu_in where url like %.action?% or url like %.do?% 查询性能分析 19个计算节点，未做分区列等优化 2 分42秒 查询完 56 亿条原始记录 PHP-DOS 发现 select * from sjtu_in where url like %host=% and url like %port=% 部分WebShell 发现 黑名单，特殊Path，特殊URL，特殊文件名，POST频率 验证确认漏洞 对大数据清洗去重，形成小数据集 Linux Shell ( grep / awk / sort / sed ) HIVE / Python