结合Spark与Hadoop於云端平台进行网路异常流量侦测-桃园区网.PDF

結合Spark與Hadoop 於雲端平台進行網路 異常流量偵測 桃園區網會議 104/11/5 國立中央大學 電算中心 許時準 center20@.tw 周小慧 報告大綱 • 網路異常流量分析 • Apache Spark • 桃園區網偵測系統架構 • Spark 模組 • Hadoop 模組 • 測試結果 • 結論 1 網路異常流量分析 2 網路異常流量分析 1. 利用Server、網路設備弱點入侵的駭客攻擊。 2. 點選惡意連結中毒或被開後門。 3. 下載遭植入木馬及後門的軟體。 4. 執行有問題的郵件附檔而致使自己電腦感染病毒、蠕 蟲。 3 網路異常流量分析 • 網管可以利用CISCO 路由器的 Netflow 資料找出蛛絲馬跡 4 Apache Spark • Apache Spark是一個可快速運算處理巨量資料的運算框架， Spark使用了記憶體內運算技術，能在資料尚未寫入硬碟 時在記憶體內分析運算。 • 在 2014 Gray Sort Benchmark 競賽中，Spark 在23分鐘 內完成100TB的資料排序，而之前的紀錄是由Hadoop 所創 下的72分鐘。Spark 使用的機器只有Hadoop 的1/10，速 度卻達到Hadoop 的三倍以上。 5 桃園區網偵測系統架構 • 每10分鐘的即時網路流量偵測處理 由Spark 模組進行，下載核心路由 器之Netflow 資料，針對異常的攻 擊行為特性，篩選出異常的來源主 機，並將資料存入 Mongo DB • Hadoop 模組負責以每小時的頻率累 計彙整異常的網路流量，並篩選 TopN異常流量主機資料 6 Spark 模組 7 Spark模組處理後之資料型態 • srcIP@prot(來源IP及協定) • sum_in(輸入位元數)， sum_out(輸出位元數) • cnt_in(輸入連接量)， cnt_out(輸出連接量) • pkt_in(輸入封包量)， pkt_out(輸出封包量) 8 UDPFlooding 偵測條件 1. appServ flooding (per-10-minute)  Output Packet Size = 1500 B/pkt  Output flow count > 10000 2. Bandwidth Flooding  Output Udp Traffic > 5 GB 3. Resource Flooding  Output Packet Size < 80 B/pkt