运用程式分析於巨量资料处理分流暨系统资源动态配置以增进系统.PDF

資訊化理論與實踐 69 InformationTheory andPractice 運用程式分析於巨量資料處理分流暨系統 資源動態配置以增進系統運作效能 溫演福，陳立祥 國立臺北大學資訊管理研究所 摘 要：由於網路科技的逐漸成熟與雲端運算技術的出現，在雲端運算的環境下進行 大規模的運算工作變得更容易與快速，雲端運算背後概念主要為分散式架構，讓許多的電 腦能夠透過網路的連結進行資源的結合與運用，資源能夠被使用、分享也可以進行動態的 配置，透過分散式架構的優點，讓其應用能夠更佳的廣泛。但是同時有大量的連線輸入進 來時會造成電腦運算上的極大的負擔，要如何有效的配置資源與運用，讓系統不會因為過 載而導致當掉或延遲，是目前一個很重要的議題。本研究以購物網站為例，透過程式分析 將多個不同程式進行分類，將程式中具有相同性質的資料歸類在一起，對同類性質和將執 行同一程式流程的資料進行主機資源的優化配置，藉由了解該性質資料的所需運算時間、 CPU效能以及其他可能會導致運算速度上有所影響的因素，就能夠將預估的處理時間差縮 小，減少主機在運算時所要分配給該資料的資源，進而減少主機的負擔量，本研究將透過 模擬的方式，來將程式分析後所產生之類別序進行效能上的評估，來改善過去使用經驗的 累積來配置適當的資源給該程式進行運算。 一、论述 何在有限的資源下提供符合需求的配置方 法也成為重要的一個研究議題。例如：購 1.研究背景 物網站經常性地舉辦促銷活動，特別是阿 隨著網際網路快速的發展，大數據的 里巴巴集團旗下的淘寶網、天貓商城於每 出現使的資料不只再侷限於文字與圖片， 年11月11日所推出的雙十一節折扣活動， 大數據(Bigdata)的3V特性包括：資料性 這些活動使當日會湧入大量的流量，根據 (V)、多樣性(V)、和及時性(V)，意味著現 統計在當天尖峰時段的交易量每秒高達 1 在的時代將面臨的是資料量很龐大、種類 萬3千張訂單量，這是一個非常龐大的交 複雜且要能夠及時處理，因應這樣的趨勢， 易量，依此系統運算需要能夠處理這樣龐 雲端運算就顯得特別的重要，透過雲端運 大的流量，流量變大就會導致購物網站的 算的分散式架構概念，能夠將同性質的資 伺服器負載增加，負載增加可能就會導致 料處理分隔到不同的主機運算來提升處理 購物網站整個延遲甚至造成網站當掉，要 資料的速度。 如何有效的配置資源來降低系統的負載量 根據IDC研究顯示，到了2020年的數 去避免網站可能停擺或降低回應時間等現 位資料量將會成長到 40 ZB，隨著資料量 象，在雙十一節當天，淘寶網都並未出現 的快速成長，在資料處理的方法上也變得 上述的現象，淘寶網是如何