巨型网站设计的分散式架构设计云端运算的基础-Mipaper.PDF

最新消息 巨型網站設計的分散式架構設計  （雲端運算的基礎 ） 資訊分享 網站設計初始  架設網站入門其實很容易,很多網路上的免費資源運用一下,許多學生也可以自己建置網站及 server 及一台 Database server,這樣的架構在流量不高的個人網站的確已足夠,但其實風險相 (scalibility),也沒考慮到系統容錯及復原能力 (High avability  Failover),因此只要流量一高,問 beta時期 ，多找一些親友來當免費測試員 。 商業化架構  在這時期代表已經籌到一筆資金 ，網站設計可以進行商業化架構設計 ，一般商業化考量下的   說明: Firewall : 專業的防火牆 ，以Checkpoint 及 Netscreen 為代表 , 很多startup網路公司直接租 server 充當防火牆以低成本 。  Load balance server : 分散伺服器負載用 , 可用專業的F5 Big­IP 硬體解決方案或自行安裝軟 前功能越來越強 ，也有提供靜態網頁cache功能 ，有些Proxy server也可以充當Firewall 。  Web server : 網頁伺服器 , 又稱 Http server , 常見的有 Apache / IIS / Nginx / GWS / Lighttpd  能比Apache更好 ，但Apache 還是目前市佔率最高的Server 。  AP server : 應用伺服器 ，通常會擺放一些重要的商業邏輯程式 ， 大都為Java陣營 ，比較常 Oracle WebLogic / Oracle Glassfish / Apache Tomcat / Apple WebObjects /Adobe JRun /  framework其實也可稱為AP server , 通常Web server 及 AP server群 都會設Cluster及NLB  DB cluster : 資料庫叢集 ，設定Cluster 可以做Server redundancy and Failover ，不會因為當 失 ，這一波興新的網站設計大都用My SQL 。  DNS server : 設定網域內各server的DNS  Mail server : 發送Mail用  SAN storage : 提供資料庫資料儲存及備份的大型儲存設備 ，想省錢也可用NAS解決 。 這樣的架構對於一般中小型商用網站設計已足夠 ，個人預計此時會員大概50萬人左右 ，頂多 的SNS或UGC類型網站設計一開始的結構也是如此 ，但隨著網站上的資料量及流量不斷成長 如下所示 Database Loading過重 ，整體CPU loading 始終維持在80%以上 存放圖片及影音的硬碟Loading過高 ，顯示很慢 前端網頁很容易出現timeout的錯誤訊息   進入成長期  遇到上列的問題 ，其時是好消息 ，表示網站已至成長期 ，一般網站設計會開始做下列系統優   1. 資料庫優化 Query優化 、索引優化及將負載重的table做反正規化以減少資料庫負荷 建立Master /Slave 資料庫 ，分散Master主機loading ，將讀寫資料庫動作分離 ，Matster DB 提升資料庫軟硬體能力 ，如增加CPU及RAM ，將32bit 版本轉為64bit版本 。   2. 分散式檔案儲存 建立多個File server , 寫hash function 將上傳的圖片及影音平均分散到File server 上的Folde   3. 建立快取 例如運用 ASP.net 的 cache 儲存資料集 運用PHP APC 建立opcode快取 將不常變動的動態網頁或網頁區塊轉成靜態快取頁面   4. 程式優化 減少大量的資料庫存取介面 若使用PHP可使用hiphop­php , 加快效率 使用Connection pool加快連上資料庫的速度 使用MVC架構   流量大爆發期 到這個階段表是前面的努力沒有白費 ，而技術人員每天幾乎都凹到半夜才能回家 ，調整效能 報導 ，還有幾個重量級明星及政客相繼到網站開台 ，網站流量成爆炸性成長 ，創投和金主也 以該月成長的速度 ，半年內會到達1000萬人 ，系