CUDAIntroduction.pptVIP

Compute Unified Device Architecture統一計算架構介紹 CUDA 簡介 CUDA（Compute Unified Device Architecture，統一計算架構）是由NVIDIA所推出的一種整合技術，是該公司對於GPGPU的正式名稱。透過這個技術，用家可利用NVIDIA的GeForce 8以後的GPU和較新的Quadro GPU進行計算。亦是首次可以利用GPU作為C-編譯器的開發環境。NVIDIA行銷的時候，往往將編譯器與架構混合推廣，造成混亂。實際上，CUDA架構可以相容OpenCL或者自家的C-編譯器(NVCC)。無論是CUDA C-語言或是OpenCL，指令最終都會被驅動程式轉換成PTX代碼，交由顯示核心計算。 概要 以GeForce 8800 GTX為例，其核心擁有128個內處理器。利用CUDA技術，就可以將那些內處理器串通起來，成為執行緒處理器去解決資料密集的計算。而各個內處理器能夠交換、同步和共享資料。利用NVIDIA的C-編譯器，通過驅動程式，就能利用這些功能。亦能成為流處理器，讓應用程式利用進行運算。 GeForce 8800 GTX顯示卡的運算能力可達到520GFlops，如果建設SLI系統，就可以達到1TFlops。 但程式設計師在利用CUDA技術時，須分開三種不同的記憶體，要面對繁複的執行緒層次，編譯器亦無法自動完成多數任務，以上問題就提高了開發難度。而將來的G100會採用第二代的CUDA技術，提高效率，降低開發難度。 CUDA 可應用的範圍 視訊編碼加速 目前，已有軟體廠商利用CUDA技術，研發了一個Adobe Premiere Pro的外掛程式。通過外掛程式，使用者就可以利用顯示核心去加速H.264/MPEG-4 AVC的編碼速度。速度是單純利用CPU作軟體加速的7倍左右。 利用CUDA技術，配合適當的軟體(例如MediaCoder)，就可以利用顯示核心進行高畫質視訊編碼加速。視訊解碼方面，同樣可以利用CUDA技術實現。此前，NVIDIA的顯示核心本身已整合PureVideo單元。可是，實現相關加速功能的一個微軟API－DXVA，偶爾會有加速失效問題。所以利用CoreAVC配合CUDA，變相在顯示核心上實現軟體解碼，解決相容性問題。另外，配合適當的引擎，顯示核心就可以計算光線跟蹤。NVIDIA就放出了自家的Optix即時光線跟蹤引擎，透過CUDA技術利用GPU計算光線跟蹤。 物理加速 在NVIDIA收購AGEIA後，NVIDIA取得相關的物理加速技術，即是PhysX物理引擎。配合CUDA技術，顯示卡可以模擬成一顆PhysX物理加速晶片。目前，全系列的GeForce 8顯示核心都支援CUDA。而NVIDIA亦不會再推出任何的物理加速卡，顯示卡將會取代相關產品。 為了將CUDA推向民用，NVIDIA會舉行一系列的編程比賽，要求參賽者開發程式，充分利用CUDA的計算潛能。但是，要將GPGPU普及化，還要看微軟能否在Windows作業系統中，提供相關的編程介面。(註: 在2008年8月，NVIDIA推出了CUDA 2.0。) 為何使用 GPU? GPU 與 CPU 的差別 這兩者的主要差異在於”浮點運算的能力” ，GPU的特長在於：密集運算、高度平行運算(特別是適用於圖形的渲染)；這麼多的晶體管線設計，為的就是強化資料的處裡，這跟CPU著重於資料的快取以及流程控制是不同的，示意圖說明如下： 程式處理流程 通用的平行運算架構 nVIDIA在2006年11月提出了CUDA?的架構，這是一個通用的平行運算架構，擁有一個全新的平行運算編程模型以及指令集架構，它使得nVIDIA GPU能夠比CPU更有效率的去解決許多複雜的問題。 CUDA提供開發者基於像是C這樣一個高階語言的軟件環境來進行開發，也允許其他的高階語言，例如，CUDA Fortran、OpenCL和DirectCompute等等。示意圖如下： 可彈性的編程模型 可彈性編程它有三個核心關鍵： 階層化的線程群組 共享的記憶體 同步執行時所使用的壁壘 允許線程之間彼此合作來解決每一個子問題，同時也會自動調整解決問題的架構。事實上，每一個線程塊可以在任何有效的處理器核心被預定，所以一個可被編譯的CUDA程式可以在擁有任意核心數目的處理器上被執行(參考下頁圖示)，所以程式只有在運算時才需要知道處理器的實際物理數量。 這個彈性的編程模型使CUDA的架構能跨越廣闊的市場，而這個架構也僅僅只是去調整處理器的數目和記憶體要如何分配切割。 可彈性編程模型示意圖 CUDA 對應的 PTX 程式碼、cubin 資訊 CUDA 的編譯過程 範例(一) 下列的範例是如何用 C++ 自GPU的image 陣列中取得紋理（texture）