如何从0训练企业自用SoraLatte模型.docxVIP

1

如何從0訓練企業自用Sora/Latte模型

By神櫻團隊/高煥堂教授指導

1.前言：ViT的魅力

l雖然OpenAI公司的Sora不是開源模型，但與它非常相近的Latte是開源的。

l由於Latte與Sora都採用ViT(VisionTransformer)架構。我們可以從Latte的開源模型出發，來深入了解Latte與Sora的核心機制---ViT。

lViT是將圖像分割成固定大小的圖像塊(Imagepatch/token)，並對每一個圖像塊進行嵌入編碼並添加位置的資訊，然後將得到的向量序列送入Transformer編碼器裡。也就是，在把影像資料送入編碼器(Encoder)之前，先將其轉換為序列(Sequence)的形式。如下圖所

示：

2

----------------------------------------------------------------------------

(引自https://hackmd.io/@YungHuiHsu/ByDHdxBS5)

l典型的TransormerEncoder架構，包含下述組件：

---兩個核心模組：多頭注意力機制(MSA)和全連接層(MLP)。---內含Layernorm(LN)+殘差跳接(Residualconnections)。---一個提取輸入特徵的position-wiseFFN層。

lViT的關鍵是建立圖像到向量的轉換，並保持圖像的特點。例如，

ViT藉助強鬆弛條件將圖像轉換爲包含多個低水平信息的Patch嵌入，也可以利用卷積提取高級信息，同時降低Patch的冗餘特徵。

l在ViT之前，最常用的影像生成途徑是：3DUNet架構。這3D

UNet架構也常內含Transformer模型。然而，其Transformer是運行於UNet內部，並無法看到全貌，因而常會導致影片中連續幀之間缺乏一致性，也缺乏對較大運動的充分學習能力。

l到了ViT架構，則由Transformer掌握全貌來主導影像的生成任務。ViT的建模方法很類似於一般的LLM模型---將影片視為一個序列

3

----------------------------------------------------------------------------

(Sequence)，而影片中的每一小塊影像，就成為序列中的區塊

(Token)了。例如，為了將一張影像變成一串序列編碼，我們需要把H×W×C的影像變成N×(P2×C)。如下圖：

(引自/@andy6804tw/)

l再如，一張原始圖片大小為48x48x3，如果PatchSize=16，就將會把一張圖片切成9個patch，每個patch大小為16x16x3。如下圖：

(引自/@andy6804tw/)

4

----------------------------------------------------------------------------

l再如，一張原始圖片大小為224x224x3，如果PatchSize=32，就將會把一張圖片切成49個patch，每個patch大小為32x32x3。如下圖：

(引自/@andy6804tw/)

l這與LLM語言模型標記器的工作原理很相近，影片可以編碼為標記序列(Tokensequence)。一旦順序建立起來，我們就可以直接套用Transformers了。也就是，ViT採用與LLM模型類似的機制：將影片轉換為標記序列，然後可疊加成為多層Transformers架構了。

l與3DUNet相比，ViT使模型能夠更專注於學習運動影像的模式。更大的運動幅度和更長的影片長度一直是影片生成模型的挑戰。ViT顯著增強了這些方面的能力。

l所以