AI生成艺术_擅用Paddle点云3D_GAN模型_.docx

使 使用Paddle OpenVINO PAGE 101 ˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉ PAGE PAGE 100 AI 生成藝術之路：機器學習 ˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉˉ 邁向元宇宙，AI 生程藝術之路(No.3) PaddlePaddle 的 3D 點雲 GAN 模型 By 高煥堂、Vicky(謝敏清) 說明：簡介 3D 點雲 GAN 模型 近幾年，隨著機器學習模型( 如 GAN) 和大規模 3D 資料集（如ShapeNet）的出現，三維重建可以不再依賴特徵匹配，而是藉助於從大數據中學到的形狀先驗知識，來進行重建。 GAN( 生成對抗網路) 的潛力在於它可以類比任何資料分配 (Distribution)。由於它是機器學習快速發展的領域之一。例如，在 3D ShapeNet 資料集上訓練 GAN 來生成逼真的立體形狀。 ShapeNet 數據集，是由斯坦福大學、普林斯頓大學和美國芝加哥豐田技術研究所的研究人員開發的大型 3D CAD 模型存儲庫。該存儲庫包含超過 3 億個模型， 其中 220,000 個模型被分類為使用WordNet 上位詞-下位詞關係排列的 3,135 個類。 ShapeNet Parts 子集包含 31,693 個網格，分為 16 個常見對像類（即桌子、椅子、 平面等）。每個形狀基本事實包含 2-5 個部分（總共 50 個部分類）。 圖片來源：arXiv、stanford 通常是給定物件的深度圖，然後將其轉換為體積表示並識別觀察到的表面、自由空間和遮擋空間。3D ShapeNets 可以識別物體類別，完成完整的 3D 形狀，並在初始識別不確定的情況下預測下一個最佳視圖。最後，3D ShapeNets 可以整合新的視圖以與所有視圖聯合識別 對象。 圖片來源： https://www.vis.xyz/pub/semantic-scene-completion/ 點雲(Point cloud)是 3D 幾何圖形表達的主要資料結構。它圖像和視頻等其他一般視覺資料並不相同。它使用一群不規則點來描述 3D 物件(Object)的複雜形狀表徵。於是，對事物形狀表(特)徵的學習成為點雲模型的主要任務。點雲分析成為 3D 場景理解領域中一個基本但具有挑戰性的問題。例如，對於同一個物體，不同視角所觀察到的部位是不同的。對於不可見的部位，它的重建質量會略低於可見的部位。 於是，單圖像 3D 形狀重建的關鍵挑戰是確保深度模型可以泛化到不屬於訓練集的形狀。這很困難，因為算法必須通過利用訓練數據的形狀特徵來推斷表面的遮擋部分，因此容易受到過度擬合的影響。這種對看不見的對像類別的概括是架構設計和訓練方法的功能。 圖片來源：https:/ // 近年來，點雲在電力線巡檢、智慧城市、自動駕駛等領域得到廣泛應用。由於激光掃描技術和機器學習的發展，基於深度學習的點雲處理方法越來越受到關注。 本文的目標是通過 GAN 來處理點雲資料。方法是，基於在大型數據集(如 ShapeNet)上訓練 GAN 模型。 準備訓練數據：使用 ShapeNet 數據集 將 ShapeNet 數據集的放置於您的工作區： 其中的每一個檔案都是一個 3D 圖像。 圖像的放大。 程式(1)： 讀取點雲 3D 圖像 讀取/ShapeNet_data/chair/train/裡的第 1 張圖像，並且繪出來。 程式碼： # # paa_GAN_001.py import numpy as np import os import scipy.ndimage as nd import scipy.io as sio import matplotlib.pyplot as plt data_dir = c:/oopc/ShapeNet_data/chair/train/ filenames filenames = [os.path.join(data_dir, name) for name in os.listdir(data_dir) if name.endswith(.mat)] print(len(filenames)) # nchw = [1,32,32,32] # 讀取一個 3D 的*.mat 檔案 def getVoxelFromMat(file_path): voxels = sio.loadmat(file_path)[instance] voxels = np.pad(voxels, (1, 1),