AI推理解决方案安装概述目录.PDFVIP

AI 推理解决方案安装概述 目录 1、架构2 1.1 节点架构2 1.2 固件设置3 2、操作系统准备3 2.1 网络3 2.2 防火墙3 3、运行ResNet50 INT8 推理4 3.1 安装前提:Python3 和docker 4 3.2 启动docker 服务4 3.3 克隆intelai/models 资源库. 4 3.4 下载预先训练好的量化模型4 3.5 开始每对个socket 4 上的ResNet50 int8 推理进行基准测试4 4 、ResNet50 INT8 推理基准测试结果6 1、架构 该系统由 1 个 Intel Xeon Gold 6240 节点组成。以下部分详细介绍了 Intel Xeon Gold 6240 节点的架构、网络基础设施和存储基础设施。 1.1 节点架构 Hardware Description CPU 2x Intel Xeon Gold 6240 Memory 192 GB (12x 16 GB @ 2666 MHz DDR4 ECC RDIMM) Boot Drive 240 GB (1x Intel SSD DC S4510 Series) Data Network 10 GbE Mgmt Network 1 GbE Hardware qty model Inspur AI Server NF5280M5 is a 2U dual-socket 1 NF5280M5 rackmount server Intel Xeon Gold 6240 CPU at 2.6 GHz/18C/36T, 6248 2 6240/6248/ at 2.5 GHz/20C/40T 192 GB with 12 x 16 GB or higher,2933 MHz or 12 higher, DDR4 ECC RDIMM Intel SSD D3-S4510 Series 1 S4510 (240GB, 2.5in SATA 6Gb/s, 3D2, TLC) or Intel SSD D3-S4510 Series (240GB, M.2 80mm SATA 6Gb/s, 3D2, TLC) or higher Intel SSD DC P4610 Series 1 P4610 ( 2.5in PCIe 3.1 x4, 3D2, TLC) @3.2TB or higher 56Gb InfiniBand / 25GbEthernet 1 25Gb network 基本配置:2 x Intel Xeon Gold 6240 处理器，浪潮®NF5280M5 和i48，总内 存:192gb, 12 slots/ 16gb /2666 兆位每秒(MT/s) DDR4 RDIMM，禁用Intel Hyper- Threading 技术(Intel HT 技术)，使用Intel Turbo Boost 技术;存储(boot):1 ×240 GB Intel SSD DC S4510;网络设备:1 ×10gb Intel 82599ES 以太网控制器，网