神经网络中矩阵.pptxVIP

神经网络中的矩阵 向量相关操作 数与向量相乘 数k 与向量 a = (a , b , c )相乘，结果 k x a = (ka , kb , kc) 向量与向量相乘 设向量 a = (x1 , x2 , x3), b = (y1 , y2 , y3)； 点乘(Dot Product) \内积；结果为标量(Scalar) ； a · b = x1y1 + x2y2 + x3y3 叉乘(cross product)\外积；结果是个向量  a x b = ( x1y1 , x2y2 , x3y3 ) 加法；两个向量相加，结果仍然是一个向量  a + b = (x1 + y1, x2 + y2 , x3 + y3) 矩阵与向量相乘 矩阵与矩阵相乘 C或C++ 中BLAS (Basic Linear Algebra Subprograms)库 BLAS部分名词解释 A，B，C - 矩阵 (matrices) D，DL ，DR - 对角矩阵（diagonal matrices） H - Householder 矩阵，行列式 = 1 op(A) - 表示 A，或者AT 或者 AH transpose - 表示 AT u,v,w,x,y.x - 向量 （vectors） 方法名前缀 S - 单精度 （float） D - 双精度 （double precision） C - 复数 （complex) Z - 双精度复数（complex * 16 或者 double complex） BLAS方法名关键字 GB - 一般带状矩阵(general band) GE - 普通矩阵（general） HB - (complex) Hermitian band HE - (complex) Hermitian 埃尔米特矩阵（厄米矩阵/自伴随矩阵） HP - (complex) Hermitian , packed storage 压缩储存Hermitian矩阵 SB - (real) symmetric band 对称带状矩阵 SP - symmetric ， packed storage 对称压缩存储矩阵 SY - symmetric 对称矩阵 TB - triangular band 三角带状矩阵 TP - triangular ，packed storage 三角压缩矩阵 TR - triangular 三角或者拟三角矩阵 US - unstructured sparse 杂乱稀疏矩阵 BLAS方法名举例 Dgemv - D:双精度 ，GE:普通矩阵 MV: 矩阵乘向量 ，双精度普通的矩阵乘向量 SGBMV – S:单精度，GB：带状矩阵 MV：矩阵与向量，单精度带状矩阵与向量 Sger - S:单精度，GE：普通矩阵 ，单精度普通矩阵 Dgemm – D:双精度，GE:普通矩阵，MM：矩阵与矩阵，双精度普通矩阵与矩阵操作 参考文档 /blas/ /blas/blasqr.pdf 深度网络中的矩阵 梯度下降求解过程 梯度下降中的矩阵 BLAS实现库 OpenBLAS ：继任GotoBLAS的开源BLAS的实现，主要由中国科学院软件研究所并行软件与计算科学实验室进行开发。 Intel MKL ：  Intel核心数学库，支持Pentium，Intel Core与ItaniumCPU系列。实现平台包括Linux, Windows及OS X GSL ： GNU科学数值库（GNU Scientific Library）包含了GNU下的多平台C语言实现。 cuBLAS ： NVIDIA CUDA SDK包含了BLAS功能，通过GPU进行计算。 Cudnn ： NVIDIA CUDA 专门针对深度网络开发的GPU加速工具包。向Caffe, TensorFlow, Theano, Torch这些开源框架都采用了cudnn加速。 Caffe 研究 Caffe的全称应该是Convolutional Architecture for Fast Feature Embedding，它是一个清晰、高效的深度学习框架，它是开源的，核心语言是C++，它支持命令行、Python和Matlab接口，它既可以在CPU上运行也可以在GPU上运行。 Caffe的设计：所有的计算都是以层的形式表示的，层做的事情就是输入一些数据，然后输出计算之后的结果。比如说卷积，就是输入一个图像，然后和这一层的参数（filter）做卷积，然后输出卷积的结果。 Caffe的优点：模块化、表示和实现分离、测试覆盖、Python和Matlab接口、完整的文档等等。 参考资料： Caffe简介 Caffe源码 TensorFlow源码 Caffe 与 TensorFlow 比较 各种