人工智能创新实验教程 课件 第12--14章 深度学习基础、 感知机算法、 卷积神经网络.pptx

宁夏大学第十二章深度学习基础

深度学习基础2目录

CONTENT01基础知识02神经网络基础03激活函数04神经网络05损失函数0607优化方法本章小结

基础知识01

1.1框架介绍深度学习框架是一种界面、库或工具，它使我们在无需深入了解底层算法的细节的情况下，能够更容易、更快速地构建深度学习模型。深度学习框架利用预先构建和优化好的组件集合定义模型，为模型的实现提供了一种清晰而简洁的方法。利用恰当的框架来快速构建模型，而无需编写数百行代码，一个良好的深度学习框架具备以下关键特征：优化的性能易于理解和编码良好的社区支持并行化的进程，以减少计算自动计算梯度

1.1.1TensorFlowTensorFlow是由谷歌大脑团队的研究人员和工程师开发的，它是深度学习领域中最常用的软件库（尽管其他软件正在迅速崛起）。它完全是开源的，并且有出色的社区支持。TensorFlow为大多数复杂的深度学习模型预先编写好了代码，比如递归神经网络和卷积神经网络。TensorFlow如此流行的最大原因之一是支持多种语言来创建深度学习模型，比如Python、C和R，并且有不错的文档和指南。TensorFlow有许多组件，其中最为突出的是：Tensorboard：帮助使用数据流图进行有效的数据可视化TensorFlow：用于快速部署新算法/试验TensorFlow的灵活架构使我们能够在一个或多个CPU（以及GPU）上部署深度学习模型。下面是一些典型的TensorFlow用例：基于文本的应用：语言检测、文本摘要时间序列分析图像识别：图像字幕、人脸识别、目标检测视频分析声音识别

1.1.2KerasKeras用Python编写，可以在TensorFlow（以及CNTK和Theano）之上运行。TensorFlow的接口具备挑战性，因为它是一个低级库，新用户可能会很难理解某些实现。而Keras是一个高层的API，它为快速实验而开发。因此，如果希望获得快速结果，Keras会自动处理核心任务并生成输出。Keras支持卷积神经网络和递归神经网络，可以在CPU和GPU上无缝运行。可以将Keras中的模型大致分为两类：1.序列化模型的层是按顺序定义的。这意味着当我们训练深度学习模型时，这些层次是按顺序实现的。下面是一个顺序模型的示例：

1.1.2Keras2.Keras函数API用于定义复杂模型，例如多输出模型或具有共享层的模型。请查看下面的代码来理解这一点：Keras有多种架构，如下所述，用于解决各种各样的问题，其中包括：图像分类VGG16VGG19InceptionV3Mobilenet及更多可以参考官方的Keras文档来详细了解框架是如何工作的。

1.1.3PyTorch如果考虑到数据科学家和开发者们拥抱Facebook的PyTorch的速度，那TensorFlow可能很快就要落伍了。PyTorch是Torch深度学习框架的一个接口，可用于建立深度神经网络和执行张量计算。Torch是一个基于Lua的框架，而PyTorch则运行在Python上。PyTorch是一个Python包，它提供张量计算。张量是多维数组，就像numpy的ndarray一样，它也可以在GPU上运行。PyTorch使用动态计算图，PyTorch的Autograd软件包从张量生成计算图，并自动计算梯度。与特定功能的预定义的图表不同，PyTorch提供了一个框架，用于在运行时构建计算图形，甚至在运行时也可以对这些图形进行更改。当不知道创建神经网络需要多少内存的情况下，这个功能便很有价值。可以使用PyTorch处理各种来自深度学习的挑战，包括：影像（检测、分类等）文本(NLP)增强学习 安装步骤取决于操作系统、需要安装的PyTorch包、正在使用的工具/语言、CUDA等其他一些因素。

1.1.4CaffeCAFE是另一个面向图像处理领域的、比较流行的深度学习框架，它是由贾阳青（YangqingJia）在加利福尼亚伯克利大学读博士期间开发的。同样，它也是开源的！首先，Caffe对递归网络和语言建模的支持不如上述三个框架。但是Caffe最突出的地方是它的处理速度和从图像中学习的速度。Caffe可以每天处理超过六千万张图像，只需单个NVIDIAK40GPU，其中1毫秒/图像用于推理，4毫秒/图像用于学习。它为C、Python、MATLAB等接口