基于Nadam优化器的全连接神经网络在水泥3 d及28 d抗压强度预测中的应用实践.docx

水泥抗压强度值是衡量水泥质量的一个重要指标，也是确定水泥标号的一个主要依据，在实际的生产过程中起到重要的作用，它是一个典型的非线性、多变量、不确定、多时滞的复杂系统。目前，国内外学者对水泥抗压强度预测进行了多方面的研究，崔运美通过线性回归分析及非线性回归分析建立了1d抗压强度和28d抗压强度模型；张大鹏等通过多元回归分析方法建立28d抗压强度模型；林远煌通过使用BP神经网络建立了水泥配料各组分掺入量与28d抗压强度的模型。由于该系统的非线性、多变量、多时滞等特性，导致传统的预测方法准确性较差，难以在实际生产过程中普遍推广和应用。近些年来一些研究者将人工智能算法应用到了水泥强度预测方面，取得了一定的效果。随着深度学习技术近些年的快速发展，在非线性回归分析中得到了较好的效果，针对以上水泥抗压强度预测存在的问题，本文基于TensorFlow深度学习框架，采用Python编程语言，使用Nadam优化器的全连接神经网络深度学习算法，实现了对水泥3d抗压强度和28d抗压强度的预测。

1、TensorFlow及Keras深度学习框架

TensorFlow是Google开源的基于数据流图的机器学习框架，支持Python和C++语言。广泛应用在图像分类、物体检测、模型预测等领域。

Keras是基于TensorFlow和Theano的深度学习库，包括由Python编写而成的高级神经网络API，使用Keras可以快速实现对TensorFlow的再次封装，大幅减少纯粹使用TensorFlow实现深度学习的代码量。

本文中的环境包括Anaconda及Pycharm，在Anaconda中配置了Python3.7虚拟环境供Pycharm使用，TensorFlow版本为2.3.0。

Pycharm是由JetBrains打造的一款PythonIDE，本文采用Pycharm2020.3，其环境设置见图1。

图1Python虚拟环境

2、特征参数选取及数据预处理

水泥强度的影响因素较多，其主要影响因素有熟料的质量、SO3含量、混合材的掺入量及粉磨细度等。熟料的矿物组成及其结构决定了熟料的质量，对水泥强度的增长起决定性作用，水泥28d强度基本依赖于C3S的含量，C3S含量高早期强度增长率高，在28d时已基本发挥出最高强度的绝大部分；C2S主要影响水泥后期强度；C3A主要对1d、3d等早期强度影响大；C4AF对水泥强度无较大的影响。因此，合理、稳定的矿物组成是确保水泥强度及其增长率的重要因素。水泥中SO3含量主要来源于石膏，其含量的变化影响硅酸盐水泥的水化，尤其是C3A的早期水化。混合材的掺入量对水泥性能有一定的影响，采用烧失量取代石灰石掺入量作为特征较直观。粉磨细度对水泥各龄期强度有一定的影响，粉磨越细、颗粒级配越窄，水泥水化反应速度越快，强度越高，尤其对早期强度的影响最为显著。

样本数据包括某厂12个月759组P·O42.5数据，部分数据见表1。

表1样本原始数据

模型选取细度、比表面积、初凝、终凝、烧失量、CaO、SO3、1d抗压强度共计8个参数作为输入特征参数，3d抗压强度及28d抗压强度分别作为3d及28d强度预测神经网络输出特征进行模型辨识。

数据预处理主要包括误差处理和数据变换，由于样本数据有不同的工程单位，且在数值上相差很大，直接使用这些未经过数据变换（归一化）的原始数据容易引起计算误差增大和计算的不确定，影响学习速度及精度，为了加快神经网络的学习速度和模型精度，样本数据必须经过归一化处理才能作为训练样本输入。归一化使用sklearn的MinMaxScaler函数进行[0，1]区间的归一。需要重点说明数据归一化在深度学习中在实践过程中发现十分关键，直接影响模型精度，不可忽视。

计算公式如下：

3、神经网络模型训练及预测

Momentum（动量）算法是计算梯度的指数加权平均数，并利用该值来更新参数值，可有效解决局部最优问题（如鞍点问题）。

RMSProp（RootMeanSquareProp）算法是在对梯度进行指数加权平均的基础上，引入平方和平方根，有助于减少抵达最小值路径上的摆动，并允许使用一个更大的学习率，从而加快算法学习速度。

Adam是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重，可以看作是修正后的Momentum+RMSProp算法，相对传统的SGD随机梯度下降优化器，Adam对超参数的鲁棒性更好。

Nadam类似于带有Nesterov动量项的Adam。公式如下：

一般而言，在想使用带动量的RMSprop，或者Adam的地方，大多可以使用Nadam取得更好的效果。?

全连接神经网络包括输入层、隐含层及输出层，具备前向传播计算损失及反向传播更新参数的特性，其