指数步长衰减混沌鱼群搜索优化算法在神经网络损失函数优化中的应用.docx

L.A. Demidova et al. / Procedia Computer Science 186 (2021) 352–359 PAGE 359 PAGE 358 L.A. Demidova et al. / Procedia Computer Science 186 (2021) 352–359 指数步长衰减混沌鱼群搜索优化算法在神经网络损失函数优化中的应用 摘要 鱼群搜索(FSS)算法是一种寻找全局最优解的启发式技术。该算法具有实现简单、性能高的特点。自从第一次提到FSS以来，这种有效的优化算法已经引起了全球研究和实践者的极大兴趣。存在FSS的修改，应用于解决实际问题，包括电阻抗断层成像中的图像重建，在装配线平衡问题中寻找最优解，神经网络结构优化。在这篇文章中，我们考虑了FSS算法的一种改进，它利用混沌理论产生均匀分布的伪随机数，并结合了指数阶跃衰减。所描述的改进优化算法被称为ETFSS，其特点是收敛速度更快，性能更好。为了进一步研究新优化算法的性能，我们将ETFSS应用于神经网络损失函数优化。此外，我们还将所描述的方法与其他机器学习技术进行了比较，例如支持向量机(SVM)算法、k-最近邻(KNN)算法和基于反向传播的神经网络(使用自适应矩估计(Adam)优化器进行训练)。我们使用T分布随机邻域嵌入(TSNE)方法和均匀流形逼近和投影(UMAP)方法来可视化分类结果，以便在考虑分类性能和数据集形状的情况下提供更多细节。获得的结果证实，与反向传播相比，ETFSS可以产生稍微更准确的分类。 关键词:进化优化；群体智能；鱼群搜索；混沌地图；神经网络；反向传播；UMAP；TSNE 1。 介绍 优化问题是许多现代机器学习算法[1]的核心，包括支持向量机(SVM)算法[2]、k-均值聚类[3]、神经网络等。这种机器学习技术的核心思想是最小化算法参数的损失函数。神经网络是一个系统，允许利用复杂的非线性系统的进化来做出决策[4]。这样的系统接受一个向量，该向量对输入对象进行编码，输出向量对神经网络做出的决策进行编码。在神经网络中，损失函数是针对网络的权重和偏差进行优化的。 最广泛使用的神经网络损失函数优化技术之一是反向传播[5]和随机梯度下降(SGD) [6]。根据机器学习问题的性质，损失函数的搜索空间可能包含大量的局部极小值，这可能导致SGD过早收敛。为了克服这个问题，最近的神经网络研究引入了许多基于SGD的增强优化器，包括具有动量和内斯特罗夫加速梯度的SGD[7]、自适应矩估计(Adam)算法[8]和其他算法。所有这些优化器都包含自适应学习速率，以增加从可能的局部极小值跳出并收敛到更好解的机会。 进化算法是受自然界启发的启发式全局优化方法。这些算法也被称为基于人口的算法；他们一次处理多种解决方案。这种算法不要求优化函数是可微的，并且可以应用于算法的损失函数优化，或者机器学习算法的超参数调整。在多峰优化问题中，与经典的基于梯度的方法相比，受进化启发的算法显示出更好的结果。基于群体的算法和经典算法的混合也存在，旨在从两个世界中取长补短[9，10]。粒子群优化算法在极限学习机中有已知的应用[11]。遗传算法在解决聚类问题中有应用[12，13]。鱼群搜索(FSS)和蜜蜂群优化算法被用于训练神经网络进行移动性预测[14]，其中FSS展示了优越的结果。 FSS算法最初是由巴斯托斯-菲洛等人发明的[15]。该算法应用于电阻抗断层成像的图像重建[16]，智能辅助系统[17]。最近的研究引入了FSS [18，19]的许多修改，其特征是更快的收敛和改进的性能。在本文中，我们考虑了一种改进，它将指数阶跃衰减引入FSS，并使用基于混沌帐篷映射的伪随机数发生器(PRNG)来更快地生成均匀分布的伪随机数[19]。作者将这一修改缩写为ETFSS。与原始的FSS算法、遗传算法和粒子群优化算法相比，该算法显示出优越的结果。 在本研究中，我们比较了解决二元分类问题的不同方法。我们将ETFSS算法应用于神经网络损失函数优化，并在机器学习中将这种方法与SVM和KNN算法进行比较，并与使用Adam优化器反向传播训练的神经网络进行比较。我们使用t分布随机邻域嵌入(TSNE) [20]和均匀流形逼近和投影(UMAP) [21]多维可视化算法可视化分类结果，以便考虑数据集的形状和分类的准确性来提供更多上下文。 术语 灭火系统(Fire Suppression System) 鱼类学校搜索 基于帐篷图的指数阶跃衰减鱼群搜索 支撑向量机 支持向量机 近邻算法 k近邻 圣经》和《古兰经》传统中）亚当（人类第一人的名字 自适应矩估计 TSNE t分布随机邻居嵌入 UMAP均匀流形逼近和投影 PRNG伪随机数发生器 签名于 随机梯度下降 2。 指