python用遗传算法优化神经网络_使用Python优化神经网络参数的遗传算法.pdfVIP

python⽤遗传算法优化神经⽹络_使⽤Python优化神经⽹络参 数的遗传算法 ⼈⼯神经⽹络是⼀种监督机器学习算法，在语⾳和图像识别、时间序列预测、机器翻译软件等领域都有⼴泛的应⽤。它们在研究中很有⽤， 因为它们能够解决随机问题，⽽随机问题通常允许对极其复杂的问题求近似解。 然⽽，很难定义理想的⽹络结构，因为中间层中有多少神经元，中间层中有多少神经元，以及这些神经元之间的连接应该如何实现都没有明 确的规则。为了解决这类问题，本⽂将指导如何使⽤遗传算法在Python中⾃动查找良好的神经⽹络体系结构。 ⾸先，您需要安装scikit-learn软件包。 为了训练混合算法，我们将使⽤Iris机器学习数据集。 from sklearn import datasets import numpy as np import matplotlib.pyplot as plt from sklearn.neural_network import MLPClassifier from sklearn.metrics import accuracy_score from sklearn.model_selection import train_test_split from random import randint import random from sklearn.metrics import mean_absolute_error as mae iris = datasets.load_iris() X = iris.data y = iris.target X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=42) 现在我们可以开始构建遗传算法。这⾥的神经⽹络有两个隐藏层。下⾯的Python代码显⽰了种群初始化的⽰例。种群⼤⼩由size_mlp定 义。 def inicialization_populacao_mlp(size_mlp): pop = [[]]*size_mlp activation = [identity,logistic, tanh, relu] solver = [lbfgs,sgd, adam] pop = [[random.choice(activation), random.choice(solver), randint(2,100), randint(2,100)] for i in range(0, size_mlp)] return pop 交叉算⼦是⼀种将双亲的信息结合起来产⽣新的个体的算⼦。⽬标是增加遗传变异，并提供更好的选择。这⾥使⽤单点交叉。 def crossover_mlp(mother_1, mother_2): child = [mother_1[0], mother_2[1], mother_1[2], mother_2[3]] return child 为了进⼀步增加遗传变异和避免局部极⼩值，使⽤的另⼀个算⼦是突变。突变的概率由prob_mut定义。 def mutation_mlp(child, prob_mut): for c in range(0, len(child)): if np.random.rand() prob_mut: k = randint(2,3) child[c][k] = int(child[c][k]) + randint(1, 10) return child 因为此⽰例是分类任务，所以适应度函数是根据神经⽹络的准确性计算的，在这种情况下，遗传算法的⽬标是使神经⽹络的准确性最⼤化。 def function_fitness_mlp(pop, X_train, y_train, X_test, y_test, size_mlp): fitness = [[]]*size_mlp classifiers = [[]]*size_mlp j = 0 for w in pop: clf = MLPClassifier(activation=w[0], solver=w[1], alpha=1e-5, hidden_layer_sizes=(int(w[2]), int(w[3])), random_state=1) clf.fit(X_train, y_train) fitness[j] = mae(clf.predict(X_test), y_t