商务智能实训实验报告.doc

商务智能实训实验报告 组长：李承冲 2012211195 组员：姜俏南 2012211172 刘启丽 2012211171 贾晓锋 2012211173 王 昱 2012211194 陆 为 2012211180 班级： 0311203 组长： 李承冲 成员 完成的任务及工作量 组长评定成绩 姜俏南 运行代码的编写,Apriori与K均值算法的简介伪代码特点等 90 刘启立 Bays算法的介绍、业务流程及伪代码、最新改进及最新应用情况、参考文献等 85 贾晓锋 文档编写汇总；Knn算法的介绍、分析、最新改进或最新应用情况等 90 王 昱 BP算法的介绍、步骤解析、算法特点等 85 陆 为 ID3算法的流程、不足及改进、参考文献等 83 一、BP算法 - 1 - 1.算法介绍 - 1 - 2.BP网络的解析步骤 - 3 - 3.运行的可视结果 - 4 - 4.算法特点分析 - 4 - 5.发展趋势 - 6 - 6.参考文献 - 6 - 二、Apriori算法 - 6 - 1.算法介绍 - 6 - 2.算法流程 - 6 - 3.运行的可视结果 - 7 - 4.最新改进或最新应用情况 - 9 - 5.参考文献列表 - 9 - 三、Bays算法 - 10 - 1.算法介绍 - 10 - 2.伪代码及流程 - 10 - 3.运行的可视结果 - 11 - 4.最新改进及最新应用情况 - 12 - 5.参考文献列表 - 12 - 四、ID3算法 - 13 - 1.算法介绍 - 13 - 2.流程 - 13 - 3.运行的可视结果 - 13 - 4.不足及改进思路 - 13 - 5.参考文献列表 - 14 - 五、kNN算法 - 14 - 1.算法介绍 - 15 - 2.算法流程 - 15 - 3.运行的可视结果 - 15 - 4.算法特点分析 - 16 - 5.最新改进或最新应用情况 - 16 - 六 - 17 - 1.算法介绍 - 17 - 2.流程 - 17 - 3.运行的可视结果 - 18 - 4.最新改进或最新应用情况 - 21 - 5.参考文献列表 - 21 - 附录 - 21 - 1.BP算法代码 - 22 - 2.Apriori算法代码 - 52 - 3.Bays算法代码 - 61 - 4.ID3算法代码 - 91 - 5.kNN算法代码 - 100 - 6.K均值算法代码 - 103 - 一、BP算法 1.算法介绍 典型的BP网络分为三层（图4.4），即输入层、隐含层和输出层。其算法主要由以下四部分组成，即模式顺传播——误差逆传播——记忆训练——学习收敛。 1)模式顺传播 设样本输入向量，输出向量 中间单元的输入向量，输出向量 输出层的输入向量，输出向量 其中，，为样本数。 输入层到中间层的权，， 中间层到输出层的权，， 中间层阈值， 输出层阈值， 中间层输入：，输出：， 输出层输入：，输出：， 2)误差的逆传播 根据输出层产生的误差，经中间层向输入层传播，在这个过程中，按照梯度下降原则对各层的权值和阈值进行误差校正。 输出层计算： 权值调整量计算： 第k模式(样本)下，网络的输出误差的均方值为， 因为，， 所以， 上式即为权值变化对均方值误差的影响程度，按梯度下降原则应使权值调整量与的负值成比例变化，即 其中，，，。 阈值调整量计算： 因为， 所以，按照梯度下降原则，可得到输出层各单元的阈值调整量为： 中间层到输入层计算： 权值调整量计算： 按照梯度下降原则，可得到连接权值的调整量为： 阈值调整量计算： 按照梯度下降原则，可得到输出层各单元的阈值调整量为： 以上的推导是标准误差逆传播算法，即各连接权的调整量是分别与各个学习模式对的误差Ek成比例变化的。而相对于全局误差的连接权调整，是在所有m个学习模式全部提供给网络后统一进行的，这种算法是累积误差逆传播算法。一般来讲，当样本较少时，累积误差传递算法要比标准误差传递算法速度快一点。 3)记忆训练 给出一组样板反复进行学习，调整权值和阈值的大小以使输出值满足一定的精度要求。 4)学习收敛 经过多次训练以后，网络的全局误差趋向于最小值。 由于BP算法采用了按误差函数梯度下降的方向进行收敛，因此，可能使迭代陷入局部极小点，BP网络收敛依赖于样本的初始位置，适当改变隐层单元个数，或给每个权值加上一个很小的随机数，都可使收敛过程避免局部极小点。 BP网络的解析步骤 （1）初始化 给权值、和阈值、赋予(-1, 1)之间的随机值。 （2）随机取一对样本对网络进行训练 （3）计算中间层的输入/出 输入：，输出： （4）计算输出层的输入/出 输入：，输出： （5）计算输出层的一般误差 （6）计算中间层的一般误差