深构造网络_类脑计算的新方向.pdf

深构造网络深构造网络：：类脑计算的新方向类脑计算的新方向 摘要摘要 类脑计算实际上存在两个技术层面：第1层面是“走出诺依曼框架”，主要属于人工神经网络的大范畴；第2层面是“基于神 经科学的计算机算法”，试图超越人工神经网络框架和摆脱权值计算模型，实现对生物脑的高逼真性模拟。第2层面研究有两类 方法，一类是“大科学”，例如欧盟的“人类脑计划”和美国的“BRAINs”计划；另一类是“小科学”，例如Numenta公司的“新皮质层 模型”和MindputerLab的“脑的深构造网络”研究。本文总结比较了类脑计算各主要层类的方法特点，重点介绍了深构造网络 的基本概念、深构造脑模型的研发进展和深构造网络技术的应用优势。 关键词关键词 类脑计算；深构造网络；神经深构造运算；类脑计算机；深构造脑模型 1 类脑计算的主要类别及方法特点 计划，虽然技术路径不同，但都是从生物脑的微观层面的实 类脑计算是对比计算机信息技术与脑神经信息功能的 验数据和知识入手，通过逐渐整合，向上寻找中观和宏观层 智能差距后而提出的技术理想，目标是发展仿脑的高智能计 面上的数量关系规律，最终建立起整体的脑理论模型。 算机器。目前各实验室在同一起跑线上，正处于像莱特兄弟 该类方法的特点是“自下而上”，一场大规模的微观海量 早期飞行时的探索阶段。 的数据和碎片化的实验知识的“拼图工程”。首先发展高尖 类脑计算研究，实际上存在两个技术层面：一个是“超越 端技术工具，以实现对脑的微观的结构和功能的全面测量和 诺依曼框架”，一个是“基于神经科学的计算机算法”。表面 记录；然后建立起全脑微观数据库；在此基础上，逐渐向大规 看相仿，但性质不同。例如，人工神经网络（ANN）几十年前 模的脑计算模型上发展，并试图形成对脑活动、脑病变和脑 就走出了诺依曼框架。现在多数在做的神经形态芯片、神经 智能的机制性解读的整体理论；最后形成比较成熟的类脑计 计算机、深度学习软硬件项目等，都是ANN范围的技术延 算技术和类脑人工智能。这种研究属于长周期的大科学或 伸。支持者们相信，ANN的神经元模型是基于突触可塑性原 大工程，需要动员大量人力物力和财力。 理而形成的；多层深度神经网络是在脑神经视觉网络基础上 第2类研究方法的特点是“自上而下”。直接将研究重心 发展起来的，因此都属于类脑计算性质。反对者认为，简单 放在一个“好的”脑理论的建造上，然后向下导出神经元模型 的神经元计算模型并不能真正实现对生物性神经元的复杂 和神经元群体网络模型；之后测试和检验模型与微观神经知 的树突结构及其复杂工作模式的仿真。ANN的结构与生物 识和数据之间的契合度。这种研究的关键在于怎样找到正 脑的网络结构本质不同，两种网络的结构复杂度及智能表现 确的理论入手点，这一步不是单纯的建模方法问题，也不是 差异巨大。因此反对者认为，试图“超越诺依曼框架”的类脑 一般的学科性理论问题，而是若干个重要学科的理论进程中 计算，并不等于是“基于神经科学的计算机算法”，这是两个 的汇合点上的再综合，属于科学大周期性的结晶过程。这种 技术层面。 研究属于长周期和“形而上”的小科学。目前，采用第2类方 大多数现有的“类脑计算”项目属于第1技术层面，无论 法的主要有美国Numenta公司和中国的神经深构造运算与脑 是软件或硬件，无论其技术路径怎样不同，仍然没有脱离出 计算机实验室（Neural Deep Structure Computing Mind ANN的大范畴。而第2技术层面“基于神经科学的计算机算 ComputerLab，MindputerLab），两个实验室技术路径虽异，但 法”是一个很高的技术理想，实质上是在试图超越ANN框架 总体方法都是先从全脑角度来建立理论框架，然后将理论逐 和摆脱权值计算模型。目前国内外只有少数几个在做的研