稀疏分布表征.pdfVIP

  1. 1、本文档共12页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
稀疏分布表征

章节修订历史 本表格记录修订版本之间的重大改动。类似简单说明或者变更格式这样的细微修改并不会加以记录。 版本号 改动 日期 改动内容 负责人 A. Lavin, S. Ahmad, 0.4 Initial release J. Hawkins 0.41 Dec 21, 2016 Replaced figure 5 and made some clarifications. S. Ahmad 0.42 May 30, 2017 Correction to equation (12) S. Ahmad 稀疏分布表征 本章我们介绍稀疏分布表征(SDR),这是脑和 HTM 系统 中的信息表征的基本形式。我们会讨论 SDR 的数个既有 趣又有用的数学特征,并且论述在脑 中 SDR 是如何运用的。 什么是稀疏分布表征? AI 领域最有趣的挑战之一是知识表征问题。采取计算机可以处理的某种形式来表示日常事实和关系已经被证实是 很难通过传统计算机科学的方法完成的。最根本的问题在于我们对世界的认识没有划分成具有明确关系的离散事实。几 乎所有我们知道的事情都有例外,而且概念之间的关系太多、不明确,所以无法映射到传统的计算机数据结构。 脑没有这个问题。它们运用一种称作稀疏分布表征的方法,即 SDR 来表示信息。SDR 以及它的数学特征对生物智 能至关重要。脑做的每件事、本书描述的每条原理,都是基于 SDR 。SDR 是脑的语言。人类智能的灵活性和创造性离不 开这种表征方法。所以,如果我们想让智能机器具有同样的灵活性和创造性,它们就要基于相同的表征方法,也就是 SDR 。 一条 SDR 由数千个比特组成,在任何时刻,有一小部分的比特是置 1 的,其余的是置 0 的。SDR 中的比特对应于 脑中的神经元,置 1 的是相对激活的神经元,置 0 的是相对抑制的神经元。SDR 最重要的特征是其中每个比特都有意 义。所以,任何特定表征中的激活比特编码了所表示的语义属性。这些比特没有被标记(也就是说,比特没有被指定其 含义),与之相反,比特的语义是习得的。如果两条 SDR 在相同的位置上有激活比特,那么它们共享由这些比特表示 的语义属性。通过确定两条 SDR 的重叠部分(两条 SDR 中对应位置都置 1 的比特),我们可以很快理解两个表征是如 何在语义上相似,以及它们在如何在语义上不同。由于这种语义重叠特征,基于 SDR 的系统能够自然而然地以语义相 似性为基础推而广之。 HTM 理论规定了如何创建、存储、回忆 SDR 和 SDR 序列。SDR 不像计算机的数据那样在内存中来来去去,反而像 在固定的神经元群中的激活神经元,随着时间而变化。在某个时刻,一组神经元代表某个意思;在下个时刻,它就代表 其他的意思。在一组神经元中,在某个时刻的 SDR 可以关联地链接紧接着要出现的 SDR 。这样,SDR 的序列就被学习 到了。关联链接也出现在不同的细胞群之间(层次之间或者区域之间)。一个区域的神经元编码的含义不同于另一个区 域的神经元编码的含义。这样,一种形态的 SDR ,比如声音,可以关联调用另一种形态的 SDR ,比如视觉。 任何类型的概念都可以编码到一条 SDR 中,包括不同类型的传感器数据,比如词语、位置和行为。这也是为什么 新皮质是通用的学习机器。新皮质的各个区域操作 SDR ,并不用“知道”它们在现实世界代表什么。HTM 系统的运作方式 是相同的。只要输入信息采用了适当的 SDR 格式,HTM 算法就可以工作。在基于 HTM 理论的系统中,知识是数据所固 有的,而不是算法中的。 为了更好地理解 SDR 的特征,回想一下计算机中的信息普遍是如何表示的,以及 SDR 相对于计算机的信息表征体 系的优缺点,这样会有帮助。在计算机中,我们用比特和字来表示信息。比如,要表示内科病人的信息,计算机程序可 能会用一个字节存储病人的年龄,用另一个字节存储病人的性别。用列表或者树这样的数据结构组织相关的信息。如果 我们需要表示的信息定义良好并且程度有限,这种

文档评论(0)

sunshaoying + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档