5 神经网络如何让让神经网络开口说话.docxVIP

【神经网络】如何让让神经网络开口说话 2020-05-03 原文 以下文章来源于混沌巡洋舰 ，作者许铁 HYPERLINK 混沌巡洋舰 人工智能已经在快速的转变我们的世界，当它与脑科学结合，这种转变将最终达到人本身。混沌巡洋舰站立在这两个将来的塑造者之间, 争辩这场正在发生的变革对每个行业和个体的影响。我已托付“维权骑士”为我的文章进行维权举动。 原创：?许铁?混沌巡洋舰? ? ?? 人类简史说，人类的进步大大依靠与人的言语，人在灵长类中具有最高级的言语力量，并且能够编故事，从而把越来越多的人组织在一起产生了文明，这才是人类社会进化的根本。那么，神经网络能否把握人类的言语，听懂人类的故事呢？信任伴侣们都晓得谷歌翻译，谷歌助手，机器写诗， 它们实现了令人冷艳的功能，并在某些具体任务里让人真假难辨。这里的技术核心，就是RNN。-我们常说的传奇中的循环神经网络。RNN可以称得上是深度学习将来最有前景的工具之一。它在时间序列（比如言语文字，股票价格）的处理和猜测上具有神功。 时间序列和RNN引入 让我们从基础学起，首先什么是时间序列，我们又为什么需要RNN。 时间序列，是一个随时间变化的过程，我们把它像一个数列一样陈列下来， 序列里的数字往往看起来在随机波动。 肯定程度，我们可以把它看做以一个一维的图像或向量，这个图像不停的向前滚动。比如说文字，就是一个典型的时间序列。处理和时间有关的信息，我们再次回到我们的大脑，看我们的大脑是怎样处理这一类问题的。? 试验发觉，大脑越靠近感官的区域就越像CNN的结构，它的最本质特征是前馈，也就是每一次神经信息都是从感官向大脑的深层一步步推动的，而每层网络之间是没有联系的。而到了深层，这一切发生了变化，大脑内开头消灭一些神经网络，这些网络在层间消灭了很多的连接，这意味着什么呢？? ?我们说，我们需要引入时间这个维度才能完全理解这件事，这些层内的链接意味着当下的神经信息会在下一个时辰被层内的其它神经元接受，而这个接受的结果呢？当下的信息会传给这些层内的神经元， 从而使得这个信息在网络内回响一段时间，就好像社交网络里人们相互发送消息或共享伴侣圈一样一个大事发生，就会引发一系列的社交网络动作使得信息的影响停留很久。 一个典型的例子是假如人和人彼此链接构成回路，我发出的信息可能会在若干时间又传递给我，从而让我本人直接看到我的过去历史，这个信息停留的效应是什么？大脑处理时间相关信息的关键正是记忆。?最典型的在一个对话过程里，你要记住此时此刻所说的话， 还要关联前面很久的话，否则就会发生歧义。 引入了记忆，?这些问题就好处理了，?记忆分为不同的品种，?你在一个对话里可能回忆起很久以前的事情， 但是这和刚刚说的话的重要性明显不一样， 所以我们大脑就把这些记忆分成了长时的记忆和短时的记忆（工作记忆）。这个短时记忆， 正是通过相互高度连接成回路的网络之间的神经元相互喊话形成的。 一个神经网络里神经元之间彼此相互传递信号，构成循环往复的回路结构，就可以让过去的信息保持下来，把这个原理转化成人工神经网络就是RNN，翻译出来就是循环神经网络，这个循环，正是彼此链接构成回路的意思。我们看怎样把模糊的想法一步步变成一个数学模型。? 我们把这个网络内部神经元相互链接的方式用一个矩阵Wij表达， 也就是从i到j的连接强度表示。Wij就是神经元间彼此沟通的方法，?我们看rnn的方程，一方面网络要接受此刻从外部进来的输入，另一方面网络接受本人内部的神经元从上一个时间时辰通过Wi进来的输入，这一部分代表过去的历史 ，打算网络此刻的形态。 深度学习的核心就是特征提取。用一句话说，RNN具备的素养就是把整个过去的时间信息转化成此刻的一组特征，然后让网络做猜测或者决策。比如，此刻股市的价格是全部之前和公司有关的信息一点一滴积累起来的。公司每个时间点的信息， 就是输入向量， ?那么神经元所干的事情是什么呢？?它把全部过去的信息转化为当下的神经元活动， 而这些活动，就是一组由过去历史信息组成， 打算当下猜测的特征。在股价的情况下，你可以想象成， 这些神经元就在描绘人们的决心指数， 而决心是全部过去点信息汇合的结果，RNN把每个时间步的信息通过神经元之间的相互喊话Wij，压缩成当下的一个形态向量hi，它包含了全部和我此刻决策有关的历史。数学上你可以推到， 这个hi是全部过去输入的一个函数. RNN学说话? 什么叫猜测说话，这是一个形式上开起来有点傻的例子， 就是给你一个序列的字母或单词让你猜下一个，我想你肯定玩过报纸上的填词玩耍。那个每个时间步骤的输入就是一个字母，然后我要输出最终一个。 一个处理这个问题的经典模型叫N-gram， ?它是说我可以把这个猜词的玩耍看成一系列条件概率来处理，用这个模仿过去的字母对当下字母的影响。由于我们晓得言