Please enable JavaScript.
Coggle requires JavaScript to display documents.
Memory Networks(2014) (实现 (模块 (新的记忆单元 (原因 我们已经增加了访问记忆单元的成本(当前step需要前面step…
Memory Networks(2014)
实现
概述
每个记忆单元可以被认为是RNN记忆单元的扩展,不同的是,网络输出一个内部状态来选择从哪个单元读取或写入
模块
新的记忆单元
原因
- 我们已经增加了访问记忆单元的成本(当前step需要前面step的信息,也就把成本用在记忆上),通过读取周围step的向量,可以抵消部分成本
- 记忆单元允许使用内容的寻址,其中从一个单元读或写的区中是该单元的函数
背景
神经网络擅长存储隐性知识,但是它们很难记住事实,因为神经网络缺乏工作存储系统,即类似人类实践一些目标而明确保存和操作相关信息的系统
-
-