lec-28 Hightway Network and Grid LSTM
Table of Contents
1 Hightway Network and Grid LSTM
Special Structure 之三
1.1 Highway Network
把 RNN 用在 feedforward network 上
feedforward network 跟 RNN 很像，只是有两点不同：
- 前馈网络只有一个输入，而 RNN 在每一个 layer 出都有一个输入
- 前馈网络所有 layer 的参数都不同，而 RNN 每一个 layer 的参数都相同
1.1.1 从 GRU 到 highway network
考虑是不是可以把 RNN 当作一个特殊的 feedforward network 来用，由于 RNN 的特殊性，架构可以很深很深。
把 reset gate 拿掉，因为 feedf network 只有在开始的时候有输入，所以不能 reset. 而且这样做参数也更少，这很重要，因为 feedf net
每一层 layer 的参数都不一样。这样总体少很多。
GRU 里面 update gate 是 input gate 与 forget gate 的总和两者联动形成 update gate
tips : Highway network –> Residual network
1.1.2 highway net 好处
自动 control layer 层数
highway net 好处，自动 congtrol layer 层数
1.2 Grid LSTM
1.2.1 2d - grid LSTM
原来的 LSTM 是这样子
现在的 grid LSTM 是这样子
1.2.2 3d - grid LSTM
