Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks
TL;DR
利用嚴格遞增及嚴格遞減的條件去限制 LSTM 的 forget gate 及 input gate，讓 model 表現變好，並且在 training 完之後可以根據 forget gate 遺忘程度的多寡來找出藏在句子中的 Tree Structure，做到Unsupervised Syntactic Parsing。
此 paper 於 ICLR 2019 獲 Best Paper Award。
Slide:
Please wait a minute for the embedded frame to be displayed. Reading it on a computer screen is better.
關於這篇提出的嚴格遞增及嚴格遞減的 gate 條件，是否真的能讓 model 表現變好，有討論於此：
「如何评价ICLR 2019 best paper: Ordered Neurons ?」
https://www.zhihu.com/question/323190069
很可能是前人實驗 report 了較低的分數造成。
更新：我的完整講解可至 https://youtu.be/YIuBHB9Ejok 觀看。