具有推理時記憶能力，通過可微的記憶模塊實現信息的存儲、檢索與遺忘，使用神經網絡的多層級抽象和非線性建模，通過數據依賴的自適應遺忘因子和自適應學習率，實現記憶強度的動態調節。

既能通過門控式更新保留長期依賴，又能基于輸入分布特性靈活整合新知識。同時，設計稀疏記憶模塊提升模型的記憶能力。