β

PID和LSTM

Just Pic 18 阅读
 

PID控制是EKF的特例,EKF是RNN的特例,RNN又是LSTM的特例。PID和EKF都是用于控制的,所以RNN和LSTM能用于控制也就不奇怪。这些方法都是对时序关系的刻画,控制也是属于对时序关系的刻画。PID的时间步之间的关系是简单线性关系,参数靠经验设定;EKF稍复杂,时间步之间为物理建模关系,参数也需要靠经验设定;RNN的时间步之间关系是非线性,参数通过数据学习,且每一步必定有输出;LSTM的时间步之间关系是非线性,参数通过数据学习,且不一定每一步都有输出。P.S. 最近CNN技术有侵袭RNN传统优势领域的趋势,比如语音识别会用到CNN,Facebook的Fairseq完全用CNN来替代LSTM原来的角色[1]。当然Fairseq用了LSTM的gate技术。反过来LSTM也在开始玩dropout等CNN的传统技术[2]。刻画空间关系的CNN和刻画时间关系的RNN有相互借鉴的趋势(当然时间和空间两者本质是高度统一的,何必介意刻画的是时间还是空间)。所以哪天如果CNN被用于控制了,也不要惊讶。

作者:Yi Zheng 链接:https://www.zhihu.com/question/29727968/answer/167767441 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

https://juejin.im/entry/5b74da6e6fb9a0098f22489e?utm_

 
作者:Just Pic
原文地址:PID和LSTM, 感谢原作者分享。

发表评论