什么是传递熵（最基本的定义），传递熵的公式是什么（可以的话，用中文解释一下），如何推导的

Python015

什么是传递熵（最基本的定义），传递熵的公式是什么（可以的话，用中文解释一下），如何推导的,第1张

信息熵由Shannon于1948年提出，用于衡量变量不确定性的大小。在此基础上，Schreiber于2000年提出了传递熵的概念。离散过程的传递熵表达式为：

y到x的传递熵实质为y的信息对于x不确定性大小的改变，即y传递给x的信息量的大小。因此，传递熵同样可以作为衡量因果性的指标。传递熵由于考虑的是变量间的信息量传递，而不需要假定变量间具有特定形式的关系，因此具有比Wiener-Granger因果性更好的适用性，尤其是对于非线性系统。

1.  correlation：有线性的皮尔逊相关系数(Pearson Correlation Coefficient)和数据排序相关的斯皮尔曼等级相关（Spearman’s correlation coefficient)

2. 互信息(mutual information)： 可衡量非线性的关系 ，或者 延迟的互信息(delayed mutual information)

3. 格兰杰因果关系检验(granger causality)

诺贝尔经济学奖获得者，英国经济学家克莱夫·格兰杰（Sir Clive William John Granger），是著名的经济时间序列分析大师，被认为是世界上最伟大的计量经济学家之一。Granger从预测的角度给出了因果关系的一种描述性定义，这就是我们现在所熟知的Granger因果关系。

Granger指出：如果一个变量X无助于预测另一个变量Y，则说X不是Y 的原因；相反，若X是Y的原因，则必须满足两个条件： 第一，X应该有助于预测Y，即在Y关于Y的过去值的回归中，添加X的过去值作为独立变量应当显著地增加回归的解释能力；第二，Y不应当有助于预测X，其原因是，如果X有助于预测Y，Y也有助于预测X，则很可能存在一个或几个其他变量，它们既是引起X变化的原因， 也是引起Y变化的原因。现在人们一般把这种从预测的角度定义的因果关系称为Granger因果关系。

参见    http://blog.csdn.net/baimafujinji/article/details/6496224  

4. 传递熵（transfer entropy）

相信随着 大数据 的到来，会使得传递熵（transfer entropy）这种方法会受到更多人的关注，因为它是一种基于概率分布，香农熵，统计的方法得出时间序列间因果性的方法。这种方法首先提出是在PRL上由T.Schreiber 提出的，又用在生物系统中，所以这里大部分人可能不熟悉。由于transfer entropy 所需的时间序列长度较大，所以在普遍数据量较小的时代，只能用在神经信号和脑电图中。现在很多地方都意识到数据的重要性，各种传感器也被大量应用，原本不存在的数据来源慢慢的也被发掘了。相信transfer entropy 的春天就要来了。

什么是transfer entropy 它其实就是一个条件分布带来的探测到时间序列间的不对称性。说的学术一点：传递熵是在错误假设传递概率函数为p(in+1|in(k)),而不是p(in+1|in(k),jn(l))的情况下，预测系统状态额外需要的信息。这个信息由Y到X和由X到Y是不对称，这种不对称就带来了，驱动和响应的关系的建立。不过他和granger 因果性检验之间的等价性在一篇工作中已经证明。而且传递熵能对非线性时间序列应用，对这种granger的因果性也很敏感。

参见    http://blog.csdn.net/jjjphysics/article/details/24349289

5. 收敛交叉映射(convergent cross mapping)

Convergent cross mapping (CCM) is a statistical test for a cause-and-effect relationship between two time series variables that, like the Granger causality test, seeks to resolve the problem that correlation does not imply causation . [1] [2] While Granger causality is best suited for purely stochastic systems where the influences of the causal variables are separable (independent of each other), CCM is based on the theory of dynamical systems and can be applied to systems where causal variables have synergistic effects. The test was developed in 2012 by the lab of George Sugihara of the Scripps Institution of Oceanography , La Jolla , California, USA.

Granger Causality是经典方法，在计量经济学的时间序列分析中有较多的应用。 除此之外，还有Convergent cross mapping (CCM)。Granger因果模型的前提假设是事件是完全随机的，但现实情况有很多是非线性、动态且非随机的，Granger模型对这一类状况不适用。CCM则能适用于这一类场景，在多组时间序列中构建出因果网络。 感兴趣的可以读一下这篇发表在Science上的文章：

参见  https://en.wikipedia.org/wiki/Convergent_cross_mapping

https://www.zhihu.com/question/27516929