第二种解法:假设概率为P,等于第一次为正,和第一次为反,第二次为反,接下来的概率仍然为P,所以P=1/2+1/4*PP=2/3
不全是真的
短视频运营实时更新
链接:https://pan.baidu.com/s/1uagTSc1UphZCCYEJlyVVMg
?pwd=2D72提取码:2D72
资源包括: 如何布局短视频SEO获取免费流量 、盗坤-无货源快手小店起店流程、 野草与千里马短视频文案16期、高阳短视频制作 、干饭人伊伊专题:账号定位课(60分钟)、知识博主年入百万训练营、卢战卡口播训练营、抖音楠叔夜读课程、抖音超清背景图全套素材,助你玩转抖音必背等!
KL距离,即Kullback-Leibler Divergence,也被成为信息熵(Relative Entropy)。一般KL距离用来衡量同意事件中,两种概率分布的相似程度,这个值越小,则相似程度越高。
计算的实例:
我们抛两枚硬币,真实的概率为A,但是我们只能通过观察得到B和C,如下所示。
A(0) = 1/2, A(1) = 1/2
B(0) = 1/4, A(1) = 3/4
C(0) = 1/8, C(1) = 7/8
进一步计算A与B和C的KL距离:
D(A||B) = (1/2)log((1/2)/(1/4)) + (1/2)log((1/2)/(3/4)) = 1/2log(4/3)
D(A||C) = (1/2)log((1/2)/(1/8)) + (1/2)log((1/2)/(7/8)) = 1/2log(16/7)
可以看到,B比C更接近与实际的A分布。
需要注意的是,KL距离虽然叫做距离,但是并不是真正的距离,不符合距离的对称性和三角不等式。
JS散度是基于KL距离提出的改进,取值在0到1之间:
JS散度是对称的并且取值在0-1之间,另外,KL与JSD都存在一个问题,在很极端的情况下,KL值没有意义,JSD会趋于一个常数,这样在算法中梯度变为了0.
欢迎关注!