您的当前位置:首页正文

采样之Gibbs采样

2023-10-11 来源:九壹网
采样之Gibbs采样

前⾯我们讲到了M-H采样已经可以很好的解决蒙特卡罗⽅法需要的任意概率分布的样本集的问题。但是M-H采样有两个缺点:⼀是需要计算接受率,在⾼维时计算量⼤。并且由于接受率的原因导致算法收敛时间变长。⼆是有些⾼维数据,特征的条件概率分布好求,但是特征的联合分布不好求。因此需要⼀个好的⽅法来改进M-H采样,这就是我们下⾯讲到的Gibbs采样。

1. 重新寻找合适的细致平稳条件

2. ⼆维Gibbs采样

 ⽤下图可以很直观的看出,采样是在两个坐标轴上不停的轮换的。当然,坐标轴轮换不是必须的,我们也可以每次随机选择⼀个坐标轴进⾏采样。不过常⽤的Gibbs采样的实现都是基于坐标轴轮换的。

3. 多维Gibbs采样

4.其它解释1

Gibbs采样的⽬的是获得⼀个样本,不是计算概率,但可以通过其他⽅法来统计概率。

5其它解释2

这⾥通俗点的解释⼀下。⾸先,什么是sampling。sampling就是以⼀定的概率分布,看发⽣什么事件。举⼀个例⼦。甲只能E:吃饭、学习、打球,时间T:上午、下午、晚上,天⽓W:晴朗、刮风、下⾬。现在要⼀个sample,这个sample可以是:打球+下午+晴朗。。。问题是我们不知道p(E,T,W),或者说,不知道三件事的联合分布。当然,如果知道的话,就没有必要⽤gibbs sampling了。但是,我们知道三件事的conditional distribution。也就是说,p(E|T,W),p(T|E,W),p(W|E,T)。现在要做的就是通过这三个已知的条件分布,再⽤gibbssampling的⽅法,得到joint distribution。

因篇幅问题不能全部显示,请点此查看更多更全内容