crescentmoon.info
概率图模型简介 | 心怀畏惧
http://crescentmoon.info/2014/02/24/概率图模型简介
Do not go gentle into that good night. 很多经典的多元概率系统,比如混合模型,因子分析,隐含马尔科夫模型,Kalman filter 和Ising model等,从概率图模型的角度来看,都可以看做普遍隐含形成过程的一种实例表现。 假设有 (N )个二元随机变量,在没有任何信息帮助的情况下,联合分布 (P(X 1, ldots,X N) ),需要 (O(2 N) )个参数。 概率图模型主要分为两种,无向图(也叫Markov random fields)和有向图(也叫Bayesian networks),前者多用于物理和图像领域,后者多用于AI和机器学习,具体的基本就不多介绍了。 如果我们观察到生成模型的 叶子 ,然后可以尝试推断隐藏的原因(diagnosis),反之如果观察到生成模型的 根 ,就可以尝试预测它的节点(predicition)。 P(X y)= frac{P(y X)P(X)}{P(y)} ]. 其中 (X )是隐藏变量, (y )是观察到的值。 P(W=1)= sum {c,s,r}P(C=c,S=r,R=r,W=1)=0.6471 ]. L= fra...
crescentmoon.info
博客迁移小记 | 心怀畏惧
http://crescentmoon.info/2014/12/11/relocation
Do not go gentle into that good night. 还有就是静态博客的普遍优点了,比如不用服务器,省了买空间的钱 免费的 Github Pages. 官方文档 http:/ hexo.io/docs/. 官方主题 https:/ github.com/hexojs/hexo/wiki/Themes. 官方插件 https:/ github.com/tommy351/hexo/wiki/Plugins. 目前你可以通过 www.crescentmoon.info. 因为markdown的解析要优先于mathjax,所以经常会导致mathjax渲染失败,需要玩一些tricks,比如latex语法中的下标’ ‘要改成转义的’ ’, equation环境需要套一个div标签或者rawblock环境等,带来了无穷无尽的麻烦。
crescentmoon.info
Tag: Variational Inference | 心怀畏惧
http://crescentmoon.info/tags/Variational-Inference
Do not go gentle into that good night. 现在假设有 (K 1 ). 进行如下实验 先掷第一个骰子,根据投出的结果 (Z k ). 选择第 (Z k ). 个结果,每个结果 (w n ). 可能是 [ 1,3,7,8,3,2,6,9,. ]. 可以看到现在第1个骰子投出的标签服从多项分布 [Z k sim Multinomial( pi) ]. 然后剩余骰子投出的面也服从多项分布 [W {Z {kt} sim Multinomial( theta {Z k}) ]. 我们假设,随机变量 ( pi ). 和 ( theta ). 的先验分布为狄利克雷分布,超参分别为 ( alpha ). 和 ( beta ). 假设我们有数据 ( mathbf{X}= {x 1, ldots,x M } ). 要推断平均值 ( mu ). 和精度 ( tau(1/ sigma) ). 其中 ( mu, tau ). 各自服从先验分布 [ begin{equation}p( mu tau)=N( mu mu,( lambda 0 tau) {-1}) end{equation} ].
crescentmoon.info
Category: 学术 | 心怀畏惧
http://crescentmoon.info/categories/学术
Do not go gentle into that good night. 现在假设有 (K 1 ). 进行如下实验 先掷第一个骰子,根据投出的结果 (Z k ). 选择第 (Z k ). 个结果,每个结果 (w n ). 可能是 [ 1,3,7,8,3,2,6,9,. ]. 可以看到现在第1个骰子投出的标签服从多项分布 [Z k sim Multinomial( pi) ]. 然后剩余骰子投出的面也服从多项分布 [W {Z {kt} sim Multinomial( theta {Z k}) ]. 我们假设,随机变量 ( pi ). 和 ( theta ). 的先验分布为狄利克雷分布,超参分别为 ( alpha ). 和 ( beta ). 很多经典的多元概率系统,比如混合模型,因子分析,隐含马尔科夫模型,Kalman filter 和Ising model等,从概率图模型的角度来看,都可以看做普遍隐含形成过程的一种实例表现。 假设有 (N )个二元随机变量,在没有任何信息帮助的情况下,联合分布 (P(X 1, ldots,X N) ),需要 (O(2 N) )个参数。 要推断平均值 ( mu ).
crescentmoon.info
Category: 变分推断笔记 | 心怀畏惧
http://crescentmoon.info/categories/学术/变分推断笔记
Do not go gentle into that good night. 现在假设有 (K 1 ). 进行如下实验 先掷第一个骰子,根据投出的结果 (Z k ). 选择第 (Z k ). 个结果,每个结果 (w n ). 可能是 [ 1,3,7,8,3,2,6,9,. ]. 可以看到现在第1个骰子投出的标签服从多项分布 [Z k sim Multinomial( pi) ]. 然后剩余骰子投出的面也服从多项分布 [W {Z {kt} sim Multinomial( theta {Z k}) ]. 我们假设,随机变量 ( pi ). 和 ( theta ). 的先验分布为狄利克雷分布,超参分别为 ( alpha ). 和 ( beta ). 假设我们有数据 ( mathbf{X}= {x 1, ldots,x M } ). 要推断平均值 ( mu ). 和精度 ( tau(1/ sigma) ). 其中 ( mu, tau ). 各自服从先验分布 [ begin{equation}p( mu tau)=N( mu mu,( lambda 0 tau) {-1}) end{equation} ].
crescentmoon.info
变分推断学习笔记(3)——三硬币问题的变分推断解法 | 心怀畏惧
http://crescentmoon.info/2014/12/12/variational-inference-3
Do not go gentle into that good night. 现在假设有 (K 1 ). 进行如下实验 先掷第一个骰子,根据投出的结果 (Z k ). 选择第 (Z k ). 个结果,每个结果 (w n ). 可能是 [ 1,3,7,8,3,2,6,9,. ]. 可以看到现在第1个骰子投出的标签服从多项分布 [Z k sim Multinomial( pi) ]. 然后剩余骰子投出的面也服从多项分布 [W {Z {kt} sim Multinomial( theta {Z k}) ]. 我们假设,随机变量 ( pi ). 和 ( theta ). 的先验分布为狄利克雷分布,超参分别为 ( alpha ). 和 ( beta ). 让我们写出模型的联合概率 [ begin{split}P(W,Z, Pi, Theta)&=p( pi alpha) prod K {k=1}p( theta k beta) prod N {n=1} prod K {k=1} prod T {t=1}p(z {nkt} pi {nkt})p(w {n} theta {z {nkt} ) end{split} ].
crescentmoon.info
Tag: Hexo | 心怀畏惧
http://crescentmoon.info/tags/Hexo
Do not go gentle into that good night. Aka AVOS Cloud 提供一站式后端云服务,从数据存储、实时聊天、消息推送到移动统计,涵盖应用开发的多方面后端需求。 点击新建应用的 数据 选项,选择 创建Class ,取名为 Counter。 点击新建应用右上角的齿轮,在 应用Key 选项里得到APP ID 和 APP Key,在后面会用到。 Https:/ leancloud.cn/scripts/lib/av-0.4.6.min.js". 还有就是静态博客的普遍优点了,比如不用服务器,省了买空间的钱 免费的 Github Pages. 官方文档 http:/ hexo.io/docs/. 官方主题 https:/ github.com/hexojs/hexo/wiki/Themes. 官方插件 https:/ github.com/tommy351/hexo/wiki/Plugins. 目前你可以通过 www.crescentmoon.info.
crescentmoon.info
变分推断学习笔记(2)——一维高斯模型的例子 | 心怀畏惧
http://crescentmoon.info/2013/10/11/variational-inference-2
Do not go gentle into that good night. 假设我们有数据 ( mathbf{X}= {x 1, ldots,x M } ). 要推断平均值 ( mu ). 和精度 ( tau(1/ sigma) ). 写出似然 [ begin{equation} p( mathbf{X} mu, tau)=( frac{ tau}{2 pi}) {N/2} exp {- frac{ tau}{2} sum N {n=1}(x n- mu) 2 } end{equation} ]. 其中 ( mu, tau ). 各自服从先验分布 [ begin{equation}p( mu tau)=N( mu mu,( lambda 0 tau) {-1}) end{equation} ]. Begin{equation}p( tau)=Gam( tau a 0,b 0) end{equation} ]. Begin{equation}q( mu, tau)=q u( mu)q r( tau) end{equation} ]. 对于 (q u( mu) ). 我们把未知数 ( mu ).
crescentmoon.info
背包问题学习笔记(2)-问法的变化 | 心怀畏惧
http://crescentmoon.info/2013/08/08/bag-problem-2
Do not go gentle into that good night. 所有问法均以01背包问题为例,问题如下 有 (N ). 放入第i种物品的费用是 (C i ). 价值是 (W i ). V]; / 默认不加入物品. V =C[i]) / 可以加入的时候考虑一下. 如果要求恰好装满的话,初始化时除了 (F[0]=0 ). 可以用 (G[i,v] ). V]; / 默认不加入物品. V =C[i]) / 可以加入的时候考虑一下. V-C[i] W[i] F[i- 1. 是否等于 (F[i-1][v-C[i] W[i] ). 很明显的1肯定比2靠前,也就是说我们尽量要选择前面的物体,由于我们原先的子问题 1.i个物体,背包容量j 会分解为 1,i-1,背包容量j 和 1i-1,背包容量j-C[i] 两个子问题并不符合字典序的假设,因为即使第i个物体服从字典序,也无法确定前i-1个物体是否服从字典序,因为1i-1这个子问题已经被处理过了。 于是我们把循环顺序倒过来,子问题变成了 i.1个物体,背包容量j 会分解为 i-1,1,背包容量j 和 i-11,背包容量 (j-C[i] ). I=N;i = 1.
crescentmoon.info
Tag: DP | 心怀畏惧
http://crescentmoon.info/tags/DP
Do not go gentle into that good night. 所有问法均以01背包问题为例,问题如下 有 (N ). 放入第i种物品的费用是 (C i ). 价值是 (W i ). V]; / 默认不加入物品. V =C[i]) / 可以加入的时候考虑一下. 如果要求恰好装满的话,初始化时除了 (F[0]=0 ). 放入第i种物品的费用是 (C i ). 价值是 (W i ). 01背包的状态转移方程为: [F[i,v]= max {F[i-1][v],F[i-1][v-C i] W i } ]. 的背包 中这个子问题,只考虑地 (i ). 物品,问题转为 前i-1件物品放入容量为 (v-C i ). 的背包中 这个子问题的最大价值 (F[i-1,v-C i] ). 加上 (W i ). 如果不放,问题转化为 前i-1件物品放入容量为 (v-C i ). 的背包中 ,价值为 (F[i-1,v] ).