中国人工智能学会通讯——最优传输理论在机器学习中的应用 1.2 概率分布逼近

1.2 概率分布逼近

深度学习的方法强劲有力,几乎横扫计算机视觉的所有领域,很多人将其归 功 于 神 经 网 络 的 万 有 逼 近 能 力(universal approximation property):给定一个连续函数 或者映射,理论上可以用一个包含足够多神 经元的隐层 , 或者多层前馈网络逼近到任意 精度。对此,我们提出另外的观点:有些情 况下,神经网络逼近的不是函数或映射,而 是概率分布;更为重要的,逼近概率分布比 逼近映射要容易得多。更为精密的说法如下: 在理想情况下,即逼近误差为零的情形,如 果神经网络逼近一个映射,那么解空间只包 含一个映射;如果神经网络逼近一个概率分布, 那么解空间包含无穷多个映射,这些映射的差 别构成一个无穷维李群。这是我们更为看好逼 近概率分布,而非逼近映射的原因之一。

1. 概率生成模型

首先看最简单的(伪)随机数生成器。 我们选取适当的整数 a、b 、m ,计算序列

中国人工智能学会通讯——最优传输理论在机器学习中的应用  1.2 概率分布逼近

这个最优传输映射是某个凸函数的梯度 映射,这个凸函数被称为是 Brenier 势能函 数,满足蒙日-安培方程。如图 14 所示,我 们将怪兽曲面(第一帧和第四帧)保角地映 射到平面圆盘上面(第二帧),保角映射将 曲面的面积元映射到平面上,诱导了平面圆 盘上的一个概率测度。平面圆盘上也有均匀 概率分布(第三帧),从第二帧到第三帧的映射为最优传输映射。图 14 和 15 显示了基 于最优传输映射的曲面保面积参数化(Surface Area-preserving Parameterization)。

中国人工智能学会通讯——最优传输理论在机器学习中的应用  1.2 概率分布逼近
中国人工智能学会通讯——最优传输理论在机器学习中的应用  1.2 概率分布逼近

2. 映射极分解理论

中国人工智能学会通讯——最优传输理论在机器学习中的应用  1.2 概率分布逼近
中国人工智能学会通讯——最优传输理论在机器学习中的应用  1.2 概率分布逼近
中国人工智能学会通讯——最优传输理论在机器学习中的应用  1.2 概率分布逼近
中国人工智能学会通讯——最优传输理论在机器学习中的应用  1.2 概率分布逼近
中国人工智能学会通讯——最优传输理论在机器学习中的应用  1.2 概率分布逼近

3. 小结

通过以上讨论,我们看到如果用一个深 度学习的网络来逼近一个映射,解空间只有 一个映射;如果来逼近一个概率分布,则解 空间为无穷维的保体积微分同胚群。因此, 用深度学习网络来逼近一个概率分布要比逼 近一个映射函或者数容易得多。这或许可以 用来解释如下的现象:基于我们以往的经验, 用神经网络来求解非线性偏微分方程,要比 用神经网络做图像分类困难,因为前者需要 精确逼近泛函空间中的可逆映射,而后者需 要逼近图像空间中的概率分布。

上一篇:【愚公系列】2021年11月 C#版 数据结构与算法解析(递归)


下一篇:一文解析统计学在机器学习中的重要性