无参数即插即用的ADMM格式的图像恢复

王志兰和史丹利。陈

普渡大学电气与计算机工程学院，西拉斐特分校，公元47907年。

摘要

即插即用的ADMM是经典的ADMM算法的一个最近开发的变体，它使
用现成的图像去噪器取代了其中的一个子问题。尽管其明显的特
殊性质，即插即用的ADMM产生了惊人的良好的图像恢复结果。然
而，由于在即插即用的ADMM中，去噪器被视为一个黑盒，因此整
个算法的行为在很大程度上是未知的。特别是，控制算法收敛速
度的内部参数必须由用户进行调整，而参数的错误选择会导致结
果的严重退化。在本文中，我们提出了一个无参数的即插即用
ADMM，其中内部参数作为优化的一部分进行更新。我们的算法是
由广义的近似消息传递推导出的，并有几个基本的修改。通过实
(a)输入 (b)地面真相
验，我们发现新算法沿着可靠的快速收敛路径产生解。
索引术语-即插即用，ADMM，图像恢复，无参数，广义近似消
息传递

1 . 介绍

1.1.即插即用ADMM

由于乘数交替方向法（ADMM，[1]）的惊人数量的应用，可以相当
肯定地说，ADMM几乎是我们现在使用的大多数[2–4]图像恢复算
法的主力，如果不是全部的话。ADMM是一种通用的算法，以解决
(c)总变体[4]29.97 dB(d)即插即用[6]31.29 dB
优化问题的形式

最小化f (x) + λg (x) (1) 图1: 图像去模糊使用即插即用的ADMM与BM3D去噪器，与传统的

x
ADMM与总变化（TV）之前。在本例中，正则化参数被优化调整为
对于一些代价函数f和正则化函数g。在基于模型的图像处理中，f λ = 104 用于即插即用，和λ = 5×103 用于电视。即插即用的内
称为数据保真度项，g称为前验项[5]。 部参数是ρ = 1。本例中的模糊是大小为9×9的高斯值，半径为
ADMM有许多吸引人的特性。除了其简单的实现和广泛的适用 σ = 1。噪音水平为5/255。
性外，该算法的变量分割特性在设计算法的步骤时提供了额外的
自由度。特别是，如果我们使用ADMM来求解(1)，那么该算法将通
子问题(2)是一个使用二次正则化来最小化f的反演模块，而子问
过求解以下模块中的一系列子问题来进行：
题(3)是一个可以去噪的去噪模块 ( k ) 使用正则化函数g。
(2) 通过识别到ADMM的反演去噪模块，我们可以重新设计这些步
骤。一种可能是用现成的图像去噪算法来替换去噪模块。e. ,
(3)
( )
U(k+1) = D σ (k) , (5)
(4)
^
对于一些阻尼器Dσ 其噪声水平为σ λ / ρ . 由此产生的算法
在哪里 ( k ) U(k ) − (1/ ρ )u (k) , (k) x(k+1) +
被称为即插即用的ADMM，其名字来自文卡塔克里希南等人。[7].
和u( k ) 被称为拉格朗日乘子。在这组赤道中
(1/ ρ)u (k) , 自从引入即插即用ADMM以来，已经开发了许多应用程序。g.,
x射线计算机断层扫描[8]，图像插值[9]，超分辨率[6,10]，泊松
去噪[11]，和单光子成像[6]。在[12]中，同样的框架被用于相机
电子邮件：王470岁，普渡大学。edu.
处理，有一个命名的存在ISP。
 为了让读者快速了解即插即用ADMM和传统ADMM算法之间的比 问题，我们特别感兴趣的是f的去模糊问题
较，我们在图1中显示了使用即插即用作为BM3D [13]的即插即用
1
ADMM的去模糊结果，以及使用全变化正则化的传统ADMM的相同结 f(x) = lAx − yl2 ,
2
果。从igure中可以看出，当两种算法都被调优到它们的最佳参数
λ时，即插即用比总变化显示了1个以上的dB改进。 其中x∈Rn是未知变量，A∈R吗n n 一个卷积矩阵，和y∈Rn是观
察到的信号。正则化函数g对于即插即用ADMM不重要，因为我们将
用去噪器替换它。然而，由于传统的GAMP需要一个显式的g，我们
1.2.即插即用问题
将保留这个函数g
虽然即插即用的ADMM提供了很有前途的图像恢复结果，但由于参 部分，假设它是可分离的。我们将在第三节中删除g。
数ρ，它有一个严重的问题。ρ控制中间正则化的强度，通常由
用户分配。如果ρ设置得太大，则(3)中的二次正则化占主导地位 .1.2 GAMP
，因此去噪器较弱。如果ρ设置得太小，去噪器是强的，但子问
GAMP算法首先考虑以下问题
题(2)成为病态的。因此，建立一个最优的ρ对算法的收敛性至关
重要。 把…减至 1 lAx − yl2 + λg(U)
x ,v 2 (6
如果f是凸的，如果去噪器是Dσ 具有双重随机梯度， 最低数量 x = U .
使服从 )
Sreehari等人。[8]显示Dσ是一个非膨胀的近端算子，因此ρ不
影响面解。作为经验，我们的经验表明ρ = 1通常是一个可靠的 显然，在最优点上，(6)具有与原始无约束问题相同的解。
选择。然而，对于更广泛的一类有界去噪器类，Dσ 可以是膨胀的
GAMP所做的下一步是分别考虑f (x)和g (U)分别作为二部图
，所以收敛性依赖于ρ。在这种情况下，一个可能的解决方案是
的输出节点和输入节点。然后，该算法通过在节点之间前后传递
确定一个增加ρ的序列，使ρk+1 = γρ k对于一些常数的γ > 1
中间变量（称为消息）来寻求两边的平衡。具体地说，通过初始
[6]。这将确保迭代x(k ) 和U( k ) 可以收敛到一个混合点。但是，
我们现在必须选择初始值ρ0 和更新常数γ。因此，如果我们想要 化两个向量τ = 1 n 1 和u(0 ) = 0 n1 ，在输出节点上的计
正确地选择ρ，则需要在算法中采用自动更新方案。 算包括：

(7)
1.3. 相关工作和贡献
(8)
本文的贡献是一个无参数的即插即用的ADMM。在这里，我们所说
的无参数是指内部参数ρ作为ADMM算法的一部分进行更新，因此 (9)
是不需要调优的。然而，这并不意味着正则化参数λ是自动调优
的。如果λ被自动调优，则可以考虑一些现有的方法，e。g., 当 (10)
然，[14]和交叉验证，[15]等。 (11)
我们在无参数即插即用ADMM背后的关键思想是压缩感知文献
[16–20]中的广义近似消息传递（GAMP）。GAMP是一种通用的算 在这组方程中，函数的问题τ f 是近端算子，
法，它以(1)的形式解决问题，通常针对f (x) = 被视为
lAx − yl2 有一个随机矩阵a和一个正则化函数
1 1
g (x) = lxl1 .在GAMP中，内部参数是自更新的，这是本文试图获 proxτ f () = arginm lAx − yl2τ + lx − l 2 ,
得的一个特征。另一项相关工作是梅茨勒等人的去噪-amp。[21] x 2 2
，其中使用去噪器来代替经典AMP中的收缩步骤。去噪器的收敛是 (12)
i。i.d.高斯矩阵A，但不是一般矩阵。
工
其中的在l2τ 是由lxl给出的加权范数吗2τ = τ ix2i .变量τx可
以看作是一个向量版本吗
本文的目的是从GAMP中推导出一个无参数的即插即用ADMM。
ADMM中的内部参数ρ，和Tx可以看作是以u条件的方差x的度量。
在第二节中，我们简要介绍了GAMP算法。然后在第三节中，我们 在输入节点上的计算涉及到
展示了如何将GAMP算法修改为一个无参数的即插即用的ADMM。实
验结果见第四节。 (13)
(14)
2 . 广义近似消息传递
(15)
在本节中，我们将简要介绍广义近似消息传递（GAMP）算法。关
于GAMP的全面讨论，我们请读者参考[18]。在所有图像恢复中 (16)
工
对于可分离的g (U) = gi(v i)，近端操作符proxτg ()
读取为
1
proxτ iλ g ( i) = τiλgi(v) + (v − i)2. (17
argmin 2 )
v
.2 . 2GAMP和ADMM之间的等价性 其中，在(a)中，我们使用了一个卷积矩阵A可以通过傅里叶变换

在上述的输入和输出计算中，如果我们忽略方程(9)-（10)和（15 矩阵F对角化的事实来得到一个=FT 在(b)中，我们观察到F1

）-（16），我们将得到一个具有向量值参数τ的ADMM算法x和τv =^n[1 , 0, ..., 0] T.标量λ1 , 1 是特征值矩阵的第一项，对
，而不是一个普通的标量参数ρ。更具体地说，GAMP和ADMM是根 于卷积矩阵为1。 将这个结果代入(9)，我们就有了
据以下定理[17]来关联的：
π k+1) = τ k)/(τ k)+ 1).(21)
定理1：GAMP的迭代次数满足

.2.3输入节点

在输入节点上，我们必须用一个去噪器D来替换近端算子σ .在这
里，去噪器的噪声水平，σ，应该被定义为σ=^τ xλ .这解释
了（14）。
对于（15）中的导数，我们注意到，自τv现在是一个标量，
我们必须用它的散度（即梯度的和）来代替导数。这给了
其中，L（x，v，u）= f (x) + λg (v) + uT（x−v）是拉格朗日量
功能 π k+1)= τ k+1) divDσ ( (k) ).
程 (22)

散度的计算可以用蒙特卡罗方案进行数值计算。更具体地说，去
因此，GAMP和ADMM之间的关键区别在于参数τ k) 和τ，这表 噪器在v处的散度可以近似为
明，如果我们想从GAMP中推导出一个即插即用的ADMM，我们必须
首先确定参数-eters τ k)和τ

3 . 无参数即插即用 (23)

我们现在使用上面的GAMP公式推导出无参数的即插即用方式。我
其中，b∼N（0，I）是一个随机向量，而o≪1是一个小的常数(通
们的推导需要两个主要的修改。
常是o = 103 ).由于测量值[14]的浓度，期望的近似一般适用于大
向量值参数τx和τv应该成为标量τx和τv.这将允许我们考
n。
虑不一定是可分离的任意去噪器。
在数值上，计算（23）只需要对去噪器计算两次：一次对于
（14）中的近端操作符被(5)中所定义的一个现成的去噪器所 Dσ （），其他时间是Dσ ( + ǫb).
取代，因此它将成为即插即用的框架。
通过这两个修改，我们可以考虑输出节点和输入节点。我们还注 3.3. 最终算法
意到，在方程(7)-（16）中，最大的挑战是近端算子。以下两个
小节将讨论这些操作符。 对于输出节点，inal算法可以通过替换（18）为(8)、（21）为(9)
，(5)为（14）、（22）为（15）来得到。此外，我们还可以通过
.1.3输出节点 挖掘来简化步骤

对于卷积矩阵a，其近端算子可以表示为 ρx= 1/τx, ρv= 1/τv.

(24)

然后我们可以证明GAMP算法可以简化为算法1。我们将所得到的算
法称为即插即用的广义近似消息传递（PAMP）。
(18)
如算法1所示，PAMP与即插即用ADMM之间的区别是参数ρx和
取关于收益率的导数 ρv.在即插即用程序中，参数共享相同的值ρ，并在整个迭代过
程中被集成。在PAMP中，ρx和ρv将作为算法的一部分而自动更
( )1
新。因此，PAMP是一种无参数的算法。
proxτ xf() = τ xATA + I 1

(19) 4 . 实验结果

请注意，这是一个梯度的向量。因为我们在寻找一个标量，一个 在本节中，我们将介绍实验结果来评估所提出的PAMP算法的性能
选择是考虑散度。这种产量 。虽然该方法可以很容易地扩展到图像插值和图像超分辨率，但
我们主要关注图像去模糊问题。
(20) 我们使用10个标准的灰度图像来测试了该算法。每幅图像被
一个大小为9×9和标准差为1的空间不变高斯模糊核模糊。添加剂
i。i.d.在模糊图像中加入零均值和标准差σ = 5/255的高斯噪声
。两个阻尼器Dσ 在这个实验中考虑了：总变异去噪[22]，和BM3D
[13]。对于总变异，我们
 (a)总变异去噪器(b)BM三维去噪器

图2: PAMP的PSNR相比使用即插即用ADMM混合ρ。(a)使用总变分去噪作为去噪器；(b)使用BM3D作为去噪器。在这个图像中，所有PSNR
值平均平均值超过10张测试图像。

算法1提出的算法： PAMP 其他的结果，包括其他类型的模糊和其他噪声水平，可以在

https://工程网站上找到。普渡大学。edu/ChanGroup/
1: 初始化u(0) = x (0) = 0, ρ = 1.
2: 对于k=，0,1，。..,kmax做
5 . 讨论和结论
3: % (U子问题）
4: = x (k ) + (1 / ρ k))u t 为什么它有效？算法1的第6行和第11行显示了在更新ρ的过程中
^
有两种相反的力v和ρx:
5: U (k+1) = D σ （），其中σ= λ/ρ k)
k) (25)
6: ρ ρ /divDσ()
7:
8: % (X子问题） (26)
(k + 1 ) k+ 1 ) (k )
9: = U − (1 / ρ )u
(k + 1 ) T k+1) 1 T k+1) 函数的散度是对输入的敏感度的一个指标。当divDσ 是否很大，
10: x = (A A + ρ I) ( A y + ρ )11:
k+1 ) k+1 )
去噪器Dσ 表现为敏感，因此去噪输出不太可靠。因此，PAMP制
ρ ρ /( ρ + 1)
造ρx在求解反演时，小到衰减去噪器的影响。 现在，自从ρx变
12: 得很小，反演很弱，因此在下一次迭代中需要一个强去噪。这是
13: % (乘数更新） 通过减少ρ来实现的v在 （ 26 ） 。 这两种相反的力形成了一对
14: u
(k+ 1)
= u
(k )
+ ρ
k+1 )
(x
(k +1 )
− U
(k+ 1)
) (ρx, ρ v). 问→∞，你可以证明(ρx, ρ v)接近于一个稳定的状
15: 结束 态，其中有两个散度项
{ }
重合：divDσ () = div prox( 1 / ρ x) f ( ) .

在[4]中使用MATLAB实现，而对于BM3D，我们使用作者网站上可用 收敛GAMP的收敛性是一个开放的问题。到目前为止，我们所知道
的代码。当使用总变化时，我们设置正则化参数λ = 102 .当使用 的最佳结果是，通过适当设计的阻尼策略，GAMP收敛于严格凸函
数f和g [23]。然而，当不使用阻尼时，也有GAMP发散[24]的例子
BM3D时，我们设置为λ = 103 .选择这些值是因为它们能为整个数
。从显式g移动到隐式去噪器Dσ 这将会导致更多有待研究的挑战
据集产生了最好的总体结果。
。
由于PAMP的目标是自动选择ρ，所以我们将PAMP与使用混合
ρ的即插即用ADMM进行了比较。我们从10个ρ值中选择10个ρ值2 结论即插即用广义近似消息传递（PAMP）是一种自动更新传统即
插即用ADMM内部参数的新算法。更新规则是基于子问题散度的度
至102 在对数尺度上。对于每个ρ，我们运行即插即用ADMM 50次
量，并由广义近似消息传递（GAMP）推导出来的。在目前阶段，
迭代，并记录PSNR值。对于PAMP，我们使用ρ = 1初始化算法，
数值结果表明PAMP是一种有前途的算法，它通过快速收敛路径生
并让算法更新ρ x和ρv内地
成解。并对该算法进行了直观的论证。未来的工作应集中在收敛
结果如图2所示。在这个图像中，PSNR值在10个测试图像上取 性分析上。
平均值。 可以观察到，参数ρ对即插即用ADMM算法有重要的影响
，其中大ρ往往收敛较慢，接近低PSNR的解。如果ρ太小，则为e
。g., 在ρ = 0.01的BM3D情况下，PSNR实际上在第一次迭代后迅
速下降。对于PAMP，我们观察到在两种去噪器中，解选择了一个
几乎具有最高PSNR的快速收敛路径。
 6 . 参考文献 处理框架，“ACM图形交易（程序亚洲2014），vol。33日，
没有。12月6日。2014.
[1 ] S. 博伊德，N。帕里克，E。楚，B。佩莱托和J。埃克斯坦
[13] K.达博夫。Foi, V.卡特科夫尼克和K。“稀疏三维变换域
，“通过乘数的交替方向方法的分布式优化和统计学习，”
协同过滤的图像去噪”，IEEE变换。图像处理。，卷。16日
发现。趋势马赫数。学习。，卷。3、没有。1, pp.1月1日
，没有。8, pp.2080-2095年8月。2007.
至122日。2011.
[2] J. 杨，Y。张和W。“一种对被脉冲噪声破坏的多通道图像 [14] S. Ramani, T.Blu和M。“蒙特卡罗肯定：一般去噪算法的
正则化参数的黑盒优化”，IEEE Trans。图像处理。，卷。
进行去模糊的有效TVL1算法”，SIAM J。在科学上。压缩。
17日，没有。9, pp.1540– 1554, 2008.
，卷。31日，没有。4, pp.2842– 2865, Jul.2009.
[15] N.日圆，P。米兰法尔和G。Golub，“与参数图像恢复和分
[3] M. 阿方索，J。比奥卡斯-迪亚斯和M。“使用变量分割和约
辨率增强的应用”，IEEE分析。图像处理。，卷。10，没有
束优化的快速图像恢复”，IEEE翻译。图像处理。，卷。19
。9, pp.1299– 1308, Sep.2001.
日，没有。9, pp.2345– 2356, Apr.2010.
[16] M.BorgerdingP。“共稀疏分析模型的广义近似消息传递”
[4] S. H.陈，R。Khoshabeh, K.B.吉布森，P。E.吉尔和T。
。IEEE国际。会议声学，语音，信号过程。（ICASSP），
Q.Nguyen，“全变异视频恢复的增强拉格朗日方法”，IEEE
2015，页。3756–3760.
反式。图像处理。，卷。20岁，没有。11, pp.2011年5月
3097-3111。 [17] S.Rangan, P.Schniter, E.里格勒，A。弗莱彻和V。“具
有任意矩阵的广义近似消息传递的不动点”，在Proc中。
[5] C.A.Bouman，“基于模型的图像处理”，可在https://工
程网站上在线获得。普渡大学。edu/˜浏览手册/出版物 IEEE国际。模拟。信息理论，2013，页。664–668.
/pdf/MBIP-book。pdf, 2015. [18] S. “随机线性混合估计的广义近似消息传递”，在前。
[6] S.H.陈，X。王和O。A.“即插即用ADMM图像恢复：定点收 IEEE国际。模拟。信息理论，2011，页。2168–2172.
敛和应用”，IEEE翻译。计算成像公司，正在出版中。可在 [19] D.L.多诺霍。Maleki和。“压缩感知的信息传递算法”，
http://arxiv上在线获得。org/abs/ 1605.01710. 硕士论文。Nat。阿卡德。科学。，卷。106，没有。45,
[7] S.文卡塔克里希南，C。布曼和B。“基于模型的重建的即 pp.18914– 18919, 2009.
插即用先验”，在专业版中。IEEE全球信号与信息处理会议 [20 ] D. L.多诺霍。Maleki和。“如何设计压缩感知的信息传递
，2013年，第3页。945–948. 算法”，技术。莱斯大学代表，2011年，网址为
[8] S. Sreehari。V.文卡塔克里希南，B。沃尔伯格，G。T.秃 http://www.ece.稻米edu/ mam15/bpist.pdf.
鹰，L。F.Drummy, J.P.西蒙斯和C。A.“明亮的电子断层扫 [2 1 ] C. A.梅茨勒。Maleki和R。G.“从去噪到压缩感知”，
描和稀疏插值的即插即用先验”，IEEE分析。计算成像，卷 IEEE翻译。信息理论，卷。62岁，没有。9, pp.5117–
。2 、 没 有 。 4, pp.408-423年，12月。2016. 5144, Sep.2016.
[9] S.H.Chan，“图像恢复的算法诱导优先级”，可在
[22] L. 鲁丁。Osher和E。“基于非线性全变化的噪声去除算法
http://arxiv上在线获得。org/abs/1602.00715,2月。
”，物理D，卷。60, pp.259– 268, 1992.
2016.
[23] J.维拉，P。Schniter, S.Rangan, F.克拉扎拉和L。“广
[10] A. Brifman, Y.罗马诺和M。“使用即插即用先验将去噪器
义近似消息传递算法的自适应阻尼和均值移除”，论文。
变成超级解析器”。IEEE国际。会议图像处理。(ICIP),
IEEE国际。会议声学，语音，信号过程。（ICASSP），2015
Sep.2016, pp.1404– 1408.
，页。2021–2025.
[11] A.Rond。Giryes和M。“即插即用方案的泊松逆问题》，《
[24] S. Rangan, P.施奈特和A。K.“关于任意矩阵传递的收敛”
视觉通信与图像表示杂志》，第1卷。41, pp.11 月96-
。IEEE国际。模拟。信息理论，2014，页。236–240.
108 。2015.
[12] F.海德，M。斯坦伯格，YT。.-蔡明。路由，D。Pajak，D
。雷迪，哦。加洛，J。刘abd W。海德里希，K。
Egiazarian,
J.Kautz和K。普利，“FlexISP：一个可存的相机图像