Convex Optimization Theory and

Applications
Topic 4 - Duality

Li Li and Shuning Wang

Department of Automation
Tsinghua University

Fall, 2009-2022.

-1-
4.0. Outline 纲要
4.1. Duality for LP 线性规划的对偶理论

4.2. Definition and Examples 基本定义和例子

4.3. Slater 条件

4.4. KKT 条件

4.5. 灵敏度与择一理论

4.6. 广义不等式约束问题

4.7. 对偶问题和问题变形

-2-
4.1. Duality for LP 线性规划的对偶理论
对于一个线性规划问题（原问题）
，我们可以找到一个对偶
问题
原问题 对偶问题
min cT x max bT u
s.t. Ax  b s.t. AT u  cT
x0 u0

弱对偶性：原问题任何可行目标值都是对偶问题最优目标
值的界（推论：原对偶问题目标值相等的一对可行解是各自
的最优解）

强对偶性：原对偶问题只要有一个有有界最优解，另一个
就有最优解，并且最优目标值相等
-3-
4.1. Duality for LP 线性规划的对偶理论

min cT x max bT u
s.t. Ax  b s.t. AT u  cT
x0 u0

-4-
4.1. Duality for LP 线性规划的对偶理论

-5-
4.1. Duality for LP 线性规划的对偶理论
为了证明线性规划问题的强对偶性，我们需要介绍 Farkas
引理，证明过程也是我们凸集分离定理的一个应用

-6-
4.1. Duality for LP 线性规划的对偶理论

-7-
4.1. Duality for LP 线性规划的对偶理论

-8-
4.1. Duality for LP 线性规划的对偶理论
补充证明 A n 本身是闭的。
首先 A  mn 可以看成是 n 到 A 的列空间 span  A 的一个
满射。简单起见就假设 span  A 就是 m 了（如果不是的话可
以在 span  A 上面做）。
如果 A 可逆，那么 A n 就是闭集 n 在连续映射 A1 下的原
像，所以 A n 就是闭的。
如果 A 不可逆，要用锥版本的Carathéodory’s theorem，证
明 A n  A m ，其中每个 A 都是选了 m 个 A的线性无关的
列向量组成的一个矩阵，也就是可逆的。和前面可逆情况一
样，每一个 A m 都是闭的，然后有限个闭集的并还是闭的。
这个其实是用到了 n 的一些特殊性，对一般的锥来说是不
对的。这也就是为什么线性规划强对偶啥条件都不需要，后
面提到的锥规划强对偶就需要Slater条件了。
-9-
4.1. Duality for LP 线性规划的对偶理论
我们把矩阵 A 的列空间写出来，其实就是 n 个 m 维的向量，
这些向量前面加权非负系数组合出来的点构成的集合就是
一个凸锥。左为 b 在凸锥内的情况；右图为 b 在凸锥外的情
况，如果是右图的情况，总能找到过原点的超平面（二维情
况下为直线，法向量为 y ），把 b 和凸锥分开。

- 10 -
4.1. Duality for LP 线性规划的对偶理论

- 11 -
4.1. Duality for LP 线性规划的对偶理论

- 12 -
4.1. Duality for LP 线性规划的对偶理论

- 13 -
4.1. Duality for LP 线性规划的对偶理论

- 14 -
4.1. Duality for LP 线性规划的对偶理论

对于一般原/对偶问题也成立
- 15 -