Dưới vi phân & Phương pháp dưới gradient

Dương Thị Kim Huyền

Khoa Công nghệ thông tin, Đại học PHENIKAA

Nón pháp tuyến tới tập lồi

• ∅ ̸= Ω ⊂ Rn là tập lồi

1
Nón pháp tuyến tới tập lồi

• ∅ ̸= Ω ⊂ Rn là tập lồi

• v̄ ∈ Ω

¬ Nón pháp tuyến tới Ω tại v̄

n o
NΩ (v̄ ) = v ′ ∈ Rn | ⟨v ′ , v − v̄ ⟩ ≤ 0 ∀v ∈ Ω . (1)

1
▶ Nếu v̄ ∈ int Ω thì NΩ (v̄ ) = 0.

2
▶ Nếu v̄ ∈ int Ω thì NΩ (v̄ ) = 0.
▶ Nếu v̄ ∈
/ Ω thì NΩ (v̄ ) := ∅.

2
Hàm lồi chính thường

Đặt R̄ = R ∪ {∞}

Định nghĩa
Hàm số f : Rn → R̄ được gọi là chính thường (proper) a nếu
f (x) > −∞ với mọi x và tồn tại x sao cho f (x) < +∞.
a
Subsection 3.2.3, M.S. Bazaraa, H.D. Sherali, C.M. Shetty (2006), Nonlinear
Programming: Theory and Algorithms, Wiley.

3
Dưới vi phân

• ∅ ̸= Ω ⊂ Rn : tập lồi

1
Definition 2.52, M.S. Bazaraa, H.D. Sherali, C.M. Shetty (2006), Nonlinear
Programming: Theory and Algorithms, Wiley.
4
Dưới vi phân

• ∅ ̸= Ω ⊂ Rn : tập lồi
• f : Rn → R̄: hàm lồi chính thường

1
Definition 2.52, M.S. Bazaraa, H.D. Sherali, C.M. Shetty (2006), Nonlinear
Programming: Theory and Algorithms, Wiley.
4
Dưới vi phân

• ∅ ̸= Ω ⊂ Rn : tập lồi
• f : Rn → R̄: hàm lồi chính thường
• |f (x̄)| < ∞

1
Definition 2.52, M.S. Bazaraa, H.D. Sherali, C.M. Shetty (2006), Nonlinear
Programming: Theory and Algorithms, Wiley.
4
Dưới vi phân

• ∅ ̸= Ω ⊂ Rn : tập lồi
• f : Rn → R̄: hàm lồi chính thường
• |f (x̄)| < ∞

¬ Dưới gradient (subgradient 1 ) của f tại x̄ là một véctơ ξ ∈ Rn

sao cho
f (x) ≥ f (x̄) + ⟨ξ, x − x̄⟩ ∀x ∈ Rn . (2)

1
Definition 2.52, M.S. Bazaraa, H.D. Sherali, C.M. Shetty (2006), Nonlinear
Programming: Theory and Algorithms, Wiley.
4
¬ Tập hợp tất cả các dưới vi phân của f tại x̄ được gọi là dưới
vi phân của hàm số tại x̄, ký hiệu là ∂f (x̄).

5
Các tính chất của tập dưới vi phân

▶ ∂f (x) là tập lồi đóng với mọi x

6
Các tính chất của tập dưới vi phân

▶ ∂f (x) là tập lồi đóng với mọi x

▶ Nếu f khả vi tại x̄ thì ∂f (x̄) = {∇f (x̄)}

6
Hàm piecewise linear

• Cho f1 , f2 , . . . , fn : Rn → R là các hàm tuyến tính

7
Hàm piecewise linear

• Cho f1 , f2 , . . . , fn : Rn → R là các hàm tuyến tính

• g (x) := maxn {f1 , f2 , . . . , fn } được gọi là hàm tuyến tính từng

x∈R
khúc (piecewise linear)

7
Dưới vi phân của hàm piecewise linear

• Đặt I (x̄) = {i ∈ {1, . . . , n} | g (x̄) = f (x̄)}

¬ ∂f (x̄) = conv{∇fi (x̄), i ∈ I (x̄)}

8
Ví dụ

f (x) = max{f1 (x), f2 (x), f3 (x)}

9
Ví dụ

f (x) = max{f1 (x), f2 (x), f3 (x)}

1
• f1 (x) = −x + 1, f2 (x) = x + 1, f3 (x) = x
2

9
Ví dụ

f (x) = max{f1 (x), f2 (x), f3 (x)}

1
• f1 (x) = −x + 1, f2 (x) = x + 1, f3 (x) = x
2
¬ Ta có



f1 (x) = −x nếu x < 0


f1 (x) = f2 (x) = 1 nếu x = 0



1

f (x) = f2 (x) = x + 1 nếu 0 < x < 2


 2



f2 (x) = f3 (x) = 2 nếu x = 2

f3 (x) = x nếu x > 2


9
¬ Ta có 


{1} nếu x̄ < 0


{1, 2} nếu x̄ = 0



I (x̄) = {2} nếu 0 < x̄ < 2


{2, 3} nếu x̄ = 2






{3} nếu x̄ > 2

10
 

{−1} nếu x < 0
1




[−1, ] nếu x = 0

 2
1

∂f (x) = { } nếu 0 < x < 2
 2

 1
[ , 1] nếu x = 2




 2
{1} nếu x > 2


11
Biển diễn dưới vi phân thông qua nón pháp tuyến

∂f (x̄) = {ξ ∈ Rn | (ξ, −1) ∈ Nepi f (x̄, f (x̄))}.

12
Bài toán tối ưu lồi không ràng buộc

Định lý
Cho f : Rn → R̄ là hàm lồi chính thường. Một điểm x̄ là nghiệm
tối ưu toàn cục bài toán minn f (x) khi và chỉ khi a
x∈R

0 ∈ ∂f (x̄).
a
Theorem 3.5, Subsection 3.2, M.S. Bazaraa, H.D. Sherali, C.M. Shetty
(2006), Nonlinear Programming: Theory and Algorithms, Wiley.

13
Example

f (x) = |x|

¬ x = 0 là nghiệm duy nhất của bài toán. Rõ ràng là

0 ∈ ∂f (x) ⇐⇒ x = 0.

14
Thuật toán subgradient

¬ Dãy lặp
x k+l := x k − τk γk g k (3)

15
Thuật toán subgradient

¬ Dãy lặp
x k+l := x k − τk γk g k (3)

▶ Step size τk > 0

▶ Scaling coefficient τk đảm bảo γk g k bị chặn

15
Scaling coefficient

Có thể chọn
1
γk = , k = 1, 2, . . .
max{c, ∥g k ∥}
với c > 0.

16
Lựa chọn scaling coefficient

Có thể chọn
1
γk =
∥g k ∥
hoặc
1
γk =
max{c, ∥g k ∥2 }

17
Sự hội tụ của thuật toán subgradient

x k+l := x k − τk γk g k

Định lý
Giả sử rằng bài toán (P) có nghiệm tối ưu. Dãy lặp {xk } sử dụng
∞
X
step sizes τk > 0 thỏa mãn điều kiện τk = ∞ và
k=1

∞
X
τk2 < ∞
k=1

a
hội tụ về nghiệm của bài toán minn f (x).
x∈R
a
Theorem 7.4, M.S. Bazaraa, H.D. Sherali, C.M. Shetty (2006), Nonlinear
Programming: Theory and Algorithms, Wiley. 18
Ví dụ

Xét bài toán min f (x), f (x) = |x|

▶ x0 = 2
1
▶ Step size αk =
k +1

19
Tiêu chuẩn dừng

• |f (xk+1 ) − f (xk )| < ϵ

20
Tiêu chuẩn dừng

• |f (xk+1 ) − f (xk )| < ϵ

Hoặc

20
Tiêu chuẩn dừng

• |f (xk+1 ) − f (xk )| < ϵ

Hoặc

• ∥xk+1 − xk ∥ < ϵ

20
 2
Bài toán tối ưu lồi có ràng buộc

̸ Ω ⊂ Rn : tập lồi đóng

▶ ∅=
▶ f : Rn → R̄: hàm lồi chính thường

Xét bài toán

(P) min{f (x) : x ∈ Ω}

2
Subsection 8.9, M.S. Bazaraa, H.D. Sherali, C.M. Shetty (2006), Nonlinear
Programming: Theory and Algorithms, Wiley.
21
 x k+l := PΩ (x k − τk γk g k ), k = 1, 2, . . .

3
PΩ (x) = argmin{∥x − v ∥ : v ∈ Ω}
22
 x k+l := PΩ (x k − τk γk g k ), k = 1, 2, . . .

PΩ (x) là hình chiếu3 của x lên Ω.

3
PΩ (x) = argmin{∥x − v ∥ : v ∈ Ω}
22
Chú ý 1

Nếu Ω bị chặn, ta chỉ cần chọn γk = 1 với mọi k.

23
Chú ý 2

Bài toán
min{∥x − v ∥ : v ∈ Ω} (4)
4
cũng là bài toán tối ưu lồi.

4
Hàm khoảng cách tới một tập hợp lồi đóng khác rỗng là lồi (BTVN)
24
Ví dụ

(P) min f (x), x ∈ C .

Trong đó C = [−2, 3] và

−x − 1 x < −1


f (x) = 0 x ∈ [−1, 1]


x − 1 x > 1.


¬ Giải bao hàm thức 0 ∈ ∂f (x), ta được tập nghiệm của (P) là
đoạn [−1, 1].

25
Ví dụ

(P) min f (x), x ∈ C .

Trong đó C = [−2, 3] và

−x − 1 x < −1


f (x) = 0 x ∈ [−1, 1]


x − 1 x > 1.


¬ Giải bao hàm thức 0 ∈ ∂f (x), ta được tập nghiệm của (P) là
đoạn [−1, 1].

Dùng phương pháp subgradient chiếu, giải xấp xỉ một nghiệm bài
toán (P), lập trình bằng Python.
25
Thực hành

Thực hành phương pháp extragradient giải xấp xỉ nghiệm của bài
toán minimax là điểm cân bằng của trò chơi ma trận hai người
tổng bằng không 5

5
D.T.K. Huyen, J.-C. Yao, Affine minimax variational inequalities and matrix
two-person games, Journal of Fixed Point Theory and Applications 23 (2021),
No. 2, Paper 22. DOI: 10.1007/s11784-021-00851-7.
26