Chương 9:

Tối ưu hóa không ràng buộc

9.1 Vấn đề tối ưu hóa không ràng buộc
Trong chương này, chúng ta thảo luận về các phương pháp giải quyết vấn đề tối ưu
hóa không ràng buộc:
minimize (9.1)
trong đó là hàm lồi và có đạo hàm liên tục hai lần (điều này ngụ ý rằng
tập định nghĩa của f là mở). Chúng ta sẽ giả định rằng vấn đề có thể giải được, tức là
có tồn tại một điểm tối ưu . (Cụ thể hơn, các giả định sau trong chương sẽ ngụ ý
rằng tồn tại và là duy nhất.) Chúng ta ký hiệu giá trị tối ưu infx là
.
Do f là hàm khả vi và lồi, điều kiện cần và đủ để một điểm là tối ưu là:
= 0 (9.2)
(Tham khảo §4.2.3). Do đó, giải quyết vấn đề tối ưu hóa không ràng buộc (9.1) cũng
giống như tìm một giải pháp cho (9.2), đó là một tập hợp các phương trình n trong các
biến n . Trong một số trường hợp đặc biệt, chúng ta có thể tìm thấy một giải
pháp cho vấn đề (9.1) bằng cách giải phương trình tối ưu hóa (9.2) một cách phân
tích, nhưng thường thì vấn đề phải được giải quyết bằng một thuật toán lặp. Chúng ta
hiểu thuật toán lặp là một thuật toán tính toán một chuỗi các điểm x(0), x(1), ... ∈
dom f với khi k → ∞. Chuỗi các điểm này được gọi là chuỗi giảm thiểu
cho vấn đề (9.1). Thuật toán được kết thúc khi , trong đó là một
ngưỡng xác định.
Điểm khởi tạo và tập con cấp
Các phương pháp được mô tả trong chương này yêu cầu một điểm khởi đầu phù hợp
. Điểm khởi đầu phải nằm trong dom và ngoài ra, tập con cấp
(9.3)
phải là đóng. Điều kiện này được thoả mãn cho tất cả nếu hàm số là
đóng, tức là tất cả các tập con cấp của nó đều đóng (xem §A.3.3). Các hàm liên tục có
là đóng, vì vậy nếu thì điều kiện tập con cấp khởi đầu được
thoả mãn bởi bất kỳ nào. Một lớp hàm đóng quan trọng khác là các hàm liên tục
có miền định nghĩa mở mà tiến tới vô cực khi tiến tới bd .
9.1.1 Ví dụ
Tối ưu hóa bậc hai và phương pháp bình phương nhỏ nhất
Vấn đề tối ưu hóa bậc hai lồi tổng quát có dạng
minimize (9.4)
trong đó và . Vấn đề này có thể được giải quyết thông qua các
điều kiện tối ưu hóa là một tập hợp các phương trình tuyến tính. Khi
thì có một giải pháp duy nhất . Trong trường hợp tổng quát hơn khi
P không dương định, bất kỳ giải pháp nào của cũng là tối ưu cho (9.4); nếu
 không có giải pháp thì vấn đề (9.4) không có giới hạn dưới (xem bài tập
9.1). Khả năng giải quyết phân tích vấn đề tối ưu hóa bậc hai (9.4) là cơ sở cho
phương pháp Newton, một phương pháp mạnh mẽ cho tối ưu hóa không ràng buộc
được mô tả trong §9.5.
Một trường hợp đặc biệt của vấn đề tối ưu hóa bậc hai xuất hiện rất thường
xuyên là vấn đề bình phương nhỏ nhất

Các điều kiện tối ưu hóa

được gọi là các phương trình chuẩn của vấn đề bình phương nhỏ nhất.

Trung tâm phân tích của các bất đẳng thức tuyến tính
Chúng ta xem xét vấn đề tối ưu hóa:

trong đó miền của f là tập mở:

Hàm mục tiêu f trong vấn đề này được gọi là rào cản logarit cho các bất đẳng thức
. Nếu giải pháp của (9.5) tồn tại, nó được gọi là trung tâm phân tích của các
bất đẳng thức. Điểm khởi đầu x(0) phải thoả mãn các bất đẳng thức nghiêm ngặt
. Do f là hàm đóng, tập con cấp S cho bất kỳ điểm như vậy đều
đóng.

Trung Tâm Phân Tích của Bất Đẳng Thức Ma Trận Tuyến Tính

Một vấn đề liên quan gần đây là:

với là hàm tuyến tính và

với Ở đây, miền của f là:

Hàm mục tiêu f được gọi là hàng rào logarit cho bất đẳng thức ma trận tuyến tính
và giải pháp (nếu tồn tại) được gọi là trung tâm phân tích của bất đẳng thức
ma trận tuyến tính. Điểm khởi tạo phải thoả mãn bất đẳng thức ma trận tuyến
tính nghiêm ngặt . Giống như ví dụ trước, tập hợp sublevel của bất kỳ
điểm nào như vậy sẽ kín do kín.
9.1.2 Tính Lồi Mạnh và Hậu Quả của Nó
Trong phần lớn chương này (ngoại trừ §9.6), chúng ta giả định rằng hàm mục tiêu là
lồi mạnh trên S, có nghĩa là tồn tại một m > 0 sao cho:
(9.7)
với tất cả x ∈ S. Tính lồi mạnh có nhiều hậu quả thú vị. Với x, y ∈ S, chúng ta có:
với một số z trên đoạn thẳng [x, y]. Theo giả định lồi mạnh (9.7), số hạng cuối cùng ở

vế phải ít nhất là , nên ta có bất đẳng thức

(9.8)
Khi m = 0, chúng ta thu được bất đẳng thức cơ bản đặc trưng cho tính lồi; với m > 0,
chúng ta có được giới hạn dưới tốt hơn cho so với chỉ từ tính lồi.
Đẳng thức (9.8) có thể được sử dụng để giới hạn f(x) - p*, là sự không tối ưu của
điểm x, thông qua . Phía bên phải của (9.8) là một hàm lồi bậc hai của y
(với x cố định). Khi đặt gradient đối với y bằng không, chúng ta thấy rằng
làm cho phía bên phải đạt giá trị nhỏ nhất. Do đó, chúng ta có:

Vì điều này đúng với mọi y ∈ S, chúng ta có:

(9.9)
Bất đẳng thức này cho thấy nếu gradient nhỏ tại một điểm thì điểm đó gần như là tối
ưu. Bất đẳng thức (9.9) cũng có thể được diễn giải là một điều kiện cho sự không tối
ưu, tổng quát hóa điều kiện tối ưu (9.2):
(9.10)

Chúng ta cũng có thể suy ra một giới hạn cho , khoảng cách giữa x và bất kỳ
điểm tối ưu nào, thông qua ∇f(x)²:

(9.11)
Để thấy điều này, chúng ta áp dụng (9.8) với y = x để thu được

trong đó chúng ta sử dụng bất đẳng thức Cauchy-Schwarz trong bất đẳng thức thứ hai.
Vì nên ta phải có

từ đó (9.11) suy ra. Một hệ quả của (9.11) là điểm tối ưu là duy nhất.

Giới Hạn Trên của ∇²f(x)

Bất đẳng thức (9.8) cho thấy các tập sublevel nằm trong S là bị giới hạn, do đó S cũng
bị giới hạn. Do đó, giá trị riêng lớn nhất của , là một hàm liên tục của x trên
S, được giới hạn trên trên S, tức là tồn tại một hằng số M sao cho:
 (9.12)
với tất cả x ∈ S. Giới hạn trên này của Hessian ngụ ý cho bất kỳ x, y ∈ S:

(9.13)
Điều này tương tự với (9.8). Việc tối thiểu hóa mỗi bên theo y cung cấp:

(9.14)
đó là đối tác của (9.9).
Điểm khởi tạo và tập sublevel
Từ bất đẳng thức lồi mạnh (9.7) và bất đẳng thức (9.12) chúng ta có:
(9.15)
với tất cả x ∈ S. Tỉ lệ κ = M/m là giới hạn trên của số điều kiện của ma trận ,
tức là tỉ lệ của giá trị riêng lớn nhất so với giá trị riêng nhỏ nhất. Chúng ta cũng có thể
đưa ra một giải thích hình học của (9.15) liên quan đến các tập sublevel của .
Chúng ta định nghĩa chiều rộng của một tập hợp lồi C ⊆ theo hướng q, với q² = 1,
là:

Chiều rộng nhỏ nhất và chiều rộng lớn nhất của C được cho bởi:

Số điều kiện của tập hợp lồi C được định nghĩa là:

tức là bình phương của tỉ lệ giữa chiều rộng lớn nhất và

chiều rộng nhỏ nhất. Số điều kiện của C đo lường mức độ anisotropy hoặc độ lệch
tâm của nó. Nếu số điều kiện của một tập C nhỏ (ví dụ gần với một), nó có nghĩa là
tập đó có chiều rộng xấp xỉ như nhau theo mọi hướng, tức là gần với hình cầu. Nếu số
điều kiện lớn, nó có nghĩa là tập đó rộng hơn nhiều theo một số hướng so với các
hướng khác.
Ví dụ 9.1: Số điều kiện của một ellipsoid. Xét ellipsoid E được định nghĩa bởi:
với A ∈ Sⁿ⁺⁺. Chiều rộng của E theo hướng q được
cho bởi:

Do đó, chiều rộng nhỏ nhất và lớn nhất của nó là:

và số điều kiện của nó là:

nơi κ(A) biểu thị số điều kiện của ma trận A, tức là tỷ lệ giữa giá trị riêng lớn nhất và
nhỏ nhất của nó. Như vậy, số điều kiện của ellipsoid E giống với số điều kiện của ma
trận A định nghĩa nó.
Bây giờ giả sử hàm thỏa mãn Chúng ta sẽ
đưa ra một giới hạn trên cho số điều kiện của tập α-sublevel Cα={x∣f(x)≤α} với
. Áp dụng (9.13) và (9.8) với x = x*, chúng ta có:
Điều này ngụ ý rằng Binner⊆Cα⊆Bouter nơi:

Nói cách khác, tập α-sublevel chứa Binner và nằm trong Bouter, đó là các quả cầu với
bán kính:

tương ứng. Tỉ lệ của bình phương các bán kính cung cấp một giới hạn trên cho số điều
kiện của Cα:

Chúng ta cũng có thể đưa ra một giải thích hình học cho số điều kiện của
Hessian tại điểm tối ưu. Từ chuỗi Taylor của xung quanh x* chúng ta thấy rằng cho
α gần với p*,

được xấp xỉ tốt bởi một ellipsoid với tâm là x*. Do đó:

Chúng ta sẽ thấy rằng số điều kiện của các tập sublevel của (được giới hạn bởi
M/m) có ảnh hưởng mạnh mẽ đến hiệu quả của một số phương pháp thông dụng trong
tối ưu hóa không ràng buộc.