凸優(yōu)化 基礎(chǔ)
作者：翔天盛世
發(fā)布時(shí)間：2022-02-21 12:00
瀏覽數(shù)：1090
1、無約束優(yōu)化問題自變量為矢量的函數(shù) 1-1 局部最優(yōu)解的常規(guī)方法直接法
梯度等于 0 ，求得駐點(diǎn)，必要時(shí) 矩陣再進(jìn)一步判斷。
迭代法梯度下降法 牛頓法 擬牛頓法2、一般約束優(yōu)化問題2-1約束優(yōu)化問題的一般形式：
可行域：滿足 定義域的約束條件的 的 ** ， 表明不等式約束被激活 2-2一般約束優(yōu)化問題舉例
考慮以下優(yōu)化問題：
如圖：
3、凸集（Convex Sets）3-1仿射集(Affine Sets)和凸集如果一個(gè) ** 是仿射的，則 中兩點(diǎn)間的直線也在 中，例如：即 的解
推導(dǎo)過程：
如果一個(gè) ** 是凸的，則對(duì)于任意的 有 3-2常見的凸集所有 ，給定任意 ，則有 所有 超平面(Hyperplane):既是仿射又是凸
半空間(Halfspace):只是凸
向量范數(shù)補(bǔ)充知識(shí)：
2-norm: 1-norm: -norm: p-norm, : 范數(shù)球例如 給定任意 且 ，則有
凸集的性質(zhì)：
凸集的交集是凸集，例如：
注意：凸集的并集不一定是凸集多面體（Polyhedron）: 有限個(gè)半空間和半平面的交集
其中
4、凸函數(shù)4-1定義一個(gè)函數(shù) 被稱為凸函數(shù)，如果：
( 的定義域)是凸集對(duì)于任何 和 有4-2凸函數(shù)的一階二階條件一階充要條件（不好用）： 對(duì)于所有的 均成立。二階充要條件（好用）：如果函數(shù) 二階可導(dǎo)，則凸函數(shù)充要條件： 。4-3常見的凸函數(shù)一元函數(shù)舉例 converx and also concave convex convex convex on convex on 二元函數(shù)舉例 convex and also concave 是 convex 當(dāng)且僅當(dāng) 4-4保凸運(yùn)算 凸，則 凸，例如 凸， 凸，擴(kuò)展的 非遞減，則 凸。例如：
其中 。 在 的部分非遞減。
凸， ，則 凸。例：逐點(diǎn)最大： 凸，則 凸。 對(duì)于每個(gè) 凸，則 凸。5、凸優(yōu)化問題標(biāo)準(zhǔn)形式凸優(yōu)化問題
有 是凸函數(shù)，可行域是凸集。目標(biāo)函數(shù)是凸的 不等式約束函數(shù)必須是凸的 等式約束函數(shù)必須是仿射的在一個(gè)凸集上極小化一個(gè)凸的目標(biāo)函數(shù)最優(yōu)值（目標(biāo)函數(shù)在可行域的最小值）：
不可行（可行域是空集）
unbounded below（存在可行點(diǎn)使得 ）
重要結(jié)論：凸優(yōu)化問題局部最優(yōu)=全局最優(yōu)6、典型的凸優(yōu)化問題線性優(yōu)化問題（LP）
二次規(guī)劃問題（QP） 為半正定矩陣
QCQP( 和 均為半正定)
7、凸優(yōu)化問題轉(zhuǎn)換為標(biāo)準(zhǔn)型
給定下列問題
其中 。定義
變量
定義
定義
即可將上原問題轉(zhuǎn)換為 問題：
