Optimization Toolbox －－求解常規(guī)和大型優(yōu)化問題

Optimization Toolbox 提供了應(yīng)用廣泛的算法集合，用于求解常規(guī)和大型的優(yōu)化問題。這些算法解決帶約束、無約束的、連續(xù)的和離散的優(yōu)化問題。這些算法可以求解帶約束的、無約束的以及離散的優(yōu)化問題。工具箱中包含的函數(shù)可以用于線性規(guī)劃、二次規(guī)劃、二進(jìn)制整數(shù)規(guī)劃、非線性優(yōu)化、非線性最小二乘、非線性方程、以及多目標(biāo)優(yōu)化等。用戶能夠使用這些算法尋找最優(yōu)解，進(jìn)行權(quán)衡分析，在多個(gè)設(shè)計(jì)方案之間平衡，以及將優(yōu)化算法集成到算法和模型之中。

主要特點(diǎn)

交互式工具用于定義、求解優(yōu)化問題，并能監(jiān)控求解過程 求解非線性優(yōu)化和多目標(biāo)優(yōu)化問題

求解非線性最小二乘，數(shù)據(jù)擬合和非線性方程 提供了解決二次方程和線性規(guī)劃問題的方法 提供了解決二進(jìn)制整數(shù)規(guī)劃問題的方法 某些帶約束條件的非線性求解器支持并行運(yùn)算

使用Optimization Toolbox 中的基于梯度的求解器尋找峰值函數(shù)（peaks fun

ction）的局部最小解。

運(yùn)用優(yōu)化工具箱提供的大型線性最小二乘法修復(fù)一張模糊的照片。 定義，求解以及評定優(yōu)化問題

優(yōu)化工具箱提供了解決極小極大值問題的最常用方法。工具箱包含了常規(guī)和大型優(yōu)化問題的算法，使用戶可以利用問題的稀疏結(jié)構(gòu)來求解問題。用戶可以通過命令行或圖形用戶界面Optimization Tool調(diào)用工具箱函數(shù)和求解器選項(xiàng)。

通過命令行運(yùn)行的優(yōu)化程序(左，調(diào)用了定義指標(biāo)函數(shù)（右上）和限定條件方程

（右下）的MATLAB文件。

Optimization Tool 是一個(gè)將一般優(yōu)化工作簡單化的圖形用戶界面。通過該圖形用戶界面，用戶能夠完成以下操作：

定義自己的優(yōu)化問題并選擇求解器

配置，檢驗(yàn)優(yōu)化選項(xiàng)和所選求解器的默認(rèn)設(shè)置 運(yùn)行優(yōu)化問題，顯示中間以及最終結(jié)果

在可選擇的快速幫助窗口中查看特定求解器的文檔

在MATLAB 的工作空間和優(yōu)化工具之間導(dǎo)入和導(dǎo)出用戶問題的定義，算法配置和結(jié)果

保存用戶工作和使工作自動化，自動生成M 語言代碼 調(diào)用Global Optimization Toolbox中的求解器

使用Optimization Tool 設(shè)置并求解的一個(gè)優(yōu)化程序(左)。一個(gè)用戶定義的輸出函數(shù)（右上）和選定的診斷用曲線（右下）用于顯示當(dāng)前和每次疊代的函數(shù)值

。

用戶能夠通過優(yōu)化方法的診斷用輸出，進(jìn)一步操縱和檢查優(yōu)化問題，這些輸出中包括了顯示求解器停止條件的求解器退出信息。通過使用輸出函數(shù)，用戶能夠?qū)⒔Y(jié)果寫入文件，生成自定義的停止條件，以及編寫自己的圖形用戶界面以便和工具箱求解器互動。大多數(shù)求解器都會在命令窗口顯示描述求解器停止原因的退出信息，并提供指向上下文相關(guān)的幫助和相關(guān)產(chǎn)品文檔的鏈接。

一個(gè)用戶定義的輸出函數(shù)（頂）用于繪制算法疊代的當(dāng)前步驟的結(jié)果(左. Optim ization Toolbox 還提供每次疊代的詳細(xì)信息(底)。

線性規(guī)劃

線性規(guī)劃問題由線性指標(biāo)函數(shù)和線性等式和不等式約束條件組成。Optimiz ation Toolbox包含3種算法用于求解這類問題：內(nèi)點(diǎn)法，有效集法，和單純形法。

內(nèi)點(diǎn)法是基于主-對偶、預(yù)報(bào)-校正思想的算法，用于解決線性規(guī)劃問題。內(nèi)點(diǎn)法對于具有或能夠被轉(zhuǎn)化成稀疏矩陣的大型優(yōu)化問題特別有效。

有效集法每一次疊代，針對有效集（一個(gè)在局部有效的約束條件

的子集）優(yōu)化指標(biāo)函數(shù)，直到求出最優(yōu)解。

單純形法是一套為線性規(guī)劃生成和測試待選頂點(diǎn)的系統(tǒng)的過程。單純形法是解決線性規(guī)劃最常用的方法。

使用線性規(guī)劃設(shè)計(jì)一個(gè)生成蒸汽和發(fā)電的系統(tǒng)。 二進(jìn)制整數(shù)規(guī)劃

二進(jìn)制整數(shù)規(guī)劃問題是指最小化線性目標(biāo)函數(shù)同時(shí)遵從線性等式和不等式約束。優(yōu)化變量的取值只能是0或1。

Optimization Toolbox使用分支界限法來求解這類問題： 尋找一個(gè)可行的二進(jìn)制整數(shù)解

更新在搜索樹形圖中找到的最佳二進(jìn)制點(diǎn)

通過求解一系列線性規(guī)劃松弛問題，驗(yàn)證是否沒有更好的解 使用二進(jìn)制整數(shù)規(guī)劃求解一個(gè)投資問題。 二次型規(guī)劃

二次規(guī)劃問題是指最小化某一多元二次函數(shù)同時(shí)遵從線性等式或不等式約束條件。優(yōu)化工具箱提供兩種算法用于求解大型和中型的優(yōu)化問題。大型優(yōu)化算法在置信域映射法和預(yù)條件共軛梯度法之間切換。

中型問題使用有效集算法

置信域映射法應(yīng)用于帶上下界的約束問題 預(yù)條件共軛梯度法應(yīng)用于受等式約束的問題

有效集法是應(yīng)用于帶不等式或上下界約束和等式約束的問題 使用二次規(guī)劃進(jìn)行對3支共有基金做收益分析。 非線性規(guī)劃

優(yōu)化工具箱提供了在MATLAB中求解非線性規(guī)劃問題的常用優(yōu)化算法。工具箱包括針對無約束和帶約束非線性優(yōu)化的求解器和最小二乘優(yōu)化的求解器。

無約束的非線性優(yōu)化問題

優(yōu)化工具箱提供了三種求解無約束非線性最小化問題的方法：擬牛頓法（Q uasi-Newton），Nelder—Mead 搜索法和信賴域法（Trust Region）。

擬牛頓法（Quasi-Newton）運(yùn)用混合的平方和立方線搜索程序，

以及用于更新Hessian矩陣近似值的Broyden-Fletcher-Goldfarb-Shanno （BFGS）公式。

Nelder—Mead（或下山單純形法）是一種直接搜索法，它只需要函數(shù)值（不需要導(dǎo)數(shù)）并能處理非平滑函數(shù)。Global Optimization Toolbox為非線性優(yōu)化問題提供額外的不使用導(dǎo)數(shù)的優(yōu)化算法。

信任域法（Trust Region）應(yīng)用于無約束的非線性問題，對于具有稀疏矩陣或結(jié)構(gòu)的大規(guī)模優(yōu)化問題特別有效。

使用無約束非線性規(guī)劃在一個(gè)發(fā)動機(jī)性能映射表里搜索峰值效率。 帶約束的非線性優(yōu)化問題

帶約束的非線性優(yōu)化問題由非線性目標(biāo)函數(shù)和可能的線性以及非線性的約束構(gòu)成。優(yōu)化工具箱為解決這些問題提供了4種方法：內(nèi)點(diǎn)法、序列二次規(guī)劃法（sequential quadratic programming, SQP）、有效集法、和置信域映射法（Trust Region）。

內(nèi)點(diǎn)法應(yīng)用于一般性的非線性優(yōu)化問題。對具有稀疏屬性或結(jié)構(gòu)的大型優(yōu)化問題特別有效，并且對容忍用戶定義的指標(biāo)函數(shù)和限定條件的評價(jià)失敗。它基于障礙函數(shù)，可以選擇讓優(yōu)化的疊代過程嚴(yán)格保持在可行域內(nèi)。

SQP算法應(yīng)用于一般的非線性優(yōu)化問題。它保證疊代中間解的可行性，并容忍用戶定義的指標(biāo)函數(shù)和限定條件的評價(jià)失敗。

有效集法應(yīng)用于一般性的非線性優(yōu)化問題

置信域映射法應(yīng)用于帶上下界和等式約束條件的問題，它對大型問題特別有效

內(nèi)點(diǎn)法和置信域映射法使用戶能夠使用不同的方法估計(jì)Hessian矩陣

對于內(nèi)點(diǎn)法： BFGS (稠密)

有限記憶BFGS（對大型問題） Hessian乘法函數(shù)

真實(shí)的Hessian（稀疏或稠密）

梯度的有限偏差，但是不要求稀疏結(jié)構(gòu)的知識

對于置信域映射法：

梯度的有限偏差，需要已知Hessian的稀疏結(jié)構(gòu) 真實(shí)的Hessian（稀疏或稠密） Hessian乘法函數(shù)

另外，內(nèi)點(diǎn)法和置信域映射法使用戶能夠在一個(gè)函數(shù)中直接計(jì)算Hessian 和一個(gè)向量的乘積，而不需要Hessian矩陣的顯式表達(dá)。

優(yōu)化工具箱還提供與Ziena Optimization’s KNITRO?函數(shù)庫德接口，用于求解非線性帶約束的優(yōu)化問題。

用于設(shè)計(jì)最優(yōu)減震系統(tǒng)的帶約束非線性規(guī)劃。 非線性最小二乘，數(shù)據(jù)擬合和非線性方程

優(yōu)化工具箱能夠解決線性和非線性最小二乘問題，數(shù)據(jù)擬合問題，和求解非線性方程。

線性和非線性最小二乘優(yōu)化

工具箱使用兩個(gè)算法求解帶約束的最小二乘問題：中型和大型。中型算法應(yīng)用有效集算法，用于求解帶上下界、線性不等式和等式約束的問題。大型算法應(yīng)用置信域映射法，用于求解只帶上下界約束的問題。

工具箱使用兩種算法求解非線性最小二乘問題：信任域和Levenberg-Mar quardt。

置信域映射算法采用Levenberg-Marquardt算法。用于求解無約束的和帶上下界約束的問題。

工具箱使用標(biāo)準(zhǔn)Levenberg-Marquardt算法，用于求解無約束問題。

使用非線性最小二乘擬合一個(gè)超越方程。 數(shù)據(jù)擬合

工具箱為數(shù)據(jù)擬合問題提供一個(gè)專門的界面，用于在一族非線性函數(shù)中尋找對數(shù)據(jù)最好的擬合。工具箱對數(shù)據(jù)擬合使用的算法與非線性最小二乘問題使用的算法一樣。

通過最小二乘曲線擬合，擬和一個(gè)非線性指數(shù)方程。 求解非線性方程

優(yōu)化工具箱使用折線信任域算法（dogleg trust-region）求解非線性方程組，方程個(gè)數(shù)與未知數(shù)個(gè)數(shù)一樣多。工具箱還能夠使用信任域映射法和Levenbe rg-Marquardt算法。

使用非線性方程求解器對一個(gè)n維Rosenbrock函數(shù)求解。 多目標(biāo)優(yōu)化問題

多目標(biāo)優(yōu)化主要考慮帶有一組約束，有多個(gè)指標(biāo)函數(shù)的極小值問題。優(yōu)化工具箱為兩種形式的多目標(biāo)優(yōu)化問題提供了解決方法，這兩種形式的優(yōu)化問題是：目標(biāo)達(dá)到和極小極大。

目標(biāo)達(dá)到問題包括減少一個(gè)線性或非線性矢量函數(shù)的值以達(dá)到目標(biāo)矢量的目標(biāo)值。目標(biāo)的相對重要性通過使用權(quán)向量來標(biāo)定。目標(biāo)達(dá)到問題可以加入線性和非線性約束條件。

極小極大問題包括減少一系列多變量函數(shù)的最壞情況值，可以加入線性和非線性約束條件。

優(yōu)化工具箱先將兩類多目標(biāo)問題轉(zhuǎn)換為標(biāo)準(zhǔn)的約束優(yōu)化問題，然后使用有效集方法對其求解。

Global Optimization Toolbox提供了多目標(biāo)遺傳算法求解器，用于計(jì)算多目標(biāo)的Pareto前沿。

使用多目標(biāo)優(yōu)化設(shè)計(jì)一個(gè)低通濾波器。 使用并行計(jì)算解決優(yōu)化問題

優(yōu)化工具箱能夠和并行計(jì)算工具箱結(jié)合起來采用并行計(jì)算的方式一起解決問題以享用并行計(jì)算帶來的好處。通過激活內(nèi)置的并行計(jì)算支持或者定制優(yōu)化問題的并行計(jì)算應(yīng)用，用戶可以減少求解所花費(fèi)的時(shí)間。

用戶在選擇用于帶約束非線性優(yōu)化問題和多目標(biāo)目標(biāo)達(dá)到以及極大極小問題的求解器時(shí)，軟件自帶的并行計(jì)算工具有助于加速梯度估計(jì)。

使用一個(gè)非線性規(guī)劃求解器內(nèi)置的對并行計(jì)算的支持來加速求解靜電學(xué)問題。通過設(shè)置UseParallel選項(xiàng)，使內(nèi)置并行功能生效（左），用來優(yōu)化帶約束(右下)

的指標(biāo)函數(shù)（右中），所得解顯示在右上圖中。

可定制的對并行計(jì)算的支持要求在優(yōu)化問題中明確制定使用并行計(jì)算功能。用戶能夠規(guī)定指標(biāo)函數(shù)或約束條件使用并行計(jì)算，讓用戶能夠減少評價(jià)指標(biāo)函數(shù)或約束條件所用的時(shí)間。

通過變一行代碼來定制指標(biāo)函數(shù)（左上），從而加速帶不確定性的減震系統(tǒng)設(shè)計(jì)

問題（左下和右下）的求解時(shí)間。