Az optimalitás elve és a Bellman-egyenlet - a stadopedia
Az optimalitás elvet először Richard Ernest Bellman 1953-ban megfogalmazta (az ES Venttsel értelmezésében):
Bármi legyen is a rendszer állapota bármely lépésben, a következő lépésben ki kell választania a vezérlést, hogy az összes további lépésben az optimális kontroll mellett az összes többi lépés optimális győzelmét eredményezze.
RE Bellman megfogalmazta azokat a feltételeket, amelyek mellett az elv igaz. A fő követelmény az, hogy a kezelési folyamatnak visszacsatolás nélkül kell lennie. Ebben a lépésben a vezetés nem befolyásolhatja az előző lépéseket.
Tekintsük át a fentiekben ismertetett általános dinamikus programozási problémát. Minden lépésben, kivéve a sk-1 állapot bármelyikének utolsó állapotát, az Xk adminisztratív megoldást "szemmel" kell kiválasztani, mivel ez a választás hatással van a rendszer sk.
Az utolsó lépésben, a sn-1 rendszer állapotán alapulva, az Xn menedzsment megoldás optimálisan tervezhető lokálisan, azaz kizárólag e lépés okaira alapozva.
Tekintsük az utolsó n-edik lépést:
sn-1 - a rendszer állapota az n-edik lépés elején;
a sn a rendszer végső állapota;
Xn - az n-edik lépésben történő vezérlés;
Az optimalitás elve szerint az Xn-t oly módon kell megválasztani, hogy a sn-1 rendszer bármelyik állapota megkapja a célfüggvény optimumát ebben a lépésben.
Az objektumfüggvény optimális értékét (az adott fokozat meghatározása szempontjából) az n-edik lépés exponensével határozzuk meg, feltéve, hogy az utolsó lépés elején az S rendszer tetszőleges állapotú sn-1-ben volt. és az utolsó lépésben a vezérlés optimális volt.
az objektív függvény feltételes maximumának nevezik az n-edik lépésben, és a következő képlet határozza meg:
A maximalizálást minden megengedett Xn vezérlésen végezzük.
Xn megoldás. amellyel elérte. szintén függ a sn-1-től, és az n-edik lépésben feltételes optimális megoldásnak hívják. Ezt jelöli.
Az egydimenziós helyi optimalizációs problémát az (11.5) egyenlet segítségével oldjuk meg, két lehetséges állapotot definiálunk sn-1 két függvényt u.
Tekintsük a kétlépcsős problémát: csatoljuk az n-edik lépéshez (n-1) -th.
Minden olyan állapot esetén, ahol a sn-2. Xn-1 tetszőleges menedzsment döntések és optimális kontroll az n-edik lépésben, az objektumfüggvény értéke az utolsó két lépésben az alábbi képlet segítségével számítható ki:
A Bellman optimalitás elve alapján bármelyik sn-2 esetében a megoldást úgy kell megválasztani, hogy az utolsó (n-edik) lépésben az optimális szabályozással együtt az utolsó két lépésben a célfüggvény optimumához vezet. Ezért meg kell találni az optimális kifejezést (11.6) minden megengedett adminisztratív megoldáshoz Xn-1:
- az objektív függvény feltételes maximuma az optimális irányítással az utolsó két lépésben. Meg kell jegyeznünk, hogy a (11.6) képletben a göndör zárójelben szereplő kifejezés csak a sn-2 és az Xn-1 függvénye. mivel a sn-1 az állapotok (11.1) egyenletéből származik:
Az (n-1) -es lépésben az Xn-1 megfelelő vezérlését az (n-1) -es lépésben feltételes optimális vezérlésnek nevezzük.
Hasonlóképpen, a célfüggvény feltételes optimumai az (n-k + 1) lépések optimális vezérlésére kerülnek, a k-től a végéig, feltéve, hogy a k-es lépés elején a rendszer sk-1 állapotban volt:
A k-edik lépcsőben az Xk vezérlést, amelynél a maximális értéket (11.8) érjük el, a k. Lépésben a feltételes optimális szabályozásnak nevezzük.
Az egyenletek (11.5) és (11.8) a rekurzív Bellman-egyenletek (inverz sémák). Az egyenletek megoldásának folyamatát feltételes optimalizálásnak nevezzük.
A feltételes optimalizálás eredményeként két szekvenciát kapunk:
. . .... - az utolsó, utolsó két, ..., n lépés objektív függvényének feltételes maximumja;
. . .... - Feltételes optimális vezérlés az n-es, (n-1) -th, ..., az első lépésben.
Ezekkel a szekvenciákkal megtalálhatjuk az adott n és s0 dinamikus programozási problémájának megoldását:
Ennek eredményeképpen megkapjuk a dinamikus programozási probléma optimális megoldását :.
Hasonlóképpen, érvelve, a feltételes optimalizálás közvetlen rendszerét is létrehozhatjuk:
A probléma optimális megoldása ebben az esetben az alábbi séma szerint történik:
Így a dinamikus programozási modell megalkotása és a probléma általános formában történő megoldása a következő lépések formájában jeleníthető meg:
1. Válassza ki, hogyan lehet az ellenőrzési folyamatot lépésekre osztani.
2. Határozza meg a sk paramétereket és az Xk szabályozási változókat minden lépésben, írja le az állapotegyenleteket.
3. Adja meg a k-fázis célfüggvényeit és a teljes objektumfüggvényt, valamint a feltételes optimumot és a feltételes optimális kontrollt a k-fázisban ().
4. A Bellman ismétlődési egyenletek inverz vagy közvetlen sémájának megfelelően írja le, és a feltételes optimalizálás után két szekvenciát kap: <> és <>.
5. Határozza meg az objektum optimális értékét és az optimális megoldást.