Bellman elve az optimizmusnak
§ 1.10. Bellman elve az optimizmusnak
Legyen egy fizikai rendszer állapotát az y-dimenziós fázisvektorral. Tételezzük fel továbbá, hogy létezik változó vektorral (megoldással) rendelkező transzformációs család, amely egy paraméter szerepét játssza, és vektort veszi egy vektorba
A megoldások választékából álló folyamatot egy lépésfolyamatnak nevezik.
Egy lépcsős eljárással egy bizonyos skaláris függvényt társítunk
a jövedelem kritériumának vagy funkciójának nevezik.
Az elfogadható megoldások sorrendjét politika (stratégia) nevezik. A bevételi funkció maximális értékét biztosító politika optimális irányelvnek vagy optimális stratégia.
Az optimalitás elve [44]. Az optimális stratégiának az a tulajdonsága, hogy az eredeti állapottól és a kezdeti döntéstől függetlenül a későbbi döntéseknek optimális stratégiát kell képezniük az állam számára, amely a kezdeti döntés eredményeként jött létre.
Ebből az elvből származtathatók a dinamikus programozás (a Bellman-egyenletek) alapvető egyenletei, amelyek néhány korrekciós kapcsolatként értelmezhetők a több lépcsős optimalizálásban a korlátlan esetben, korlátlan számú lépésben. A Bellman-egyenletek funkcionális egyenletek, és más formát adhatnak.
Például, ha figyelembe vesszük a funkcionalitás maximalizálásának problémáját
akkor, amint azt [44] mutatja, a probléma megoldása csökkenti a funkcionális egyenlet megoldását
hol van a "jövedelemfüggvény egy végtelen számú lépésben"
a Bellman terminológiában [44].