Optimalizálás technikák gépi tanulás (előadások)

Szerda feladatok végrehajtásának - MATLAB.

Lineáris regressziós modell -regulyarizovannoy

készítmény A módszer

A probléma a regressziós hasznosítás. Van egy képzési minta _n, t_n \> _ ^ N "/>, ahol _n \ in \ mathbb ^ D" /> - jellemző vektort az objektumot, és "/> -. A regressziós érték probléma abban áll, hogy előre regressziós értékek" /> az új tárgy által képviselt vektor jelek _ „/>.

A lineáris regressziós predikciót végzünk a lineáris függvény:

ahol \ in \ mathbb ^ D „/> - beállítása némi súly mérleg végzi minimalizálása szabályossá alábbi kritériumoknak :.

Itt - a felhasználó által definiált paraméter legalizálás. Segítségével -regulyarizatsii egyrészt lehetővé teszi, hogy csökkentsék annak valószínűségét, átképzés algoritmus, másrészt, hogy az úgynevezett A hígított oldatok. A hígított oldatok komponenseinek optimális tömeg vektor „/> nulla. Nulla tömeg néhány jele, hogy kizárás az egyenértékű modellt (elismeréséről tájékoztató érték).

A kettős probléma

Fontolja meg a kettős optimalizálási probléma probléma (1). Ehhez figyelembe vesszük a ekvivalens készítmény, a probléma, mint a korlátozott optimalizálási probléma:

Továbbá, ki lehet mutatni, hogy a kettős a konvex optimalizálási probléma a következő:

Itt alatt || _ „/> érteni.

sima feladat

Feladat konvex nemsima optimalizálás (1) alkalmazásával ekvivalens képviseli, mint egy minimalizálási problémát sima:

feladat leírása

• Nyomtató kettős optimalizálási probléma (2); írja le, hogyan kell kezelni a kettős probléma (2) be tudja szerezni a megoldás a közvetlen probléma (1);
• A probléma (2) kiszámításához a megengedhető általános képletű kettős pont „/> a ponton által meghatározott vonal” />, alapján, hogy rögzítse egy felső határt a különbség a direkt probléma megoldások (1) és a kettős problémát (2);
• Vezessük a szükséges képletek megoldani egy sima tanulási célok (3) módszere szerint barrier funkciók; hez olyan módon, hogy hatékonyan kezeljék a megfelelő lineáris rendszerek ehhez szükséges képletet beszúrni a jelentésben;
• Eljárás végrehajtására, a barrier funkciókat a megoldás a probléma (3); mint egy megállás alkalmazott kritérium értékeléséhez a kapott felső rést;
• Kimenet szükséges a probléma megoldásának az általános képletű (2) egy egyenes kettős belső pont módszer; hez olyan módon, hogy hatékonyan kezeljék a megzavart KKT-rendszer ehhez szükséges képletet beszúrni a jelentésben;
• Végrehajtása egy primál-duál belső pontja az a probléma (2); mint egy megállási alkalmazott kritérium szokásos jobb oldalán a perturbált KKT-rendszer;
• Végrehajtása a választás a proximális vagy coordinatewise módszerrel megoldani a problémát a tanulási (1);
• A magatartás kísérleti összehasonlítása három végrehajtott módszerek (barrier módszer a probléma (1), jobb a kettős módszert belső pontja az a probléma (2) és egy közeli / coordinatewise Eljárás (1)) a fordulatszám, 1) különböző arányait az objektumok száma és jellemzői az adatokat, és a 2) különböző értékeket pontossági;
• Írj egy beszámolót PDF formátumban egy leírást minden egyes vizsgálatokban. A jelentésnek tartalmaznia kell, különösen a szükséges képletek minden módszereket. Továbbá, az összes ilyen kísérletek azt mutatják, az iterációk számát, a pontosság és az idő paraméterei dolgozik.

Specifikáció megvalósított funkciók

Edzésmódszer büntetés funkciók

w = l1linreg_barrier (X, t, lambda, param_name1, param_value1.)