Průběžné odhadování parametrů modelu je klíčová část adaptivních systémů předpovídajících či ovlivňujících jejich složité náhodné okolí. Většina modelů neumožňuje žádoucí přesné bayesovské odhadování a proto je nutné je realizovat přibližně. V tomto případě je nezbytné zapomínat neplatnou znalost, neboť jinak chování odhadnutého modelu a modelovaného okolí často vzájemně divergují. Volba datově závislé rychlosti zapomínání je stále otevřený problém i přes desetiletí pokračující výzkum této problematiky. Práce bude zaměřena na pokus o původní řešení opřené o užití: i) nedávno odvozeného principu minimální očekávané relativní entropie a; ii) Bayesova pravidla pro odhad důvěry v alternativní popisy neznámých parametrů.
1. Seznamte se s bayesovským odhadováním parametrů.
2. Seznamte se s principem minimální očekávané relativní entropie.
3. Navrhněte přibližné bayesovské odhadování parametrů modelu opírající se o Taylorův rozvoj logaritmu modelu.
4. Užijte bayesovské prediktory založené na apriorní a aposteriorní pravděpodobnosti parametrů pro odhad důvěry v ně. Ta poslouží pro návrh nového apriorního rozložení pomocí principu minimální očekávané entropie.
5. Výsledek naprogramujte a pro případ logistické regrese porovnejte jeho kvalitu s vhodným standardem.
Doporučená literatura (části vybrané po dohodě se školitelem)
1. V. Peterka, Bayesian System Identification, in P. Eykhoff "Trends and Progress in System Identification", Pergamon Press, Oxford, 239-304, 1981.
2. R. Kulhavý, M.B. Zarrop, On a General Concept of Forgetting, International Journal of Control 58(4), 905-924, 1993.
3. M. Kárný, Minimum Expected Relative Entropy Principle, Proc. of the 18th European Control Conference, 35-40, 2020.
4. M. Kárný, Approximate Bayesian recursive estimation, Inf. Sciences 285(1), 100-111 2014.