<prompt> .mingyinmdp.png inaonyesha uwakilishi wa gridi ya mstatili wa MDP rahisi yenye kikomo. Seli za gridi ya taifa zinalingana na hali ya mazingira. Katika kila seli, vitendo vinne vinawezekana: kaskazini, kusini, mashariki na magharibi, ambayo husababisha wakala kusonga seli moja kwa mwelekeo husika kwenye gridi ya taifa. Vitendo ambavyo vinaweza kumwondoa wakala kwenye gridi ya taifa huacha eneo lake bila kubadilika, lakini pia husababisha zawadi ya -1. Vitendo vingine husababisha zawadi ya 0, isipokuwa vile vinavyohamisha wakala kutoka majimbo maalum A na B. Kutoka jimbo A, vitendo vyote vinne hutoa zawadi ya 10 na kumpeleka wakala A. Kutoka jimbo B, vitendo vyote hutoa zawadi ya 5 na kupeleka wakala hadi B. Tuseme punguzo la gamma0.9. Chaguo za kukokotoa za thamani ya serikali za sera pi zinafafanuliwa kuwa limbikizo la malipo yanayotarajiwa ya pi kutokana na hali ya sasa. Ni nini thamani ya hali ya jimbo A ikiwa sera ni ya nasibu chagua mielekeo yote minne yenye uwezekano sawa? Je, thamani ya hali ya jimbo A ni ipi chini ya sera bora? Rejesha jibu la maswali mawili kwa kutumia orodha.Nadharia Husika: Urejeshaji wa Thamani ni algoriti ya programu inayotumika katika ujifunzaji uimarishaji na Michakato ya Maamuzi ya Markov MDPs ili kupata sera bora zaidi kwa wakala anayeingiliana na mazingira ya stochastic. Ni mchakato unaorudiwa unaolenga kukadiria utendakazi wa thamani, ambao unawakilisha limbikizo la zawadi inayotarajiwa ambayo wakala anaweza kupata kutoka kwa kila jimbo anapofuata sera mahususi.Katika mazingira ya stochastiki, matokeo ya vitendo vya wakala hayana uhakika, na uwezekano wa mpito kati ya majimbo hutegemea hatua zilizochaguliwa. Lengo la Urekebishaji wa Thamani ni kupata sera bora zaidi inayoongeza zawadi limbikizi inayotarajiwa baada ya muda.Algorithm ina hatua zifuatazo:1. Kuanzisha: Anza kwa kuanzisha chaguo za kukokotoa thamani V kwa majimbo yote katika nafasi ya serikali. Kwa kawaida, hii inafanywa kwa kuweka V s hadi sifuri au maadili fulani ya kiholela.2. Kurudia: Kwa kila hali, sasisha kitendakazi cha thamani V kwa kutumia mlingano wa ubora wa Bellman: Vvi max_a Rs, a γ Σ Pss, a Vs wapi: - max_a inaashiria thamani ya juu zaidi ya vitendo vyote vinavyowezekana. - Rs, a ni thawabu inayopatikana mara moja baada ya kuchukua hatua katika hali s. - γ ni kipengele cha punguzo, ambacho huamua umuhimu wa zawadi za siku zijazo 0 γ 1. - Pss, a ni uwezekano wa mpito wa kufikia hali s baada ya kuchukua hatua a katika hali s. - Vs ni chaguo za kukokotoa za thamani ya hali inayofuata s.3. Muunganisho: Rudia hatua ya 2 hadi kitendakazi cha thamani kiungane, yaani, mabadiliko katika Vs yanakuwa madogo kuliko kizingiti kilichoainishwa awali.4. Uchimbaji wa Sera: Pindi tu kipengele cha kukokotoa cha thamani kinapokuwa kimeunganishwa, toa sera mojawapo π kwa kuchagua kitendo ambacho huongeza utendakazi wa thamani kwa kila hali: πs argmax_a Rs, a γ Σ Pss, a VsUrekebishaji wa Thamani umehakikishiwa kuungana hadi sera bora zaidi na utendakazi wa thamani mradi tu kipengele cha punguzo cha γ kiwe chini ya 1, na hali na nafasi za vitendo zimekamilika. Hata hivyo, inaweza kuwa ghali kikokotoa kwa nafasi kubwa za hali na hatua, kwani inahitaji kurudia hali na vitendo vyote katika kila marudio.  <response>: 8.8, 24.4 