动态规划课件.pptVIP

*例7-5的求解*隨機性動態規劃問題給出Sk和dk的取值後，狀態Sk+1的取值不是唯一確定的，而是具有某種概率分佈的隨機變數(此概率分佈由狀態和決策唯一確定)，這類動態規劃問題稱為隨機性動態規劃問題。下麵就通過三個例題來介紹一下隨機性動態規劃問題的應用。1.例12.例23.例3*例1某公司承擔一種新產品試製任務，合同要求三個月內交出一臺合格的樣品，否則將負擔1500元的經濟賠償。據估計，試製時投產一臺得到合格樣品的概率是1/3，投產一批的準備結束費用為250元，每臺試製費用為100元。若投產一批全都不合格，可再投產一批，但每投一批的試製週期為一個月。要求確定每批投入的批量，使總的試製費用（包括可能的賠償損失）期望值最小。階段：k=1，2，3狀態：Sk=1表示第k個月初尚未得到合格樣品Sk=0表示第k個月初已經得到了合格樣品決策變數：dk表示第k個月初投產試製的台數?*動態規劃的數學描述1.階段2.狀態3.決策4.狀態轉移律5.策略與子策略6.階段指標函數7.過程指標函數8.最優指標函數*階段在多階段決策過程中，決策點將整個過程劃分為若干部分，其中的每一部分即為一個階段。描述階段的變數稱為階段變數，常用k來表示。階段的劃分一般是根據時間和空間的自然特徵來進行的，一個N個階段的多階段決策問題其階段變數k=1，2，?，N。*狀態狀態表示每個階段開始所處的自然狀況或客觀條件，它描述了研究問題過程的狀況。狀態反映前面各階段決策的結局，又是本階段決策的出發點和依據。狀態是各階段資訊的傳遞點和結合點，各階段的狀態通常用狀態變數Sk來描述。作為狀態應具有這樣的性質：在某階段的狀態給定後，該階段以後過程的發展不受此階段以前各階段狀態的影響。換句話說，過程的歷史只能通過當前的狀態來影響未來，當前的狀態是過程以往歷史的一個總結。這個性質稱為無後效性或健忘性。*決策決策是指決策者在若干可行方案中所作出的選擇。決策變數dk(Sk)表示第k階段、狀態為Sk時的決策。決策變數的取值會受到一定的限制，用Dk(Sk)表示第k階段、狀態為Sk時決策變數允許的取值範圍，稱為允許決策集合，因而有dk(Sk)?Dk(Sk)。*狀態轉移律狀態轉移律是確定由一個狀態到另一個狀態演變過程的關係式，這種演變的對應關係記為Sk+1=Tk(Sk,dk)。*策略與子策略各階段決策所組成的決策序列稱為一個策略，具有N個階段的動態規劃問題的策略可表示為{d1(S1),d2(S2),…,dN(SN)}。從某一階段開始到過程終點為止的決策序列，稱為子過程策略或子策略。從第k個階段起的子策略可表示為{dk(Sk),dk+1(Sk+1),…,dN(SN)}。*階段指標函數階段指標函數是對應某一階段決策的效率度量，用gk=rk(Sk,dk)來加以表示。*過程指標函數過程指標函數是用來衡量所實現過程優劣的數量指標，它是定義在全過程（策略）或後續子過程（子策略）上的數量函數。過程指標函數常用Rk,,N來表示，構成動態規劃的過程指標函數應具有可分性並滿足遞推關係，即Rk,,N可表示為rk和Rk+1,N二者的函數。最常見的過程指標函數與階段指標函數的關係有如下兩種：1.過程指標函數是階段指標函數的和，此時Rk,,N=rk+Rk+1,N2.過程指標函數是階段指標函數的積，此時Rk,,N=rk?Rk+1,N*最優指標函數*ABCDB1129C1156A4B220D