马尔可夫决策过程markovdecisionprocessesmdp.pptVIP

摘要 本文介紹了一種機制，在該機制中，資源分配優化的問題被建立模型為馬爾可夫決策的過程，並以強化學習解決。 所提出的機制會觀察其環境並學習適當的政策，以優化企業流程執行的資源配置。 實驗結果顯示，該方法優於著名的啟發式或手編策略，並且可以改善企業流程管理的當前狀態。 前言 在企業流程管理上，有效的資源分配是一項複雜又充滿動態能力的艱難任務。雖然各式各樣的機制正在興起，以支持企業流程執行方面的資源分配，這些機制並沒有將性能優化列入考慮。 資源分配是很重要 本文中，我們將耐用的資源納入考量，亦即在執行過程中被要求和釋放的資源，但那些資源既不能被創造也不能被消毀。在業務流程執行上，資源分配被認為是一個重要的議題。 在實踐上，資源分配的需求涉及許多方面，資源可能為了滿足不同或相互矛盾的目標而分配，例如: 1.維持可用資源容量的高使用率(可能受阻) 2.業務流程案例的平滑生產率(可能導致資源閒置和高成本)。 在業務流程的執行上，選擇「正確」的資源來表現工作項目不是一個簡單的任務。為了達到這個目標，我們建議採用智能技術，從經驗學習、推理和規劃資源分配，在不同的過程中，做出合理的決策，以優化資源配置。我們預計這些技術將改善資源的分配。 名詞介紹 企業流程管理（BPM）提供了範圍廣泛的工具和技術，制定和管理營運的企業流程。漸漸地，越來越多的企業使用BPM技術和工具來促進企業的效益和效率。BPM的技術和工具著重於控制流結合對XML和數據庫技術形式數據的支持。 拉式機制:在該解決方案中，資源被允許或被要求從公共資源中將工作項目拉出。 推進機制: 藉由將工作項目推到具有所需角色的單一資源來運作。符合條件的資源取決於由整個過程的經理人所定義的明確標準。 馬爾可夫決策過程是基於決策者週期性或連續性地觀察具有馬爾可夫的隨機動態系統，有秩序且連貫的作出決策，即根據每個時刻觀察到的狀態，從可用的集合中選用一個行動作出決策，系統下一步（未來）的狀態隨機的，並且其狀態轉移機率具有馬爾可夫性。 提供了一個從互動到目標實現的簡單學習框架。學習者和決策者被稱為代理人。包括代理人以外的一切事物，被稱為環境。這些互動是連續不斷的，代理人選擇行動，環境對這些行動做出回應，並為代理人提供新的情境。 結論 本文的主要貢獻是一種強化學習為基礎的方法處理與資源分配在BPM的優化問題。 RLRAM能夠在動態資源分配的基礎上的相互作用與環境去指行。 1.資源分配BPM是一個典型的多元處理的問題。在特定的情況下，資源分配的決定可能會滿足，但犧牲其他目標。 因此，如何對付多個目標（可能是矛盾的），於未來的研究感興趣的話題，將在今後的工作解決。另一個有趣的研究方向將處理資源分配和業務流程相互衝擊其他。 2.在這裡的研究中，業務流程資源分配性能進行了最佳，學習者的內部控制某個進程結構調整過程的結構。 未來研究可在理想的情況下，該結構的一個業務流程改進，使資源可以利用更優化的方式。在更複雜的系統，RL將有助於確定更高效的業務流程的結構時，它是最初設計時，它需要被升級，或當它被修復。 * * 馬爾可夫模型 合理的資源分配 可以有效利用 資源的關鍵議題 確保每個工作項目在 正確的時間 正確的資源 資源可用性的需求 平衡 業務流程執行的過程 企 業 流 程 管 理(BPM) 資 源 分 配 機 制 馬爾可夫 馬爾可夫決策過程 （Markov Decision Processes, MDP) 強 化 學 習 (RL)