以下によれば、マルコフ決定過程とは何か？
数学では、マルコフ決定過程（MDP）は離散時間確率的制御過程である。マルコフ決定過程は、結果が部分的にランダムで、部分的に決定者の制御下にあるような状況における意思決定をモデル化するための数学的枠組みを提供する。MDPは、動的計画法によって解かれる最適化問題を研究するのに有用である。MDPは少なくとも1950年代には知られていた。マルコフ決定過程に関する研究の中核は、1960年に出版されたロナルド・ハワードの著書『Dynamic Programming and Markov Processes』から生まれた。MDPはロボット工学、自動制御、経済学、製造業など多くの分野で利用されている。MDPの名称はロシアの数学者アンドレイ・マルコフに由来しており、マルコフ連鎖を拡張したものである。
マルコフ意思決定過程（MDP）は、結果が意思決定者の完全なコントロール下にない場合の意思決定をモデル化するための数学的枠組みである。MDPはロボット工学や経済学など様々な分野で利用されている。