Unity_Lesson

「マルコフ性（Markov property）」とは、あるシステムの状態において、「未来の状態が現在の状態にのみ依存し、過去の状態には依存しない」という性質を指します。つまり、システムがある時点の状態にあるとき、その次の状態がどのようになるかは、直前の状態だけで決まり、それ以前の過去の情報は関係ない、という性質です。これを「記憶がない」性質とも言います。

具体的には、以下のように説明できます。

例：サイコロゲーム

サイコロを振るゲームを考えましょう。このゲームでは、次に出る目の数は、前回の出目や過去の出目には影響されず、毎回独立しています。つまり、「次に出る目は現在のサイコロの状態（振られる瞬間の状態）にのみ依存する」ので、このゲームはマルコフ性を満たしています。

マルコフ性の数学的表現

マルコフ性は、状態遷移が条件付き確率で表現されるときに特に重要で、数式的には以下のように表されます：

\[P(X_{t+1} | X_t, X_{t-1}, ..., X_0) = P(X_{t+1} | X_t)\]

この式は、未来の状態 $ X_{t+1} $ が現在の状態 $ X_t $ にのみ依存し、それ以前の状態 $ X_{t-1}, …, X_0 $ には依存しないことを示しています。

マルコフ性の応用

• 強化学習：エージェントがどの行動を取るかを決定するとき、現在の状態だけに基づいて次の行動を選ぶことが多いです。
• 確率モデル：マルコフ連鎖のようなモデルでは、ある状態から次の状態への遷移が、現在の状態のみに依存するため、過去を考慮する必要がありません。

このように、マルコフ性は、意思決定や予測を簡略化できるため、多くの確率モデルや強化学習で重要な役割を果たします。