Цепи Маркова и стохастические процессы
Цепи Маркова представляют фундаментальную концепцию в теории вероятностей, которая моделирует последовательности событий, где вероятность каждого события зависит только от состояния предыдущего события.
Основные понятия
Цепь Маркова — это математическая система, которая переходит из одного состояния в другое согласно определенным вероятностным правилам. Определяющей характеристикой цепи Маркова является марковское свойство: вероятность перехода в любое конкретное состояние зависит исключительно от текущего состояния и прошедшего времени, а не от последовательности состояний, которые ему предшествовали.
Это свойство может быть выражено математически как:
P(Xn+1 = x | X1 = x1, X2 = x2, ..., Xn = xn) = P(Xn+1 = x | Xn = xn)
Простыми словами, будущее состояние зависит только от настоящего состояния, а не от того, как система пришла к настоящему состоянию.
Матрицы переходов
Поведение цепи Маркова обычно представляется с помощью матрицы переходов P, где каждый элемент pij представляет вероятность перехода из состояния i в состояние j за один шаг:
P = [pij] где pij = P(Xn+1 = j | Xn = i)
Для матрицы переходов с m состояниями P является матрицей m × m, где каждая строка суммируется в 1 (поскольку вероятности перехода из данного состояния во все возможные состояния должны суммироваться в 1).
Классификация состояний
Состояния в цепи Маркова могут быть классифицированы несколькими способами:
- Поглощающее состояние: Состояние, которое, будучи достигнутым, не может быть покинуто (pii = 1)