Please enable JavaScript.
Coggle requires JavaScript to display documents.
CADENAS DE MARKOV (Hillier) 1200px-Markovkate_01.svg - Coggle Diagram
CADENAS DE MARKOV
(Hillier)
PROCESOS ESTOCÁSTICOS
Son modelos de probabilidad que consideran la evolución en el tiempo de manera probabilística.
Cadena de Markov
Describen las probabilidades en que el proceso evolucionará de acuerdo al estado actual del mismo.
Modelo probabilístico de gran importancia.
Proporciona bases para el estudio de modelos de decisión de Markov.
Propiedad markoviana: las transiciones entre los estados, sólo puede producirse entre estados vecinos.
Probabilidades de transición: son las probabilidades condicionales de una cadena de Markov.
Propiedades:
Número finito de estados
Probabilidades de transición estacionarias.
Se define como una colección de variables aleatorias.
Fórmula para elementos de la matriz de transición
Donde: T=conjunto de enteros no negativos; X=característica de interés cuantificable en el tiempo (t); D=demanda en un tiempo determinado
Son una representación de la forma en la que evoluciona la condición del sistema físico a través de tiempo.
Conocidos como procesos estocásticos de tiempo discreto con espacio de estados finito.
Ecuaciones de Chapman-Kolmogorov
Proporcionan un método para calcular las probabilidades de transición de n pasos.
Fórmula para hallar los elementos de la matriz P(2)
Probabilidades de estados incondicionales
CLASIFICACIÓN DE ESTADOS EN UNA CADENA DE MARKOW
Estados recurrentes y estados transitorios
Estados recurrentes
Sí, después de haber entrado a este estado, el proceso definitivamente regresara a este estado.
Si el procesos entra en cierto estado y permanece en él al siguiente paso, se considera un regreso a este estado.
Estados transitorios
Sí, después de haber entrado a este estado, el proceso nunca regresa a él.
El estado
i
es transitorio solo, si existe un estado
j
que es accesible desde el estado
i
, pero no viceversa.
Si el estado
i
es transitorio y el proceso visita este modelo, existe una probabilidad positiva, que el proceso se moverá al estado
j
y nunca regresara al estado
i.
Propiedad de periodicidad
El periodo de un estado
i
se define como el entero, para todos los valores de
n
distintos
t,2t,3t,...,
y
t
es el entero más grande con esta propiedad.
Si existen 2 números consecutivos
s y s + 1
, el proceso puede encontrarse en el estado
i
en los tiempos
s
y
s + 1
, el estado tiene periodo
1
llamándose aperiódico.
Propiedades
Cualquier estado se comunica consigo mismo.
Si el estado
i
se comunica con el estado
j
y éste con el estado
k
, entonces el estado
i
se comunica con es estado
k.
Si el estado
i
se comunica con el estado
j
, entonces el estado
j
se comunica con el estado
i.
PROPIEDADES A LARGO PLAZO DE LAS CADENAS DE MARKOV
Costo promedio esperado por unidad de tiempo
Características
Estados aperiódicos
El límite puede no existir
Se considera la matriz de transición de dos estados
Si el proceso comienza en estado 0 en el tiempo 0, estará en el estado 0 en los tiempos 2,4,6,...
Si el proceso comienza en estado 1estará en los tiempos 1,3,5,...
A largo plazo
Costo promedio esperado por unidad de tiempo de funciones de costo complejas
Dependen de variables aleatorias
donde
Costo promedio real:
{Xt} es una cadena de Markov irreducible (estado f nito)
Asociada con esta cadena de Markov se tiene una secuencia de variables aleatorias {Dt},independientes e idénticamente distribuidas.
Para una m f ja, m 5 0, 61, 62, . . ., se incurre en un costo C(Xt, Dt1m) en el tiempo t, para t 5 0, 1, 2. . . .
La secuencia X0, X1, X2, . . ., Xt debe ser independiente de Dt1m.
Probabilidades de estado estable
Probabilidad de encontrar el proceso en cierto estado.
Representada por πj.
Un probabilidad estable no significa que el proceso se establezca en un estado.
NO confundir con las probabilidades de transición estacionarias.
Las ecuaciones consisten en
M + 2
ecuaciones con
M + 1
incógnitas.
Si
i
y
j
pertenecen a clases distintas entonces:
Si
j
es un estado de transitorio entonces:
ESTADOS ABSORBENTES
Caminatas aleatorias
La caminata aleatoria con frecuencia se usa como modelo para situaciones que incluyen juegos de azar.
Es una cadena de Markov con la propiedad de que, si el sistema se encuentra en el estado
i
, entonces en una sola transición, o bien permanecerá en
i
o se moverá a uno de los dos estados inmediatamente adyacentes a
i.
Un estado se llama estado absorbente si, después de haber entrado ahí, el proceso nunca saldrá de él.
Pueden existir dos o más estados absorbentes en una cadena de Markov, es necesario encontrar la probabilidad de absorción.
Las probabilidades de absorción pueden obtenerse con sólo resolver un sistema de ecuaciones lineales, las mismas son importantes en las caminatas aleatorias.
CADENAS DE MARKOV DE TIEMPO CONTINUO
Las nociones de cadenas de Markov se puede extender a un tiempo continuo t ≥ 0
Formulación
Se etiquetan los estados posibles del sistema 0, 1, . . ., M.
Si se comienza en el tiempo 0 y se deja que el parámetro de tiempo t' corra de manera continua para t' > 0, sea la variable aleatoria X(t') el estado del sistema en el tiempo t'. Entonces X(t) toma uno de sus (M+1) valores posibles en un intervalo 0 < t', t1, después salta a otro valor en el siguiente intervalo t1 < t' , < t2 y así sucesivamente, donde los puntos de tránsito (t1,t2, . . .) son puntos aleatorios en el tiempo.
Ahora considere los tres puntos en el tiempo 1) t'=5 (donde r = 0), 2) t' = s (donde s>r) y3) t' = s+t (donde t> 0), interpretados como sigue:
Por lo tanto, el estado del sistema se ha observado en los tiempos
t' = s y t'= r.
Estos estados se etiquetan como:
X(s) = i y X(r) = x(r).
Entonces ¿Cuál es la probabilidad P{X(s+t)= j| X(s) = i y X(r)=x(r)}, para j = 0, 1, . . . , M?
Esta tarea se simplifica con el proceso estocástico.
Un proceso estocástico de tiempo continuo {X(t'); t' . 0} tiene la propiedad markoviana si:
P{X(t+s)=j|X(s)=i y X(r)=x(r)}=P{X(t+s)=j|X(s)=i}, para toda i, j=0, 1, . . . , M y para toda r>0, s>r, y t>0
Un proceso estocástico de tiempo continuo es una cadena de Markov de tiempo continuo si presenta la propiedad markoviana
TIEMPOS DE PRIMERA PASADA
Proceso al ir del estado i al estado j por primera vez
Cuando j=i, este tiempo de primera pasada es igual al número de transiciones hasta que el proceso regresa al estado i.
El tiempo de primera pasada se llama tiempo de recurrencia del estado i.
En general, los tiempos de primera pasada son variables aleatorias.
Las distribuciones de probabilidad dependen de las probabilidades de transición del proceso.
La probabilidad de un tiempo de primera pasada del estado i al j en n pasos, se puede calcular de manera recursiva a partir de las probabilidades de transición de un paso.
Para i y j fIjas, las fij son números no negativos tales que
En el caso de uij con j = i, uii es el número esperado de transiciones hasta que el proceso regresa al estado inicial i, y se llama tiempo esperado de recurrencia del estado i.
